11016
Обсуждаем ClickHouse
select * from system.query_log и найдите свой запрос
Читать полностью…
Code: 215. DB::Exception: Column `event_time is not under aggregate function and not in GROUP BY. Have columns: ['hostName()','count()','quantiles(0.5, 0.9, 0.99)(query_duration_ms)']: While processing hostName() AS h, toStartOfHour(event_time), arrayMap(x -> formatReadableTimeDelta(x), quantiles(0.5, 0.9, 0.99)(query_duration_ms)) AS timings, count(). (NOT_AN_AGGREGATE) (version 23.10.4.25 (official build)) `
пиковые запросы те же самые что в обычное время ? или это уже другие ?
Читать полностью…
ну это не единоразовое
каждый день в 7:30 начинаются отчеты и начинается такой тупняк
это среднее по больнице... в целом не значит вообще ничего и ничего не ловит...
смотрите system.query_log свой если не отключили его конечно ...
latency по avg не смотрят, смотрят по квартилям
SELECT hostName() h, toStartOfHour(event_time), arrayMap(x->formatReadableTimeDelta(x), quantiles(0.5,0.9,0.99)(query_duration_ms)) AS timings, count() FROM clusterAllReplica('your-cluster',system.query_log) WHERE event_date=today() AND query_duration_ms > 0 GROUP BY ALL
Есть 4 инстанса (2 шарда + 2 реплики)
Со временем стали появляться замедления, в пиковые время
Но нагрузка копеечная - в обычное время (по метрикам) 3 запроса в секунду, latencies (avg) 15 мс.
А в пике 12 запросов, 300 мс
По метрикам ресурсы не выжраты, ЦПУ не в потолок, памяти тоже с лихвой.
Как проанализировать во что упирается?
С чего начать? Что почитать?
посмотрел "долгие запросы" - ну раз в час бывает долгий запрос > 3 и все
конечно не ответ на вопрос, но кликхаус сам неплохо может как читать из кафки, так и писать в нее через движок таблицы Kafka. Т.е. возможно вам для этого и не нужен kafka connect
Читать полностью…
ну смотря сколько у вас дисков на cold в старом и сколько в новом, может потребоваться потаскать не совсем 1 к 1, а в остальном да, создаете таблицу на новом кластере, тащите в детачед данные из под freeze-снапшота, аттачите их, всё должно быть нормально
Читать полностью…
Добрый день, коллеги! У меня есть два кластера ClickHouse. На старом кластере настроен cold storage, и на новом тоже. Как я могу перенести cold storage со старого кластера на новый? Если использовать подход из этой статьи https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/rsync/ , будет ли работать cold storage на новом кластере?
Просто инсерт не проходит
МВ - триггер на вставку. 1 сломанный триггер (мв) = все сломанные мв
Можно изменить это прведение
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#ignore_materialized_views_with_dropped_target_table
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#allow_materialized_view_with_bad_select
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#materialized_views_ignore_errors
к сожалению attach from remote сделать нельзя из коробки
Читать полностью…
кто ж его знает.
я метрики только вижу, а как тут сказали это "температура на марсе"
Code: 46. DB::Exception: Unknown table function clusterAllReplica. Maybe you meant: ['clusterAllReplicas']: or incorrect parameterized view. (UNKNOWN_FUNCTION) (version 23.10.4.25 (official build))
а пиковые запросы тяжелые ? 300мс на каждый запрос в пике или же на все в сумме ?
Читать полностью…
посмотрите IO диска, может быть КХ решил перестроить парты
Читать полностью…
у нас по прометеус метрикам из экспортера
increase(ClickHouseProfileEvents_QueryTimeMicroseconds{env="$environment"}[$__rate_interval]) / increase(ClickHouseProfileEvents_Query{env="$environment"}[$__rate_interval])
Читать полностью…
Коллеги, всем привет.
Прошу подсказать, как можно получить список и причину перезапуска службы ClickHouse с указанием времени (или список стартов службы за нужный интервал)?
Использую следующий запрос, вижу только два запуска, но точно знаю, что служба сегодня тоже падала, хотя эти события запросом не вижу.
SELECTЧитать полностью…
event_time AS start_time,
'Server started' AS event_type,
message
FROM system.text_log
WHERE
(message LIKE '%Starting ClickHouse%' OR message LIKE '%Server started%')
AND event_time BETWEEN toDate('2025-01-01') AND now()
ORDER BY event_time DESC;
Это я знаю. Такой вариант использую. Но сейчас есть задача именно в синк/сорс коннекторах для кафки коннект
Читать полностью…
В общем, да, правильно пишут, что сжатие происходит на стороне клиента (прозрачно), и многие клиенты его поддерживают, например у clickhouse-go и ch-go стоит галочка напротив Compression: https://clickhouse.com/docs/integrations/go
Читать полностью…
Коллеги, существует ли source коннектор clickhouse для Kafka connect?
Документацию для sink вижу, а для source не вижу ничего
А в чем проблема такое представить, стринга в клике спокойно позволяет произвольный набор байт хранить и возвращать.
При это я конечно полностью согласен что это нафиг не нужно, лучше уж на уровне http интерфейса, ну и для native там уже вшито
Rsync быстрее всего, но ddl таблиц должен быть одинаковым
Читать полностью…
быстрее всего rsync скопировать и на новом сервере сделать ATTACH
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/rsync/
как-то так
Команда INSERT INTO ... SELECT FROM remote() использует максимальную скорость? Например, у меня сеть на 1 ГБ/с — будет ли она использоваться по максимуму?
Читать полностью…