11016
Обсуждаем ClickHouse
а пиковые запросы тяжелые ? 300мс на каждый запрос в пике или же на все в сумме ?
Читать полностью…
посмотрите IO диска, может быть КХ решил перестроить парты
Читать полностью…
у нас по прометеус метрикам из экспортера
increase(ClickHouseProfileEvents_QueryTimeMicroseconds{env="$environment"}[$__rate_interval]) / increase(ClickHouseProfileEvents_Query{env="$environment"}[$__rate_interval])
Читать полностью…
Коллеги, всем привет.
Прошу подсказать, как можно получить список и причину перезапуска службы ClickHouse с указанием времени (или список стартов службы за нужный интервал)?
Использую следующий запрос, вижу только два запуска, но точно знаю, что служба сегодня тоже падала, хотя эти события запросом не вижу.
SELECTЧитать полностью…
event_time AS start_time,
'Server started' AS event_type,
message
FROM system.text_log
WHERE
(message LIKE '%Starting ClickHouse%' OR message LIKE '%Server started%')
AND event_time BETWEEN toDate('2025-01-01') AND now()
ORDER BY event_time DESC;
Это я знаю. Такой вариант использую. Но сейчас есть задача именно в синк/сорс коннекторах для кафки коннект
Читать полностью…
В общем, да, правильно пишут, что сжатие происходит на стороне клиента (прозрачно), и многие клиенты его поддерживают, например у clickhouse-go и ch-go стоит галочка напротив Compression: https://clickhouse.com/docs/integrations/go
Читать полностью…
Коллеги, существует ли source коннектор clickhouse для Kafka connect?
Документацию для sink вижу, а для source не вижу ничего
А в чем проблема такое представить, стринга в клике спокойно позволяет произвольный набор байт хранить и возвращать.
При это я конечно полностью согласен что это нафиг не нужно, лучше уж на уровне http интерфейса, ну и для native там уже вшито
Rsync быстрее всего, но ddl таблиц должен быть одинаковым
Читать полностью…
быстрее всего rsync скопировать и на новом сервере сделать ATTACH
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/rsync/
как-то так
Команда INSERT INTO ... SELECT FROM remote() использует максимальную скорость? Например, у меня сеть на 1 ГБ/с — будет ли она использоваться по максимуму?
Читать полностью…
"Проблема такая: у меня повреждён cold storage на новом кластере, но данные ещё есть на старом. Как я могу перенести или скопировать их со старого кластера на новый? Объём cold storage — примерно 8 ТБ.
Читать полностью…
Как можно скопировать данные из одного клика в другой?
Читать полностью…
ну это не единоразовое
каждый день в 7:30 начинаются отчеты и начинается такой тупняк
это среднее по больнице... в целом не значит вообще ничего и ничего не ловит...
смотрите system.query_log свой если не отключили его конечно ...
latency по avg не смотрят, смотрят по квартилям
SELECT hostName() h, toStartOfHour(event_time), arrayMap(x->formatReadableTimeDelta(x), quantiles(0.5,0.9,0.99)(query_duration_ms)) AS timings, count() FROM clusterAllReplica('your-cluster',system.query_log) WHERE event_date=today() AND query_duration_ms > 0 GROUP BY ALL
Есть 4 инстанса (2 шарда + 2 реплики)
Со временем стали появляться замедления, в пиковые время
Но нагрузка копеечная - в обычное время (по метрикам) 3 запроса в секунду, latencies (avg) 15 мс.
А в пике 12 запросов, 300 мс
По метрикам ресурсы не выжраты, ЦПУ не в потолок, памяти тоже с лихвой.
Как проанализировать во что упирается?
С чего начать? Что почитать?
посмотрел "долгие запросы" - ну раз в час бывает долгий запрос > 3 и все
конечно не ответ на вопрос, но кликхаус сам неплохо может как читать из кафки, так и писать в нее через движок таблицы Kafka. Т.е. возможно вам для этого и не нужен kafka connect
Читать полностью…
ну смотря сколько у вас дисков на cold в старом и сколько в новом, может потребоваться потаскать не совсем 1 к 1, а в остальном да, создаете таблицу на новом кластере, тащите в детачед данные из под freeze-снапшота, аттачите их, всё должно быть нормально
Читать полностью…
Добрый день, коллеги! У меня есть два кластера ClickHouse. На старом кластере настроен cold storage, и на новом тоже. Как я могу перенести cold storage со старого кластера на новый? Если использовать подход из этой статьи https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/rsync/ , будет ли работать cold storage на новом кластере?
Просто инсерт не проходит
МВ - триггер на вставку. 1 сломанный триггер (мв) = все сломанные мв
Можно изменить это прведение
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#ignore_materialized_views_with_dropped_target_table
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#allow_materialized_view_with_bad_select
https://clickhouse.com/docs/ru/operations/settings/settings?ysclid=mbgv2e03b1149166168#materialized_views_ignore_errors
к сожалению attach from remote сделать нельзя из коробки
Читать полностью…
Тогда выше я написал. Это один из способов
Читать полностью…
А смысл копировать в новый на поврежденный сторадж ? Я не понял
Читать полностью…
т.е. нижняя блокирует все подряд? а каким образом она блокирует? перестает работать самая первая? она начинает копить данные?
Читать полностью…