11016
Обсуждаем ClickHouse
Вам в поддержку Яндекса.
Скорее всего трансфером предложат или через бэкап.
Привет всем, не до конца понимаю синтаксис для смены типа колонки с int64 на string. Вот что пытаюь сделать сейчас, а как верно делать?
ALTER TABLE foo MODIFY COLUMN Nnommodif String;
так же изучите вашу систему и найдите демона или скрипт который начинает работе в 7.30
изучите его запросы, по индексам ли ? сколько памяти используют и тп
что с ио ? метрики по нему есть ? тоже молчат ?
а сеть ?
а там, ну сильно например, прилетает 12 запросов, каждый из которых жрет по 2 гигабайта памяти, а у вас всего 8 гиг на сервере
Читать полностью…
сделайте нагрузочное тестирование, возьмите те же 12 запросов и просто запустите их со своей машины одновременно
если воспроизводится - можно смотреть абсолютно все, от загрузки сети, то ио цпу памяти и тп
запрос у вас сам по себе глобальный на кластер ? есть global join ?
Читать полностью…
кто ж его знает.
я метрики только вижу, а как тут сказали это "температура на марсе"
Code: 46. DB::Exception: Unknown table function clusterAllReplica. Maybe you meant: ['clusterAllReplicas']: or incorrect parameterized view. (UNKNOWN_FUNCTION) (version 23.10.4.25 (official build))
а пиковые запросы тяжелые ? 300мс на каждый запрос в пике или же на все в сумме ?
Читать полностью…
посмотрите IO диска, может быть КХ решил перестроить парты
Читать полностью…
у нас по прометеус метрикам из экспортера
increase(ClickHouseProfileEvents_QueryTimeMicroseconds{env="$environment"}[$__rate_interval]) / increase(ClickHouseProfileEvents_Query{env="$environment"}[$__rate_interval])
Читать полностью…
Коллеги, всем привет.
Прошу подсказать, как можно получить список и причину перезапуска службы ClickHouse с указанием времени (или список стартов службы за нужный интервал)?
Использую следующий запрос, вижу только два запуска, но точно знаю, что служба сегодня тоже падала, хотя эти события запросом не вижу.
SELECTЧитать полностью…
event_time AS start_time,
'Server started' AS event_type,
message
FROM system.text_log
WHERE
(message LIKE '%Starting ClickHouse%' OR message LIKE '%Server started%')
AND event_time BETWEEN toDate('2025-01-01') AND now()
ORDER BY event_time DESC;
Это я знаю. Такой вариант использую. Но сейчас есть задача именно в синк/сорс коннекторах для кафки коннект
Читать полностью…
Моё почтение, Господа!
Помогите, пожалуйста, мне со следующим вопросом 🙏
1. Есть БД на Clickhouse на одном аккаунте yandex.cloud
(1 кластер, 1 БД)
2. Необходимо переместить БД в новый кластер в ином аккаунте yandex.cloud.
Каким образом это сделать, как можно проще? Запутался в CLI, и правах доступа.
Спасибо за отклик 🙏
убедитесь!!! что мы вообще говорим об одних и тех же запросах в свободное время и в пиках
может быть так что вы думаете что запросы одни и теже
а на самом деле в пике в 7.30 стартует демон который запускает тяжелый запрос + тогда же стартует бекап + рсинк + еще что-то
возьмите запрос в свободное время и его же в пиковое
сравните ресурсы по query_log
есть различия ?
сделайте тестовый стенд из такого же кластера с теми же данными и дайте ему пиковую нагрузку
воспроизводится 100%, ежедневно, в 7:30 утра
htop не показывает что упирается во что-то, метрики тоже
но в что-то же упирается...
только смотрите в реальном времени, а не по вашим метрикам
метрики ведь собираются не в реальном времени, а с интервалом
возможно у вас тормоза как раз между интервалами сбора метрик
select * from system.query_log и найдите свой запрос
Читать полностью…
Code: 215. DB::Exception: Column `event_time is not under aggregate function and not in GROUP BY. Have columns: ['hostName()','count()','quantiles(0.5, 0.9, 0.99)(query_duration_ms)']: While processing hostName() AS h, toStartOfHour(event_time), arrayMap(x -> formatReadableTimeDelta(x), quantiles(0.5, 0.9, 0.99)(query_duration_ms)) AS timings, count(). (NOT_AN_AGGREGATE) (version 23.10.4.25 (official build)) `
пиковые запросы те же самые что в обычное время ? или это уже другие ?
Читать полностью…
ну это не единоразовое
каждый день в 7:30 начинаются отчеты и начинается такой тупняк
это среднее по больнице... в целом не значит вообще ничего и ничего не ловит...
смотрите system.query_log свой если не отключили его конечно ...
latency по avg не смотрят, смотрят по квартилям
SELECT hostName() h, toStartOfHour(event_time), arrayMap(x->formatReadableTimeDelta(x), quantiles(0.5,0.9,0.99)(query_duration_ms)) AS timings, count() FROM clusterAllReplica('your-cluster',system.query_log) WHERE event_date=today() AND query_duration_ms > 0 GROUP BY ALL
Есть 4 инстанса (2 шарда + 2 реплики)
Со временем стали появляться замедления, в пиковые время
Но нагрузка копеечная - в обычное время (по метрикам) 3 запроса в секунду, latencies (avg) 15 мс.
А в пике 12 запросов, 300 мс
По метрикам ресурсы не выжраты, ЦПУ не в потолок, памяти тоже с лихвой.
Как проанализировать во что упирается?
С чего начать? Что почитать?
посмотрел "долгие запросы" - ну раз в час бывает долгий запрос > 3 и все