11016
Обсуждаем ClickHouse
там запрос в сообщении поправлен
/channel/clickhouse_ru/423248
GROUP BY ALL в конец добавьте
А сколько вам обходится такое хранилище + трафик в месяц на гигабайт данных ?
Читать полностью…
Для разбора какой процесс где срал в указанный период. Мониторинг этого не умеет. Некоторые datadog это умеет, но стоит космос. Вообщем учитывая бесплатность оттадача просто космос.
Читать полностью…
Iotop или htop
Сеть iperf кажись. Не помню точно.
А как смотреть нагрузку на кластер в реальном времени, если метрики дают все равно с задержкой инфу?
Читать полностью…
40 Гб будет по идее относительно быстро (1-2 часа максимум)
Читать полностью…
40 можно кучей способов. Хоть через ремот
Читать полностью…
Они довольно долго мне не хотят отвечать, поэтому решил своими силами.
БД порядка 40гб, поэтому думаю через бэкап на локальную машину даже можно как-нибудь
Моё почтение, Господа!
Помогите, пожалуйста, мне со следующим вопросом 🙏
1. Есть БД на Clickhouse на одном аккаунте yandex.cloud
(1 кластер, 1 БД)
2. Необходимо переместить БД в новый кластер в ином аккаунте yandex.cloud.
Каким образом это сделать, как можно проще? Запутался в CLI, и правах доступа.
Спасибо за отклик 🙏
убедитесь!!! что мы вообще говорим об одних и тех же запросах в свободное время и в пиках
может быть так что вы думаете что запросы одни и теже
а на самом деле в пике в 7.30 стартует демон который запускает тяжелый запрос + тогда же стартует бекап + рсинк + еще что-то
возьмите запрос в свободное время и его же в пиковое
сравните ресурсы по query_log
есть различия ?
сделайте тестовый стенд из такого же кластера с теми же данными и дайте ему пиковую нагрузку
воспроизводится 100%, ежедневно, в 7:30 утра
htop не показывает что упирается во что-то, метрики тоже
но в что-то же упирается...
только смотрите в реальном времени, а не по вашим метрикам
метрики ведь собираются не в реальном времени, а с интервалом
возможно у вас тормоза как раз между интервалами сбора метрик
В 4 раза дешевле цены за диск. Траффик в одном регионе моего провайдера не тарифицируется, тарифицируются запросы. При размере файлов от 100 кб плата за запросы уже несущественна.
Читать полностью…
По-моему гениально) Могу уточнить, какое количество файлов на s3 ?
Читать полностью…
atop -r /var/log/atop/atop_20250601 -b 12:00 :)
Читать полностью…
atop. Плюс его как сервис можно запустить - будет делать снапшоты, можно настроить раз в 10 секунд. Единственный инструмент который я знаю который умеет это компакто делать по процессам
Читать полностью…
Я пока для себя выбрал такой путь: первичный источник данных у меня s3, и я могу переналить все данные с нуля всегда.
S3 это "резиновое" хранилище, которое отказоустойчево и многократно дешевле любого кластера ch.
Clickhouse у меня это только движок аггрегации и поиска. То есть копия таблицы это просто переналивка данных в новую таблицу.
Такой подход мне позволяет, во первых, хранить на дорогостоящем диске только аггрегированные данные, во вторых - менять схему как хочу, просто создавая таблицу, и наливая в нее данные заново. Никогда не буду возиться с миграцией и синхронизацией.
В s3 данные разбиты на файлы, имя которых строится из такого же кортежа, как первичный ключ в clickhouse, поэтому я могу спокойно узнать, какой диапазон данных в каком файле лежит, чтобы залить эти данные.
Файлы в s3 храню в jsonl -> brotli, с фактором компрессии около 8, и clickhouse такие файлы может на вход схавать без рекомпрессии. Очень экономно выходит. Возможно, в csv было бы эффективнее сжатие, но и так хорошо.
Добрый день!
в описании к настройке max_replicated_logs_to_keep (по умолчанию - 1000)
https://clickhouse.com/docs/operations/settings/merge-tree-settings#max_replicated_logs_to_keep
How many records may be in the ClickHouse Keeper log if there is inactive replica. An inactive replica becomes lost when when this number exceed.
Подскажите, пожалуйста, последовательность операций, что б отработал пессимистичный сценарий с потерей реплики
Вам в поддержку Яндекса.
Скорее всего трансфером предложат или через бэкап.
Привет всем, не до конца понимаю синтаксис для смены типа колонки с int64 на string. Вот что пытаюь сделать сейчас, а как верно делать?
ALTER TABLE foo MODIFY COLUMN Nnommodif String;
так же изучите вашу систему и найдите демона или скрипт который начинает работе в 7.30
изучите его запросы, по индексам ли ? сколько памяти используют и тп
что с ио ? метрики по нему есть ? тоже молчат ?
а сеть ?
а там, ну сильно например, прилетает 12 запросов, каждый из которых жрет по 2 гигабайта памяти, а у вас всего 8 гиг на сервере
Читать полностью…
сделайте нагрузочное тестирование, возьмите те же 12 запросов и просто запустите их со своей машины одновременно
если воспроизводится - можно смотреть абсолютно все, от загрузки сети, то ио цпу памяти и тп
запрос у вас сам по себе глобальный на кластер ? есть global join ?
Читать полностью…