11016
Обсуждаем ClickHouse
Странно кипер создавался ,чтобы исключить недостатки зукипера
Читать полностью…
Подскажите, а у clickhouse keeper или zookeper ? У меня clickhouse keeper просто дох, а с переходом на zoo стало лучше
Читать полностью…
так в ClickHouse Cloud нет шардов, там один шард и отсюда все проблемы с размером первичного индекса в памяти и скоростью селектов и попыткой ускорить селекты выполняя запрос многими репликами
Читать полностью…
Вроде альтинити и ClickHouse Cloud это никак не связанные вещи
Читать полностью…
В 4 раза дешевле цены за диск. Траффик в одном регионе моего провайдера не тарифицируется, тарифицируются запросы. При размере файлов от 100 кб плата за запросы уже несущественна.
Читать полностью…
По-моему гениально) Могу уточнить, какое количество файлов на s3 ?
Читать полностью…
atop -r /var/log/atop/atop_20250601 -b 12:00 :)
Читать полностью…
atop. Плюс его как сервис можно запустить - будет делать снапшоты, можно настроить раз в 10 секунд. Единственный инструмент который я знаю который умеет это компакто делать по процессам
Читать полностью…
Я пока для себя выбрал такой путь: первичный источник данных у меня s3, и я могу переналить все данные с нуля всегда.
S3 это "резиновое" хранилище, которое отказоустойчево и многократно дешевле любого кластера ch.
Clickhouse у меня это только движок аггрегации и поиска. То есть копия таблицы это просто переналивка данных в новую таблицу.
Такой подход мне позволяет, во первых, хранить на дорогостоящем диске только аггрегированные данные, во вторых - менять схему как хочу, просто создавая таблицу, и наливая в нее данные заново. Никогда не буду возиться с миграцией и синхронизацией.
В s3 данные разбиты на файлы, имя которых строится из такого же кортежа, как первичный ключ в clickhouse, поэтому я могу спокойно узнать, какой диапазон данных в каком файле лежит, чтобы залить эти данные.
Файлы в s3 храню в jsonl -> brotli, с фактором компрессии около 8, и clickhouse такие файлы может на вход схавать без рекомпрессии. Очень экономно выходит. Возможно, в csv было бы эффективнее сжатие, но и так хорошо.
Добрый день!
в описании к настройке max_replicated_logs_to_keep (по умолчанию - 1000)
https://clickhouse.com/docs/operations/settings/merge-tree-settings#max_replicated_logs_to_keep
How many records may be in the ClickHouse Keeper log if there is inactive replica. An inactive replica becomes lost when when this number exceed.
Подскажите, пожалуйста, последовательность операций, что б отработал пессимистичный сценарий с потерей реплики
у clickhouse cloud конечно clickhouse keeper
Читать полностью…
https://www.linkedin.com/company/altinity/ 11-50 employees
https://www.linkedin.com/company/clickhouseinc/ 201-500 employees
clickhouseinc в 10 раз больше чем altinity и у clickhouseinc valuation $6.35 billion
А кому доказывать то? История выхода КХ из Я общеизвестна же.
Читать полностью…
у них цены я сейчас глянул в 3 раза дешевле чем в яндексе лол
Читать полностью…
а его не альтинити разве держат? к рф он вроде отношения не имеет
Читать полностью…
там запрос в сообщении поправлен
/channel/clickhouse_ru/423248
GROUP BY ALL в конец добавьте
А сколько вам обходится такое хранилище + трафик в месяц на гигабайт данных ?
Читать полностью…
Для разбора какой процесс где срал в указанный период. Мониторинг этого не умеет. Некоторые datadog это умеет, но стоит космос. Вообщем учитывая бесплатность оттадача просто космос.
Читать полностью…
Iotop или htop
Сеть iperf кажись. Не помню точно.
А как смотреть нагрузку на кластер в реальном времени, если метрики дают все равно с задержкой инфу?
Читать полностью…
40 Гб будет по идее относительно быстро (1-2 часа максимум)
Читать полностью…
40 можно кучей способов. Хоть через ремот
Читать полностью…
Они довольно долго мне не хотят отвечать, поэтому решил своими силами.
БД порядка 40гб, поэтому думаю через бэкап на локальную машину даже можно как-нибудь