11016
Обсуждаем ClickHouse
источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную
Читать полностью…
а кто источник данных для этой таблицы, кто отправляет
матвьюха из какой-то другой таблицы семейства мержттри ?
у меня планы более амбициозные: 1.5 млрд строк, причем довольно толстых, колонок на сто)
Читать полностью…
Если у нас дисковый массив, где операционная система живёт, именно такой, то норм?
Читать полностью…
[ для настоящего прода с миллиардами записей в день ]
Если операционная система на отдельном дисковом массиве (допустим, зеркало) от дискового массива с данными (RAID10), то нормально ли кипер устанавливать туда?
(Вроде у них с кликхаусом за низколатентный доступ к дискам конкуренция была).
(Памятью кипера обеспечить через недопущение клику всё захватывать - не вопрос, это всё равно надо делать, чтобы OOM предотвращать)
Всем привет, а поделитесь опытом. Где лучше киперы располагать. На тех же машинах, где сам клик, либо в кубере, либо на отдельных машинах?
Читать полностью…
Привет.
Если нужно выгрузить большую реплицируемую таблицу в Kafka, как можно распараллелить этот процесс по хостам?
Пока мысли такие:
1. запускать на каждом хосте отдельную порцию по ключу сортировки, чтобы порции не пересекались между хостами
2. делить порции на части, чтобы селекты-инсерты не висели часами
3. желательно как то автоматизировать запуск, но шедулера нет и видимо не будет: https://github.com/ClickHouse/ClickHouse/issues/43250
если диск HDD то возможно не хватает диска, там в лог пишется частые мелкие вещи...
виртуалка на HDD там кто еще есть на этом HDD кроме этой виртуалки?
8 ядер,4 гб ram,диск HDD,окружение виртуалка не kubernetes
Читать полностью…
вы так и будете отвечать на вопросы выборочно?
Читать полностью…
Да вот жешь пытался найти. Видимо плохо искал
Читать полностью…
{partition_id}_{min_block_number}_{max_block_number}_{level}
level - сколько раз данные этого парта проходили слияние.
Каждый инсерт порождает один или несколько партов (в зависимости от того, в какое количество partitions попадают его данные), и все эти парты поначалу имеют level 0.
По мере слияний - укрупняются, получают бОльшие значение номера
у меня на миллионе все ломалось, просто отваливается с таймаутом, или с ошибкой что не смогло закомитить
Читать полностью…
Работает оно так себе
И замедляет инсерт в основную таблицу из котрой ппередиыается в Кафка Энжин
https://clickhouse.com/docs/integrations/kafka/kafka-table-engine#1-inserting-rows-directly
это не сказки, я пробовал инсерт в kafka-таблицу, продюсер все отправляет в топик
киперу/зукиперу нужны десятки тысяч IOPS, т.е. не раид нужен, а SSD, лучше NMVE
Читать полностью…
для настоящего прода с миллиардами записей в день, множеством таблиц, партиций, шардов, на отдельных машинах, с кучей памяти и nvme дисками
Читать полностью…
кх не умеет продюсить в кафку, выгружайте в csv
Читать полностью…
ну смотрите утилизацию диска тогда в процентах... не из виртуалки ... а на хосте
Читать полностью…
там один HDD или хотя бы Raid массив в страйпе?
другие виртуалки в том числе с clickhouse?
Надо читать лог кипера. Возможно мало. Неделю назад тут писали что 30 пришлось памяти поставить чтобы кипер заработал, но снепшот там был гигабайт
Читать полностью…
4гб ОЗУ для кипера это мало?
всего реплик 4
кворум из 3 узлов на каждом по 3гб ОЗУ стоит
Но вообще есть для таких вопросов документация клика со встроенным AI, плюс докладов куча.
Читать полностью…
по крайней мере, можно спросить у clickhouse AI
Читать полностью…