11016
Обсуждаем ClickHouse
если продюсеры не взлетят, придется что то колхозить
Читать полностью…
Я так понимаю там все сырое пока, вроде недавно завезли🤔
Читать полностью…
Вообще тупой пайтон на это написать недолго
Читать полностью…
хз, все что у нас было с движками кафка, стараемся от них уходить
Читать полностью…
у меня на миллионе все ломалось, просто отваливается с таймаутом, или с ошибкой что не смогло закомитить
Читать полностью…
Работает оно так себе
И замедляет инсерт в основную таблицу из котрой ппередиыается в Кафка Энжин
https://clickhouse.com/docs/integrations/kafka/kafka-table-engine#1-inserting-rows-directly
это не сказки, я пробовал инсерт в kafka-таблицу, продюсер все отправляет в топик
киперу/зукиперу нужны десятки тысяч IOPS, т.е. не раид нужен, а SSD, лучше NMVE
Читать полностью…
для настоящего прода с миллиардами записей в день, множеством таблиц, партиций, шардов, на отдельных машинах, с кучей памяти и nvme дисками
Читать полностью…
кх не умеет продюсить в кафку, выгружайте в csv
Читать полностью…
ну смотрите утилизацию диска тогда в процентах... не из виртуалки ... а на хосте
Читать полностью…
там один HDD или хотя бы Raid массив в страйпе?
другие виртуалки в том числе с clickhouse?
консьюмеры норм, 500млн таких же толстых строк за 9 часов загружаем в клик
Читать полностью…
Вопрос в том какие либы и как спроектировано будет
Читать полностью…
значит все таки сказки в доках про продюсеры, ладно, буду пробовать
спасибо хоть предупредили
источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную
Читать полностью…
а кто источник данных для этой таблицы, кто отправляет
матвьюха из какой-то другой таблицы семейства мержттри ?
у меня планы более амбициозные: 1.5 млрд строк, причем довольно толстых, колонок на сто)
Читать полностью…
Если у нас дисковый массив, где операционная система живёт, именно такой, то норм?
Читать полностью…
[ для настоящего прода с миллиардами записей в день ]
Если операционная система на отдельном дисковом массиве (допустим, зеркало) от дискового массива с данными (RAID10), то нормально ли кипер устанавливать туда?
(Вроде у них с кликхаусом за низколатентный доступ к дискам конкуренция была).
(Памятью кипера обеспечить через недопущение клику всё захватывать - не вопрос, это всё равно надо делать, чтобы OOM предотвращать)
Всем привет, а поделитесь опытом. Где лучше киперы располагать. На тех же машинах, где сам клик, либо в кубере, либо на отдельных машинах?
Читать полностью…
Привет.
Если нужно выгрузить большую реплицируемую таблицу в Kafka, как можно распараллелить этот процесс по хостам?
Пока мысли такие:
1. запускать на каждом хосте отдельную порцию по ключу сортировки, чтобы порции не пересекались между хостами
2. делить порции на части, чтобы селекты-инсерты не висели часами
3. желательно как то автоматизировать запуск, но шедулера нет и видимо не будет: https://github.com/ClickHouse/ClickHouse/issues/43250
если диск HDD то возможно не хватает диска, там в лог пишется частые мелкие вещи...
виртуалка на HDD там кто еще есть на этом HDD кроме этой виртуалки?
8 ядер,4 гб ram,диск HDD,окружение виртуалка не kubernetes
Читать полностью…