Обсуждаем ClickHouse
ну укажите все колонки как параметры - будет принимать
Читать полностью…вам, чтобы с кафкой работать как с продюсером, потребуется clickhouse-client или clickhouse_driver на python.
В этих двух местах, точно работает. А например в DataGrip будет лететь ошибка...
(Кажется работает бот на удаление одинаковых сообщений)
я возлагал надежды на встроенный в клик librdkafka
Читать полностью…консьюмеры норм, 500млн таких же толстых строк за 9 часов загружаем в клик
Читать полностью…Вопрос в том какие либы и как спроектировано будет
Читать полностью…значит все таки сказки в доках про продюсеры, ладно, буду пробовать
спасибо хоть предупредили
источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную
Читать полностью…а кто источник данных для этой таблицы, кто отправляет
матвьюха из какой-то другой таблицы семейства мержттри ?
у меня планы более амбициозные: 1.5 млрд строк, причем довольно толстых, колонок на сто)
Читать полностью…Если у нас дисковый массив, где операционная система живёт, именно такой, то норм?
Читать полностью…[ для настоящего прода с миллиардами записей в день ]
Если операционная система на отдельном дисковом массиве (допустим, зеркало) от дискового массива с данными (RAID10), то нормально ли кипер устанавливать туда?
(Вроде у них с кликхаусом за низколатентный доступ к дискам конкуренция была).
(Памятью кипера обеспечить через недопущение клику всё захватывать - не вопрос, это всё равно надо делать, чтобы OOM предотвращать)
Всем привет, а поделитесь опытом. Где лучше киперы располагать. На тех же машинах, где сам клик, либо в кубере, либо на отдельных машинах?
Читать полностью…Привет.
Если нужно выгрузить большую реплицируемую таблицу в Kafka, как можно распараллелить этот процесс по хостам?
Пока мысли такие:
1. запускать на каждом хосте отдельную порцию по ключу сортировки, чтобы порции не пересекались между хостами
2. делить порции на части, чтобы селекты-инсерты не висели часами
3. желательно как то автоматизировать запуск, но шедулера нет и видимо не будет: https://github.com/ClickHouse/ClickHouse/issues/43250
Подскажите плиз, может ли UDF принимать на вход строку таблицы?
Читать полностью…если продюсеры не взлетят, придется что то колхозить
Читать полностью…Я так понимаю там все сырое пока, вроде недавно завезли🤔
Читать полностью…Вообще тупой пайтон на это написать недолго
Читать полностью…хз, все что у нас было с движками кафка, стараемся от них уходить
Читать полностью…у меня на миллионе все ломалось, просто отваливается с таймаутом, или с ошибкой что не смогло закомитить
Читать полностью…Работает оно так себе
И замедляет инсерт в основную таблицу из котрой ппередиыается в Кафка Энжин
https://clickhouse.com/docs/integrations/kafka/kafka-table-engine#1-inserting-rows-directly
это не сказки, я пробовал инсерт в kafka-таблицу, продюсер все отправляет в топик
киперу/зукиперу нужны десятки тысяч IOPS, т.е. не раид нужен, а SSD, лучше NMVE
Читать полностью…для настоящего прода с миллиардами записей в день, множеством таблиц, партиций, шардов, на отдельных машинах, с кучей памяти и nvme дисками
Читать полностью…кх не умеет продюсить в кафку, выгружайте в csv
Читать полностью…ну смотрите утилизацию диска тогда в процентах... не из виртуалки ... а на хосте
Читать полностью…