ClickHouse не тормозит

19 июля 2025 13:37

за все надо платить
1. батч может доставляться дольше, если собирается дольше
2. в случае проблем потери больше

ClickHouse не тормозит

18 июля 2025 17:09

ну укажите все колонки как параметры - будет принимать

ClickHouse не тормозит

18 июля 2025 16:52

вам, чтобы с кафкой работать как с продюсером, потребуется clickhouse-client или clickhouse_driver на python.
В этих двух местах, точно работает. А например в DataGrip будет лететь ошибка...
(Кажется работает бот на удаление одинаковых сообщений)

ClickHouse не тормозит

18 июля 2025 16:43

я возлагал надежды на встроенный в клик librdkafka

ClickHouse не тормозит

18 июля 2025 16:42

консьюмеры норм, 500млн таких же толстых строк за 9 часов загружаем в клик

ClickHouse не тормозит

18 июля 2025 16:39

Вопрос в том какие либы и как спроектировано будет

ClickHouse не тормозит

18 июля 2025 16:38

значит все таки сказки в доках про продюсеры, ладно, буду пробовать
спасибо хоть предупредили

ClickHouse не тормозит

18 июля 2025 16:37

Но это извращение)))

ClickHouse не тормозит

18 июля 2025 16:37

источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную

ClickHouse не тормозит

18 июля 2025 16:36

а кто источник данных для этой таблицы, кто отправляет

матвьюха из какой-то другой таблицы семейства мержттри ?

ClickHouse не тормозит

18 июля 2025 16:34

у меня планы более амбициозные: 1.5 млрд строк, причем довольно толстых, колонок на сто)

ClickHouse не тормозит

18 июля 2025 16:32

ну попробуйте проинсертить 20млн строк

ClickHouse не тормозит

18 июля 2025 16:18

Если у нас дисковый массив, где операционная система живёт, именно такой, то норм?

ClickHouse не тормозит

18 июля 2025 16:15

[ для настоящего прода с миллиардами записей в день ]

Если операционная система на отдельном дисковом массиве (допустим, зеркало) от дискового массива с данными (RAID10), то нормально ли кипер устанавливать туда?
(Вроде у них с кликхаусом за низколатентный доступ к дискам конкуренция была).

(Памятью кипера обеспечить через недопущение клику всё захватывать - не вопрос, это всё равно надо делать, чтобы OOM предотвращать)

ClickHouse не тормозит

18 июля 2025 15:52

Всем привет, а поделитесь опытом. Где лучше киперы располагать. На тех же машинах, где сам клик, либо в кубере, либо на отдельных машинах?

ClickHouse не тормозит

19 июля 2025 13:34

Подскажите, а какие есть недостатки есть у включенной настройки distributed_background_insert_batch при использовании вставок через Distributed таблицы?
В документации написано, что перформанс кластера улучшится
Почему она тогда не включена по дефолту?)

ClickHouse не тормозит

18 июля 2025 17:06

Подскажите плиз, может ли UDF принимать на вход строку таблицы?

ClickHouse не тормозит

18 июля 2025 16:48

версия клика 25.3.2, если что

ClickHouse не тормозит

18 июля 2025 16:43

если продюсеры не взлетят, придется что то колхозить

ClickHouse не тормозит

18 июля 2025 16:41

Я так понимаю там все сырое пока, вроде недавно завезли🤔

ClickHouse не тормозит

18 июля 2025 16:39

Вообще тупой пайтон на это написать недолго

ClickHouse не тормозит

18 июля 2025 16:38

хз, все что у нас было с движками кафка, стараемся от них уходить

ClickHouse не тормозит

18 июля 2025 16:37

Можно через пайплайн терминальный))))))

ClickHouse не тормозит

18 июля 2025 16:36

у меня на миллионе все ломалось, просто отваливается с таймаутом, или с ошибкой что не смогло закомитить

ClickHouse не тормозит

18 июля 2025 16:34

я отдельную таблицу под продюсер создаю

ClickHouse не тормозит

18 июля 2025 16:32

Работает оно так себе
И замедляет инсерт в основную таблицу из котрой ппередиыается в Кафка Энжин

ClickHouse не тормозит

18 июля 2025 16:29

https://clickhouse.com/docs/integrations/kafka/kafka-table-engine#1-inserting-rows-directly
это не сказки, я пробовал инсерт в kafka-таблицу, продюсер все отправляет в топик

ClickHouse не тормозит

18 июля 2025 16:18

киперу/зукиперу нужны десятки тысяч IOPS, т.е. не раид нужен, а SSD, лучше NMVE

ClickHouse не тормозит

18 июля 2025 15:57

для настоящего прода с миллиардами записей в день, множеством таблиц, партиций, шардов, на отдельных машинах, с кучей памяти и nvme дисками

ClickHouse не тормозит

18 июля 2025 15:41

кх не умеет продюсить в кафку, выгружайте в csv