clickhouse_ru | Неотсортированное

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11016

Обсуждаем ClickHouse

Подписаться на канал

ClickHouse не тормозит

ну укажите все колонки как параметры - будет принимать

Читать полностью…

ClickHouse не тормозит

вам, чтобы с кафкой работать как с продюсером, потребуется clickhouse-client или clickhouse_driver на python.
В этих двух местах, точно работает. А например в DataGrip будет лететь ошибка...
(Кажется работает бот на удаление одинаковых сообщений)

Читать полностью…

ClickHouse не тормозит

я возлагал надежды на встроенный в клик librdkafka

Читать полностью…

ClickHouse не тормозит

консьюмеры норм, 500млн таких же толстых строк за 9 часов загружаем в клик

Читать полностью…

ClickHouse не тормозит

Вопрос в том какие либы и как спроектировано будет

Читать полностью…

ClickHouse не тормозит

значит все таки сказки в доках про продюсеры, ладно, буду пробовать
спасибо хоть предупредили

Читать полностью…

ClickHouse не тормозит

Но это извращение)))

Читать полностью…

ClickHouse не тормозит

источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную

Читать полностью…

ClickHouse не тормозит

а кто источник данных для этой таблицы, кто отправляет

матвьюха из какой-то другой таблицы семейства мержттри ?

Читать полностью…

ClickHouse не тормозит

у меня планы более амбициозные: 1.5 млрд строк, причем довольно толстых, колонок на сто)

Читать полностью…

ClickHouse не тормозит

ну попробуйте проинсертить 20млн строк

Читать полностью…

ClickHouse не тормозит

Если у нас дисковый массив, где операционная система живёт, именно такой, то норм?

Читать полностью…

ClickHouse не тормозит

[ для настоящего прода с миллиардами записей в день ]

Если операционная система на отдельном дисковом массиве (допустим, зеркало) от дискового массива с данными (RAID10), то нормально ли кипер устанавливать туда?
(Вроде у них с кликхаусом за низколатентный доступ к дискам конкуренция была).

(Памятью кипера обеспечить через недопущение клику всё захватывать - не вопрос, это всё равно надо делать, чтобы OOM предотвращать)

Читать полностью…

ClickHouse не тормозит

Всем привет, а поделитесь опытом. Где лучше киперы располагать. На тех же машинах, где сам клик, либо в кубере, либо на отдельных машинах?

Читать полностью…

ClickHouse не тормозит

Привет.
Если нужно выгрузить большую реплицируемую таблицу в Kafka, как можно распараллелить этот процесс по хостам?
Пока мысли такие:
1. запускать на каждом хосте отдельную порцию по ключу сортировки, чтобы порции не пересекались между хостами
2. делить порции на части, чтобы селекты-инсерты не висели часами
3. желательно как то автоматизировать запуск, но шедулера нет и видимо не будет: https://github.com/ClickHouse/ClickHouse/issues/43250

Читать полностью…

ClickHouse не тормозит

Подскажите плиз, может ли UDF принимать на вход строку таблицы?

Читать полностью…

ClickHouse не тормозит

версия клика 25.3.2, если что

Читать полностью…

ClickHouse не тормозит

если продюсеры не взлетят, придется что то колхозить

Читать полностью…

ClickHouse не тормозит

Я так понимаю там все сырое пока, вроде недавно завезли🤔

Читать полностью…

ClickHouse не тормозит

Вообще тупой пайтон на это написать недолго

Читать полностью…

ClickHouse не тормозит

хз, все что у нас было с движками кафка, стараемся от них уходить

Читать полностью…

ClickHouse не тормозит

Можно через пайплайн терминальный))))))

Читать полностью…

ClickHouse не тормозит

у меня на миллионе все ломалось, просто отваливается с таймаутом, или с ошибкой что не смогло закомитить

Читать полностью…

ClickHouse не тормозит

я отдельную таблицу под продюсер создаю

Читать полностью…

ClickHouse не тормозит

Работает оно так себе
И замедляет инсерт в основную таблицу из котрой ппередиыается в Кафка Энжин

Читать полностью…

ClickHouse не тормозит

https://clickhouse.com/docs/integrations/kafka/kafka-table-engine#1-inserting-rows-directly
это не сказки, я пробовал инсерт в kafka-таблицу, продюсер все отправляет в топик

Читать полностью…

ClickHouse не тормозит

киперу/зукиперу нужны десятки тысяч IOPS, т.е. не раид нужен, а SSD, лучше NMVE

Читать полностью…

ClickHouse не тормозит

для настоящего прода с миллиардами записей в день, множеством таблиц, партиций, шардов, на отдельных машинах, с кучей памяти и nvme дисками

Читать полностью…

ClickHouse не тормозит

кх не умеет продюсить в кафку, выгружайте в csv

Читать полностью…

ClickHouse не тормозит

ну смотрите утилизацию диска тогда в процентах... не из виртуалки ... а на хосте

Читать полностью…
Подписаться на канал