ClickHouse не тормозит

16 сентября 2025 20:47

Коллеги, добрый день! Подскажите, кто-то пробовал в clickhouse реализовать аналог ресурсных групп, которые есть в других БД? Интересует сценарий, при котором несколько пользователей будут иметь общий для них кусок ресурсов, которые они будут шарить друг с другом «толкаясь», используя все что не используют другие пользователи группы в данный момент

ClickHouse не тормозит

16 сентября 2025 19:18

DEFAULT [] можно не указывать — пустой массив будет использоваться автоматически.
Обновлять старые строки не нужно, если пустой массив — это корректное значение.
Пустые массивы в nested-структурах не несут негативных последствий и являются ожидаемым поведением.

ClickHouse не тормозит

16 сентября 2025 15:50

Поищите выше по чату, Denny о ней негативно отзывался.

ClickHouse не тормозит

16 сентября 2025 14:50

Я стараюсь не использовать экспериментал, потому что например експериментал mysql репликация в кликхаус нативная не дожила до стейбл релиза, а теперь ее даже нету в документации

ClickHouse не тормозит

16 сентября 2025 14:46

engine1 ENGINE = Kafka()

engine2 ENGINE = Kafka() SETTINGS kafka_keeper_path = '/clickhouse/{database}/experimental_kafka'

они совсем разные под капотом, там разный код

ClickHouse не тормозит

16 сентября 2025 14:42

Kafka engine выглядел для меня симпатично, а потом я поумнел

ClickHouse не тормозит

16 сентября 2025 14:38

>терминология для коннекторов Кафки, sink из Кафки куда-то

вам надо понять что открытая технология, любой может написать еще один коннектор который будет ровно также работать.

Но ОК, confluentinc/kafka-connect-clickhouse это на самом деле форк ClickHouse/clickhouse-kafka-connect

https://github.com/ClickHouse/clickhouse-kafka-connect/blob/main/docs/DESIGN.md
В общем они гарантируют exactly-once delivery
И хранят оффсеты в кипере, и делают дедуп блоков.

Т.е. ваши мат вью будут консистенты

Ну только конечно без replacingmergetree, без дубликатов с вашей стороны (продьюсера).

ClickHouse не тормозит

16 сентября 2025 14:22

если вы думаете что кому-то понятно что такое "sink connector", то нет -- не всем

https://github.com/Altinity/clickhouse-sink-connector/

https://github.com/ClickHouse/clickhouse-kafka-connect

https://github.com/confluentinc/kafka-connect-clickhouse

ClickHouse не тормозит

16 сентября 2025 14:16

по идее, раз есть это, значит координация между кластерами есть
и RefMV созданных ON CLUSTER может выполняться только на одном кластере с последующей раскаткой изменений

In APPEND mode, coordination can be disabled using SETTINGS all_replicas = 1. This makes replicas do refreshes independently of each other. In this case ReplicatedMergeTree is not required.

ClickHouse не тормозит

16 сентября 2025 14:15

Всем привет, есть известная проблема, что Kafka engine может задублировать данные. Если использовать sink connector, есть ли там такая проблема или для него будут работать законы дедупликации, которые работают для обычных insert операций?

ClickHouse не тормозит

16 сентября 2025 14:10

в кафке есть понятие rps ? это что кол-во poll так там должно быть мало poll в секунду ?

у меня обычно в топике несколько тб данных (ttl неделя) если начать с новой группой читать с начала топика, то 5 ГБит сразу поток в kafkacat
ничего особенно и делать не надо

ClickHouse не тормозит

16 сентября 2025 13:45

Тут ещё момент в том, что матвью пишет (аппендит, но не транкейтит) данные в дистрибьютед, а напрямую в реплекейтед_мерж_три - нет. =(

ClickHouse не тормозит

16 сентября 2025 13:25

Задумка была такая. Получается Дистрибуция не работает с транкейтом?

ClickHouse не тормозит

16 сентября 2025 13:22

Из внешних таблиц в КХ. ЧТо под режимом подразумевается? Аппенд? Нет, только рефреш. В однонодном исполнении работало тип-топ.

ClickHouse не тормозит

16 сентября 2025 13:19

Добрый день, уважаемые! Товарищи, подскажите, где туплю и не дочитал/не допонял! Ситуация: есть кластер, создаём ReplicatedMergeTree, затем поверх Distributed. Создаём МатВью с рефрешем и... получаем вагон и маленькую тележку дубликатов. TRUNCATE не работает. Как быть?ReplicatedReplacingMergeTree пробовать?

ClickHouse не тормозит

16 сентября 2025 20:15

Добрый день.
Скажите, пожалуйста, верно ли я понимаю смысл max_block_size: в память читается с диска max_block_size сжатых строк в некий блок, разжимается и обрабатывается (по пайплайну запроса). Таким образом, увеличивая параметр, аллоцируется больше памяти (так как размер блока в памяти увеличивается), снижаются накладные расходы на обращение к диску и тп, снижаются расходы цпу (предположение, что для цпу не велика разница в том, разжимать/обрабатывать блок в условные 65409 или 100000 строк).
Суть ресерча: на чтении упираюсь в цпу (могу ошибаться), при этом используется полгигабайта озу при доступных 800гб.

ClickHouse не тормозит

16 сентября 2025 16:33

Привет. Я хочу провести миграцию и добавить колонку в nested структуру через ALTER. Не нашел достаточно информации в документации и чате.

Вот структура запроса:

ALTER TABLE my_table ADD COLUMN IF NOT EXISTS `Calls.new_column` Array(String)

ClickHouse не тормозит

16 сентября 2025 14:50

так а по другому не сделать kafka exactly once. Все кому нужен настоящий exactly once сами хранят оффсеты у себя.

и это да из за ребалансов консьюмеров и брокеров

ClickHouse не тормозит

16 сентября 2025 14:48

а какие предпосылки были к хранению закомиченных оффсетов в keeper из кафки. Из-за лагов сети? 🤔

ClickHouse не тормозит

16 сентября 2025 14:44

это вы еще не знаете что Kafka engine это не один engine , а два разных, но оба называются Kafka engine 🙂

ClickHouse не тормозит

16 сентября 2025 14:42

Спасибо, это мне подходит. Если продюсер дублирует, это будет другая война) Пройти реалтайм аналитику и не умереть - мой путь

ClickHouse не тормозит

16 сентября 2025 14:25

Я имею ввиду коннектор, который синкает данных из Кафка топика в Clickhouse. Из ваших примеров под мое описание точно подходит confluent kafka-connect-clickhouse. В свою защиту уточню, что это общая терминология для коннекторов Кафки, sink из Кафки куда-то, source - из бд в кафку.

ClickHouse не тормозит

16 сентября 2025 14:17

Да тут уже не столь важно, какую роль играла. По итогу такая связка не работает, как хочется.

ClickHouse не тормозит

16 сентября 2025 14:16

Мне просто концептуально непонятно, как нормально использовать clickhouse с replacing merge tree, т.к я хочу использовать силу движков, которые агрегируют данные и синкать туда данные через мат вью.

ClickHouse не тормозит

16 сентября 2025 14:13

вы не ответили какую роль у вас играет Distributed
применять к ней truncate нет смысла потому что в ней нет данных
может быть эта команда очистит текущую очередь, не более

ClickHouse не тормозит

16 сентября 2025 14:07

у вас refreshable matview скорее всего выполняется на каждой ноде и считает одно и тоже и сохраняет одно и тоже

я думаю что refreshable matview могут работать только будучи созданными в replicated database, тогда они понимают что есть реплика и считать надо один раз, но это нигде не отражено в документации

ClickHouse не тормозит

16 сентября 2025 13:42

Такая - это какая?
Distribution - это, грубо говоря, оформленное правило распределения данных по узлам

ClickHouse не тормозит

16 сентября 2025 13:22

И зачем вам Distributed? Вы распределяете запись по кластерам, имитируя шарды?

ClickHouse не тормозит

16 сентября 2025 13:21

Откуда и куда вы создаете рефреш МВ и в каком режиме оно?

ClickHouse не тормозит

16 сентября 2025 13:12

Только те, которые вы хотите реплицировать.
Это можно делать не сразу