ClickHouse не тормозит

08 июня 2025 17:54

Это уже лирика и эмпирика. Главное, что есть решение ,)

ClickHouse не тормозит

08 июня 2025 16:15

Похоже уже чаще наоборот

ClickHouse не тормозит

08 июня 2025 15:45

Final проще в запросе написать, но argMax по ресурсам выигрывает

ClickHouse не тормозит

08 июня 2025 14:56

у нас главный поинт - одна плоская таблица

ClickHouse не тормозит

08 июня 2025 14:56

Мы триллионы строк хранили на одном хосте, и было норм :)

ClickHouse не тормозит

08 июня 2025 14:55

вооот.... тут мы и поняли что надо что-то с этим делать )

ClickHouse не тормозит

08 июня 2025 14:54

а Файнал как я понял будет очень дорогой, если в базе уже будут миллионы строк.

ClickHouse не тормозит

08 июня 2025 14:53

Не удаляются. Надо использовать FINAL - https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-final-clause-speed/

ClickHouse не тормозит

08 июня 2025 14:48

1. Вместо FINAL можно использовать GROUP BY + функции вроде argMax(), но естественно тогда это вручную нужно прописывать

ClickHouse не тормозит

08 июня 2025 14:42

взял дэфолт конфигурацию на 3 реплики в clickhouse cloud
как энджин автоматом у всех таблиц SharedMergeTree

ClickHouse не тормозит

08 июня 2025 07:43

что показывает select * from system.clusters

ClickHouse не тормозит

08 июня 2025 05:43

Всем привет, вожусь с проблемой уже достаточно долго, но думаю, что решение элементарное
До этого всегда юзал оупенсурсный клик, сейчас решил попробовать Clickhouse Cloud + SharedMergeTree
Сделал сетап на 3 реплики, но проблема в том, что поехали все старые запросы.
Условно даже count(*) просто не тот, так как возвещает только кол-во строк на одном шарде (условно в таблице 170к, возвращается 2300)

Где можно почитать, что с этим делать? Заранее благодарен за ответ

ClickHouse не тормозит

07 июня 2025 18:33

Лимиты в целом штука очень нетривиальная для SQL баз почему-то

ClickHouse не тормозит

07 июня 2025 17:56

кликхаус не пробрасывает limit 10 на сторону MySQL - те он вычитывает все 6м записей. Пробрасывается только where. попробуйте where id = ? написать - должно моментально отработать как и в MySQL

ClickHouse не тормозит

07 июня 2025 11:56

ну тогда insert_quorum=число_реплик можно поставить и посмотреть не сильно ли начал лагать топик

ClickHouse не тормозит

08 июня 2025 16:16

Ну за свежие версии не скажу точно. Раньше так было

ClickHouse не тормозит

08 июня 2025 16:11

С чего бы это так категорично? Версия, колонки в запросе, партиционирование, order by таблицы, включенные оптимизации - все влияет. Прошло то время когда можно было уверенно говорить что argMax выигрывает.

ClickHouse не тормозит

08 июня 2025 14:57

final очень оптимизированный. При правильном партиционировании, при наличии 1 парта в партиции FINAL автоматически пропускается. Запускайте OPTIMIZE FINAL на старые партиции и будет вам счастье

ClickHouse не тормозит

08 июня 2025 14:56

звучит отлично тогда )

ClickHouse не тормозит

08 июня 2025 14:55

Не нужно использовать GROUP BY вместо FINAL в свежих версиях если колонки группировки такиеже как ORDER BY таблицы. Это не быстрее, а скорее - медленнее

ClickHouse не тормозит

08 июня 2025 14:55

Это осуществляется фоновыми мержами, нет никакой гарантии, когда они запустятся

ClickHouse не тормозит

08 июня 2025 14:54

удаляются, проверяли, там на фоне видимо дефолтная политика бежит (мы сделали дефолтную инсталляцию) и через 4-5 минут старая строка удаляется из базы

ClickHouse не тормозит

08 июня 2025 14:49

вручную в смысле в самом квери по таблице? потом что там старые строки как показывает практика удаляется только в течени 4-10 минут

ClickHouse не тормозит

08 июня 2025 14:43

пересоздал инстансы, прогнал миграции снова и вроде бы починилось... не менял ничего абсолютно

ClickHouse не тормозит

08 июня 2025 14:41

Всем привет, я новичок с ClickHouse, есть вопрос:
У нас одна большая таблица в ClickHouse (ожидаются сотни миллионов строк), хотим избежать join'ов. Для реализации обновлений используем ReplacingMergeTree с колонкой version.
1. Как правильно забирать только последнюю версию строки по ключу (без использования FINAL в проде)? На самом деле задачи не вообще строку забрать а построить квери по всей таблице так, чтобы старые дубли были проигнорированы
2. Какие подводные камни у такого подхода на больших таблицах? Как избежать merge-затор, как поддерживать производительность?
3. Есть ли best practices по управлению размерами и скоростью фоновыми merge-ов?
Интересует опыт реального продакшна.

ClickHouse не тормозит

08 июня 2025 07:42

вы точно реплики сделали а не шарды?

вообще sharedmergetree никаких реплик не надо насколько я помню

ClickHouse не тормозит

07 июня 2025 18:36

Вот тут в pr написано почему все непросто https://github.com/ClickHouse/ClickHouse/pull/80070

ClickHouse не тормозит

07 июня 2025 18:03

ещё раз спасибо, нащел в документации
надо более внимательней читать
“The rest of the conditions and the LIMIT sampling constraint are executed in ClickHouse only after the query to MySQL finishes.”

ClickHouse не тормозит

07 июня 2025 17:55

Всем привет.
Создал таблицу используя ENGINE = MySQL
Таблица в 6M записей, проблема в том что если я делаю запрос на mysql стороне всё летает
select * from some_table limit 10;
а вот на стороне clickhouse всё как виснет, хотя есть другие таблицы в 2M записей читает быстро.
Может кто то сталкивался?
Спасибо

ClickHouse не тормозит

07 июня 2025 11:53

если в шард вставляете, то решит по идее, если не в шард, то есть insert_distributed_sync настройка, но наверное оно может затормозить вставку прилично