ClickHouse не тормозит

24 июля 2025 00:09

Коллеги, всем доброй ночи!
Имеется задача, ограничить тяжелые запросы от УЗ по нагрузке на CPU.
В документации подобного не нашел. Как сделать, чтобы при достижении, условно, потребления CPU одним запросом от конкретного пользователя, он получал эксепшн? Как-то это реализовать средствами ClickHouse возможно? max_threads - не очень подходит, видимо.
По ссылке инфы не нашел: https://clickhouse.com/docs/operations/settings/query-complexity?spm=a2ty_o01.29997173.0.0.6522c921Xl7nZ4#max_cpu_usage

ClickHouse не тормозит

23 июля 2025 20:55

Перенести метаданные таблицы в другое место и стартануть

ClickHouse не тормозит

23 июля 2025 19:41

какой в этом смысл вообще? какая разница сколько колонок в таблице, этот селект одинаково будет работать

ClickHouse не тормозит

23 июля 2025 19:19

в key_table всего два поля для ключа и ORDER BY такой же

ClickHouse не тормозит

23 июля 2025 19:10

не секунда конечно, но гораздо быстрее чем селектом

ClickHouse не тормозит

23 июля 2025 18:53

https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/fetch_alter_table/
с помощью fetch part + attach part можно быстро копирнуть всю таблицу, но мне только ключ нужен
причем желательно порциями забирать ключ, по одной десятой например

ClickHouse не тормозит

23 июля 2025 18:28

Привет.
Мне нужно вытащить из таблицы на сотни миллионов строк и сотню полей составной ключ из двух полей ORDER BY (key_col1, key_col2).
Может есть варианты получше чем select key_col1, key_col2 from huge_table?
По всей таблице бежать уж очень долго.

ClickHouse не тормозит

23 июля 2025 17:47

30тыс для каждого пользователя - сверх много) Цифру привёл как пример. Да, знаю что для транзакций необходима реляционная БД. Ai рекомендовал Cassandra, но на хабре прочёл, что читать из Кассандры долго. Хотя опять же в моем случае это не важно, просто интересно)

ClickHouse не тормозит

23 июля 2025 17:32

Мой ответ про постгрес вообщето, clickhouse не транзакционная система.

На мой взгляд json в БД имеет смысл в следующих случаях:
1. На вход и/или выход идут json и мы вход и выход хотим протоколировать
2. Сложные настройки
3. Мы эмулируем non sql key value бд

ClickHouse не тормозит

23 июля 2025 17:31

как по мне проблема с json это постоянная необходимость вместо group by X писать group by j.t.X.:Int64 чтобы написать банальный sum/groupby надо мозгами шевелить

ClickHouse не тормозит

23 июля 2025 17:29

и?
все равно если хотите чтобы работало быстро - парсите в отдельные поля

ClickHouse не тормозит

23 июля 2025 17:27

Так вроде буквально месяц назад в клик завезли продовый json?)

ClickHouse не тормозит

23 июля 2025 16:56

Или как лучше из s3 в клик примерно 300гб перегнать без спарка

ClickHouse не тормозит

23 июля 2025 16:54

обычно тормозит у тех, кто ничего не делает с тем чтобы он не тормозил )

ClickHouse не тормозит

23 июля 2025 16:51

Только записывать/извлекать данные, редактирования практически не будет. Со скоростью извлечения у Cassandra не все хорошо, насколько знаю, только запись быстрая

ClickHouse не тормозит

23 июля 2025 20:55

спасибо, так и сделал

ClickHouse не тормозит

23 июля 2025 19:59

коллеги добрый день, подскажите плз, есть ли флаг который позволяет при старте ch пропустить коррапченные таблицы? табличка с движком Iceberg не аттачится при старте, из за чего БД не стартует, хотелось бы стартовать без нее и потом разобраться уже с ней

ClickHouse не тормозит

23 июля 2025 19:29

этот вариант уже более 10 минут бежит и налил одну треть только

ClickHouse не тормозит

23 июля 2025 19:15

если быть более точным то у меня

insert into key_table select key_col1, key_col2 from huge_table;

ClickHouse не тормозит

23 июля 2025 18:54

select key_col1, key_col2 from huge_table

должен выполнится меньше чем за секунду в описанных условиях

покажите
time clickhouse-client -q 'select key_col1, key_col2 from huge_table format TSV' >> t.out

ClickHouse не тормозит

23 июля 2025 18:49

учитывая, что в клике разреженный индекс, то вряд ли можно откуда-то достать закэшированный набор всех уникальных значений колонок из order by
но сотня полей в случае select col1, col2 group by col1, col2 роли не играет, база же колоночная

ClickHouse не тормозит

23 июля 2025 18:02

Если на даче надо сделать скважину глубиной 40м, вы это не будете делать карьерным экскаватором. А угольный разрез вы не будете делать машиной для скважин. Т.е. процесс похож но не одно и тоже.

Невозможно использовать Cassandra вместо Clickhouse и наоборот.
Cassandra это одна из самых быстрых бд, причем она великолепно масштабируется. Но это Key/Value. Если одна машина под бд, можно сразу забыть про Cassandra.

ClickHouse не тормозит

23 июля 2025 17:35

30тыс. у каждого, это не многовато?

вы обсудите свою проблему с ai.
КХ не транзакционная система, и туда хрен вставишь надежно и эффективно.
берите mongo

ClickHouse не тормозит

23 июля 2025 17:31

аналогично
но неизбежно

ClickHouse не тормозит

23 июля 2025 17:30

Не, тут я согласен, я в целом противник json в базе ибо имею детскую травму по этому поводу

ClickHouse не тормозит

23 июля 2025 17:29

с другой стороны, если нужно только читать и писать json файлы, то зачем их сначала раскладывать в колонки, чтобы потом эти колонки опять собирать в один документ, тем более в колоночной базе )

ClickHouse не тормозит

23 июля 2025 17:13

И json в таблички превратить. Нефиг в БД json хранить, приучайтесь к хорошему

ClickHouse не тормозит

23 июля 2025 16:55

Ребят, привет, слушайте, столкнулись с проблемой, льем короч из s3 через insert from s3Cluster() и все это через airflow. Короч скрипт работает от 5 до 15 минут и собственно никаких ошибок не выдает, но данные грузятся не полностью, кто-нибудь с таким сталкивался?

ClickHouse не тормозит

23 июля 2025 16:52

Благодарю за ответ!) Просто хотелось узнать best-practices, ну и пощупать технологии)

ClickHouse не тормозит

23 июля 2025 16:50

Postresql вроде как при большом количестве данных тормозит. В моем случае подойдёт, конечно же, т.к. пользователей много не будет, но хотелось бы пощупать то что используют в больших компаниях)