clickhouse_ru | Неотсортированное

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11016

Обсуждаем ClickHouse

Подписаться на канал

ClickHouse не тормозит

Коллеги, всем доброй ночи!
Имеется задача, ограничить тяжелые запросы от УЗ по нагрузке на CPU.
В документации подобного не нашел. Как сделать, чтобы при достижении, условно, потребления CPU одним запросом от конкретного пользователя, он получал эксепшн? Как-то это реализовать средствами ClickHouse возможно? max_threads - не очень подходит, видимо.
По ссылке инфы не нашел: https://clickhouse.com/docs/operations/settings/query-complexity?spm=a2ty_o01.29997173.0.0.6522c921Xl7nZ4#max_cpu_usage

Читать полностью…

ClickHouse не тормозит

Перенести метаданные таблицы в другое место и стартануть

Читать полностью…

ClickHouse не тормозит

какой в этом смысл вообще? какая разница сколько колонок в таблице, этот селект одинаково будет работать

Читать полностью…

ClickHouse не тормозит

в key_table всего два поля для ключа и ORDER BY такой же

Читать полностью…

ClickHouse не тормозит

не секунда конечно, но гораздо быстрее чем селектом

Читать полностью…

ClickHouse не тормозит

https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/fetch_alter_table/
с помощью fetch part + attach part можно быстро копирнуть всю таблицу, но мне только ключ нужен
причем желательно порциями забирать ключ, по одной десятой например

Читать полностью…

ClickHouse не тормозит

Привет.
Мне нужно вытащить из таблицы на сотни миллионов строк и сотню полей составной ключ из двух полей ORDER BY (key_col1, key_col2).
Может есть варианты получше чем select key_col1, key_col2 from huge_table?
По всей таблице бежать уж очень долго.

Читать полностью…

ClickHouse не тормозит

30тыс для каждого пользователя - сверх много) Цифру привёл как пример. Да, знаю что для транзакций необходима реляционная БД. Ai рекомендовал Cassandra, но на хабре прочёл, что читать из Кассандры долго. Хотя опять же в моем случае это не важно, просто интересно)

Читать полностью…

ClickHouse не тормозит

Мой ответ про постгрес вообщето, clickhouse не транзакционная система.

На мой взгляд json в БД имеет смысл в следующих случаях:
1. На вход и/или выход идут json и мы вход и выход хотим протоколировать
2. Сложные настройки
3. Мы эмулируем non sql key value бд

Читать полностью…

ClickHouse не тормозит

как по мне проблема с json это постоянная необходимость вместо group by X писать group by j.t.X.:Int64 чтобы написать банальный sum/groupby надо мозгами шевелить

Читать полностью…

ClickHouse не тормозит

и?
все равно если хотите чтобы работало быстро - парсите в отдельные поля

Читать полностью…

ClickHouse не тормозит

Так вроде буквально месяц назад в клик завезли продовый json?)

Читать полностью…

ClickHouse не тормозит

Или как лучше из s3 в клик примерно 300гб перегнать без спарка

Читать полностью…

ClickHouse не тормозит

обычно тормозит у тех, кто ничего не делает с тем чтобы он не тормозил )

Читать полностью…

ClickHouse не тормозит

Только записывать/извлекать данные, редактирования практически не будет. Со скоростью извлечения у Cassandra не все хорошо, насколько знаю, только запись быстрая

Читать полностью…

ClickHouse не тормозит

спасибо, так и сделал

Читать полностью…

ClickHouse не тормозит

коллеги добрый день, подскажите плз, есть ли флаг который позволяет при старте ch пропустить коррапченные таблицы? табличка с движком Iceberg не аттачится при старте, из за чего БД не стартует, хотелось бы стартовать без нее и потом разобраться уже с ней

Читать полностью…

ClickHouse не тормозит

этот вариант уже более 10 минут бежит и налил одну треть только

Читать полностью…

ClickHouse не тормозит

если быть более точным то у меня

insert into key_table select key_col1, key_col2 from huge_table;

Читать полностью…

ClickHouse не тормозит

select key_col1, key_col2 from huge_table

должен выполнится меньше чем за секунду в описанных условиях

покажите
time clickhouse-client -q 'select key_col1, key_col2 from huge_table format TSV' >> t.out

Читать полностью…

ClickHouse не тормозит

учитывая, что в клике разреженный индекс, то вряд ли можно откуда-то достать закэшированный набор всех уникальных значений колонок из order by
но сотня полей в случае select col1, col2 group by col1, col2 роли не играет, база же колоночная

Читать полностью…

ClickHouse не тормозит

Если на даче надо сделать скважину глубиной 40м, вы это не будете делать карьерным экскаватором. А угольный разрез вы не будете делать машиной для скважин. Т.е. процесс похож но не одно и тоже.

Невозможно использовать Cassandra вместо Clickhouse и наоборот.
Cassandra это одна из самых быстрых бд, причем она великолепно масштабируется. Но это Key/Value. Если одна машина под бд, можно сразу забыть про Cassandra.

Читать полностью…

ClickHouse не тормозит

30тыс. у каждого, это не многовато?

вы обсудите свою проблему с ai.
КХ не транзакционная система, и туда хрен вставишь надежно и эффективно.
берите mongo

Читать полностью…

ClickHouse не тормозит

аналогично
но неизбежно

Читать полностью…

ClickHouse не тормозит

Не, тут я согласен, я в целом противник json в базе ибо имею детскую травму по этому поводу

Читать полностью…

ClickHouse не тормозит

с другой стороны, если нужно только читать и писать json файлы, то зачем их сначала раскладывать в колонки, чтобы потом эти колонки опять собирать в один документ, тем более в колоночной базе )

Читать полностью…

ClickHouse не тормозит

И json в таблички превратить. Нефиг в БД json хранить, приучайтесь к хорошему

Читать полностью…

ClickHouse не тормозит

Ребят, привет, слушайте, столкнулись с проблемой, льем короч из s3 через insert from s3Cluster() и все это через airflow. Короч скрипт работает от 5 до 15 минут и собственно никаких ошибок не выдает, но данные грузятся не полностью, кто-нибудь с таким сталкивался?

Читать полностью…

ClickHouse не тормозит

Благодарю за ответ!) Просто хотелось узнать best-practices, ну и пощупать технологии)

Читать полностью…

ClickHouse не тормозит

Postresql вроде как при большом количестве данных тормозит. В моем случае подойдёт, конечно же, т.к. пользователей много не будет, но хотелось бы пощупать то что используют в больших компаниях)

Читать полностью…
Подписаться на канал