Обсуждаем ClickHouse
Коллеги, всем доброй ночи!
Имеется задача, ограничить тяжелые запросы от УЗ по нагрузке на CPU.
В документации подобного не нашел. Как сделать, чтобы при достижении, условно, потребления CPU одним запросом от конкретного пользователя, он получал эксепшн? Как-то это реализовать средствами ClickHouse возможно? max_threads - не очень подходит, видимо.
По ссылке инфы не нашел: https://clickhouse.com/docs/operations/settings/query-complexity?spm=a2ty_o01.29997173.0.0.6522c921Xl7nZ4#max_cpu_usage
Перенести метаданные таблицы в другое место и стартануть
Читать полностью…какой в этом смысл вообще? какая разница сколько колонок в таблице, этот селект одинаково будет работать
Читать полностью…в key_table всего два поля для ключа и ORDER BY такой же
Читать полностью…не секунда конечно, но гораздо быстрее чем селектом
Читать полностью…https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/fetch_alter_table/
с помощью fetch part + attach part можно быстро копирнуть всю таблицу, но мне только ключ нужен
причем желательно порциями забирать ключ, по одной десятой например
Привет.
Мне нужно вытащить из таблицы на сотни миллионов строк и сотню полей составной ключ из двух полей ORDER BY (key_col1, key_col2).
Может есть варианты получше чем select key_col1, key_col2 from huge_table?
По всей таблице бежать уж очень долго.
30тыс для каждого пользователя - сверх много) Цифру привёл как пример. Да, знаю что для транзакций необходима реляционная БД. Ai рекомендовал Cassandra, но на хабре прочёл, что читать из Кассандры долго. Хотя опять же в моем случае это не важно, просто интересно)
Читать полностью…Мой ответ про постгрес вообщето, clickhouse не транзакционная система.
На мой взгляд json в БД имеет смысл в следующих случаях:
1. На вход и/или выход идут json и мы вход и выход хотим протоколировать
2. Сложные настройки
3. Мы эмулируем non sql key value бд
как по мне проблема с json это постоянная необходимость вместо group by X
писать group by j.t.X.:Int64
чтобы написать банальный sum/groupby надо мозгами шевелить
и?
все равно если хотите чтобы работало быстро - парсите в отдельные поля
Так вроде буквально месяц назад в клик завезли продовый json?)
Читать полностью…Или как лучше из s3 в клик примерно 300гб перегнать без спарка
Читать полностью…обычно тормозит у тех, кто ничего не делает с тем чтобы он не тормозил )
Читать полностью…Только записывать/извлекать данные, редактирования практически не будет. Со скоростью извлечения у Cassandra не все хорошо, насколько знаю, только запись быстрая
Читать полностью…коллеги добрый день, подскажите плз, есть ли флаг который позволяет при старте ch пропустить коррапченные таблицы? табличка с движком Iceberg не аттачится при старте, из за чего БД не стартует, хотелось бы стартовать без нее и потом разобраться уже с ней
Читать полностью…этот вариант уже более 10 минут бежит и налил одну треть только
Читать полностью…если быть более точным то у меня
insert into key_table select key_col1, key_col2 from huge_table;Читать полностью…
select key_col1, key_col2 from huge_table
должен выполнится меньше чем за секунду в описанных условиях
покажите
time clickhouse-client -q 'select key_col1, key_col2 from huge_table format TSV' >> t.out
учитывая, что в клике разреженный индекс, то вряд ли можно откуда-то достать закэшированный набор всех уникальных значений колонок из order by
но сотня полей в случае select col1, col2 group by col1, col2 роли не играет, база же колоночная
Если на даче надо сделать скважину глубиной 40м, вы это не будете делать карьерным экскаватором. А угольный разрез вы не будете делать машиной для скважин. Т.е. процесс похож но не одно и тоже.
Невозможно использовать Cassandra вместо Clickhouse и наоборот.
Cassandra это одна из самых быстрых бд, причем она великолепно масштабируется. Но это Key/Value. Если одна машина под бд, можно сразу забыть про Cassandra.
30тыс. у каждого, это не многовато?
вы обсудите свою проблему с ai.
КХ не транзакционная система, и туда хрен вставишь надежно и эффективно.
берите mongo
Не, тут я согласен, я в целом противник json в базе ибо имею детскую травму по этому поводу
Читать полностью…с другой стороны, если нужно только читать и писать json файлы, то зачем их сначала раскладывать в колонки, чтобы потом эти колонки опять собирать в один документ, тем более в колоночной базе )
Читать полностью…И json в таблички превратить. Нефиг в БД json хранить, приучайтесь к хорошему
Читать полностью…Ребят, привет, слушайте, столкнулись с проблемой, льем короч из s3 через insert from s3Cluster() и все это через airflow. Короч скрипт работает от 5 до 15 минут и собственно никаких ошибок не выдает, но данные грузятся не полностью, кто-нибудь с таким сталкивался?
Читать полностью…Благодарю за ответ!) Просто хотелось узнать best-practices, ну и пощупать технологии)
Читать полностью…Postresql вроде как при большом количестве данных тормозит. В моем случае подойдёт, конечно же, т.к. пользователей много не будет, но хотелось бы пощупать то что используют в больших компаниях)
Читать полностью…