11016
Обсуждаем ClickHouse
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/fetch_alter_table/
с помощью fetch part + attach part можно быстро копирнуть всю таблицу, но мне только ключ нужен
причем желательно порциями забирать ключ, по одной десятой например
Привет.
Мне нужно вытащить из таблицы на сотни миллионов строк и сотню полей составной ключ из двух полей ORDER BY (key_col1, key_col2).
Может есть варианты получше чем select key_col1, key_col2 from huge_table?
По всей таблице бежать уж очень долго.
30тыс для каждого пользователя - сверх много) Цифру привёл как пример. Да, знаю что для транзакций необходима реляционная БД. Ai рекомендовал Cassandra, но на хабре прочёл, что читать из Кассандры долго. Хотя опять же в моем случае это не важно, просто интересно)
Читать полностью…
Мой ответ про постгрес вообщето, clickhouse не транзакционная система.
На мой взгляд json в БД имеет смысл в следующих случаях:
1. На вход и/или выход идут json и мы вход и выход хотим протоколировать
2. Сложные настройки
3. Мы эмулируем non sql key value бд
как по мне проблема с json это постоянная необходимость вместо group by X писать group by j.t.X.:Int64 чтобы написать банальный sum/groupby надо мозгами шевелить
и?
все равно если хотите чтобы работало быстро - парсите в отдельные поля
Так вроде буквально месяц назад в клик завезли продовый json?)
Читать полностью…
Или как лучше из s3 в клик примерно 300гб перегнать без спарка
Читать полностью…
обычно тормозит у тех, кто ничего не делает с тем чтобы он не тормозил )
Читать полностью…
Только записывать/извлекать данные, редактирования практически не будет. Со скоростью извлечения у Cassandra не все хорошо, насколько знаю, только запись быстрая
Читать полностью…
Если есть навыки для проектирования на клике и есть кому админить то почему нет, если еи того ни другого то это может вылиться в сплошное проблемы и оттягивание запуска сервиса и вероятно стоит просто взять что знаете и потом уже когд пользователей станет хотя бы тыща уже думать
Читать полностью…
Если однородный json, то лучше его распарсить и хранить по человечески - строки, числа, даты в своих столбцах
Читать полностью…
Насколько правильно будет использовать ClickHouse?
Читать полностью…
Возможно лучше xxx.:String
т.е. выбирать колонку xxx строковую
а не кастить
Всем привет. В локальном CH пользуюсь JSON dynamic типом, всё ок работает
В yandex cloud с версией CH 25.3.4.190 получаю ошибку
error querying the database: clickhouse: unsupported column type "Dynamic"
Уже попробовал вот эти сеттинги:
settings enable_analyzer=1, enable_dynamic_type=1, enable_json_type=1;
Не помогло. Как исправить?
учитывая, что в клике разреженный индекс, то вряд ли можно откуда-то достать закэшированный набор всех уникальных значений колонок из order by
но сотня полей в случае select col1, col2 group by col1, col2 роли не играет, база же колоночная
Если на даче надо сделать скважину глубиной 40м, вы это не будете делать карьерным экскаватором. А угольный разрез вы не будете делать машиной для скважин. Т.е. процесс похож но не одно и тоже.
Невозможно использовать Cassandra вместо Clickhouse и наоборот.
Cassandra это одна из самых быстрых бд, причем она великолепно масштабируется. Но это Key/Value. Если одна машина под бд, можно сразу забыть про Cassandra.
30тыс. у каждого, это не многовато?
вы обсудите свою проблему с ai.
КХ не транзакционная система, и туда хрен вставишь надежно и эффективно.
берите mongo
Не, тут я согласен, я в целом противник json в базе ибо имею детскую травму по этому поводу
Читать полностью…
с другой стороны, если нужно только читать и писать json файлы, то зачем их сначала раскладывать в колонки, чтобы потом эти колонки опять собирать в один документ, тем более в колоночной базе )
Читать полностью…
И json в таблички превратить. Нефиг в БД json хранить, приучайтесь к хорошему
Читать полностью…
Ребят, привет, слушайте, столкнулись с проблемой, льем короч из s3 через insert from s3Cluster() и все это через airflow. Короч скрипт работает от 5 до 15 минут и собственно никаких ошибок не выдает, но данные грузятся не полностью, кто-нибудь с таким сталкивался?
Читать полностью…
Благодарю за ответ!) Просто хотелось узнать best-practices, ну и пощупать технологии)
Читать полностью…
Postresql вроде как при большом количестве данных тормозит. В моем случае подойдёт, конечно же, т.к. пользователей много не будет, но хотелось бы пощупать то что используют в больших компаниях)
Читать полностью…
И главный вопрос при выборе БД - а что потом делать с этим json? Если постоянно править, то это не Clickhouse, если группировка с агрегацией - то возможно, что и он.
Читать полностью…
Здравствуйте. Занимаюсь фронтендом, немного осваиваю бек. Подскажите, пожалуйста, новичку: рассматриваю БД для приложения учёта дохода/расхода финансов. Планируется много однородных JSON-данных формата:
{
id: 001,
category_id: 002,
title: ""
...
~ 10-12 строк
}
Поля будут не более 20 символов.
Но вот вопрос: при 1млн пользователей и у каждого 30тыс записей - выходит 30млрд json-объектов. Эти цифры для примера) И все же интересно какую БД выбрать для хранения этих транзакций. Начитался что для этого подходит Cassandra, ScullaDb и ClickHouse. Так же читал, что некоторые мессенджеры используют эти БД для метрик и истории сообщений
А, ой, это ошибка графановского датасорса, извините
Исправляется добавлением ::String к строчкам, которые вывожу в интерфейс на панель
вью-источник с одним только словарём работает, который меняется примерно раз в месяц. а ошибки сыплются постоянно
Читать полностью…