11016
Обсуждаем ClickHouse
тогда вопросов нету, ждём вас сюда через полгода с вопросами как восстановить базу если часть накрылась :)
Читать полностью…
если скинули DBA задачу на программиста с низкой компетенции в этом вопросе, пологою что результат закономерен - говорите что вы не ДБА пусть покупают облачного провайдера базы
Читать полностью…
Если вдруг понадобиться то там есть возможность создавай свой скрипт и добавлять как команду кх
Читать полностью…
да, это я уже заработался, действительно около 4 часов
Читать полностью…
Подскажите, а какие есть недостатки есть у включенной настройки distributed_background_insert_batch при использовании вставок через Distributed таблицы?
В документации написано, что перформанс кластера улучшится
Почему она тогда не включена по дефолту?)
Подскажите плиз, может ли UDF принимать на вход строку таблицы?
Читать полностью…
если продюсеры не взлетят, придется что то колхозить
Читать полностью…
Я так понимаю там все сырое пока, вроде недавно завезли🤔
Читать полностью…
Вообще тупой пайтон на это написать недолго
Читать полностью…
хз, все что у нас было с движками кафка, стараемся от них уходить
Читать полностью…
у меня на миллионе все ломалось, просто отваливается с таймаутом, или с ошибкой что не смогло закомитить
Читать полностью…
зачем? есть полный бэкап, репликация и HA проксмоксе
Читать полностью…
да они уже довльны результатом. Их решение раньше жило на Tableau, если знаете такое, и на MSSQL с такой архитектурой данных, что каждый сложный джойн они ждали по минимум 5 а то и 10-15 минут
Читать полностью…
спасибо за совет, да я думал над этим и поэтому изначально весь сетап построил на Проксмокс, где базовый хост имеет 620 Гб оперативы. Проблема в том, что я не DBA, а программист :) базы это не мой профиль, а на меня свалилось наследство из прошлого и я налету искал решение. Пока что я выродил вот такое, оно не очень но уже работает на порядок лучше того, что сделали предыдущие "профессионалы". Просто тупо задрать RAM пока принципиально не хочу, поэтому ищу пока что всякие оптимизации, в том числе чтение чанками и т.д Кластер и прочее, пока даже думать не хочу, в нашем случае это как из пушки по воробьям мочить :)
Читать полностью…
а вы запускаете бекап c on cluster ... ?
за все надо платить
1. батч может доставляться дольше, если собирается дольше
2. в случае проблем потери больше
ну укажите все колонки как параметры - будет принимать
Читать полностью…
вам, чтобы с кафкой работать как с продюсером, потребуется clickhouse-client или clickhouse_driver на python.
В этих двух местах, точно работает. А например в DataGrip будет лететь ошибка...
(Кажется работает бот на удаление одинаковых сообщений)
я возлагал надежды на встроенный в клик librdkafka
Читать полностью…
консьюмеры норм, 500млн таких же толстых строк за 9 часов загружаем в клик
Читать полностью…
Вопрос в том какие либы и как спроектировано будет
Читать полностью…
значит все таки сказки в доках про продюсеры, ладно, буду пробовать
спасибо хоть предупредили
источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную
Читать полностью…
а кто источник данных для этой таблицы, кто отправляет
матвьюха из какой-то другой таблицы семейства мержттри ?
у меня планы более амбициозные: 1.5 млрд строк, причем довольно толстых, колонок на сто)
Читать полностью…