clickhouse_ru | Неотсортированное

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11016

Обсуждаем ClickHouse

Подписаться на канал

ClickHouse не тормозит

в моем конкртном случае бэкап состоит из нескольких лейеров 1) базовая конфигурация базы после установки, все ее настройки, политики и т.д. - а затем все это валим в снэпшот (воостанавливается за пару секунд.) 2) Сами данные бэкапятся на другой физически хост в датацентре из-под проксмокса в купе с HA, так что как только один физ хост с виртуалкой падает - вторая тут же в строю 3) последний уровень бэкапа, у нас порядка 10 таблиц во всей базе, мы тупо делаем дженкинс таск кажду ночь где все таблицы (а они ж тупо плоские) валятся в csv и на отдельный рейд. Так что в случае страшного краша -все восстанавливается за смешное время а потеря данных.....ну в худшем случае 12 -18 часов. У нас же не банк и не фин тех, а роботика и сенсоры, так что не страшно, все восстановимо :)

Читать полностью…

ClickHouse не тормозит

т.к некто не когда не поверял способность к восстановлению

Читать полностью…

ClickHouse не тормозит

но я всегда рад поучиться

Читать полностью…

ClickHouse не тормозит

тогда вопросов нету, ждём вас сюда через полгода с вопросами как восстановить базу если часть накрылась :)

Читать полностью…

ClickHouse не тормозит

если скинули DBA задачу на программиста с низкой компетенции в этом вопросе, пологою что результат закономерен - говорите что вы не ДБА пусть покупают облачного провайдера базы

Читать полностью…

ClickHouse не тормозит

Если вдруг понадобиться то там есть возможность создавай свой скрипт и добавлять как команду кх

Читать полностью…

ClickHouse не тормозит

да, это я уже заработался, действительно около 4 часов

Читать полностью…

ClickHouse не тормозит

Подскажите, а какие есть недостатки есть у включенной настройки distributed_background_insert_batch при использовании вставок через Distributed таблицы?
В документации написано, что перформанс кластера улучшится
Почему она тогда не включена по дефолту?)

Читать полностью…

ClickHouse не тормозит

Подскажите плиз, может ли UDF принимать на вход строку таблицы?

Читать полностью…

ClickHouse не тормозит

версия клика 25.3.2, если что

Читать полностью…

ClickHouse не тормозит

если продюсеры не взлетят, придется что то колхозить

Читать полностью…

ClickHouse не тормозит

Я так понимаю там все сырое пока, вроде недавно завезли🤔

Читать полностью…

ClickHouse не тормозит

Вообще тупой пайтон на это написать недолго

Читать полностью…

ClickHouse не тормозит

хз, все что у нас было с движками кафка, стараемся от них уходить

Читать полностью…

ClickHouse не тормозит

Можно через пайплайн терминальный))))))

Читать полностью…

ClickHouse не тормозит

хз че на это сказать, поживем - увидим :) если расскажете как правильно делать бэкап клику - буду рад

Читать полностью…

ClickHouse не тормозит

ну и бекап почему-то не работает

Читать полностью…

ClickHouse не тормозит

зачем? есть полный бэкап, репликация и HA проксмоксе

Читать полностью…

ClickHouse не тормозит

да они уже довльны результатом. Их решение раньше жило на Tableau, если знаете такое, и на MSSQL с такой архитектурой данных, что каждый сложный джойн они ждали по минимум 5 а то и 10-15 минут

Читать полностью…

ClickHouse не тормозит

спасибо за совет, да я думал над этим и поэтому изначально весь сетап построил на Проксмокс, где базовый хост имеет 620 Гб оперативы. Проблема в том, что я не DBA, а программист :) базы это не мой профиль, а на меня свалилось наследство из прошлого и я налету искал решение. Пока что я выродил вот такое, оно не очень но уже работает на порядок лучше того, что сделали предыдущие "профессионалы". Просто тупо задрать RAM пока принципиально не хочу, поэтому ищу пока что всякие оптимизации, в том числе чтение чанками и т.д Кластер и прочее, пока даже думать не хочу, в нашем случае это как из пушки по воробьям мочить :)

Читать полностью…

ClickHouse не тормозит

а вы запускаете бекап c on cluster ... ?

Читать полностью…

ClickHouse не тормозит

за все надо платить
1. батч может доставляться дольше, если собирается дольше
2. в случае проблем потери больше

Читать полностью…

ClickHouse не тормозит

ну укажите все колонки как параметры - будет принимать

Читать полностью…

ClickHouse не тормозит

вам, чтобы с кафкой работать как с продюсером, потребуется clickhouse-client или clickhouse_driver на python.
В этих двух местах, точно работает. А например в DataGrip будет лететь ошибка...
(Кажется работает бот на удаление одинаковых сообщений)

Читать полностью…

ClickHouse не тормозит

я возлагал надежды на встроенный в клик librdkafka

Читать полностью…

ClickHouse не тормозит

консьюмеры норм, 500млн таких же толстых строк за 9 часов загружаем в клик

Читать полностью…

ClickHouse не тормозит

Вопрос в том какие либы и как спроектировано будет

Читать полностью…

ClickHouse не тормозит

значит все таки сказки в доках про продюсеры, ладно, буду пробовать
спасибо хоть предупредили

Читать полностью…

ClickHouse не тормозит

Но это извращение)))

Читать полностью…

ClickHouse не тормозит

источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную

Читать полностью…
Подписаться на канал