11016
Обсуждаем ClickHouse
в моем конкртном случае бэкап состоит из нескольких лейеров 1) базовая конфигурация базы после установки, все ее настройки, политики и т.д. - а затем все это валим в снэпшот (воостанавливается за пару секунд.) 2) Сами данные бэкапятся на другой физически хост в датацентре из-под проксмокса в купе с HA, так что как только один физ хост с виртуалкой падает - вторая тут же в строю 3) последний уровень бэкапа, у нас порядка 10 таблиц во всей базе, мы тупо делаем дженкинс таск кажду ночь где все таблицы (а они ж тупо плоские) валятся в csv и на отдельный рейд. Так что в случае страшного краша -все восстанавливается за смешное время а потеря данных.....ну в худшем случае 12 -18 часов. У нас же не банк и не фин тех, а роботика и сенсоры, так что не страшно, все восстановимо :)
Читать полностью…
т.к некто не когда не поверял способность к восстановлению
Читать полностью…
тогда вопросов нету, ждём вас сюда через полгода с вопросами как восстановить базу если часть накрылась :)
Читать полностью…
если скинули DBA задачу на программиста с низкой компетенции в этом вопросе, пологою что результат закономерен - говорите что вы не ДБА пусть покупают облачного провайдера базы
Читать полностью…
Если вдруг понадобиться то там есть возможность создавай свой скрипт и добавлять как команду кх
Читать полностью…
да, это я уже заработался, действительно около 4 часов
Читать полностью…
Подскажите, а какие есть недостатки есть у включенной настройки distributed_background_insert_batch при использовании вставок через Distributed таблицы?
В документации написано, что перформанс кластера улучшится
Почему она тогда не включена по дефолту?)
Подскажите плиз, может ли UDF принимать на вход строку таблицы?
Читать полностью…
если продюсеры не взлетят, придется что то колхозить
Читать полностью…
Я так понимаю там все сырое пока, вроде недавно завезли🤔
Читать полностью…
Вообще тупой пайтон на это написать недолго
Читать полностью…
хз, все что у нас было с движками кафка, стараемся от них уходить
Читать полностью…
хз че на это сказать, поживем - увидим :) если расскажете как правильно делать бэкап клику - буду рад
Читать полностью…
зачем? есть полный бэкап, репликация и HA проксмоксе
Читать полностью…
да они уже довльны результатом. Их решение раньше жило на Tableau, если знаете такое, и на MSSQL с такой архитектурой данных, что каждый сложный джойн они ждали по минимум 5 а то и 10-15 минут
Читать полностью…
спасибо за совет, да я думал над этим и поэтому изначально весь сетап построил на Проксмокс, где базовый хост имеет 620 Гб оперативы. Проблема в том, что я не DBA, а программист :) базы это не мой профиль, а на меня свалилось наследство из прошлого и я налету искал решение. Пока что я выродил вот такое, оно не очень но уже работает на порядок лучше того, что сделали предыдущие "профессионалы". Просто тупо задрать RAM пока принципиально не хочу, поэтому ищу пока что всякие оптимизации, в том числе чтение чанками и т.д Кластер и прочее, пока даже думать не хочу, в нашем случае это как из пушки по воробьям мочить :)
Читать полностью…
а вы запускаете бекап c on cluster ... ?
за все надо платить
1. батч может доставляться дольше, если собирается дольше
2. в случае проблем потери больше
ну укажите все колонки как параметры - будет принимать
Читать полностью…
вам, чтобы с кафкой работать как с продюсером, потребуется clickhouse-client или clickhouse_driver на python.
В этих двух местах, точно работает. А например в DataGrip будет лететь ошибка...
(Кажется работает бот на удаление одинаковых сообщений)
я возлагал надежды на встроенный в клик librdkafka
Читать полностью…
консьюмеры норм, 500млн таких же толстых строк за 9 часов загружаем в клик
Читать полностью…
Вопрос в том какие либы и как спроектировано будет
Читать полностью…
значит все таки сказки в доках про продюсеры, ладно, буду пробовать
спасибо хоть предупредили
источник будет таблица мержтри, а вот как выгружать из нее, пока не придумал, видимо частями и вручную
Читать полностью…