11016
Обсуждаем ClickHouse
Если есть навыки для проектирования на клике и есть кому админить то почему нет, если еи того ни другого то это может вылиться в сплошное проблемы и оттягивание запуска сервиса и вероятно стоит просто взять что знаете и потом уже когд пользователей станет хотя бы тыща уже думать
Читать полностью…
Если однородный json, то лучше его распарсить и хранить по человечески - строки, числа, даты в своих столбцах
Читать полностью…
Насколько правильно будет использовать ClickHouse?
Читать полностью…
Возможно лучше xxx.:String
т.е. выбирать колонку xxx строковую
а не кастить
Всем привет. В локальном CH пользуюсь JSON dynamic типом, всё ок работает
В yandex cloud с версией CH 25.3.4.190 получаю ошибку
error querying the database: clickhouse: unsupported column type "Dynamic"
Уже попробовал вот эти сеттинги:
settings enable_analyzer=1, enable_dynamic_type=1, enable_json_type=1;
Не помогло. Как исправить?
Если это таблица, читающая из кафки, то маловероятно (вряд ли вы с разными consumer group одни и те же данные на разных инстансах вычитываете), но:
ловил такое для таблиц, которые преобразуют данные запросами, которые могут давать разные значения на разных машинах (например, используют словари: обновление словарей происходит не одновременно).
А как по другому? Просто отдельно на каждой ноде запускать бекап?
Читать полностью…
в моем конкртном случае бэкап состоит из нескольких лейеров 1) базовая конфигурация базы после установки, все ее настройки, политики и т.д. - а затем все это валим в снэпшот (воостанавливается за пару секунд.) 2) Сами данные бэкапятся на другой физически хост в датацентре из-под проксмокса в купе с HA, так что как только один физ хост с виртуалкой падает - вторая тут же в строю 3) последний уровень бэкапа, у нас порядка 10 таблиц во всей базе, мы тупо делаем дженкинс таск кажду ночь где все таблицы (а они ж тупо плоские) валятся в csv и на отдельный рейд. Так что в случае страшного краша -все восстанавливается за смешное время а потеря данных.....ну в худшем случае 12 -18 часов. У нас же не банк и не фин тех, а роботика и сенсоры, так что не страшно, все восстановимо :)
Читать полностью…
т.к некто не когда не поверял способность к восстановлению
Читать полностью…
тогда вопросов нету, ждём вас сюда через полгода с вопросами как восстановить базу если часть накрылась :)
Читать полностью…
если скинули DBA задачу на программиста с низкой компетенции в этом вопросе, пологою что результат закономерен - говорите что вы не ДБА пусть покупают облачного провайдера базы
Читать полностью…
Если вдруг понадобиться то там есть возможность создавай свой скрипт и добавлять как команду кх
Читать полностью…
да, это я уже заработался, действительно около 4 часов
Читать полностью…
Подскажите, а какие есть недостатки есть у включенной настройки distributed_background_insert_batch при использовании вставок через Distributed таблицы?
В документации написано, что перформанс кластера улучшится
Почему она тогда не включена по дефолту?)
И главный вопрос при выборе БД - а что потом делать с этим json? Если постоянно править, то это не Clickhouse, если группировка с агрегацией - то возможно, что и он.
Читать полностью…
Здравствуйте. Занимаюсь фронтендом, немного осваиваю бек. Подскажите, пожалуйста, новичку: рассматриваю БД для приложения учёта дохода/расхода финансов. Планируется много однородных JSON-данных формата:
{
id: 001,
category_id: 002,
title: ""
...
~ 10-12 строк
}
Поля будут не более 20 символов.
Но вот вопрос: при 1млн пользователей и у каждого 30тыс записей - выходит 30млрд json-объектов. Эти цифры для примера) И все же интересно какую БД выбрать для хранения этих транзакций. Начитался что для этого подходит Cassandra, ScullaDb и ClickHouse. Так же читал, что некоторые мессенджеры используют эти БД для метрик и истории сообщений
А, ой, это ошибка графановского датасорса, извините
Исправляется добавлением ::String к строчкам, которые вывожу в интерфейс на панель
вью-источник с одним только словарём работает, который меняется примерно раз в месяц. а ошибки сыплются постоянно
Читать полностью…
Да и судя по графане нагрузка постоянная, нет простоя
Читать полностью…
там есть какое-то странное место в конце, долго удаляет из зукипера промежуточную мета-информацию процесса-бекапа, ну т.е. бекап 8 часов, из них 4 ничего не делаем.
Читать полностью…
хз че на это сказать, поживем - увидим :) если расскажете как правильно делать бэкап клику - буду рад
Читать полностью…
зачем? есть полный бэкап, репликация и HA проксмоксе
Читать полностью…
да они уже довльны результатом. Их решение раньше жило на Tableau, если знаете такое, и на MSSQL с такой архитектурой данных, что каждый сложный джойн они ждали по минимум 5 а то и 10-15 минут
Читать полностью…
спасибо за совет, да я думал над этим и поэтому изначально весь сетап построил на Проксмокс, где базовый хост имеет 620 Гб оперативы. Проблема в том, что я не DBA, а программист :) базы это не мой профиль, а на меня свалилось наследство из прошлого и я налету искал решение. Пока что я выродил вот такое, оно не очень но уже работает на порядок лучше того, что сделали предыдущие "профессионалы". Просто тупо задрать RAM пока принципиально не хочу, поэтому ищу пока что всякие оптимизации, в том числе чтение чанками и т.д Кластер и прочее, пока даже думать не хочу, в нашем случае это как из пушки по воробьям мочить :)
Читать полностью…
а вы запускаете бекап c on cluster ... ?
за все надо платить
1. батч может доставляться дольше, если собирается дольше
2. в случае проблем потери больше
ну укажите все колонки как параметры - будет принимать
Читать полностью…