11016
Обсуждаем ClickHouse
там справа внизу ask AI
берите и спрашивайте
делать несиметричные кластера клика... тоже IMHO смысла нет
только если вы расширяете существующие новым поколением железа...
но я и это могу рассмотреть
однако я боюсь, что такой подход может тоже не сработать (тк я не такой уж и умный) и сейчас пока нужно решение наверняка
В описании задачи ничего про балансировку нагрузки не было :)
Только про разделение записи и чтения
А для этого просто репликация и подключение к разным хостам
он собственно для этого и разработан
ваш клиент
должен уметь
- load balancing клиентский
- insert batching (не вставляйте мелкими пачками)
- retry
получаете перегруз по нагрузке к реплики из которой читаете... и недогруз из реплики в которую пишете...
Читать полностью…
нет смысла это делать...
лучше научитесь запись и чтение равномерно размазывать...
у вас не получится чтение от записи отделить
вот вы записали в "записатор"
а дальше чтобы данные прочитать из "прочитатора". надо их туда из "записатора" как то ЗАПИСАТЬ.. ;)
Привет, всем!
Стоит большая задача (по объемам / частотам операции IO + по объемам / частотам Read).
Теперь вопросы
1) Есть в кх возможность, скажем хранение (записывать) данных делать на ОТДЕЛЬНОМ кластере из n-ого кол-ва нод, и делать запросы Read (Select) уже на других кластерах?
Зачем это - из-за ресурсоемкости каждого из этих двух глобальных операции, хочу изолировать их друг от друга, чтобы, скажем, если селекты уронят кластер, чтобы роняли чисто свои ресурсы, тогда как инпуты в это время не тормозили
Если таковое есть, то где в доках можно почитать про такое?
В любом случае, спасибо. --time и --memory-usage=readable уже очень полезно
Читать полностью…
--profile-events-delay-ms=-1
еще можно добавить чтобы только total profile events показывало... ну можно вообще убрать если не нужно
clickhouse-client --progress err --time --memory-usage readable --print-profile-events -q "SELECT ..." 2>&1 | tr '\r' '\n'Читать полностью…
--memory-usage=readable
вот эта добавляет память. Это мне надо
Мне бы ещё вот эту составляющую как-то получить <Debug> executeQuery: Read xxx rows, yyy MiB in zzz sec., iii rows/sec., jjj MiB/sec.
Блин, он её стирает, когда заканчивает. Я бы хотел к запросам видеть подпись: время выполнения, кол-во занятой памяти, кол-во прочитанных строк
send_logs_level='debug' делает что надо, но дополнительно ещё очень много текста пишет, мнеб компактно бы
Или даже вот это - https://www.notion.so/altinityknowledgebase/Deduplicate-by-Distributed-185bd0b90b718026b66cddc37f7905fd
Но тут надо тестировать усиленно, и пока непонятно кому это надо.
Если есть желание - пробуйте, пишите.
Делайте житный хост.
Когда начнете упираться, будет понятно во что упираетесь
может уже есть в доках кх про это строки (Боже Храни Доки КХ)
Читать полностью…
Вероятно
Один жирный хост справится с большинством подобных задач
тот кто ставил задачу НЕ ПОНИМАЕТ как работает clickhouse
Читать полностью…
а что тогда означает размазать грамотно? простите пжслт если сильно любительские вопросы задаю
Читать полностью…
то есть кх при грамотном распределений должен справиться на одном большой большом кластере?
Читать полностью…
Делаете репликацию.
Для записи подключаетесь к одной реплике
Для чтения к другой
Все
Во, вот такой плагин для своего тектового редактора забацал. Жму энтер и sql между ---- выполняется с ближайшими сверху коннекшен настройками
Можно не только к CH подключаться, но и к CH в докере, к постгресу, h2, к csv файлам с помощью q и тд и тп
Это неплохо. Можно как-то выбрать какие именно profile евентс печатать? Их слишком много
Мне надо только
SelectedRows и SelectedBytes
/channel/clickhouse_ru/421480
поправил запрос
Я не хочу json формат(( хочу смотреть на prettymonoblock...
upd: нашел --time параметр
Тоже что нужно. Осталось достать read rows
Когда в кликхаус клиенте, в формате репла выполняешь запрос, он пишет статистику в удобном компактном формате. Когда вызываю кликхаус клиент как отдельной shell командой он просто выдает результат. Как можно попросить его подписывать такую же статистику к результатам?
Читать полностью…
https://kb.altinity.com/engines/mergetree-table-engine-family/versioned-collapsing-mergetree/
Читать полностью…