11238
Обсуждаем ClickHouse
Для любителей зоопарка - да.
Во многих же случаях за пределы баз выходить вообще не нужно, никаких внешних скриптов по крону.
Оно часто есть потому что какому-то разрабу или менеджеру захотелось. Был период его вовсю
На слайдах изображали.
В итоге стоит, выполняет буквально 2-3 простые задачи, которые можно было сделать без дополнительного инвентаря, и в вакансии для новых сотрудников его вписывают, потому что никто не в теме как оно работает. Особенно аналитики, под нужды которых его продали руководству :)
Заменить af, rmv и человека на другие слова, и получится описание значительного куска работы ДБА во многих конторах. Как говорил наш дорогой шеф: "Других архитекторов у меня для вас нет!" 🙂
Читать полностью…
например у кого-то могут быть чисто административные вьюшки со статами. даже не бизнесовыми, а просто по табличкам. которые например хочется регулярно снапшотить для истории. rmv отлично эту задачу решает, self-contained.
но неет надо заводить airflow, или кирилл будет презрительно смотреть через губу
RMV - обычно хотелки разрабов и аналитиков, которые не умеют в airflow)
Читать полностью…
У вас снэпшотов или бэкапов виртуалок или скриптов самих нет....?
Читать полностью…
Обновите клик на последнюю версию 25.8
Читать полностью…
Создал KeeperMap табличку, вставил - 0.372 sec, быстро.
Читать полностью…
Интересно, есть ли какие-то особенности именно этого движка? Напиши в личку, у меня блок сообщений.
Читать полностью…
Пишут что multiRead в ZK есть аж 3.6, но не анонсируется до сих пор.
Вобщем хрен его знает, пока написал - https://github.com/ClickHouse/ClickHouse/issues/87724
в понедельник обсудим
Разумеется Replicated, мы же хотим coordinated RMV запустить
Читать полностью…
а это кипер или зукипер?
там просто была проблема что проверялось что это зукипер не использовался multi-reads, а если кипер то использовался, но проблема что в кипере multi-reads был выключен и это не проверялось
https://github.com/ClickHouse/ClickHouse/issues/64021#issuecomment-2117013739
If someone uses multi with READ requests without checking if it's supported, it's a bug.
Добрый день.
Скажите, пожалуйста, верно ли я понимаю смысл max_block_size: в память читается с диска max_block_size сжатых строк в некий блок, разжимается и обрабатывается (по пайплайну запроса). Таким образом, увеличивая параметр, аллоцируется больше памяти (так как размер блока в памяти увеличивается), снижаются накладные расходы на обращение к диску и тп, снижаются расходы цпу (предположение, что для цпу не велика разница в том, разжимать/обрабатывать блок в условные 65409 или 100000 строк).
Суть ресерча: на чтении упираюсь в цпу (могу ошибаться), при этом используется полгигабайта озу при доступных 800гб.
Привет. Я хочу провести миграцию и добавить колонку в nested структуру через ALTER. Не нашел достаточно информации в документации и чате.
Вот структура запроса:
ALTER TABLE my_table ADD COLUMN IF NOT EXISTS `Calls.new_column` Array(String)
DEFAULT []? Что будет без дефолта и с ним?
Недавно на ММ был ответ инженера что требуется от аналитика в аирфлоу ~5 строчек.
Читать полностью…
Ну это ведь нормально
Зачем крон переписывать свой, если есть аирплов, с которым люди умеют уже хоть как-то работать и много всяких штук имеет из коробки
Вообще к стати, никогда не понимал, чего в кх не завезли процедуры с возможностью их вызова по расписанию
Конечно можно много всякого говна там наделать, а потом третьему человеку разбираться через лет 5, как в конторах, где все на процедурах построено. Но хотя бы простейшие (даже без циклов мб) завезти было бы норм, гораздо лучше RMV
Просто когда уже есть аирплов, а тебя просят затащить и потестить нестабильную RMV, то приходится тонну времени потратить, чтобы доказать человеку, что изначально задумка была плохой
Читать полностью…
отвык я от вайбов советского айти-форума : D
Читать полностью…
Притом RMV как было, так и осталось в экспериментальном виде, не помню чтоб его выносили в production-ready 🤔
Читать полностью…
RMV говорит о том, что DBA хочется иметь логику сосредоточенной по-возможности в базе, а не размазанной бесконтрольно по хрен знает каким виртуалкам, где этот крон кто-нибудь снесёт случайно вместе с самой виртуалкой. и деплоить проще в одно место.
то, что его не смогли доделать, если что-то и говорит, то об авторах, а не о пользователях.
Все таки что-то на отрезке Клик - Кипер, если запустить создание объекта с другой ноды Клика.
Читать полностью…
Приветы, что может быть причиной такого долгого выполнения создания объектов в кластере
CREATE TABLE IF NOT EXISTS some_table ON CLUSTER '{cluster}'
....
┌─host────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
1. │ cluster-0-1 │ 9000 │ 0 │ │ 1 │ 0 │
└─────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘
┌─host────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
2. │ cluster-0-0 │ 9000 │ 0 │ │ 0 │ 0 │
└─────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘
2 rows in set. Elapsed: 90.817 sec.
добавь ссылок на доку zookeeper но мне кажется реакция будет предсказуемая, ZK "нинужин" -)
Читать полностью…
надо пробовать с версиями ZK 3.9.4 но скорее всего multi-reads это чисто keeper фишка...
блин... RMV это какой то дикий недоделанный гемор, который просто говорит что "програмистеги" не осилили CRON ...
а у БД какой движок? не Replicated случаем?
Читать полностью…
Коллеги, добрый день! Подскажите, кто-то пробовал в clickhouse реализовать аналог ресурсных групп, которые есть в других БД? Интересует сценарий, при котором несколько пользователей будут иметь общий для них кусок ресурсов, которые они будут шарить друг с другом «толкаясь», используя все что не используют другие пользователи группы в данный момент
Читать полностью…
DEFAULT [] можно не указывать — пустой массив будет использоваться автоматически.
Обновлять старые строки не нужно, если пустой массив — это корректное значение.
Пустые массивы в nested-структурах не несут негативных последствий и являются ожидаемым поведением.
Поищите выше по чату, Denny о ней негативно отзывался.
Читать полностью…