11016
Обсуждаем ClickHouse
если в WHERE стоит event_time, то почему нет?
Читать полностью…
если дата будет в партиции то понятно что по дате будет выборка эффективной, суть моего вопроса строится вокруг того чтобы сделать партицию от времени toYYYYMM(event_time) - есть ли смысл делать так ?
Читать полностью…
Тоесть если в ключе сортировки на первом месте будет event_date и партиция toYYYYMM(event_time) то будет ли фильтрация по event_date эффективной? Поймет ли кликхаус что данные нужно брать изтконкретных партиций или он во все пойдет?
Читать полностью…
и еще - если я сделаю toYYYYMM(event_time) и при этом event_date посчитаю чз DEFAULT toDate(event_time) - то будет ли чтение эффективным с WHERE event_date BETWEEN ... настолько же как и WHERE event_time BETWEEN ...
Привет всем, есть кто активно пользуется chproxy, поделитесь пожалуйста опытом какие боли испытали или есть другие(лучше) аналоги, заранее спасибо
Читать полностью…
Но если инсертить только в одну реплику, то с нее безопасно можно restore replica сделать, или тут тоже все не так просто?
Читать полностью…
insert_distributed_one_random_shard никак не решает эту проблему, он делает другое
Читать полностью…
И в итоге распределение равномерное происходит
Читать полностью…
ну то что он указан это не значет что он распределяется равномерно, может он наполняет сперва первый потом второйц
Читать полностью…
в статье только продвигается кх кипер, но в сырцах коннектора видно что используется KeeperMap, который и над зукипером работает. Для включения на ЗК пишут что надо префикс пути в ЗК настроить https://clickhouse.com/docs/engines/table-engines/special/keeper-map
Читать полностью…
Означает ли всё выше сказанное что зоокипер можно считать более стабильным чем кипер?
Читать полностью…
Так это не я писал, у меня подобной проблемы не возникало никогда если что, у меня до недавнего времени был в управлении кластер в котором ~600TB данных, сколько было таблиц я сходу не вспомню, но порядок чисел был больше 5к и все прекрасно работало в зукипере
Читать полностью…
а эффективность селекта не будет хуже для toYYYYMM(event_time) с WHERE event_time BETWEEN в отличие от toYYYYMM(event_date) с WHERE event_date BETWEEN ?
Читать полностью…
Зачем вам эта дата? Используйте везде время. На первое место можете поставить toStartOfDay(event_time) или toDate(event_time)
Читать полностью…
Партицию тоже сделайте из даты, так поймет. Вообще, к сожалению, далеко не везде КХ понимает, что можно выражение из партиции или ключа сортировки "творчески¨ интерпретировать для оптимизаций выборок.
Читать полностью…
Чтобы было эффективно, надо таблицу по дате сортировать. Колонку с датой можно сделать материализованной из времени.
Читать полностью…
всем привет, подскажите пож-та - есть ли разница с точки зрения производительности вставки и дальнейшего чтения - указывать партицию как toYYYYMM(event_time) или toYYYYMM(event_date) ? конечно при условии использования колонки из партции в WHERE условии в селекте
Читать полностью…
да, если инсертить только в одну реплику, то более безопасно.
Читать полностью…
например одна реплика успешно заинсертила, а другая реплика не успела скачать парт и случилась авария
https://gist.github.com/den-crane/702e4c8a1162dae7c2edf48a7c2dd00d
так КХ никак не решает эту проблему, если вы подключились к ноде X , она и будет все делать. Это ваша задача вставлять в разные ноды, подключаясь спарком к разным нодам.
фактически Distributed таблица на одной ноде у вас работает.
Нода координатор грузится сильнее всего(на ней всегда +-10 инсертов висит), будто подготавливает данные долго
Читать полностью…
Не, видел по истории запросов, что отдает разным нодам
Читать полностью…
Напрямую из хайва в кликхаус, без трансформаций
Читать полностью…
А как правильно выдаются права для юзера на выполнение CLUSTER ON? Подскажите пожалуйста
Читать полностью…
да можно.
С кипером много таинственного и плохо документированного. Я недавно легко перевез прод кластер кипера с одних 3х на другие три ноды, в онлайне, ничего не выключая, и без использования динамеческой реконфигурации (enable_reconfiguration).
Потом решил все задокументировать и дописать статью в kb и не смог повторить, ниче не работает на стенде, в итоге забил и решил что везде буду использовать enable_reconfiguration=1 в кластерах кипера.
кол-во таблиц вообще странный измеритель для кипера/зукипера, каждый шард это отдельная независимая таблица, поэтому если таблиц 10 а шардов 100, это уже 1000 таблиц
Читать полностью…
https://github.com/ClickHouse/ClickHouse/issues/68387
Читать полностью…