11016
Обсуждаем ClickHouse
Партицию тоже сделайте из даты, так поймет. Вообще, к сожалению, далеко не везде КХ понимает, что можно выражение из партиции или ключа сортировки "творчески¨ интерпретировать для оптимизаций выборок.
Читать полностью…
Чтобы было эффективно, надо таблицу по дате сортировать. Колонку с датой можно сделать материализованной из времени.
Читать полностью…
всем привет, подскажите пож-та - есть ли разница с точки зрения производительности вставки и дальнейшего чтения - указывать партицию как toYYYYMM(event_time) или toYYYYMM(event_date) ? конечно при условии использования колонки из партции в WHERE условии в селекте
Читать полностью…
да, если инсертить только в одну реплику, то более безопасно.
Читать полностью…
например одна реплика успешно заинсертила, а другая реплика не успела скачать парт и случилась авария
https://gist.github.com/den-crane/702e4c8a1162dae7c2edf48a7c2dd00d
так КХ никак не решает эту проблему, если вы подключились к ноде X , она и будет все делать. Это ваша задача вставлять в разные ноды, подключаясь спарком к разным нодам.
фактически Distributed таблица на одной ноде у вас работает.
Нода координатор грузится сильнее всего(на ней всегда +-10 инсертов висит), будто подготавливает данные долго
Читать полностью…
Не, видел по истории запросов, что отдает разным нодам
Читать полностью…
Напрямую из хайва в кликхаус, без трансформаций
Читать полностью…
А как правильно выдаются права для юзера на выполнение CLUSTER ON? Подскажите пожалуйста
Читать полностью…
да можно.
С кипером много таинственного и плохо документированного. Я недавно легко перевез прод кластер кипера с одних 3х на другие три ноды, в онлайне, ничего не выключая, и без использования динамеческой реконфигурации (enable_reconfiguration).
Потом решил все задокументировать и дописать статью в kb и не смог повторить, ниче не работает на стенде, в итоге забил и решил что везде буду использовать enable_reconfiguration=1 в кластерах кипера.
кол-во таблиц вообще странный измеритель для кипера/зукипера, каждый шард это отдельная независимая таблица, поэтому если таблиц 10 а шардов 100, это уже 1000 таблиц
Читать полностью…
https://github.com/ClickHouse/ClickHouse/issues/68387
Читать полностью…
я не против переезда на кипер
просто я не согласен с чьим-то бредом: "Ага, мы уперлись в количество реплицированных таблиц. Таблиц было порядка 700-800 и данных на 40 ТБ. У нас кластер зукипира развалился," -- это все чушь.
Ну и условный zoo navigator сейчас отлично работает с chkeeper, кажется что кхкипер ничем не хуже, а возможно и лучше зукипера и смысл тогда на нем оставаться?
Читать полностью…
Тоесть если в ключе сортировки на первом месте будет event_date и партиция toYYYYMM(event_time) то будет ли фильтрация по event_date эффективной? Поймет ли кликхаус что данные нужно брать изтконкретных партиций или он во все пойдет?
Читать полностью…
и еще - если я сделаю toYYYYMM(event_time) и при этом event_date посчитаю чз DEFAULT toDate(event_time) - то будет ли чтение эффективным с WHERE event_date BETWEEN ... настолько же как и WHERE event_time BETWEEN ...
Привет всем, есть кто активно пользуется chproxy, поделитесь пожалуйста опытом какие боли испытали или есть другие(лучше) аналоги, заранее спасибо
Читать полностью…
Но если инсертить только в одну реплику, то с нее безопасно можно restore replica сделать, или тут тоже все не так просто?
Читать полностью…
insert_distributed_one_random_shard никак не решает эту проблему, он делает другое
Читать полностью…
И в итоге распределение равномерное происходит
Читать полностью…
ну то что он указан это не значет что он распределяется равномерно, может он наполняет сперва первый потом второйц
Читать полностью…
в статье только продвигается кх кипер, но в сырцах коннектора видно что используется KeeperMap, который и над зукипером работает. Для включения на ЗК пишут что надо префикс пути в ЗК настроить https://clickhouse.com/docs/engines/table-engines/special/keeper-map
Читать полностью…
Означает ли всё выше сказанное что зоокипер можно считать более стабильным чем кипер?
Читать полностью…
Так это не я писал, у меня подобной проблемы не возникало никогда если что, у меня до недавнего времени был в управлении кластер в котором ~600TB данных, сколько было таблиц я сходу не вспомню, но порядок чисел был больше 5к и все прекрасно работало в зукипере
Читать полностью…
ну и сразу https://github.com/ClickHouse/ClickHouse/issues/80249
Читать полностью…
это вообще-то про КХ ограничения, это не имеет отношения к битве кипера и зукипера.
и все немнжко изменилось с тем пор когда эту статью написали
у кипера есть небольшое преимущество в том что там внедряются операции которых нет в зукипере
<feature_flags>
<filtered_list>1</filtered_list>
<multi_read>1</multi_read>
<check_not_exists>1</check_not_exists>
<create_if_not_exists>1</create_if_not_exists>
<remove_recursive>1</remove_recursive>
они потенциально снижают кол-во операций с кипером
Плюс в кипере пилят возможность использовать rocksdb чтобы уйти от in-memory database