11016
Обсуждаем ClickHouse
select * from system.distribution_queue
зачем нам картинки? у меня у телефона экран 4 дюйма, https://pastila.nl/ используйте
у вас проблема значит в remote_servers у вас шарды описаны как реплики, покажите create table , select * from system.clusters
Читать полностью…
цифры не верные. данные в отчёте только с ноды где есть дистрибьютед таблица
Читать полностью…
ну у нас вот проблема есть. что при селекте. мы в итоге видим данные только с ноды где есть дистрибьютед таблица
Читать полностью…
обычно (в 99.99% случаев) distriubted таблица создается на всех нодах и вставка и селект делаются с рандомной ноды
Читать полностью…
но получается. что вся нагрузка на 1 ноду идёт. есть смысл переделать на 3 шарда?
плюс есть прикол. что при селекте, по итогу данные видны только с 1 ноды. а с 2 других нет, хотя они там лежат
вы вставляете данные в distributed
они сплитятся по sharding key который вы прописали
и пишутся в .bin файлы на ноде инициаторе...
потом обычным insert вставляются в целевые сервера в целевую таблицу
в смысле что
данные там, которые еще в целевую таблицу не вставлены
😕☹️что может быть в bin файлах дистрибьютед таблицы?
чтот я совсем запустался.
у меня получается когда то создали таблицу дистрибьютед, которая есть только на 1 шарде, и все 3 шарда её судя по фс. на 1 ноде.
/var/lib/clickhouse/store/726/72613e22-eb04-463a-9648-24553b6138df# lsЧитать полностью…
shard1_replica1 shard2_replica1 shard3_replica1
спрошу, да. почитаю еще спеки по анкор модели
Читать полностью…
йеп, помню join-ы как порой работали, с 2020 года же с кликом работаю ауф
Читать полностью…
я пока бегло смотрела спеку по анкор-модели, но опыт подсказывает, что юзать в клике такое рискова
Читать полностью…
блин, а можно нормально сделать? тип format Vertical или JSON
Читать полностью…
то есть при отчёте вместо 6 тб данных. только 2 смотрится по итогу
Читать полностью…
ну у вас ошибка что таблицы нет или цифры неверные?
Читать полностью…
а не потому ли мы данные не видим с других нод при селекте дистрибьютед таблицы с других нод
Читать полностью…
то есть в stg_elk_kv_data на тех нодах на 100 гб данных больше
Читать полностью…
данные оттуда не читаются select-м, там временно данные хранятся, данные которые заинсертили в дистрибьютид таблицу
Читать полностью…
😕ну я видимо плохо понимаю как оно должно работать. и почему тогда там 3 шарда на 1 ноде
Читать полностью…
чтот я не оч понимаю, stg_elk_kv_data, таких 3 таблицы на 3 шардах есть, там данные по 2 тб на шард
есть stg_elk_kv это таблица в которую пишут типа, но она есть только на 1 шарде.
чтот я не оч понимаю. как оно работает
есть такой алгоритм джойна - nested loop
спросите у ai как nested loop работает, какой алгоритм джойна используется в anchor, почему в кх нету nested loop
гемини потыкала для гипотезы своей подтверждения, и получила подтверждение
Читать полностью…
не работает anchor model в КХ. У него индекс разреженный, он не умеет одну строку по ключу, и все умирает моментально на join
ну т.е. КХ поэтому и быстрый
https://clickhouse.com/docs/en/
тут справа внизу есть ask ai виджет... используйте его