11016
Обсуждаем ClickHouse
постоянно практически, если я из 200 млн строк отбираюб массив данных в 20 млн строк и копирую или даже 100 млн - дублей нет, а вот при 200 - всегда больше строк
Читать полностью…
select name,value from system.settings where changed
Читать полностью…
Если нету дублей в источнике, то это очень странно.
Покажите описание таблиц после колонок.
нужна помощь зала, при копировании/вставке данных из одной партиции одной таблицы в другую distributed таблицу чаще всего получаю дубли строк, подскажите куда копать, перепробовал уже разные варианты
шардинг ключ хеш по одному из полей, партиция 50-60 гб. 200млн строк, replicated_deduplication_window = 1000 стоит
запись в локальные таблицы не предлагать)
версия 25.3
нужен макрос, который будет разным на всех этих машинах типа 01 02 03 04 05 06 07 08. Можете этот поправить, можете новый макрос завести.
Читать полностью…
аа, я понял, у вас реплики неправильно называются - 01
replica должна быть уникальная на весь кластер, обычно люди используют hostname
А у вас реплики в каждом шарде одинаково называются ? 01 ?
Читать полностью…
Да, ошибка та же. У себя в примере выше сначала сослался на старую таблицу в пути. Потом поправил на новую и ошибка такая же, как у Игоря
Читать полностью…
Да, тестовый cH для поделок давно делали)
Сейчас другой пример скинем
Да. Ну я ничего не удалял, просто новую сделал с новым именем через create table on cluster
Читать полностью…
А где название таблицы ?
ch_replicated ?
тогда сделайте
ch_replicatedV2
ON CLUSTER нужен для DDL распределённых запросов и всё.
Читать полностью…
on cluster -- не имеет отношения к репликации,
ON CLUSTER это просто хелпер который выполняет команду на многих узлах, раньше его не было, и надо было вручную организовывать выполнение команд create/alter/drop на всех нодах. Я до сих почти не пользуюсь ON CLUSTER.
То есть вы делаете inset into select * from table limit 100 и у вас 102 строки встает ?
Читать полностью…
на источнике есть дубли если мы говорим о уникальности строк, я про проблему что если на источнике 100 строк, то я ожидаю скопировать тоже 100, а получается 102
Читать полностью…
Нужно понимать, в источнике точно нету дублей ?
Читать полностью…
@den_crane @Artemm_1989 понял, большое спасибо
Читать полностью…
macro substitutionЧитать полностью…
replica 01
replica 01
replica 01
replica 01
replica 01
replica 01
replica 01
replica 01
select * from clusterAllReplicas('cluster', system.macros) where macro = 'replica'
При таком создании
CREATE TABLE test.table ON CLUSTER cluster
(
field1 String,
field2 Int32
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/replicated/{uuid}', '{replica}')
ORDER BY (
field1 ,
field2
)
SETTINGS index_granularity = 8192;
SQL Error [22000]: Code: 253. DB::Exception: There was an error on: Code: 253. DB::Exception: Replica /clickhouse/tables/replicated/ererr-e312-42ca-a0ba-c5fffw/replicas/01 already exists.
(REPLICA_ALREADY_EXISTS) (version 24.10.3.1 & D-02.001.00-01). (REPLICA_ALREADY_EXISTS) (version 24.10.3.1 & D-02.001.00-01)
вообще странный путь /click/ch_replicated/{shard} он реально такой?
Читать полностью…
Вы предыдущую таблицу удаляли без SYNC. Из-за этого метаданные еще не удалились из зукипера.
Читать полностью…
Не совсем может понял вас
Изменение
ENGINE = ReplicatedMergeTree('/click/ch_replicated/{shard}',
'{replica}')ENGINE = ReplicatedMergeTree('/click/ch_replicated/', '{replica}')
Тогда для чего on cluster помимо подсказки что иди по этой таблице в конфигурацию и смотри параметры репликации??
Читать полностью…
да, тупо опускаете макрос {shard} в зк пути и путь становится одинаковым для всех шардов, у меня таким образом у таблиц дименшинов N реплик, при N = Shards * ReplicationFuctor
Читать полностью…