ClickHouse не тормозит

25 November 2025 16:04

ClickHouse/ClickHouse tagged: v25.8.12.129-lts
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v25.8.12.129-lts
Release notes:

Release v25.8.12.129-lts

ClickHouse не тормозит

25 November 2025 14:29

плюс стоит учесть ретраи, если они у вас есть

ClickHouse не тормозит

25 November 2025 14:28

• Если internal_replication = true, при вставке в Distributed выбирается одна живая реплика шарда, туда пишутся данные, а дальше уже репликация делает Replicated*MergeTree.
• Если internal_replication = false (значение по умолчанию), Distributed сам пишет данные на все реплики шарда, и согласованность между ними не проверяется.

ClickHouse не тормозит

25 November 2025 14:26

да, теперь все валидно, спасибо.

ClickHouse не тормозит

25 November 2025 14:25

еще может быть async_insert без включённой дедупликации

ClickHouse не тормозит

25 November 2025 14:23

еще дубликация у вас может быть на ретраях
смотрите
deduplicate_blocks_in_dependent_materialized_views

ClickHouse не тормозит

25 November 2025 14:21

например
internal_replication = false (по умолчанию) — Distributed сам дублирует вставку на все реплики шарда, и их согласованность никем не контролируется, что как раз может приводить к расхождениям и дубликатам

https://clickhouse.com/docs/engines/table-engines/special/distributed#distributed-writing-data

ClickHouse не тормозит

25 November 2025 14:19

Да, я его скинул. Вы про целевую таблицу куда вьюха вставляет, или дистрибьютед откуда читает?

ClickHouse не тормозит

25 November 2025 14:19

ENGINE = Distributed(cluster, database, table[, sharding_key[, policy_name]])

вот тут есть ключ шардирования

ClickHouse не тормозит

25 November 2025 14:16

дистрибуция как настроена?

ClickHouse не тормозит

25 November 2025 14:15

то есть все же шарды?
и какой ключ шардирования?

ClickHouse не тормозит

25 November 2025 14:12

по идее дистриб должен вставлять на одну реплику. Так что в теории вьюха должна срабатывать один раз на вставку. там точно не две вьюхи случайно повесились на одну таблицу или на дистриб и таблицу?

ClickHouse не тормозит

25 November 2025 14:08

Есть у кого-то мысль что я делаю не так?

ClickHouse не тормозит

25 November 2025 13:58

CREATE MATERIALIZED VIEW db.my_view ON CLUSTER 'my_cluster'
TO db.my_agg_table
AS SELECT 
    a,
    b, 
    c
FROM db.my_other_table -- if here use my_other_table_all (_all is Distributed, everything works fine)
GROUP BY ALL;

ClickHouse не тормозит

25 November 2025 13:57

Когда вьюха смотрит на Distributed Table, то переносит данные без дублей. Когда вьюха смотрит на физическую (хотел, чтобы данные по сети не гуляли), получаю 2 строки (итого х2 данных) в своей ReplicatedAggregatingMergeTree таблице.

ClickHouse не тормозит

25 November 2025 14:30

Да, я уже почитал, к счастью на проде стояло true, я уже подумал что мы данные дублируем.

ClickHouse не тормозит

25 November 2025 14:29

соответственно если сам пишет = вставляет во все реплики = срабатывает MV на всех репликах и задваивает

ClickHouse не тормозит

25 November 2025 14:27

за опции в конфигах выше - почитаю

ClickHouse не тормозит

25 November 2025 14:26

internal_replication у меня не прописано, на проде у нас стоит true. подозреваю что дело в этом

ClickHouse не тормозит

25 November 2025 14:23

да, есть данные, они вставляются в 4 таблицы, по итогу я хочу собрать из тех 4 в одну аггрегацию по дням.

ClickHouse не тормозит

25 November 2025 14:22

это как? вы пишите в одну дистрибуционную а читаете из другой?

ClickHouse не тормозит

25 November 2025 14:19

Вставляет в rand(), читает из intHash64(some_field)

ClickHouse не тормозит

25 November 2025 14:19

Я вставляю всего одну строку, но в табличке с Aggregate вижу две записи (которые в конце концов схлопываются в одну строку с х2 данных)

ClickHouse не тормозит

25 November 2025 14:17

вопроса не понял, конфиг такой

<shard>
                <replica>
                    <host>clickhouse01</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>clickhouse02</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>clickhouse03</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>clickhouse04</host>
                    <port>9000</port>
                </replica>
            </shard>

ClickHouse не тормозит

25 November 2025 14:15

2 шарда, в каждом по две реплики.

ClickHouse не тормозит

25 November 2025 14:14

а как связана Дистрибьютед с репликами?
Дистрибуцию обычно делают поверх шардов.

Можно и поверх нод являющихся репликами, но так вы просто дублируете операции вставки

ClickHouse не тормозит

25 November 2025 14:10

Вставляю я всегда на одну (через Distributed), только вот результат разный, как будто вьюха вешается на обе реплики, и срабатывает дважды, на каждом сервере, у меня как раз 2 реплики в шарде.

ClickHouse не тормозит

25 November 2025 14:01

Флоу с проблемой такой:

-> Insert into distributed -> Distributed Inserts to physical -> View reads from physical, inserts to physical -> Read from distributed, got x2 rows and x2 data

-> (Insert into distributed -> Distributed Inserts to physical) -> View reads from distributed, inserts to physical -> Read from distributed, got correct rows count and data

ClickHouse не тормозит

25 November 2025 13:57

Осторожно , у нас жарко !

ClickHouse не тормозит

25 November 2025 13:55

вообщем где был инсерт, на той реплике и MV сработает