ClickHouse не тормозит

02 июля 2025 16:41

/channel/clickhouse_ru/422896

ClickHouse не тормозит

02 июля 2025 16:33

А зукипер пересоздавать нужно только для чека что все завелось? Так как в старом продовом CH были какие то апдейты? И нам надо опять сбросить всю мету, поставить прод в RO, досинкать новые данные, поднять ZK и restore replica ?
- в этом случае есть даунтайм, но не такой большой как в 3 варианте)

@den_crane
Спасибо за ответ!

ClickHouse не тормозит

02 июля 2025 16:15

Привет! Мы давно не обновляли свой продовый клик (с 2022го года :) ). Сейчас вынуждены переезжать в другой ДЦ и соответственно хотелось бы апнуться до последней 25 версии.

Версия текущего клика v22.2.2.1
Схема: 2 ноды, без шардирования (простая репликация)
Объем данных: ~ 15+ Tb
Репликатор: zookeeper

Как правильно отреплицировать данные в новый ДЦ?
1) Поднять в новом ДЦ старую версию клика с зукипером, дождаться репликации, апнуть версию с 22 до 25 (это реально итеративно или сразу большим шагом?)
2) Поднять в новом ДЦ сразу новую версию клика и натравить старый зук, понадеяться что проблем с репликацией не возникнет, переключиться с старого ДЦ на новый и возможно мигрироваться с зук на chkeeper (может ли в таком случае как то аффектнуть данные в текущем проде?)
3) Простой INSERT SELECT remote с жирным даунтаймом 😢
4) Пока не придумали

1-2 варианты можно протестировать в дев среде, но пока этого не сделали, может быть есть люди у которых был такой опыт?

ClickHouse не тормозит

02 июля 2025 16:00

Ну вот странно, что у меня почти все имеет тип GET_PART, а в system.replicated_fetches я не вижу ничего. Фильтр по is_currently_executing в replication_queue спасает ситуацию. Но вышеописанных причин я так и не понимаю.

ClickHouse не тормозит

02 июля 2025 15:56

а в system.replication_queue тип GET_PART все равно отображается для таких фетчей?

ClickHouse не тормозит

02 июля 2025 15:52

Всем привет.
Почему system.replicated_fetches может быть пустой, а system.replication_queue при этом иметь сотни записей вида "Not executing fetch of part all_398002_398002_0 because 8 fetches already executing, max 8."?
23.8

ClickHouse не тормозит

02 июля 2025 15:49

ttl_only_drop_parts =1 не позволит делать долгие ttl мутации

ClickHouse не тормозит

02 июля 2025 15:48

я к тому, что для применения ttl запускается мутация, и там 628 партов осталось, мутация к одному парту применяется долго

ClickHouse не тормозит

02 июля 2025 15:47

будут, у вас уже ttl есть, старое правило сработает, но ttl_only_drop_parts =1 позволит старому правилу только раз в сутки дропнуть парт

ClickHouse не тормозит

02 июля 2025 15:45

но без материализации не будет применения и старые парты не удалятся?

ClickHouse не тормозит

02 июля 2025 15:44

хорошо, смотрим. там же TTL долго применяться будет, ко всем партам?

ClickHouse не тормозит

02 июля 2025 15:42

хм, а какие еще варианты?

ClickHouse не тормозит

02 июля 2025 15:41

ясно, сделайте

TTL toStartOfDay(TimeReceived) + toIntervalMonth(4)
SETTINGS index_granularity = 8192, storage_policy = 'data_policy', always_fetch_merged_part = false,
ttl_only_drop_parts =1

ClickHouse не тормозит

02 июля 2025 15:38

toYYYYMMDD(Date)
TTL TimeReceived

т.е. удаление из всех партиций ? Date и TimeReceived не связаны?

ClickHouse не тормозит

02 июля 2025 15:36

покажите кусок определения таблицы Engine... partition by ... order by... ttl

ClickHouse не тормозит

02 июля 2025 16:40

снова restore replica

таким образом можно добится даунтайм в пару секунд.
т.е. rsync делайте наживую

ClickHouse не тормозит

02 июля 2025 16:26

надо тестить на стейдже вашу приладу, возможно вообще не будет работать, или будет работать медленее.

2 не надо, 25я версия переделает все в зукипере и старый кластер встанет.

4. инкрементальный rsync файлов в новый кластер, несколько запусков, чтобы досинкать изменения, новый кластер смотрит в новый зукипер (кипер), поднимаем 25й кх, system restore replica, тестируем приложение, если все ОК, пересоздаем зукипер, останавливаем КХ, снова инкрементальный rsync изменений ...

примеры как делать rsync ищите в чате, там важны ключи, типа удаляй в приемнике файлы которых уже нет в источнике

ClickHouse не тормозит

02 июля 2025 16:02

см /var/log/clickhouse..

ClickHouse не тормозит

02 июля 2025 15:59

system.replication_queue where is_currently_executing

ClickHouse не тормозит

02 июля 2025 15:54

потому что в 23.8 если мержу чтобы выполнится нужен был парт которого нет, мерж качал этот парт, но такой фетч не отображался в replicated_fetches (типа это merge, а не get операция)

можно их посмотреть типа как-то find /var/lib/clickh... -name 'fetch*'

ClickHouse не тормозит

02 июля 2025 15:50

но перед этим надо убить старые, так?

ClickHouse не тормозит

02 июля 2025 15:48

alter table ... on cluster drop partition ...

ClickHouse не тормозит

02 июля 2025 15:48

ну и вы можете сами сделать alter table ... on cluster drop partition ... если надо прям сейчас

ClickHouse не тормозит

02 июля 2025 15:46

ниче не понял, я рекомендую как сделать чтобы TTL моментально удалял парты целиком, не занимая место и не используя cpu

ClickHouse не тормозит

02 июля 2025 15:44

вы можете сделать вот такое

set materialize_ttl_after_modify=0;
alter table .. on cluster ... modify TTL toStartOfDay(TimeReceived) + toIntervalMonth(4);

ClickHouse не тормозит

02 июля 2025 15:43

ну modify settings ttl_only_drop_parts =1 сразу на cluster

ClickHouse не тормозит

02 июля 2025 15:41

сразу на on cluster?

ClickHouse не тормозит

02 июля 2025 15:39

Date вычисляется из TimeReceived:

AS SELECT
    toDate(TimeReceived) AS Date,

ClickHouse не тормозит

02 июля 2025 15:37

ENGINE = ReplicatedMergeTree('/clickhouse/tables/{uuid}/{shard}', '{replica}')
PARTITION BY toYYYYMMDD(Date)
ORDER BY TimeReceived
TTL TimeReceived + toIntervalMonth(4)
SETTINGS index_granularity = 8192, storage_policy = 'data_policy', always_fetch_merged_part = false

ClickHouse не тормозит

02 июля 2025 15:24

почему всё началось: у таблиц TTL не работает, старые данные не удаляются. плюс сообщения Checksums of parts don't match. место постепенно кончается, руками парты удалять такое себе удовольствие