ClickHouse не тормозит

02 июля 2025 16:00

Ну вот странно, что у меня почти все имеет тип GET_PART, а в system.replicated_fetches я не вижу ничего. Фильтр по is_currently_executing в replication_queue спасает ситуацию. Но вышеописанных причин я так и не понимаю.

ClickHouse не тормозит

02 июля 2025 15:56

а в system.replication_queue тип GET_PART все равно отображается для таких фетчей?

ClickHouse не тормозит

02 июля 2025 15:52

Всем привет.
Почему system.replicated_fetches может быть пустой, а system.replication_queue при этом иметь сотни записей вида "Not executing fetch of part all_398002_398002_0 because 8 fetches already executing, max 8."?
23.8

ClickHouse не тормозит

02 июля 2025 15:49

ttl_only_drop_parts =1 не позволит делать долгие ttl мутации

ClickHouse не тормозит

02 июля 2025 15:48

я к тому, что для применения ttl запускается мутация, и там 628 партов осталось, мутация к одному парту применяется долго

ClickHouse не тормозит

02 июля 2025 15:47

будут, у вас уже ttl есть, старое правило сработает, но ttl_only_drop_parts =1 позволит старому правилу только раз в сутки дропнуть парт

ClickHouse не тормозит

02 июля 2025 15:45

но без материализации не будет применения и старые парты не удалятся?

ClickHouse не тормозит

02 июля 2025 15:44

хорошо, смотрим. там же TTL долго применяться будет, ко всем партам?

ClickHouse не тормозит

02 июля 2025 15:42

хм, а какие еще варианты?

ClickHouse не тормозит

02 июля 2025 15:41

ясно, сделайте

TTL toStartOfDay(TimeReceived) + toIntervalMonth(4)
SETTINGS index_granularity = 8192, storage_policy = 'data_policy', always_fetch_merged_part = false,
ttl_only_drop_parts =1

ClickHouse не тормозит

02 июля 2025 15:38

toYYYYMMDD(Date)
TTL TimeReceived

т.е. удаление из всех партиций ? Date и TimeReceived не связаны?

ClickHouse не тормозит

02 июля 2025 15:36

покажите кусок определения таблицы Engine... partition by ... order by... ttl

ClickHouse не тормозит

02 июля 2025 15:23

да, куча места свободно, а оперативных данных нет. останавливаю materialize ttl, начинают появляться

ClickHouse не тормозит

02 июля 2025 14:56

Всем привет!

Подскажите пожалуйста, как пофиксить ошибку

"All commit attempts failed. Last block was already written to target table(s), but was not committed to Kafka."

Не дает новые данные записать

ClickHouse не тормозит

02 июля 2025 14:51

engine=buffer ? не будет, он в памяти хранит.

А у вас часто падает КХ или целиком сервер?

ClickHouse не тормозит

02 июля 2025 15:59

system.replication_queue where is_currently_executing

ClickHouse не тормозит

02 июля 2025 15:54

потому что в 23.8 если мержу чтобы выполнится нужен был парт которого нет, мерж качал этот парт, но такой фетч не отображался в replicated_fetches (типа это merge, а не get операция)

можно их посмотреть типа как-то find /var/lib/clickh... -name 'fetch*'

ClickHouse не тормозит

02 июля 2025 15:50

но перед этим надо убить старые, так?

ClickHouse не тормозит

02 июля 2025 15:48

alter table ... on cluster drop partition ...

ClickHouse не тормозит

02 июля 2025 15:48

ну и вы можете сами сделать alter table ... on cluster drop partition ... если надо прям сейчас

ClickHouse не тормозит

02 июля 2025 15:46

ниче не понял, я рекомендую как сделать чтобы TTL моментально удалял парты целиком, не занимая место и не используя cpu

ClickHouse не тормозит

02 июля 2025 15:44

вы можете сделать вот такое

set materialize_ttl_after_modify=0;
alter table .. on cluster ... modify TTL toStartOfDay(TimeReceived) + toIntervalMonth(4);

ClickHouse не тормозит

02 июля 2025 15:43

ну modify settings ttl_only_drop_parts =1 сразу на cluster

ClickHouse не тормозит

02 июля 2025 15:41

сразу на on cluster?

ClickHouse не тормозит

02 июля 2025 15:39

Date вычисляется из TimeReceived:

AS SELECT
    toDate(TimeReceived) AS Date,

ClickHouse не тормозит

02 июля 2025 15:37

ENGINE = ReplicatedMergeTree('/clickhouse/tables/{uuid}/{shard}', '{replica}')
PARTITION BY toYYYYMMDD(Date)
ORDER BY TimeReceived
TTL TimeReceived + toIntervalMonth(4)
SETTINGS index_granularity = 8192, storage_policy = 'data_policy', always_fetch_merged_part = false

ClickHouse не тормозит

02 июля 2025 15:24

почему всё началось: у таблиц TTL не работает, старые данные не удаляются. плюс сообщения Checksums of parts don't match. место постепенно кончается, руками парты удалять такое себе удовольствие

ClickHouse не тормозит

02 июля 2025 15:22

Подскажите пожалуйста, вроде был какой-то сеттинг, который позволяет сделать limit не на всю выборку из распределённой таблицы, а из каждого шарда.

ClickHouse не тормозит

02 июля 2025 14:51

у нас - нет, вопрос про потерю данных при падении был не мой =D

ClickHouse не тормозит

02 июля 2025 14:50

я думал только для персистируемых движков