ClickHouse не тормозит

24 October 2025 17:36

ок, ломается на выключении query_plan_enable_optimizations

ClickHouse не тормозит

24 October 2025 17:14

логично, offset это сдвиг внутри окна рефреша, его смысл в том чтобы разнести нагрузку на ресурс если таких рефрешей много.

для такого расписания нужен кронтаб (но он в секунды не умеет)

ClickHouse не тормозит

24 October 2025 16:52

https://clickhouse.com/docs/sql-reference/statements/create/view#refreshable-materialized-view
хотел настроить refreshable view чтобы срабатывала каждые 10 секунд ежедневно с 12:00 до 00:00
EVERY 10 SECONDS OFFSET 12 HOURS
так не работает, offset ожидается меньше чем every

ClickHouse не тормозит

24 October 2025 09:34

там где-то можно посмотреть версию jdbc драйвера кх

ClickHouse не тормозит

24 October 2025 09:28

А на другой машине не работает.
Не появляется вкладка отображения.

ClickHouse не тормозит

24 October 2025 08:31

Мастер нейроиллюстрации. Тариф Premium. (2025)

#Графика_дизайн

IT MEGA

ClickHouse не тормозит

23 October 2025 22:03

здесь работает, здесь не работает. у меня самый свежий goland

ClickHouse не тормозит

23 October 2025 21:58

Без проблем работает в нем эксплейн

ClickHouse не тормозит

21 October 2025 23:49

Ну да, такое сработает если на одном сервере все парты помержились и больше не планируют, и надо это на реплики разлить. Считай то же, что и с нуля реплику налить... Тогда остановлюсь на полной переналивке "слабой" реплики. Спасибо за ответ ночью

ClickHouse не тормозит

21 October 2025 23:42

Они и так помержены. При аттаче партов должны мержиться парты из non-replicated с партами в replicated же? В этих мержах проблема. Не мержить вовсе - не выйдет, вставки в таблицы продолжаются и рано или поздно лопнут из-за too many parts

ClickHouse не тормозит

21 October 2025 22:48

Привет! Подскажи, а какой способ есть решить проблему из сообщения Сергея, помимо always_fetch_merged_part?

У нас кейс следующий:
- есть 3 replicated инстанса, 2 "сильных" сервера и один "слабый"
- на одном из сильным инстансов мы из non-replicated таблицы аттачим террабайты партов в replicated таблицу
- данные разливаются на реплики и начинают мержиться

И если на двух "сильных" серверах мержи проходят успешно, то на одной "слабой" реплике мержи работают в полку слишком продолжительное время. Хочется перетянуть смерженные парты с соседних реплик.
Мы используем версию 22.3.11, на которой, насколько я понял, нет опции always_fetch_merged_part. Из вариантов решения вижу только наливать "слабую" реплику с нуля, но мб есть менее радикальный способ?

ClickHouse не тормозит

21 October 2025 19:10

Спасибо, пойду изучать)

ClickHouse не тормозит

21 October 2025 18:19

не пока

в итоге я правильно понимаю вашу идею:

чтобы я сделал
max_threads=1 и max_block_size = 50000

чтобы понять сколько памяти будет есть чтение паркетов на максимуме (memory_usage (system.query_log
) и дальше поднимать max_threads чтобы понимать сколько ядер можно утилизировать и при этом чтобы не выжирало всю память?

ClickHouse не тормозит

21 October 2025 18:10

https://clickhouse.com/docs/interfaces/formats/Parquet
о, щас сюда покопаю, спасибо

ClickHouse не тормозит

21 October 2025 18:08

я бы подозревал что 16 мб это пер колонка, но надо читать описание параметра

ClickHouse не тормозит

24 October 2025 17:18

у меня селект с лимитом, как вариант думаю добавить условие select ... limit if(toHour(now) >= 12, 10000, 0)
будет срабатывать каждые 10 секунд, но данные достанет только после 12:00

ClickHouse не тормозит

24 October 2025 17:12

в 25.3.7 последней сломали pruning? :)
(в моменте ремонта)

ClickHouse не тормозит

24 October 2025 09:37

Вроде последний (из их списка). Возможно сама версия шторма еще как то влияет

ClickHouse не тормозит

24 October 2025 09:30

Есть смысл озадачить этим разрабов. Это же их продукт. Тем более, что и, наверняка, еще и купленный

ClickHouse не тормозит

24 October 2025 09:10

Как и все остальные. Джет брейну бы добавить возможность отправлять сырые запросы, было бы здорово. А так в целом вполне удобная адекватная тулза.

ClickHouse не тормозит

24 October 2025 00:23

Джет брейновские Иде (про другие не знаю), существенно запаздывают в поддержке синтаксиса и функций клика

ClickHouse не тормозит

23 October 2025 22:02

Да, интересно. Я сейчас с другой машины сижу, и на ней работает. А на другой было пусто. Возможно разные версии шторма или драйвера.

ClickHouse не тормозит

23 October 2025 21:45

Спасибо, так работает 👍

ClickHouse не тормозит

21 October 2025 23:46

тогда нет решения, да и always_fetch_merged_part , вот смержился парт в 300ГБ и что теперь фетчить его на другие реплики? сеть 10гбит?
в смысле много раз будет фетчится, и 50ГБ и 100 и 150

ClickHouse не тормозит

21 October 2025 23:39

мержить пока они в non-replicated ?
уменьшить max_bytes_to_merge_at_max_space_in_pool чтобы вообще не мержилось в replicated

ClickHouse не тормозит

21 October 2025 21:59

Немного дополняю
Получаю от человека данные с 1с в виде 9 штук xlsx
конвертирую их через python скрипт в 1 csv
загружаю csv в clickhouse cloud

хочу сделать кластер на яндексе (данные берутся для чартов datalens, так что яндекс удобен)

могу я подключить напрямую выгрузку к кластеру яндекса или кликхаус cloud?

ClickHouse не тормозит

21 October 2025 18:58

Я думаю более перспективно крутить

input_format_parquet_enable_row_group_prefetch │ 1
input_format_parquet_max_block_size │ 65409
input_format_parquet_prefer_block_bytes │ 16744704

Первую выключить, вторую и третью уменьшать

ClickHouse не тормозит

21 October 2025 18:12

вы кстати не пробовали settings input_format_parquet_use_native_reader_v3=1 ?

ClickHouse не тормозит

21 October 2025 18:10

>Объем всех паркетов за день =2 ГБ
это смешно, в issues у КХ есть специально созданный паркет размером 1МБ чтобы прочитать его надо 400ГБ памяти и в КХ и в spark и в python

ClickHouse не тормозит

21 October 2025 18:07

calc_time у вас в partition by ?

можете проверить например у mergeTree* таблиц в system.parts колонки min_time и max_time