ClickHouse не тормозит

06 сентября 2025 01:41

лучше, но не настолько драматически. я бы ожидал в этом случае, что у них uncompressed rate будет сравним с другими мерджами, но он тоже заметно ниже (см. скриншот)

ClickHouse не тормозит

06 сентября 2025 00:28

подскажи, чат, в какую сторону копать, если у одной отдельно взятой таблицы систематически, в несколько раз, более тугие мерджи чем у остальных? довольно обычный MergeTree, без фанатизма, как и остальные

ClickHouse не тормозит

05 сентября 2025 18:21

Контекст: хотелось бы использовать под tmp два диска, ssd+hdd. Использовать первый, второй использовать только в случае если на первом нет места.
Сначала попробовал использовать для эти цели storage_policy с двумя volume c приоритетами, но клик бодро при старте ругнулся
Code: 139. DB::Exception: Policy 'tmp_two_tiers' is used temporary files, such policy should have exactly one volume. (NO_ELEMENTS_IN_CONFIG)

Был бы рад положиться на то, то это будет работать из коробки по описанию в tmp_policy, но его описание расходится с описанием того, как работают диски в вольюме в общем случае

ClickHouse не тормозит

05 сентября 2025 17:46

Ну его в 25.8 его из эксперементального переместели в бета. Так что всё еще не продакшн реди. Использование на свой страх и риск.

ClickHouse не тормозит

05 сентября 2025 16:14

Интерестинг😅 попробую.

ClickHouse не тормозит

05 сентября 2025 16:11

добавьте в SETTINGS
grace_hash_join_initial_buckets=8, grace_hash_join_max_buckets=8;

ClickHouse не тормозит

05 сентября 2025 15:54

Один джоин.
Использую setting grace_join

ClickHouse не тормозит

05 сентября 2025 15:51

Ого, спасибо. Просто стал сталкиваться часто с тем что не хватает конфигурации 8GB*3, а ценник за 16GB*3 уже достаточно большой.

Хотя по идеи запрос должен отработать с 24 GB памяти...

ClickHouse не тормозит

05 сентября 2025 15:43

Коллеги, добрый день!

Вопрос по Clickhouse Cloud ☁️:

Чтобы у меня запросы выполнялись распределенно, мне нужно создать над SharedMergeTree создать Distributed?

ClickHouse не тормозит

05 сентября 2025 12:53

Я помню, спарк там чёт хотел получать сначала от кх . Посмотрите в query_log может там ошибки есть в запросах спарка )

ClickHouse не тормозит

05 сентября 2025 12:52

А у вас права на чтение есть ?

ClickHouse не тормозит

05 сентября 2025 12:46

А зачем спарком писать в буфер?
Можно же на стороне спарка регулировать размер вставляемого батча

ClickHouse не тормозит

05 сентября 2025 12:34

настройку где прописываете? в каждом insert запросе? движок replacing? или оьычный merge tree?

ClickHouse не тормозит

05 сентября 2025 10:28

Всем привет, а если в логе КХ ошибка на MOVES, то как править это ?

DB::Exception: Cannot clone part 20250829_0_491_7 from 'store/64f/64f827cd-06a5-4c66-8d2e-224f577ee042/20250829_0_491_7/' to 'store/64f/64f827cd-06a5-4c66-8d2e-224f577ee042/moving/20250829_0_491_7/': path '/clickhousehdd/store/64f/64f827cd-06a5-4c66-8d2e-224f577ee042/moving/20250829_0_491_7/' already exists. (DIRECTORY_ALREADY_EXISTS)

ClickHouse не тормозит

05 сентября 2025 09:03

этот функционал используется крайне редко, смысл в том что мы стримим данные из разных источников и агрегируем их в кх. Бывают моменты когда источники отключаются и недоступны нарушается консистентность. И мы перезаписываем все имеющиеся данные. Версия у нас как updated_date в источниках и она никогда не меняется

ClickHouse не тормозит

06 сентября 2025 01:37

SELECT
    arr[1] AS field1,
    arr[2] AS field2
FROM
(
    SELECT
        arrayJoin(
            JSON_QUERY(payload, '$.a')
        ) AS arr
    FROM your_table
)

ClickHouse не тормозит

05 сентября 2025 23:59

Подскажите, можно как развернуть массив, хранящийся в поле json array?

У меня есть поле payload JSON, там {"a" : [["1", "2"], ["3", "4"]]}

мне нужно сделать селект, который выведет:

field1 field2
1 2
3 4

Я так понимаю, обычный массив можно развернуть с помощью array join, но как развернуть массив, который как поле в JSON?

ClickHouse не тормозит

05 сентября 2025 18:17

Добрый день, коллеги.

Прошу помощи с трактовкой неясного места из святого августина документации

Storage policy. Как будет выполняться запись на несколько дисков в одном volume?

Отсюда https://clickhouse.com/docs/engines/table-engines/mergetree-family/mergetree
можно сделать вывод, что указание нескольких дисков в одном вольюеме приведёт к записи через
round-robin
"In given example, the hdd_in_order policy implements the round-robin approach."

Здесь же
https://clickhouse.com/docs/operations/server-configuration-parameters/settings#tmp_policy
пишут, что запись в вольюм с несколькими дисками будет выполняться в режиме "failover"
"When /disk1 is full, temporary data will be stored on /disk2"

Не очень понимаю, как без дополнительных настроек один и тот же volume будет настолько по-разному работать в разных случаях указания.
При этом название hdd_in_order само по себе сбивает с толку, я бы от него ожидал режима "failover"

ClickHouse не тормозит

05 сентября 2025 17:35

Ребят, насколько lightweight update production-ready?

ClickHouse не тормозит

05 сентября 2025 16:13

вообще это в саппорте надо спрашивать, там настоящие сварщики, а не как тут.

ClickHouse не тормозит

05 сентября 2025 15:59

SETTINGS join_algorithm = 'grace_hash',
max_memory_usage = 15000000000,
max_bytes_before_external_group_by = 1000000000,
max_bytes_before_external_sort = 1000000000;

ClickHouse не тормозит

05 сентября 2025 15:53

ну это совешенно иная проблема, обратная даже, и решение у нее другое, в саппорт клауда лучше.

у вас джойн наверное в запросе, или несколько?

ClickHouse не тормозит

05 сентября 2025 15:49

в КХ клауд все по другому. Надо спрашивать их саппорт как распаллелить запрос.

Там всегда один шард. Там нельзя создать Distributed.
Чтобы несколько реплик выполняли один запрос, они пилят max_parallel_replicas.

ClickHouse не тормозит

05 сентября 2025 13:00

Что-то я действительно не подумал об этом. Все зарпосы от спарка падают вот с такой ошибкой

<failed to load>
java.sql.SQLException: Method: getLong("normalized_query_hash") encountered an exception.
 at com.clickhouse.jdbc.internal.ExceptionUtils.toSqlState(ExceptionUtils.java:74)
 at com.clickhouse.jdbc.ResultSetImpl.getLong(ResultSetImpl.java:320)
 at com.clickhouse.jdbc.ResultSetImpl.getLong(ResultSetImpl.java:175)
 in CHouseJdbcHelper.tryGetObject(CHouseJdbcHelper.java:156)
Caused by: java.lang.ArithmeticException: integer overflow: 15722048748544463130 cannot be presented as long
 at com.clickhouse.client.api.data_formats.internal.NumberConverter.toLong(NumberConverter.java:87)
 at com.clickhouse.client.api.data_formats.internal.AbstractBinaryFormatReader.readNumberValue(AbstractBinaryFormatReader.java:378)
 at com.clickhouse.client.api.data_formats.internal.AbstractBinaryFormatReader.getLong(AbstractBinaryFormatReader.java:402)
 at com.clickhouse.jdbc.ResultSetImpl.getLong(ResultSetImpl.java:314)
 ... 22 more

ClickHouse не тормозит

05 сентября 2025 12:53

Да. Сейчас проверю дополнительно конечно

ClickHouse не тормозит

05 сентября 2025 12:50

Я пробую вставлять в ReplicatedReplacingMergeTreeEngine и мне ловлю экзепшен что данная таблица не поддерживается. У нас сейчас официальный коннектор от Clickhouse.

ClickHouse не тормозит

05 сентября 2025 12:44

Заранее благодарю за ответы возможно на очевидные вопросы, но не могу найти ответы в документации.
- Возможно ли создать BufferEngine на ReplicatedReplacingMergeTreeEngine?
- Если кто-то уже сталкивался с этим, поддерживает ли Apache Spark connector стриминговую вставку в BufferEngine? На ReplicatedReplacingMergeTreeEngine ругается что не поддерживает.

ClickHouse не тормозит

05 сентября 2025 12:09

Отвечу сам себе. Я остановил мув на таблице, дропнул эту часть со второго диска, запустил мув.

ClickHouse не тормозит

05 сентября 2025 09:24

Есть смысл в async_insert если разные сервисы пишут в одну таблицу, но каждый сервис пишет в свой партишен?

ClickHouse не тормозит

05 сентября 2025 09:03

подтвердилась ваша догадка, нашел вставку данных