11016
Обсуждаем ClickHouse
так а какая разница-то?
merge_tree настройки можно задать для всех таблиц сразу в конфиге и перекрыть для конкретной таблицы в ее settings
Век живи, век учись!!. Благодарю за разъяснения
Читать полностью…
Вижу что у compact поля bytes_on_disk самые маленькие
Читать полностью…
от размера зависит
Wide для больших партов
Compact для мелких
можно настроить чтобы всегда Wide писало, но не стоит...
Коллеги, день добрый!. Выполнил запрос к system.parts. смотрю поле part_type по одной таблице имеет значение Wide, Compact. Я знаю эти типы, но не пойму почему разные части по разному пишутся?
Читать полностью…
я такого не говорил, вы разберитесь сначала это график чего у вас?
в КХ 30 метрик для памяти
SELECT
name,
formatReadableSize(value)
FROM system.metrics
WHERE name ILIKE '%mem%'
FORMAT PrettyCompact
SELECT
name,
formatReadableSize(value)
FROM system.asynchronous_metrics
WHERE name ILIKE '%jem%'
FORMAT PrettyCompact
SELECT
name,
formatReadableSize(value)
FROM system.asynchronous_metrics
WHERE name ILIKE '%mem%'
FORMAT PrettyCompact
я правильно понимаю, что вы говорите о том что память на месте - просто метрика рисуется криво?
Читать полностью…
если нет возможности поставить 25.5.9.14 , то можно сеттингами исправить, но рестарт все равно нужен
v25.5.7.52-stable.md:* Backported in [#83672](https://github.com/ClickHouse/ClickHouse/issues/83672): Fix incorrect memory around max_untracked_memory. [#83607](https://github.com/ClickHouse/ClickHouse/pull/83607) ([Azat Khuzhin](https://github.com/azat)).
25.5.3.75
—-
|name |formatReadableSize(value)|Читать полностью…
|-----------------------------|-------------------------|
|MemoryTracking |42.57 GiB |
|MemoryTrackingUncorrected |1.50 MiB |
|MergesMutationsMemoryTracking|0.00 B |
у вас не утечка, вам рестарт кх не помогает, я хз что у вас, возможно select очень сложный в mat view
Читать полностью…
settings prefer_localhost_replica=0
https://github.com/ClickHouse/ClickHouse/issues/53561
meanwhile 3 days ago
https://github.com/ClickHouse/ClickHouse/pull/73100
Может я не так выразился. Какое значение лучше ставить для compact, прежде, чем сменится статус на wide
Читать полностью…
А есть рекомендации по части min_bytes_for_wide_part
В части SETTING )? При определении таблиц!
есть настройки select * from system.merge_tree_settings where name like '%wide%';
min_bytes_for_wide_part по дефолту 10485760
в clickhouse.cloud 100MB (кажется)
некоторые пользователи все хранят в compact партах всегда, но в этом случае сильно замедляется alter которые должны переименовать/проапдейтить одну колонку, потому что вместо одной колонки перезаписывается весь data.bin
значит еще не смержился, если есть и wide для этой партиции
Читать полностью…
compact это формат парта который все колонки хранит в одном файле data.bin
это очень похоже parquet формат
compact ускоряет запись (меньше random io), ускоряет инсерты и немного замедляет селекты
т.е. пока парты маленькие они хранятся как compact, дальше при мержах они становятся wide, где каждая колонка хранится в отдельном файле
мб Compact уже неактивный парт? или пустые парты не успели удалиться
Читать полностью…
ого, пропустил, т.е. теперь наконецто можно не полагаться на тот самый единственный счетчик, который если в случае вот таких мелких багов "утекает", хотя реальной памяти не юзается, класс
Читать полностью…
1. можно не полагаться на memory_tracker
cat /etc/clickhouse-server/config.d/memory_tr.xml
<clickhouse>
<memory_worker_period_ms>60000</memory_worker_period_ms>
<memory_worker_correct_memory_tracker>1</memory_worker_correct_memory_tracker>
<memory_worker_use_cgroup>0</memory_worker_use_cgroup>
</clickhouse>
т.е. каждую минуту трекинг будет корректироваться
2. вообще никаких проблем, ну была вот мелкая проблема в течении 3х месяцев, баг, ну починили, делов-то
наступит ли время когда мемори трекер начнет нормально считать...
Читать полностью…
спасибо будем мониторить ресурсы для начала
Читать полностью…
select version();
SELECT
name,
formatReadableSize(value)
FROM system.metrics
WHERE name ILIKE '%mem%'
FORMAT PrettyCompact
Спасибо) Это существенно помогло ускорить запрос, но разница между началом выполнения на инициаторе и шардах так и осталась (на скрине один запрос с вкл и откл настройкой)
Читать полностью…
Всем привет👋
Столкнулся с проблемой при выполнении запросов, которые считают данные локально на шардах и потом агрегирует/объединяет данные на инициаторе. Сами запросы схематично:
SELECT
field_1,
...
SUM(field_100)
FROM cluster('...', view(
WITH cte1 AS (SELECT * FROM distr_table INNER JOIN replicated_table),
...
cte777 AS (SELECT * FROM cte1)
SELECT * from cte777
)) a
GROUP BY
field_1,
...