ClickHouse не тормозит

12 июля 2025 19:10

А, у нас таких нет. Мы раз в сутки перегружаем словари через reload dictionary. Поэтому lifetime=0. Вроде про значения в диапазоне 1-30 секунд я не писал)

ClickHouse не тормозит

12 июля 2025 19:08

Потому что 0 это выключение перезагрузки. Предполагается что вы будете руками это делать командой reload dictionary. Я говорю о маленьких значениях типа 30 секунд. В таком случае вы убиваете оба сервера постоянной бесполезной работой

ClickHouse не тормозит

12 июля 2025 19:03

в этом случае нужно делать какой-то CDC sync в локальную таблицу, которая и будет источником данных для словаря

ClickHouse не тормозит

12 июля 2025 19:00

Да не совсем так. У нас кликхаус ходит за словарями во внешнюю БД, которую иногда закрываем на обслуживание. И во время этого простоя ожидали, что словари всегда будут доступны, так как они под ручным управлением. Получается наш вариант материализовать измерения на кликхаусе и уже из них поднимать словари.

ClickHouse не тормозит

12 июля 2025 18:57

Все так, все так! 😂😂😂

ClickHouse не тормозит

12 июля 2025 18:47

Было тут недавно про недостатки JOIN
Хотя в простых случаях работает

ClickHouse не тормозит

12 июля 2025 18:44

join таблица ваш выбор

ClickHouse не тормозит

12 июля 2025 18:41

У вас?
Нет, вроде, такой настройки

ClickHouse не тормозит

12 июля 2025 18:39

Именно, он может быть выгружен как при нехватке памяти так и при неиспользовании

ClickHouse не тормозит

12 июля 2025 18:38

Либо был выгружен из памяти

ClickHouse не тормозит

12 июля 2025 18:36

Ну он же не должен обновляться при lifetime=0? Я ожидаю, что достаточно одного обращения, чтобы словарь поместился в раму и жил там вечно или это не так?

ClickHouse не тормозит

12 июля 2025 18:31

Всем привет. Подскажите пожалуйста, а какая логика у кликхауса при кешировании внешних словарей с lifetime 0? Я создаю словари и они все переходят в статус LOADED, с течением некоторого времени, некоторые уходят в статус NOT LOADED чего я не ожидаю

ClickHouse не тормозит

12 июля 2025 13:04

они могут откатить на 25.3.3

ClickHouse не тормозит

12 июля 2025 13:00

Вы просто не сильно их пытали

шансы напороться на проблемы выше там, где вовсю используются широкие таблицы и тяжелые запросы

ClickHouse не тормозит

12 июля 2025 12:56

Да, но ответили что ответили 🤷🏻‍♀️

ClickHouse не тормозит

12 июля 2025 19:09

Да?

https://clickhouse.com/docs/sql-reference/dictionaries#cache

ClickHouse не тормозит

12 июля 2025 19:06

Но я наблюдаю абсолютно обратное поведение, которое описано в документации, что кликхаус выбрасывает из рамы словарь при длительном не обращении к нему пользователями.

ClickHouse не тормозит

12 июля 2025 19:02

нельзя ставить lifetime менее минуты. Если вам нужно "прямо сейчас" используйте direct layout без всякого кеширования в памяти

ClickHouse не тормозит

12 июля 2025 18:58

Но на деле: «никто не умеет пользоваться парашютом… как дальше жить будем?»

ClickHouse не тормозит

12 июля 2025 18:56

Если слушать данную группу, то кликхаус лагучая багучая херня ) Но быстро работает )

ClickHouse не тормозит

12 июля 2025 18:45

Ну или вы можете создать таблицу со слепком данных в кликхаусе, и потом на него натровить словарь.

ClickHouse не тормозит

12 июля 2025 18:42

Я так понимаю, dictionary_lazy_load тоже не гарантирует вечное хранение в раме, пока кликхаус сервер жив?

ClickHouse не тормозит

12 июля 2025 18:40

А у нас нет опций принудительно не выгружать словари из памяти?)

ClickHouse не тормозит

12 июля 2025 18:38

Но сделал же при первой загрузке, и там жил. К словарю не обращались порядка 8-ми часов и он перешел в статус NOT LOADED

ClickHouse не тормозит

12 июля 2025 18:37

Но у вас он не смог это сделать

ClickHouse не тормозит

12 июля 2025 18:35

Не обновляется автоматически и такой статус может бы и при ошибках

ClickHouse не тормозит

12 июля 2025 13:04

Посмотрим, понедельник покажет

ClickHouse не тормозит

12 июля 2025 13:03

Ну по сути пока выдали только Work around решение типа отключить metriclog и tracelog, при этом подтвердив баг, сославшись на возможное решение будущем через PR 83607. Так как стоим на managedYandex, не всё можем себе руками править

ClickHouse не тормозит

12 июля 2025 12:58

Никто не в курсе кстати

ClickHouse не тормозит

12 июля 2025 12:55

Дело кстати не в metric_log. Она просто пример, на любой широкой таблице при мержах течет.