11238
Обсуждаем ClickHouse
ну его отстреливают, только не ясно клиент или сервер
стектрейс посмотрите ошибки в system.query_log
еще советую через https://github.com/Slach/clickhouse-flamegraph/
для разных версий построить Real flamegraph
чтобы сравнить... куда время уходит
можно даже сравнить через diff
https://www.brendangregg.com/blog/2014-11-09/differential-flame-graphs.html
ну вы там в issue как раз обходной путь и попробовали =)
гхм... что у вас там за запросы такие что для вас 0.2 секунды прям медленный запрос?
а можете сравнить попробовать 25.3 и 23.8 по ProfileEvents?
и выдать в более читабельном формате ?
ну то есть ставим 23.8
делаем гранты пишем в system.query_log
ставим поверх 25.3
потом сравниваем примерно так
https://azat.sh/presentations/2022-know-your-clickhouse/#/21
чтобы понять что изменилось
правда 23.8 query_id скорее всего переедет в system.query_log_1 потому что там схема таблицы менялась
привет
а можно ли в кх выдать гранты на чтение одной таблицы во всех бд?
типа такого
GRANT SELECT ON *.table TO user;
Есть у кого-нибудь опыт репликации из PG с peerDB и Altinity?
Интересует как переносятся удаления, Как полная копия записи с флагом удаления или только поля PK с дефолтами по остальным?
Да. Это пользовательская настройка уже. Можно в профиле, можно в сеттингс в запросе, где угодно
Читать полностью…
Есть опыт сспользования суперсет с КХ в крупном нагруженном проекте, без особых проблем. Имхо Зависит от запросов , подготовке данных, настройках датасета. Из инструментов хватало ch-proxy
Читать полностью…
Выгружать любит все.
К нему нужно разворачивать доп инструменты, чтобы более тонко управлять запросами к базе
Только не лучшее вариант для работы с Кликом
Читать полностью…
а есть способ выставить max_partition_size_to_drop на уровне профиля или пользователя, или какой-то его аналог? (вариант с флагом не подходит, приложению на сервер ходить нельзя).
Читать полностью…
ну если вообще упороться можно тут покапаться https://github.com/stars/Slach/lists/clickhouse-bi-visualization
Читать полностью…
Это да, взял taskiq под это дело.
Спасибо за подробный ответ
места с запасом пара ТБ, 4096 попробую 🙏🏻
Читать полностью…
там не через curl на 9234 а через nc какой нибудь проверить доступность по tcp
Читать полностью…
Да дело не в этом. Там возвращаются числа, у которых нет соответствующих кодеков, т.е. это либо мусор либо не тот байт читается
Читать полностью…
ну 0.2 то ладно, у меня запрос падает в последнем комменте, хотя там просто обращение к system.mutations
с разными версиями сейчас попробую потыкаю
просто у нас на 25.3 проблема очень неприятная есть. Когда выдаешь много грантов пользователю, запросы начинают очень очень медленно работать или падают по итогу
https://github.com/ClickHouse/ClickHouse/issues/84871
Тут много вариантов почему так :)
Оставим.
Я бы суперсет не рекомендовал. Но многие на нем сидят, некоторые даже без допилов.
Ну как чинить рецепты в
https://github.com/ClickHouse/ClickHouse/issues/54902
Тогда берите Даталенс. Осваивается за пару часов
Читать полностью…
В любом случае технари буду делать дашборы и фильтры. А менеджеры только жмякать , в суперсете есть разделение ролей. Еще есть редаш, но он на уровне метадаты
Читать полностью…
Спасибо, теперь выбираю между Apache Superset и Metabase.
Пользоваться инструментом будут не технари (управленцы точками и управленцы управленцами), поэтому для меня когнитивная сложность инструмента тоже немаловажный фактор, сейчас буду сравнивать.
Алексей, посмотрите Apache Superset. Он все это может
Читать полностью…
Непонятно почему этот баг проявляется. У вас была версия 23.8 ?
Читать полностью…
Engine PostgreSQL
ну вам все равно придется написать по CRON какой то свой INSERT -> SELECT ...
из BI инструментов еще есть Superset и Yandex datalens
тут зависит от ваших скилов все
если вам нравится Metabase потому что там как бы все "полуручками" и по простому делается, то ок...
можно вообще какой нибудь http://chat.qwen.ai + https://github.com/Altinity/altinity-mcp/ + в качестве модели и https://github.com/srbhptl39/MCP-SuperAssistant в качестве визуализатора использовать для быстрого прототипа
прям словами пишете что хотите , оно вам запросы пишет что-то рисует...
если вы сами продвинутые и хотите прямо полноценный BI то вот
то есть https://github.com/apache/superset/ и https://github.com/datalens-tech
А место на диске есть свободное?
schedule_pool_size поставьте 4096 если у вас тыщи таблиц.
тоже самое
select distinct last_exception, postpone_reason from system.replication_queue where is_currently_executing
SELECT DISTINCT
last_exception,
postpone_reason
FROM system.replication_queue
WHERE is_currently_executing
┌─last_exception─┬─postpone_reason─┐
1. │ │ │
└────────────────┴─────────────────┘
background_pool_size: 64Читать полностью…
background_schedule_pool_size: 192
background_common_pool_size: 64
background_merges_mutations_concurrency_ratio: 3
background_pool_size: 64
background_schedule_pool_size: 192
background_common_pool_size: 64
background_merges_mutations_concurrency_ratio: 3
А что в строках у которых is_currently_executing
Читать полностью…