clickhouse_ru | Неотсортированное

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11016

Обсуждаем ClickHouse

Подписаться на канал

ClickHouse не тормозит

без if не сделать https://fiddle.clickhouse.com/e0512186-fcf9-4a34-b51c-46adef76f85a

Читать полностью…

ClickHouse не тормозит

with t as (
select 1 as x
union all
select 2 as x
union all
select 3 as x
),
t2 as (select x::Nullable(Int) as x from t)
select *,
avg(x) OVER (ORDER BY x ROWS BETWEEN 1 PRECEDING AND CURRENT ROW) AS m
from t2
order by x;

Читать полностью…

ClickHouse не тормозит

ничего не понятно

покажите структуру таблицы и запрос, результат и что хочется получить

оконка, на то и оконка, что работает по окну...

Читать полностью…

ClickHouse не тормозит

получается в случае SimpleAggregateFunction можно игнорировать предупреждение "As a query can be executed in arbitrary order, the result of this function is non-deterministic" из документации https://clickhouse.com/docs/sql-reference/aggregate-functions/reference/anylast?

Читать полностью…

ClickHouse не тормозит

да, все получится с SimpleAggregateFunction(anyLast

https://fiddle.clickhouse.com/1343f225-1fa9-4669-8ddc-66e45c138b98

Читать полностью…

ClickHouse не тормозит

25.6.2.5 - скачай как статик билд с https://sourceforge.net/projects/clickhouse.mirror/files/ или builds.clickhouse.com мне, например, этот билд решил проблему с багом в джейсон типе

Читать полностью…

ClickHouse не тормозит

Привет! Не разобрались в чем дело? Ситуация аналогичная. За пару секунд вычитываются все данные, а потом еще минут две три в логе идут такие записи до 256 бакета. Причем при втором запуске запроса таких событий в логах нет.

Читать полностью…

ClickHouse не тормозит

https://kb.altinity.com/altinity-kb-setup-and-maintenance/configure_clickhouse_for_low_mem_envs/

Читать полностью…

ClickHouse не тормозит

Поставьте 0-ой ttl на системные таблицы или уберите их совсем (системные таблицы можно настроить через конфиг)

Читать полностью…

ClickHouse не тормозит

Ну с таким конфигом по RAM - да, или или )

Читать полностью…

ClickHouse не тормозит

Ну и подтюнь по статье - https://clickhouse.com/docs/operations/tips#using-less-than-16gb-of-ram

Читать полностью…

ClickHouse не тормозит

Не, не. Никаких манипуляций

Читать полностью…

ClickHouse не тормозит

Оки, поковыряю логи.

Но все равно странно. В 7 утра абсолютно все словари в статусе LOADED в 18 вечера 25% словарей ушли в статус NOT LOADED самостоятельно

Читать полностью…

ClickHouse не тормозит

Я через complex_key_hashed тип поднимаю, не думаю, что все что указано про layout cache справедливо в моем случае

Читать полностью…

ClickHouse не тормозит

Select uptime() проверьте. Я думаю у вас кх перегружается.

Читать полностью…

ClickHouse не тормозит

это предупреждение про запрос, в matview (SimpleAggregateFunction) будет deterministic

Читать полностью…

ClickHouse не тормозит

Привет, подскажите, если ли в CH аналог функции PG, для получения отформатированного текста (числа) с разделителями разрядов (тысячи, миллионы и т.д.).
SELECT TO_CHAR( 555555555, '999 999 999 999.9')
Результат: 555 555 555.0

Читать полностью…

ClickHouse не тормозит

Привет)
Подскажите плиз, как получить null в первом значении оконки (пробовал колонку в nullable - не работает), а не среднее по первому элементу (те сам элемент)
avg(x) OVER (ORDER BY y ROWS BETWEEN 1 PRECEDING AND CURRENT ROW)? Вроде была опция на этот счет…

Читать полностью…

ClickHouse не тормозит

ну и кстати можно использовать Null таблицу -> MV -> *mergetree
будет нулевой оверхед

Читать полностью…

ClickHouse не тормозит

подскажите как можно поступить если мне нужно exactly-once собирать агрегаты в таблице типа:

CREATE TABLE test_table (
completed_at DateTime64(3),
user_id UInt32,
job_id String,
jobs_count UInt64,
latest_job_id AggregateFunction(argMax, String, DateTime64(3)) # очень хочется, но нельзя "DEFAULT argMaxState(job_id, toDateTime64(completed_at, 3))"
) ENGINE = SummingMergeTree()
PARTITION BY toYYYYMM(completed_at)
ORDER BY user_id;

я использую kafka -> clickhouse-kafka-connect -> test_table.
соответственно нет возможности делать вставку типа
insert into test_table select now(),100,'test_id',1,argMaxState('test_id', toDateTime64(now(),3));

но и вставку через таблицу с "сырыми" данными тоже не подходит, т.к. это потребует MV, которая сломает exactly-once.

у меня получается можно:
1) либо все таки делать вставку в таблицу с "сырыми" данными с помощью clickhouse-kafka-connect и потом БЕЗ MV периодически самому
группировать куски сырой таблицы и вставлять в test_table (появляется большой оверхед на поддержку такого решения, да и получится ли exactly-once?)
2) завести отдельную маблицу SummingMergeTree для суммирования и отдельную таблицу ReplacingMergeTree для хранения последнего job_id.
нормальный вариант, но надо два стрима clickhouse-kafka-connect и две таблицы

вопросы:
1) появится ли когда то возможность делать простую вставку в AggregateFunction так же как в SimpleAggregateFunction?
2) в правильном ли направлении я думаю? может есть хорошее решение, про которое я не знаю?

Читать полностью…

ClickHouse не тормозит

Попробуйте 25.3.6.56

Читать полностью…

ClickHouse не тормозит

/etc/clickhouse-server/users.d/allow_experimental_full_text_index.xml

<clickhouse>
<profiles><default><allow_experimental_full_text_index>1</allow_experimental_full_text_index></default></profiles>
</clickhouse>

Читать полностью…

ClickHouse не тормозит

Коллеги, есть вопрос
В каком конфиг файле и как указать <allow_experimental_full_text_index>1</allow_experimental_full_text_index> для всех пользхователей? Возможно ли такое вообще?
Пользователи БД создавалаь в самой БД через SQL и в конфигах никого кроме default нет

Читать полностью…

ClickHouse не тормозит

Экономим на спичках, но, что имеем, с тем и работаем. Спасибо, Алексей!

Читать полностью…

ClickHouse не тормозит

Понял, нам или шашечки или ехать. Без выключения метриклога, в такой ситуации, видимо ни как?

Читать полностью…

ClickHouse не тормозит

Что сделал, стопнул мержи, затранкейтил табличку, запустил мержи. Но, через какое-то время ситуация повторяется, утилизация такова, что даже хост становится не доступен.

Читать полностью…

ClickHouse не тормозит

Может вы им detach attach делали?

Читать полностью…

ClickHouse не тормозит

У кх просто нет такой фичи.

Я бы читал лог кх про словарь. И смотрел system.dictionaries

Читать полностью…

ClickHouse не тормозит

Да вроде ок. Текущий uptime 948 часов

Читать полностью…

ClickHouse не тормозит

Вы явно не дочитали как это работает
Лучше раз в сутки выгружаете таблицы и на них уже словари.

Читать полностью…
Подписаться на канал