clickhouse_ru | Неотсортированное

Telegram-канал clickhouse_ru - ClickHouse не тормозит

11016

Обсуждаем ClickHouse

Подписаться на канал

ClickHouse не тормозит

через prometheus доступно

Читать полностью…

ClickHouse не тормозит

всем привет! подскажите кто как мониторит состояние keeper'ов? как понять, что кластер операбелен, кворум собран и пр? собирать вывод 4lw или есть нормальные инструменты? как проверить состояние синхронизации метадаты?

Читать полностью…

ClickHouse не тормозит

If x is Nullable, the result will have NULL in the first row (or wherever there’s insufficient data).

Читать полностью…

ClickHouse не тормозит

в SQL есть функция avg
если в нее попадает два значения Null и 1 то avg=1

postgresql => select avg(x) from (select 1 x union all select null) t;
1.00000000000000000000

можно у gpt спросить про pg

Читать полностью…

ClickHouse не тормозит

SELECT printf('%s %s %.02f', 'Hello', 'World', 2024.123456);

https://github.com/ClickHouse/ClickHouse/issues/34142

Читать полностью…

ClickHouse не тормозит

это предупреждение про запрос, в matview (SimpleAggregateFunction) будет deterministic

Читать полностью…

ClickHouse не тормозит

Привет, подскажите, если ли в CH аналог функции PG, для получения отформатированного текста (числа) с разделителями разрядов (тысячи, миллионы и т.д.).
SELECT TO_CHAR( 555555555, '999 999 999 999.9')
Результат: 555 555 555.0

Читать полностью…

ClickHouse не тормозит

Привет)
Подскажите плиз, как получить null в первом значении оконки (пробовал колонку в nullable - не работает), а не среднее по первому элементу (те сам элемент)
avg(x) OVER (ORDER BY y ROWS BETWEEN 1 PRECEDING AND CURRENT ROW)? Вроде была опция на этот счет…

Читать полностью…

ClickHouse не тормозит

ну и кстати можно использовать Null таблицу -> MV -> *mergetree
будет нулевой оверхед

Читать полностью…

ClickHouse не тормозит

подскажите как можно поступить если мне нужно exactly-once собирать агрегаты в таблице типа:

CREATE TABLE test_table (
completed_at DateTime64(3),
user_id UInt32,
job_id String,
jobs_count UInt64,
latest_job_id AggregateFunction(argMax, String, DateTime64(3)) # очень хочется, но нельзя "DEFAULT argMaxState(job_id, toDateTime64(completed_at, 3))"
) ENGINE = SummingMergeTree()
PARTITION BY toYYYYMM(completed_at)
ORDER BY user_id;

я использую kafka -> clickhouse-kafka-connect -> test_table.
соответственно нет возможности делать вставку типа
insert into test_table select now(),100,'test_id',1,argMaxState('test_id', toDateTime64(now(),3));

но и вставку через таблицу с "сырыми" данными тоже не подходит, т.к. это потребует MV, которая сломает exactly-once.

у меня получается можно:
1) либо все таки делать вставку в таблицу с "сырыми" данными с помощью clickhouse-kafka-connect и потом БЕЗ MV периодически самому
группировать куски сырой таблицы и вставлять в test_table (появляется большой оверхед на поддержку такого решения, да и получится ли exactly-once?)
2) завести отдельную маблицу SummingMergeTree для суммирования и отдельную таблицу ReplacingMergeTree для хранения последнего job_id.
нормальный вариант, но надо два стрима clickhouse-kafka-connect и две таблицы

вопросы:
1) появится ли когда то возможность делать простую вставку в AggregateFunction так же как в SimpleAggregateFunction?
2) в правильном ли направлении я думаю? может есть хорошее решение, про которое я не знаю?

Читать полностью…

ClickHouse не тормозит

Попробуйте 25.3.6.56

Читать полностью…

ClickHouse не тормозит

/etc/clickhouse-server/users.d/allow_experimental_full_text_index.xml

<clickhouse>
<profiles><default><allow_experimental_full_text_index>1</allow_experimental_full_text_index></default></profiles>
</clickhouse>

Читать полностью…

ClickHouse не тормозит

Коллеги, есть вопрос
В каком конфиг файле и как указать <allow_experimental_full_text_index>1</allow_experimental_full_text_index> для всех пользхователей? Возможно ли такое вообще?
Пользователи БД создавалаь в самой БД через SQL и в конфигах никого кроме default нет

Читать полностью…

ClickHouse не тормозит

Экономим на спичках, но, что имеем, с тем и работаем. Спасибо, Алексей!

Читать полностью…

ClickHouse не тормозит

Понял, нам или шашечки или ехать. Без выключения метриклога, в такой ситуации, видимо ни как?

Читать полностью…

ClickHouse не тормозит

вот что написал gpt


WITH t AS (
SELECT 1 AS x
UNION ALL
SELECT 2
UNION ALL
SELECT 3
),
t2 AS (
SELECT x::int, ROW_NUMBER() OVER (ORDER BY x) AS rn FROM t
),
t3 AS (
SELECT CASE WHEN rn = 1 THEN NULL ELSE x END AS x, rn FROM t2
)
SELECT
x,
AVG(x) OVER (ORDER BY rn ROWS BETWEEN 1 PRECEDING AND CURRENT ROW) AS m
FROM t3
ORDER BY rn;


SELECT CASE WHEN rn = 1 THEN NULL

что тоже неверно

Читать полностью…

ClickHouse не тормозит

у вас ROWS BETWEEN 1 PRECEDING AND CURRENT ROW
это ДВЕ строки

Читать полностью…

ClickHouse не тормозит

для кх gpt сказала, что все ок - Use avg(...) or other functions directly, not wrapped )

Читать полностью…

ClickHouse не тормозит

ну.. костыль жеж.. или норм?)))

Читать полностью…

ClickHouse не тормозит

без if не сделать https://fiddle.clickhouse.com/e0512186-fcf9-4a34-b51c-46adef76f85a

Читать полностью…

ClickHouse не тормозит

with t as (
select 1 as x
union all
select 2 as x
union all
select 3 as x
),
t2 as (select x::Nullable(Int) as x from t)
select *,
avg(x) OVER (ORDER BY x ROWS BETWEEN 1 PRECEDING AND CURRENT ROW) AS m
from t2
order by x;

Читать полностью…

ClickHouse не тормозит

ничего не понятно

покажите структуру таблицы и запрос, результат и что хочется получить

оконка, на то и оконка, что работает по окну...

Читать полностью…

ClickHouse не тормозит

получается в случае SimpleAggregateFunction можно игнорировать предупреждение "As a query can be executed in arbitrary order, the result of this function is non-deterministic" из документации https://clickhouse.com/docs/sql-reference/aggregate-functions/reference/anylast?

Читать полностью…

ClickHouse не тормозит

да, все получится с SimpleAggregateFunction(anyLast

https://fiddle.clickhouse.com/1343f225-1fa9-4669-8ddc-66e45c138b98

Читать полностью…

ClickHouse не тормозит

25.6.2.5 - скачай как статик билд с https://sourceforge.net/projects/clickhouse.mirror/files/ или builds.clickhouse.com мне, например, этот билд решил проблему с багом в джейсон типе

Читать полностью…

ClickHouse не тормозит

Привет! Не разобрались в чем дело? Ситуация аналогичная. За пару секунд вычитываются все данные, а потом еще минут две три в логе идут такие записи до 256 бакета. Причем при втором запуске запроса таких событий в логах нет.

Читать полностью…

ClickHouse не тормозит

https://kb.altinity.com/altinity-kb-setup-and-maintenance/configure_clickhouse_for_low_mem_envs/

Читать полностью…

ClickHouse не тормозит

Поставьте 0-ой ttl на системные таблицы или уберите их совсем (системные таблицы можно настроить через конфиг)

Читать полностью…

ClickHouse не тормозит

Ну с таким конфигом по RAM - да, или или )

Читать полностью…

ClickHouse не тормозит

Ну и подтюнь по статье - https://clickhouse.com/docs/operations/tips#using-less-than-16gb-of-ram

Читать полностью…
Подписаться на канал