11016
Обсуждаем ClickHouse
Привет)
Подскажите плиз, как получить null в первом значении оконки (пробовал колонку в nullable - не работает), а не среднее по первому элементу (те сам элемент)avg(x) OVER (ORDER BY y ROWS BETWEEN 1 PRECEDING AND CURRENT ROW)? Вроде была опция на этот счет…
ну и кстати можно использовать Null таблицу -> MV -> *mergetree
будет нулевой оверхед
подскажите как можно поступить если мне нужно exactly-once собирать агрегаты в таблице типа:
CREATE TABLE test_table (
completed_at DateTime64(3),
user_id UInt32,
job_id String,
jobs_count UInt64,
latest_job_id AggregateFunction(argMax, String, DateTime64(3)) # очень хочется, но нельзя "DEFAULT argMaxState(job_id, toDateTime64(completed_at, 3))"
) ENGINE = SummingMergeTree()
PARTITION BY toYYYYMM(completed_at)
ORDER BY user_id;
insert into test_table select now(),100,'test_id',1,argMaxState('test_id', toDateTime64(now(),3));
/etc/clickhouse-server/users.d/allow_experimental_full_text_index.xml
<clickhouse>Читать полностью…
<profiles><default><allow_experimental_full_text_index>1</allow_experimental_full_text_index></default></profiles>
</clickhouse>
Коллеги, есть вопрос
В каком конфиг файле и как указать <allow_experimental_full_text_index>1</allow_experimental_full_text_index> для всех пользхователей? Возможно ли такое вообще?
Пользователи БД создавалаь в самой БД через SQL и в конфигах никого кроме default нет
Экономим на спичках, но, что имеем, с тем и работаем. Спасибо, Алексей!
Читать полностью…
Понял, нам или шашечки или ехать. Без выключения метриклога, в такой ситуации, видимо ни как?
Читать полностью…
Что сделал, стопнул мержи, затранкейтил табличку, запустил мержи. Но, через какое-то время ситуация повторяется, утилизация такова, что даже хост становится не доступен.
Читать полностью…
У кх просто нет такой фичи.
Я бы читал лог кх про словарь. И смотрел system.dictionaries
Вы явно не дочитали как это работает
Лучше раз в сутки выгружаете таблицы и на них уже словари.
Да?
https://clickhouse.com/docs/sql-reference/dictionaries#cache
Но я наблюдаю абсолютно обратное поведение, которое описано в документации, что кликхаус выбрасывает из рамы словарь при длительном не обращении к нему пользователями.
Читать полностью…
получается в случае SimpleAggregateFunction можно игнорировать предупреждение "As a query can be executed in arbitrary order, the result of this function is non-deterministic" из документации https://clickhouse.com/docs/sql-reference/aggregate-functions/reference/anylast?
Читать полностью…
да, все получится с SimpleAggregateFunction(anyLast
https://fiddle.clickhouse.com/1343f225-1fa9-4669-8ddc-66e45c138b98
25.6.2.5 - скачай как статик билд с https://sourceforge.net/projects/clickhouse.mirror/files/ или builds.clickhouse.com мне, например, этот билд решил проблему с багом в джейсон типе
Читать полностью…
Привет! Не разобрались в чем дело? Ситуация аналогичная. За пару секунд вычитываются все данные, а потом еще минут две три в логе идут такие записи до 256 бакета. Причем при втором запуске запроса таких событий в логах нет.
Читать полностью…
https://kb.altinity.com/altinity-kb-setup-and-maintenance/configure_clickhouse_for_low_mem_envs/
Читать полностью…
Поставьте 0-ой ttl на системные таблицы или уберите их совсем (системные таблицы можно настроить через конфиг)
Читать полностью…
Ну с таким конфигом по RAM - да, или или )
Читать полностью…
Ну и подтюнь по статье - https://clickhouse.com/docs/operations/tips#using-less-than-16gb-of-ram
Читать полностью…
Оки, поковыряю логи.
Но все равно странно. В 7 утра абсолютно все словари в статусе LOADED в 18 вечера 25% словарей ушли в статус NOT LOADED самостоятельно
Я через complex_key_hashed тип поднимаю, не думаю, что все что указано про layout cache справедливо в моем случае
Читать полностью…
Select uptime() проверьте. Я думаю у вас кх перегружается.
Читать полностью…
А, у нас таких нет. Мы раз в сутки перегружаем словари через reload dictionary. Поэтому lifetime=0. Вроде про значения в диапазоне 1-30 секунд я не писал)
Читать полностью…
Потому что 0 это выключение перезагрузки. Предполагается что вы будете руками это делать командой reload dictionary. Я говорю о маленьких значениях типа 30 секунд. В таком случае вы убиваете оба сервера постоянной бесполезной работой
Читать полностью…
в этом случае нужно делать какой-то CDC sync в локальную таблицу, которая и будет источником данных для словаря
Читать полностью…