11238
Обсуждаем ClickHouse
Это как хотите, можете не билдить, если вы знаете какой результат должен получится и ну впишите нужное в reference файл.
Читать полностью…
да, оно может так работать создайте issue в clickhouse-backup
вообще посмотрите настройки конфига в clickhouse-backup
там есть rbac_backup_always поставьте его false вместо дефолтного true
и все будет хорошо, если нет пишите вопросики
тесты можно посмотреть здесь tests/queries/0_stateless
тесты делаются очень просто
добавляете туда файлы .sql и .reference:
$ cat 03702_rapidjson_parse_longint_as_string.sql
SELECT CAST('{"xxx": 9999999999999999583119736832}' AS Nullable(JSON)) settings allow_simdjson=0;
clickhouse-client < 03702_rapidjson_parse_longint_as_string.sql > 03702_rapidjson_parse_longint_as_string.reference
в reference то что ожидается в результате
cat 03702_rapidjson_parse_longint_as_string.reference
{"xxx":1e28}
Всем привет. При авторизации с ldap-сервера возможно раздавать юзеру роли в зависимости от группы в которую юзер включен? Условно ro/rw. В идеале чтоб ни юзеров в клике, ни сопоставление их ролей не прописывать вообще.
Читать полностью…
Добрый день!
Есть проблема после обновления с 23 версии на 25 clickhouse потребляет в 10 раз больше оперативной памяти в простое
так есть еще 6000 объяснений
сеть 100мбит например была занята в потолок, вы уменьшили размер сообщения в три раза, стало в 100мбит пролезать в 3 раза больше
а это возможно сеть, и забор маленькими порциями (маленький poll)
какая сеть? 10ГБит? летенси? локалка или брокер далеко
макс. размер батча подрегулировать, или на клиенте или у брокера на топике
Читать полностью…
protobuf -- там можно передать кол-во protobuf-в в начале собщения , используя leb128
или есть protobuflist -- ну там в доке обсъяснено
rowbinary -- еще очень быстро инсертится
Native ? колоночный формат? Нет, не работает такое.
я бы кафка message просто передавал массив из JSONEachRow или несколько JSONEachRow через перевод строки
Это бессмысленно спрашивать. Только код pr и тесты и перформанс тесты показывают смержат или нет. Claudecode легко напишет такой код правильно с тестами и оформит pr.
Читать полностью…
корреллированные подзапросы только в крайних версиях
Читать полностью…
он же явно говорит об отсутствующих столбцах, у вас что за структура таблицы
Читать полностью…
ну видимо altinity clickhouse-backup не проверяет версию КХ и безусловно пытается бекапить юзеров
Читать полностью…
Да, я прочитал про тесты, я правильно понимаю, что я делаю форк, делаю у себя изменения, билдюсь, запускаю тесты , и потом делаю мр в прод?
Читать полностью…
форматирование description у pr важно, оно автоматически парсится и добавляется в changelog
вот например как он должен выглядеть https://github.com/ClickHouse/ClickHouse/pull/89048
Добрый день!
Ищу опытного специалиста по ClickHouse с опытом работы на нагруженных проектах (интенсивная вставка)
Необходимо:
- провести аудит текущей системы хранения и архитектуры;
- оптимизировать узкие места, произвести миграцию данных если необходимо
- ускорить работу
- настроить резервное копирование и регламенты обслуживания
Для начала проходим это https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-who-ate-my-memory/
Потом возвращаемся с уточнениями.
у меня например нормальные объёмы не прокачивались, пока я на брокерах сокетные буфера не задрал. дефолтных не хваталло. при этом сеть/cpu/диски — всё было очень далеко от насыщения
Читать полностью…
kafka_poll_timeout_ms тоже увеличивал. При совсем задранном значении, просто формируются более крупные батчи и лаг в группе вроде сначала уменьшается, но потом опять все на круги своя приходит. Я же говорю, мы просто выпилили из сообщения довольно крупные массивы и сразу получили результат.
Читать полностью…
Пробовали по всякому. Нет, не увеличивается скорость. Даже просто в Null таблицу без mat. view кардинально не решило проблему. Создали отдельный топик и залили сильно упрощенные сообщения и вот при чтении этого топика скорость как раз сильно выросла. Отсюда и грешим на парсинг на стороне консумера
Читать полностью…
Может проблема в долгом парсинге, это потому что вы долго парсите в MV ?
То есть, если вы запистите MV просто с SELECT колонкой ? Скорость увеличится ?
Я сейчас из Kafka именно в формиате JSONEachRow с переводом строки и принимаю данные. Само сообщение у нас стало большим и не устраивает скорость парсинга на стороне consumer'а ClickHouse. Во всяком случае упрощение сообщения дает прирост в скорости значительный. Вот и встал вопрос и тестировании другого формата сообщения.
Читать полностью…
Привет! В целях тестирования скорости вычитки другого формата данных из топика Kafka (сейчас JSONEachRow), создал топик, создал таблицу (engine Kafka с kafka_format=Native), создал NULL таблицу и, наконец mat. view на эту null-таблицу с перекладыванием данных в таблицу с engine Kafka format Native. Пытаюсь запихнуть данные в топик через insert into select из заполненной этими данными таблицы. Запрос с limit работает и данные уходят в топик. Без limit получаю Broker: Message size too large. Как бы мне правильно переслать этот большой обьем в топик?
Читать полностью…
Сделал пул реквест )
https://github.com/ClickHouse/ClickHouse/pull/89187
Я вижу что явно. Эти поля присутствуют в таблице. Каждый день с ней работаю. Просто так написал впервые
Читать полностью…
Коллеги, или я слепой или Клик не понимает конструкцию
select
(select JSONExtractString(v.row_data, 'the_values') from mod_audit_temp.mod_registers_attrib_vals v where v.objdoc_id = v1.objdoc_id and v.registers_id = v1.registers_id and v.attribs_id = '41849') t41849
from
mod_audit_temp.mod_registers_attrib_vals v1
where v1.objdoc_id = '3720200087'
and v1.registers_id = '37339'
and v1.attribs_id = '42419'
--and multiSearchAny(row_data, ['Завершено'])
and v1.action_time between '2025-01-01' and '2025-09-10'
Missing columns: 'v1.registers_id' 'v1.objdoc_id' while processing query
это, возможно, уже целесообразнее просто заменить, а данные перелить
Читать полностью…