11238
Обсуждаем ClickHouse
А зачем спарком писать в буфер?
Можно же на стороне спарка регулировать размер вставляемого батча
настройку где прописываете? в каждом insert запросе? движок replacing? или оьычный merge tree?
Читать полностью…
Всем привет, а если в логе КХ ошибка на MOVES, то как править это ?
DB::Exception: Cannot clone part 20250829_0_491_7 from 'store/64f/64f827cd-06a5-4c66-8d2e-224f577ee042/20250829_0_491_7/' to 'store/64f/64f827cd-06a5-4c66-8d2e-224f577ee042/moving/20250829_0_491_7/': path '/clickhousehdd/store/64f/64f827cd-06a5-4c66-8d2e-224f577ee042/moving/20250829_0_491_7/' already exists. (DIRECTORY_ALREADY_EXISTS)
этот функционал используется крайне редко, смысл в том что мы стримим данные из разных источников и агрегируем их в кх. Бывают моменты когда источники отключаются и недоступны нарушается консистентность. И мы перезаписываем все имеющиеся данные. Версия у нас как updated_date в источниках и она никогда не меняется
Читать полностью…
А в чем физический смысл вставки одинаковых данных? Вы же, вроде, писали что хотя бы версия меняется
Читать полностью…
Добрый день, хотел еще спросить а сейчас наблюдаю такое поведение что первый раз эта настройка помогает, но если еще раз удалю данные и вставлю снова (получается третий раз) то данные опять не вставляются. Это ожидаемое поведение? Что можно с эти сделать?
Читать полностью…
скорее всего какая то вставка идет ибо у вас цифра только увеличивается в system.query_log смотрели, точно ли нет новых записей по данной таблице?
Читать полностью…
есть только
dictionaries_lazy_load
wait_dictionaries_load_at_startup
>но нет ли способа пропустить лукап в словарь, пока он не подгружен?
это кажется только в cached словарях
Подскажите пожалуйста по поводу подгрузки словарей, после запуска clickhouse к нему сразу будут поступать запросы на вставку данных в таблицу1, на которую навешен mat view с обогащением данных через словарь в таблицу2. Так вот если словарь большой, то запрос на вставку будет заблокирован, пока не будет полностью подгружен словарь. Можно конечно заставить clickhouse загружать словари при старте и только после этого он будет принимать соединения, но нет ли способа пропустить лукап в словарь, пока он не подгружен?
Читать полностью…
странно что у вас order by pk сломался, у нас он не ломался
Читать полностью…
вы правы, похоже какой-то баг действительно добавили в прунинге
https://fiddle.clickhouse.com/0a7c14e1-6ecb-4452-9984-5bef214b7807
дописал в issue
Не пытайтесь понять, у нас всякие миграции на целевые решения 🤡 Спасибо за ваши ответы, буду пробовать
Читать полностью…
Есть. собственно session timezone стали пробовать уже после проблемы. просто фиддл сложно сделать без него, попробую с разными ТЗ с клиентов
Читать полностью…
Заранее благодарю за ответы возможно на очевидные вопросы, но не могу найти ответы в документации.
- Возможно ли создать BufferEngine на ReplicatedReplacingMergeTreeEngine?
- Если кто-то уже сталкивался с этим, поддерживает ли Apache Spark connector стриминговую вставку в BufferEngine? На ReplicatedReplacingMergeTreeEngine ругается что не поддерживает.
Отвечу сам себе. Я остановил мув на таблице, дропнул эту часть со второго диска, запустил мув.
Читать полностью…
Есть смысл в async_insert если разные сервисы пишут в одну таблицу, но каждый сервис пишет в свой партишен?
Читать полностью…
подтвердилась ваша догадка, нашел вставку данных
Читать полностью…
честно говоря я не понимаю почему вижу wa на сервере 10.2.0.15
iotop показывает максимум 2МБ запись, чтение
при этом iostat показывает, что процессор ожидает диск, но на диск нагрузки нет
реальных тормозов как раньше, что терминал отвечает с задержкой я сейчас не вижу
но wa удивляет, может я что-то не понимаю, или не туда смотрю
раз в 5 минут идет wa примерно на 15 секунд
Вроде уменьшается наоборот. TTL работает или дедупликаця
Читать полностью…
в данном случае таблица на одном хосте, без шардов
Читать полностью…
Добрый день!
Подскажите, мб кто сталкивался с таким поведением
Есть kafka engine: kafka_num_consumers = 6, shards = 3 (18 консьюмеров)
В какой-то момент один consumer начинает накапливать в разы больше сообщений, чем другие (например, 2 млн, в то время как на остальных 17 консьюмерах 100-200 тыс)
Ресурсы в порядке, mem, cpu, merges, ...
Ошибок в логах не обнаружено, ноды и консьюмеры всегда разные
Помогает пересоздание kafka engine - очередь накопленных сообщений расходится за 20-30 мин, хотя до этого накапливалась часами
С чем может быть связано, что можно проверить?
На других kafka engine'ах такого нет, но и нагрузка там меньше.
ClickHouse server version 24.4.2
кмк только с магией на уровне приложения, сделать 2 словаря (один директ, второй хешед или какой там у вас), и перед вставкой проверять статус хешед словаря...
Читать полностью…
еще странно что в моих последних примерах у меня ломается только toStartOfDay
т.е. toStartOfHour, ... toStartOfInterval ( , interval 1 day) не ломаются
да, собственно все эксперименты с session_timezone как я сказал начались после того как поняли что есть проблемы
если клиентская тз не совпадает с тем клиентом который вставлял при использовании use_client_time_zone true - оно ломается.
ну вы только сначала на котиках где то отдельно потренируйтесь, а не продакшене
Читать полностью…
так тоже пробовали, но explain с ним плохо дружил, сложно было понять
Читать полностью…
session_timezone влияет на CREATE TABLE (attach table), т.е. session_timezone нельзя устанавливать в сессии и в профиле, можно только в SELECT через settings
Читать полностью…