11238
Обсуждаем ClickHouse
А в чем физический смысл вставки одинаковых данных? Вы же, вроде, писали что хотя бы версия меняется
Читать полностью…
Добрый день, хотел еще спросить а сейчас наблюдаю такое поведение что первый раз эта настройка помогает, но если еще раз удалю данные и вставлю снова (получается третий раз) то данные опять не вставляются. Это ожидаемое поведение? Что можно с эти сделать?
Читать полностью…
скорее всего какая то вставка идет ибо у вас цифра только увеличивается в system.query_log смотрели, точно ли нет новых записей по данной таблице?
Читать полностью…
есть только
dictionaries_lazy_load
wait_dictionaries_load_at_startup
>но нет ли способа пропустить лукап в словарь, пока он не подгружен?
это кажется только в cached словарях
Подскажите пожалуйста по поводу подгрузки словарей, после запуска clickhouse к нему сразу будут поступать запросы на вставку данных в таблицу1, на которую навешен mat view с обогащением данных через словарь в таблицу2. Так вот если словарь большой, то запрос на вставку будет заблокирован, пока не будет полностью подгружен словарь. Можно конечно заставить clickhouse загружать словари при старте и только после этого он будет принимать соединения, но нет ли способа пропустить лукап в словарь, пока он не подгружен?
Читать полностью…
странно что у вас order by pk сломался, у нас он не ломался
Читать полностью…
вы правы, похоже какой-то баг действительно добавили в прунинге
https://fiddle.clickhouse.com/0a7c14e1-6ecb-4452-9984-5bef214b7807
дописал в issue
Не пытайтесь понять, у нас всякие миграции на целевые решения 🤡 Спасибо за ваши ответы, буду пробовать
Читать полностью…
Есть. собственно session timezone стали пробовать уже после проблемы. просто фиддл сложно сделать без него, попробую с разными ТЗ с клиентов
Читать полностью…
никто и никогда не должен пользоваться session_timezone
https://fiddle.clickhouse.com/3f650915-3d87-4f9a-a1cb-ee0a0e989c1f
она имплементирована криво и выдает хуйню в результате запросов, чинить это не хотят.
там в посте фидл =)
а у нас сервер тх бухарест, а инсерт бы сделан в НьюЙорк тз.
только вот данные то в парте в ЮТС... откуда он знает с какой ТЗ я вставлял?
а по поводу вот этого у вас есть мысли?
(как одна и та же функция может давать разный результат на один и тот же инпут)
/channel/clickhouse_ru/429811
ну вот понадобилось... но оно в целом когда клиентская таймзона другая - не работает... (я использовал session timezone потому что проще чем менять ТЗ хоста каждый раз)
Читать полностью…
честно говоря я не понимаю почему вижу wa на сервере 10.2.0.15
iotop показывает максимум 2МБ запись, чтение
при этом iostat показывает, что процессор ожидает диск, но на диск нагрузки нет
реальных тормозов как раньше, что терминал отвечает с задержкой я сейчас не вижу
но wa удивляет, может я что-то не понимаю, или не туда смотрю
раз в 5 минут идет wa примерно на 15 секунд
Вроде уменьшается наоборот. TTL работает или дедупликаця
Читать полностью…
в данном случае таблица на одном хосте, без шардов
Читать полностью…
Добрый день!
Подскажите, мб кто сталкивался с таким поведением
Есть kafka engine: kafka_num_consumers = 6, shards = 3 (18 консьюмеров)
В какой-то момент один consumer начинает накапливать в разы больше сообщений, чем другие (например, 2 млн, в то время как на остальных 17 консьюмерах 100-200 тыс)
Ресурсы в порядке, mem, cpu, merges, ...
Ошибок в логах не обнаружено, ноды и консьюмеры всегда разные
Помогает пересоздание kafka engine - очередь накопленных сообщений расходится за 20-30 мин, хотя до этого накапливалась часами
С чем может быть связано, что можно проверить?
На других kafka engine'ах такого нет, но и нагрузка там меньше.
ClickHouse server version 24.4.2
кмк только с магией на уровне приложения, сделать 2 словаря (один директ, второй хешед или какой там у вас), и перед вставкой проверять статус хешед словаря...
Читать полностью…
еще странно что в моих последних примерах у меня ломается только toStartOfDay
т.е. toStartOfHour, ... toStartOfInterval ( , interval 1 day) не ломаются
да, собственно все эксперименты с session_timezone как я сказал начались после того как поняли что есть проблемы
если клиентская тз не совпадает с тем клиентом который вставлял при использовании use_client_time_zone true - оно ломается.
ну вы только сначала на котиках где то отдельно потренируйтесь, а не продакшене
Читать полностью…
так тоже пробовали, но explain с ним плохо дружил, сложно было понять
Читать полностью…
session_timezone влияет на CREATE TABLE (attach table), т.е. session_timezone нельзя устанавливать в сессии и в профиле, можно только в SELECT через settings
Читать полностью…
я не понял у вас проде используется session_timezone ?
есть проблема если не использовать session timezone ?
идей по сеттингам нет, возможно исправили что-то в toStartOfInterval + timezone
какая timezone у сервера?
у вас скорее всего часть кода работает с session_timezone а часть в server timezone ...
оба варианта возможны... изменение default storage policy наверное чуть проще, таблицы менять не надо...
Читать полностью…