11016
Обсуждаем ClickHouse
Хочется AggregatingMergeTree навесить потом
Читать полностью…
А можно как-то "подождать" пока все вставленные данные не станут доступны для запросов?
Читать полностью…
Таблица обычная, не replicated/distributed
Читать полностью…
Так все зависит от объемов данных же ) И в 23.8 можно было использовать, если объемы выборки позволяли. Общий принцип остался прежним - либо периодический optimize final, либо select final.
Читать полностью…
Добрый день/вечер, я ведь правильно понимаю что при использовании движка ReplicatedAggregatingMergeTree при работе функции avgMerge(state) - данные с разных шардов не мерджатся, и я должен для корректного расчета гаратировать попадание всех данных на один конкретный шард?
Читать полностью…
Всем привет, clickhouse заточен чтобы максимально быстро выполнять запросы, задействуя все ресурсы системы, но нет ли возможности отревертить данное поведение? То есть чтобы запросы выполнялись медленно, но не пытались выжрать все CPU?
Читать полностью…
в некоторых случаев не выполняются distributed запросы, иногда после рестарта оказывается что udf не нашлась в метаданных (из-за загрузки из зк)
Читать полностью…
ну и смысл? заменять две функции на одну udf ? все равно от udf одни проблемы и в запросах и при рестартах кх
Читать полностью…
Очень удобная конвертация формата даты через функцию
Читать полностью…
хотели как лучше, выяснилось что лучше сделать невозможно, я бы сразу удалил udf (фичу)
Читать полностью…
Привет! Подскажите, можно ли как-то сделать так, чтобы клик не раскрывал функции во вьюшках?
Чтобы я мог менять функцию, и она автоматически менялась везде, где используется)
Code: 95. DB::NetException: Cannot read from socket (peer: 10.177.118.24:9440
ну надо логи читать на 10.177.118.24 что было с этим инсертом
Может есть какие-то лайфхаки как etl тогда сделать правильный для CollapsingMergeTree используя для минусовых строк только КХ?
Читать полностью…
До версии 24.х данные были доступны в момент когда инсерт вернул ОК, т.е. новый парт становится активным, видимым для селектов, и инсерт возвращает ОК клиенту.
В 24.х что-то поменяли и данные становятся видны селекту через несколько миллисекунд после того как инсерт вернул ОК.
Допустим я вставляю кучу строк и сразу же делаю select по вставленным данным, как быстро в кликхаусе данные попадают в select после insert'а?
Почему спрашиваю - для CollapsingMergeTree чтобы обновить строчку надо записать такую же со знаком минус и хотелось бы брать их из кликхауса
Попробуй вытащить данные из мускула в файл, глянь че он возвращает - мб проблема совсем не на стороне кх будет
Если все ок, пробуй файл писать в кх, гляди в логи
Добрый день, вижу что в последних версиях final существенно ускорили, значит ли это что теперь использовать final для дедупликации можно и нужно в селект запросах?
Читать полностью…
почему не мержатся-то?
avgMerge мержит стейты, все шарды присылают sum/count, avgMerge считает sum(sum), sum(count) делит одно на второе и возвращает вам
max_threads=1
кстати есть теперь профили нагрузки https://github.com/ClickHouse/ClickHouse/pull/77595
@den_crane, схема потрясная, сначала данные пишутся в буфер таблицу. оттуда матвью пишет данные в дистрибьютед. а оттуда уже идут на шарды. поэтому хрен там увидишь ошибку
Читать полностью…
Ну там явно не две функции, а вручную это не напишешь каждый раз.
Хз, при рестартах все норм. А в запросах какие проблемы?
Возьми его к себе на стажировку, может чему научится
Читать полностью…
нельзя, просто не используйте функции вообще, это дерьмо собачье
Читать полностью…
и я бы включил insert_distributed_sync чтобы нормально отслеживать на клиенте
cat /etc/clickhouse-server/users.d/insert_distributed_sync.xml
<?xml version="1.0" ?>
<clickhouse>
<profiles>
<default>
<insert_distributed_sync>1</insert_distributed_sync>
</default>
</profiles>
</clickhouse>
ну сейчас опять на очередные файлы ругаться стало
Читать полностью…