11238
Обсуждаем ClickHouse
в общем, кому интересно, это не баг, это фича: такие таблицы создаются в момент обновления, потом из них данные переливаются в целевые, что, в общем, вполне логично, целевые заполняются быстро уже готовыми данными, а не из запроса, хоть, кликхаус и не тормозит, но, все-таки, любой запрос может время занять, и надо его результат по мере выполнения куда-то впихивать, не трогая целевую до окончания процесса. я, просто, не отследила сразу, что для мат вью с DEPENDS On эти временные таблицы тоже создаются, надо было отдельно их пнуть и все пронаблюдалось
Читать полностью…
что такое "инкрементальные"? в смысле обычные MV??
обычные MV это короткоживущий процесс по сути триггер...
а RMV это может быть жирный INSERT ... SELECT , который будет еще и остальное аффектить...
ну, с инкрементальными же разбирались, чем rmv хуже?
Читать полностью…
а зачем огород городить, если они есть и нормально работают? а еще у меня пачка пайтивайтишных аналитиков, которым такое лепить будет легче и быстрее
Читать полностью…
зачем вам RMV? вы по CRON не сможете INSERT ... SELECT выполнить?
Читать полностью…
DBA не контроллирует ход выполнения RMV
и если что даже cancel сделать не сможет...
у clickhouse вообще все плохо с cancel query (многие операции нельзя просто отменить в долгоиграющих запросах)
да и DBA в аналитических базах, явление в массе своей редкое... RMV тащат именно разрабы и именно потому что "ой тут же крон и кто этот крон суппортить будет, а так я немножечко насру в схему, зато клик быстрый и сам все сделает"
Никакой пандас или нампай не заменит нормально написанного SQL скрипта
Просто эти скрипты регулярно если надо запускать, то аф > крон
Допиленный до идеала сервис на стороне бд несомненно лучше и меньше рисков несёт - это существенное преимущество. Когда продукт развивается (нелинейно) или есть некоторая философия (принципы) то микросервисы это логичный выход из сложившейся ситуации.
Читать полностью…
Разница, как правило, в том, что в любой более-менее приличной СУБД многое сделано для оптимизации операций с данными.
Большинство скриптов, что отдельных, что в ЭФ, не дотягивают до уровня самых примитивных СУБД.
Планировщики, оптимизаторы, индексы, кэши… все в помойку. Выгрузим все в память и будем массивы перебирать. А чтобы не касаться богомерского SQL, то еще и фреймворки.
В бигтехах архитектура продумана в основном. Деплой как сервис и так по остальным пунктам.
Читать полностью…
Мы свою надстройку над Airflow сделали чтобы в разных регионах клик держать
Читать полностью…
в том то и дело, что SQL аналитики знают, а вот для Airflow им нужно что-то на питонячем. Либо ждать, когда питонист соизволит.
Читать полностью…
Будет ли разница в знании между тем как сделать процедуру на кх и py?
Читать полностью…
Опубликован релиз 25.9!
This release includes the initial version of text search index (by Anton Popov), the usage of skip indices while reading the data instead of before reading the data (by Amos Bird), and join reordering of more than two tables (by Vladimir).
Presentation: https://presentations.clickhouse.com/2025-release-25.9/
Video: https://www.youtube.com/watch?v=LCHEPNXo8kQ
Featuring Mike Shi from ClickStack and Wagner from ExitLag.
Changelog: https://github.com/ClickHouse/ClickHouse/blob/master/CHANGELOG.md
Да, расскажите, пожалуйста, потом про свой экспириенс. У меня такие же любители есть, интересно будет про набитые шишки послушать
Читать полностью…
ну, удачки вам потом разбираться с этими "background" процессами...
Читать полностью…
Всем привет!
Помогите исправить ошибку, куда смотреть и что с ней делать?
node_name: queue-0006314491Читать полностью…
type: GET_PART
create_time: 2025-09-10 07:16:17
required_quorum: 0
source_replica:
new_part_name: 01551542b05afe011485eef2d57875b4_21481_21481_0
parts_to_merge: []
is_detach: 0
is_currently_executing: 1
num_tries: 379330
last_exception: Code: 40. DB::Exception: Different number of files: 3 compressed (expected 3) and 6 uncompressed ones (expected 5). (CHECKSUM_DOESNT_MATCH),
скорее всего без DEPENS ON - RMV не проверяет destination таблицу перед созданием, и при каждом REFFRESH просто генерит новую .tmp.innder_id и потом пытается сделать EXCHANGE TABLE "чтобы было атомарно" и не может...
здравствуйте, товарищи! в версии 25.8.4.13 столкнулась со странностью: при создании обновляемых мат вью, с явным указанием таблицы, куда вьюха должна писать данные, те мат вью, у которых указано DEPENDS ON правильно создаются и не генерят таблиц по умолчанию, те мат вью, где DEPENDS ON не указано, генерят таблицы с именами .tmp.inner_id.***, игнорируя указания таблицы, которая должна выполнять роль вот этих .tmp.inner_id.***. кто-нибудь такое уже видел - решал?
Читать полностью…
А ну я идею понял. Для меня АФ - это просто более умный и удобный крон для запуска sql скриптов без обработки в памяти
Читать полностью…
Это например через replace partition?
Читать полностью…
Эйр это сервис, дающий много удобных возможностей и преимуществ по сравнению с кроном и т.п.
Впрочем это не чат по нему - поэтому большого смысла дискутировать здесь нет.
Ну вот я как админ бд категорически не хочу, чтобы пользовательские скрипты жили на моих хостах кх
Если такие скрипты складывать на отдельный сервак, то пусть админ этого сервака сам уже с этим гемороится, но по сути это будет +- то же самое, что и аирплов, только сильно проще
Видимо так и делали поддержку RMV в клике)
Читать полностью…
Да ну базовый питон это просто, гуглится, chatGPT опять же
Читать полностью…
Ну если ты аналитик, который каждый день пишет скрипты на SQL, то точно да
+ код на питоне надо как-то задеплоить, просить админов, чтоб они в крон этот скрипт обернули, отдельный гемор и для админов, и для аналитиков