11238
Обсуждаем ClickHouse
ну, удачки вам потом разбираться с этими "background" процессами...
Читать полностью…
Всем привет!
Помогите исправить ошибку, куда смотреть и что с ней делать?
node_name: queue-0006314491Читать полностью…
type: GET_PART
create_time: 2025-09-10 07:16:17
required_quorum: 0
source_replica:
new_part_name: 01551542b05afe011485eef2d57875b4_21481_21481_0
parts_to_merge: []
is_detach: 0
is_currently_executing: 1
num_tries: 379330
last_exception: Code: 40. DB::Exception: Different number of files: 3 compressed (expected 3) and 6 uncompressed ones (expected 5). (CHECKSUM_DOESNT_MATCH),
скорее всего без DEPENS ON - RMV не проверяет destination таблицу перед созданием, и при каждом REFFRESH просто генерит новую .tmp.innder_id и потом пытается сделать EXCHANGE TABLE "чтобы было атомарно" и не может...
здравствуйте, товарищи! в версии 25.8.4.13 столкнулась со странностью: при создании обновляемых мат вью, с явным указанием таблицы, куда вьюха должна писать данные, те мат вью, у которых указано DEPENDS ON правильно создаются и не генерят таблиц по умолчанию, те мат вью, где DEPENDS ON не указано, генерят таблицы с именами .tmp.inner_id.***, игнорируя указания таблицы, которая должна выполнять роль вот этих .tmp.inner_id.***. кто-нибудь такое уже видел - решал?
Читать полностью…
А ну я идею понял. Для меня АФ - это просто более умный и удобный крон для запуска sql скриптов без обработки в памяти
Читать полностью…
Это например через replace partition?
Читать полностью…
Эйр это сервис, дающий много удобных возможностей и преимуществ по сравнению с кроном и т.п.
Впрочем это не чат по нему - поэтому большого смысла дискутировать здесь нет.
Ну вот я как админ бд категорически не хочу, чтобы пользовательские скрипты жили на моих хостах кх
Если такие скрипты складывать на отдельный сервак, то пусть админ этого сервака сам уже с этим гемороится, но по сути это будет +- то же самое, что и аирплов, только сильно проще
Видимо так и делали поддержку RMV в клике)
Читать полностью…
Да ну базовый питон это просто, гуглится, chatGPT опять же
Читать полностью…
Ну если ты аналитик, который каждый день пишет скрипты на SQL, то точно да
+ код на питоне надо как-то задеплоить, просить админов, чтоб они в крон этот скрипт обернули, отдельный гемор и для админов, и для аналитиков
Недавно на ММ был ответ инженера что требуется от аналитика в аирфлоу ~5 строчек.
Читать полностью…
Ну это ведь нормально
Зачем крон переписывать свой, если есть аирплов, с которым люди умеют уже хоть как-то работать и много всяких штук имеет из коробки
Вообще к стати, никогда не понимал, чего в кх не завезли процедуры с возможностью их вызова по расписанию
Конечно можно много всякого говна там наделать, а потом третьему человеку разбираться через лет 5, как в конторах, где все на процедурах построено. Но хотя бы простейшие (даже без циклов мб) завезти было бы норм, гораздо лучше RMV
а зачем огород городить, если они есть и нормально работают? а еще у меня пачка пайтивайтишных аналитиков, которым такое лепить будет легче и быстрее
Читать полностью…
зачем вам RMV? вы по CRON не сможете INSERT ... SELECT выполнить?
Читать полностью…
DBA не контроллирует ход выполнения RMV
и если что даже cancel сделать не сможет...
у clickhouse вообще все плохо с cancel query (многие операции нельзя просто отменить в долгоиграющих запросах)
да и DBA в аналитических базах, явление в массе своей редкое... RMV тащат именно разрабы и именно потому что "ой тут же крон и кто этот крон суппортить будет, а так я немножечко насру в схему, зато клик быстрый и сам все сделает"
Никакой пандас или нампай не заменит нормально написанного SQL скрипта
Просто эти скрипты регулярно если надо запускать, то аф > крон
Допиленный до идеала сервис на стороне бд несомненно лучше и меньше рисков несёт - это существенное преимущество. Когда продукт развивается (нелинейно) или есть некоторая философия (принципы) то микросервисы это логичный выход из сложившейся ситуации.
Читать полностью…
Разница, как правило, в том, что в любой более-менее приличной СУБД многое сделано для оптимизации операций с данными.
Большинство скриптов, что отдельных, что в ЭФ, не дотягивают до уровня самых примитивных СУБД.
Планировщики, оптимизаторы, индексы, кэши… все в помойку. Выгрузим все в память и будем массивы перебирать. А чтобы не касаться богомерского SQL, то еще и фреймворки.
В бигтехах архитектура продумана в основном. Деплой как сервис и так по остальным пунктам.
Читать полностью…
Мы свою надстройку над Airflow сделали чтобы в разных регионах клик держать
Читать полностью…
в том то и дело, что SQL аналитики знают, а вот для Airflow им нужно что-то на питонячем. Либо ждать, когда питонист соизволит.
Читать полностью…
Будет ли разница в знании между тем как сделать процедуру на кх и py?
Читать полностью…
Что мешает делать функции на py/go?
Читать полностью…
Для любителей зоопарка - да.
Во многих же случаях за пределы баз выходить вообще не нужно, никаких внешних скриптов по крону.
Оно часто есть потому что какому-то разрабу или менеджеру захотелось. Был период его вовсю
На слайдах изображали.
В итоге стоит, выполняет буквально 2-3 простые задачи, которые можно было сделать без дополнительного инвентаря, и в вакансии для новых сотрудников его вписывают, потому что никто не в теме как оно работает. Особенно аналитики, под нужды которых его продали руководству :)
Заменить af, rmv и человека на другие слова, и получится описание значительного куска работы ДБА во многих конторах. Как говорил наш дорогой шеф: "Других архитекторов у меня для вас нет!" 🙂
Читать полностью…