Python beginners

26 April 2026 01:45

вот так это выглядит. обмен происходит через родные бинарные форматы pgcopy, native, bcp и т.д. если бд не однородные то я добавил csvpack контейнер с csv + метадата внутри. обмен в этом формате быстрее потому что я не трачу ресурс на конвертацию в потоке из одного бинарника в другой

Python beginners

25 April 2026 22:51

Я все таки спрошу, а почему не debezium?

Python beginners

25 April 2026 21:41

😳

Python beginners

25 April 2026 21:37

В данном случае — себе?

Python beginners

25 April 2026 21:16

Ок, портфолио свое в лс и гоу

Python beginners

25 April 2026 21:14

Просто подтянуть меня по питону

Python beginners

25 April 2026 21:12

Задай вопрос нормально

Python beginners

25 April 2026 20:51

Давай, сейчас кину в лс

Python beginners

25 April 2026 20:45

Ребята, я тут сапера делаю, кто-то хочет оценить?
(Код очень стран, плох и туп)

Python beginners

25 April 2026 16:16

Давно сервера в майне на python

Python beginners

24 April 2026 20:05

в таком случае можно и в struct байтами пукнуть

Python beginners

24 April 2026 20:05

это сомнительно только если ты сериализируешь очень маленький и конкретный набор данных

Python beginners

24 April 2026 20:04

мне кажется сомнительно целую депенденси нести ради сериализатора и десериализатора

Python beginners

24 April 2026 20:01

чтобы о таком сильно не думать

Python beginners

24 April 2026 19:59

зачастую не занимаются херней и сериализаторы пишут на компилируемом

Python beginners

26 April 2026 01:40

это мой проект. внутри airflow выполняет etl операции включая все необходимые dq проверки staging table и перенос в целевую таблицу оптимальным способом (move, exchange, attach, insert)
debezium хорошо, но это используют другие ребята и в других процессах

Python beginners

25 April 2026 22:17

капец как грустно щас было половину кода удалять. короче суть: столкнулся с проблемой при передачи postgres -> clickhouse csv файла clickhouse отказывается принимать timestamp и timestamptz из-за микросекунд. решение: в запросе указывать приведение типа колонки к ::timestamp(0)
решил написать автоматизацию - при выборе режима csv патчить запрос. и тут началось sqlparse не подошел, взял pglast покрутил, понял что хрень какая то с модификацией получается взял libpg_query собрал под виндой, зацепился через ctypes.DLL, написал решение все хорошо, тестами покрыл, лью в гит с автосборкой и тут начинается linux и macos собирают нерабочий пакет. как итог оказалось что pglast цепляет сорцы libpg_query в cython и только так оно работает на всех платформах. в итоге получить точно такой же результат как оказалось можно через pglast.parser.parse_sql_json() очень грустно. очень.
короче вот тут в итоге мой гавнокод если кому интересно https://github.com/0xMihalich/postgres_csvpatcher а я пойду грустить дальше

Python beginners

25 April 2026 21:38

в деньгах не нуждаюсь =)

Python beginners

25 April 2026 21:26

Хочется помочь человеку

Python beginners

25 April 2026 21:15

12 тысяч рублей в час

Python beginners

25 April 2026 21:12

Очень зря, дух Алекса всегда рядом и найдет в этом оффтоп

Python beginners

25 April 2026 21:06

пробуй с противовесом

Python beginners

25 April 2026 20:51

на питхоне можно сделать свой майнкрафт сервер, протокол достаточно реализовать

Python beginners

25 April 2026 18:35

Давно сервера в Майнкрафте вообще отношение имеют к программированию?

Python beginners

24 April 2026 20:05

я вот в одном месте просто {"x": {...}} фигачу

Python beginners

24 April 2026 20:05

как только ты начал там что-то такое делать как ты начал, это уже повод задуматься

Python beginners

24 April 2026 20:04

да как раз нормально

Python beginners

24 April 2026 20:02

задача сложная, я бы рекомендовал взять готовый инструмент, если не хочешь тратить год на вылизывание

Python beginners

24 April 2026 20:00

пользуйся переменными, а не бесконечным нестом, пожалуйста

Python beginners

24 April 2026 19:59

зачастую делают кодген через захардкоженные строчки

some_string += f"\n    {field.name}.blahblahblah()"