🔥 Хочешь расти в IT быстрее остальных? Перестань учиться в одиночку

Можно годами смотреть курсы, читать документацию и всё равно топтаться на месте.

А можно попасть в правильное окружение, где каждый день обсуждают новые инструменты, вакансии, реальные кейсы, ошибки и то, что уже завтра станет стандартом.

Я собрал папки и каналы по разным направлениям IT, чтобы ты быстрее находил нужных людей, идеи и полезный контент - без бесконечного поиска.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: /channel/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: /channel/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка Frontend: /channel/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: /channel/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подпишись и сохрани, здесь регулярно появляются новые подборки, инструменты и материалы, которые реально помогают расти быстрее.

Читать полностью…

🌦 Linecast — погода, карты, радар, приливы, Солнце и Луна прямо в терминале

Open-source CLI превращает публичные данные в шесть интерактивных приложений:

- linecast weather — погода, почасовой прогноз, AQI и предупреждения
- linecast sunshine — восход, закат и длина дня
- linecast moon — фазы Луны, восход/заход и календарь
- linecast tides — график приливов и отливов
- linecast radar — анимированный радар и спутниковые данные
- linecast maps — карты, рельеф, поиск мест и маршруты

Работает на macOS, Linux и Windows. Написан на Python, почти без зависимостей, не требует аккаунта или API-ключей и подстраивает цвета под тему терминала.

Можно даже запустить без установки:

uvx linecast weather

GitHub:
https://github.com/ashuttl/linecast

Читать полностью…

CPython официально добавил поддержку RISC-V 🚀

RISC-V теперь официально поддерживается CPython как платформа Tier 3.

Это важный шаг для открытой архитектуры процессоров: в отличие от x86 и ARM, RISC-V основана на открытом ISA и может свободно использоваться производителями железа.

До этого Python уже запускался на RISC-V, но теперь архитектура официально внесена в PEP 11. Для неё появились постоянные buildbot-тесты на реальном RISC-V-железе, предоставленном RISE Project.

Следующие цели:

- добавить RISC-V непосредственно в CI CPython;
- быстрее находить архитектурные баги до merge;
- со временем поднять поддержку до Tier 2;
- добавить оптимизации CPython специально под возможности RISC-V.
-
Для Python это ещё один шаг к полноценной поддержке RISC-V не только на уровне интерпретатора, но и всей экосистемы пакетов и инструментов.

https://blog.python.org/2026/08/riscv-now-officially-supported/

Читать полностью…

🔍Тестовое собеседование на Middle Python с разработчиком из Авито завтра вечером

Уже завтра вечером в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Python-разработчика.

Как это будет:
📂 Даня, старший разработчик в Авито, будет задавать реальные вопросы и задачи разработчику-добровольцу
📂 Даня будет комментировать каждый ответ респондента, чтобы дать понять чего от вас ожидает собеседующий на интервью
📂 В конце можно будет задать любой вопрос Дане

Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для Python-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы.

Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_py_bot

Реклама.
О рекламодателе.

Читать полностью…

🚀 Tencent показали Hy4-preview - новую open-source модель на 770B параметров

Архитектура MoE:
- 770B параметров всего
- 49B активны на токен
- контекст до 1 млн токенов
- упор на coding, agentic-задачи и продуктивность

Использует Gated DeepSeek Sparse Attention + IndexCache, чтобы удешевить длинный контекст и переиспользовать sparse-индексы между слоями.

Tencent позиционирует Hy4 как frontier-level open model с доступной стоимостью запуска.

Apache 2.0

🟡 Блог: https://hy.tencent.ai/research/hy4-preview

🟡Hugging Face:
https://huggingface.co/tencent/Hy4-preview

🟡GitHub: https://github.com/Tencent-Hunyuan/Hy4-preview

@ai_machinelearning_big_data

#Tencent

Читать полностью…

Python: как не дать нескольким процессам одновременно полезть в один ресурс

В multiprocessing процессы работают параллельно и иногда пытаются одновременно изменить один и тот же ресурс.

Для таких случаев есть Lock:

from multiprocessing import Process, Lock

def printer(item, lock):
    with lock:
        print(item)

Дальше один и тот же lock передаётся всем процессам:

if __name__ == "__main__":
    lock = Lock()

    for item in ["tango", "foxtrot", 10]:
        Process(
            target=printer,
            args=(item, lock)
        ).start()

Пока один процесс находится внутри with lock:, остальные ждут.

Это особенно полезно при работе с файлами, логами, общими структурами и другими ресурсами, где одновременная запись может привести к race condition.

И лучше использовать with lock:, а не вручную acquire() / release() — так блокировка гарантированно снимется даже при исключении.

Читать полностью…

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: /channel/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: /channel/+S4hinvO3QI43ZjNi
Kubernetes: t.me/kubernetc
GameDev: /channel/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка Frontend: /channel/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: /channel/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

Читать полностью…

⚡️ Harness Engineering - полный курс на русском

Как заставить AI-агента писать код надёжно. Не «какую модель выбрать», а как спроектировать вокруг неё рабочую систему: инструкции, инструменты, среду, состояние и верификацию.

Курс - от нуля до продвинутых тем: теоретическая база из 11 блоков, 14 модулей, 8 практических проектов, 14 лабораторных работ, диагностический протокол «как починить агента», библиотека готовых шаблонов, карта инструментов, 40 приёмов и каталог антипаттернов.

Главный тезис курса: способность модели и надёжность исполнения - это две разные вещи. Одна и та же модель в «голой» среде и в среде с продуманным harness даёт качественно разные результаты. Апгрейд модели - это самый дорогой и обычно не самый эффективный способ починить агента.

https://github.com/justxor/Harness_ru

Читать полностью…

Полный инженерный курс по AI-агентам на русском: от tool calling до production

Курс инженерный, а не обзорный. Здесь почти нет рассуждений о том, «изменит ли ИИ мир», зато есть: минимальные работающие реализации каждого механизма, лабораторные с критериями приёмки, шаблоны для копирования, чек-листы перед релизом, каталог антипаттернов и набор бенчмарков, по которым можно честно сравнить две версии своего агента.

Качество агента почти никогда не упирается в модель. Оно упирается в инженерию вокруг модели: как описаны инструменты, что попадает в контекст, где стоят проверки, что происходит при третьей подряд ошибке и сколько это стоит за тысячу запусков. Модель - двигатель. Курс -про всё остальное в автомобиле.

https://github.com/justxor/Aiagentsfullcourse

Читать полностью…

🔥 Python + AI без игрушечных демок. Курс для тех, кто хочет собирать рабочие системы.

Stepik: «Python современный AI для разработчика и автоматизации задач»

63 урока, 382 шага, практика с кодом и автопроверкой.

Внутри: RAG, tool calling, агенты, evals, MCP, Ollama, vLLM, pgvector + HNSW, безопасный text-to-SQL, prompt injection, кэш, очереди и sandbox для агентного кода.

Плюс реальные автоматизации: почта, отчёты, боты, вебхуки и браузерные сценарии.

Для тех, кто уже знает Python и хочет перейти к production AI.

⏳ 72 часа скидка 55%

https://stepik.org/a/295921

Читать полностью…

Главный секрет bool: он на самом деле int
Складываю True и True, получаю 2

Складываешь два True в Python и получаешь 2. Не баг и не магия: bool наследуется от int, поэтому True это единица, а False это ноль. Минута, и ты больше никогда не удивишься sum по списку булевых значений.

#python

Читать полностью…

🚀 ИИ-агент ускорил SQLite до 59% меньше чем за 8 часов

Ускорить SQLite хотя бы на 5% уже было бы серьёзным результатом. Это один из самых зрелых и оптимизированных проектов в мире — его команда почти 20 лет выжимает из кода каждую долю производительности.

Но AI-агент KISS Sorcar менее чем за 8 часов и с затратами меньше $150 добился заметного ускорения сразу в нескольких типах нагрузки.

Результаты:

- 2,06× быстрее в официальном speedtest1 (~30 тыс. операций)
- 1,90× в TATP — транзакционная OLTP-нагрузка
- 1,30× в Star Schema Benchmark — аналитические запросы
- 1,25× в kvtest — работа с BLOB и дисковым I/O

Агент нашёл места, где стандартная конфигурация SQLite несла лишние расходы — особенно при записи транзакций на диск.

После этого он:

- изменил код и настройки
- прогнал бенчмарки
- проверил свои же изменения на ошибки
- сохранил совместимость с существующими тестами

анализ зрелой кодовой базы → поиск узких мест → изменение реализации → бенчмарки → проверка собственных решений.

GitHub:
https://github.com/ksenxx/sqlite-optimized/

#AI #SQLite #Programming #CodingAgents #Performance #OpenSource

Читать полностью…

Открыли регистрацию на E-CUP 2026 Students 🎓

В этом сезоне — только для студентов. Будет интересно тем, кто изучает ML / DS / big data / аналитику данных.

Сможете ускорить модель по поиску дубликатов на 20%? Получится создать классификатор для модерации товаров? Сумеете предсказать поведение покупателя?

Как минимум — попробуете и получите фидбэк от тех, кто делает это в Ozon Tech каждый день. Как максимум — разделите призовой фонд в 7 200 000 ₽ в торжественной атмосфере конференции E-CODE.

Нетривиальные задачи, нетворк с ведущими специалистами индустрии, кастомный мерч и шанс масштабно усилить портфолио — это про E-CUP 2026 Students.
Больше подробностей и регистрация ↩️

Читать полностью…

🔴 Завтра тестовое собеседование на Middle Python с разработчиком из Авито

Уже завтра вечером в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Python-разработчика.

Как это будет:
📂 Даня, старший разработчик в Авито, будет задавать реальные вопросы и задачи разработчику-добровольцу
📂 Даня будет комментировать каждый ответ респондента, чтобы дать понять чего от вас ожидает собеседующий на интервью
📂 В конце можно будет задать любой вопрос Дане

Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для Python-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы.

Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_py_bot

Реклама.
О рекламодателе.

Читать полностью…

Python-сервис не должен падать вслед за чужим API

Interlock - современная реализация circuit breaker для Python. Она временно блокирует обращения к нестабильному сервису, а затем аккуратно проверяет, восстановился ли он. Синхронный и асинхронный код поддерживаются одним классом.

Вместо примитивного подсчёта ошибок подряд библиотека умеет оценивать долю сбоев в скользящем окне - по числу запросов или времени. Медленные вызовы тоже можно считать ошибочными.

Для сложных сценариев есть resilience

pipeline = (
Pipeline.builder()
.fallback(lambda exc: [])
.retry(attempts=4)
.circuit_breaker(breaker)
.bulkhead(8)
.timeout(2.0)
.build()
)

Порядок стратегий задаётся явно: timeout, bulkhead, circuit breaker, повторные попытки и запасной ответ.

Также доступны интеграции с FastAPI, Litestar, HTTPX, aiohttp, Requests, Redis и OpenTelemetry. Состояние breaker можно синхронизировать между несколькими процессами, а при недоступности Redis библиотека временно возвращается к локальному состоянию.

Ядро не требует внешних зависимостей, декораторы сохраняют типы и сигнатуры функций, лицензия — MIT.

Проект молодой, поэтому проверенные годами pybreaker и circuitbreaker по-прежнему могут быть безопаснее для консервативного продакшена. Но для rate-based окон, контроля медленных запросов и составных политик отказоустойчивости Interlock выглядит интересно.

https://github.com/bagowix/interlock

Читать полностью…

🐍 Как правильно использовать Lock в Python multiprocessing

Если несколько процессов одновременно пишут в общий ресурс — файл, stdout, shared memory — вывод или данные могут перемешиваться.

Для этого есть multiprocessing.Lock:

from multiprocessing import Process, Lock

def printer(item, lock):
    with lock:
        print(item)

if __name__ == "__main__":
    lock = Lock()

    for item in ["tango", "foxtrot", 10]:
        Process(target=printer, args=(item, lock)).start()

Lock гарантирует, что критическую секцию в конкретный момент выполняет только один процесс.

Вместо ручных:

lock.acquire() → try/finally → lock.release()

обычно удобнее использовать:

with lock:

Особенно полезно при работе с файлами, логами и общими структурами данных между процессами.

Читать полностью…

🐍 Python считает эти даты равными. Хотя между ними целый час

В ночь перевода часов время 02:30 наступает дважды:

from datetime import datetime, UTC
from zoneinfo import ZoneInfo

tz = ZoneInfo("Europe/Berlin")

a = datetime(2026, 10, 25, 2, 30, tzinfo=tz, fold=0)
b = datetime(2026, 10, 25, 2, 30, tzinfo=tz, fold=1)

print(a)
# 2026-10-25 02:30:00+02:00

print(b)
# 2026-10-25 02:30:00+01:00

Это разные моменты:

a = 00:30 UTC
b = 01:30 UTC

Но Python выдаёт:

a == b       # True
b - a        # 0:00:00
len({a, b})  # 1

Причина: если у двух datetime один объект tzinfo, при сравнении Python игнорирует смещение и fold.

Из-за этого дедупликация может принять два платежа, заказа или события за одно.

Для сравнения реальных моментов переводите время в UTC:

a_utc = a.astimezone(UTC)
b_utc = b.astimezone(UTC)

a_utc == b_utc
# False

(b_utc - a_utc).total_seconds()
# 3600.0

Используйте astimezone(UTC). Метод replace(tzinfo=UTC) только заменяет метку и не пересчитывает время.

https://docs.python.org/3/library/datetime.html

https://peps.python.org/pep-0495/

Читать полностью…

⚡️ DeepSeek открыла веса DeepSeek-V4-Flash-Vision-Exp

Спустя 10 дней после релиза, модель на 305 млрд параметров опубликована под лицензий MIT.

Чекпоинт экспериментальный, её собрали на архитектуре V4-Flash, добавили визуальные модули и дообучили на понимание изображений, что бы получился агент, который умеет разбирать скриншоты, читать графики и работать с инструментами.

🟡Мультимодальные задачи

На ApexBench модель берет 36,5 балла против 26,2 у предыдущей V4-Flash-0731.

Тут сравнение не совсем честное - старая модель не поддерживает изображения во входных данных.

На Agents' Last Exam новинка дает 27,3 против 25,7 у Opus 4.8, на ZeroBench - 35,0 против 34,0.

На ApexBench и Chartography от того же Opus пока отстает - 36,5 против 39,4 и 64,3 против 65,0.

🟡Текстовые задачи

Toolathlon-Verified - 75,9 против 70,3 у предшественницы, NL2Repo - 57,7 против 54,2. Просела только Cybergym, 75,3 против 76,7.

На DeepSWE модель обходит и Opus 4.8 - 59,3 против 58,0.

На Terminal Bench 2.1 уступает - 83,9 против 85,0.

В репозитории лежат токенизатор, минимальный инференс на PyTorch с визуальным энкодером, DFlash-вниманием, MoE, Hyper-Connections и прямым проходом DSpark.

Картинки можно подавать и блоками в стиле OpenAI, и компактной записью через теги. Запускается через vLLM, SGLang, Transformers и Docker.

Cообщество уже сделало квантованные версии для локального запуска.


@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

🔥 Бесплатный ElevenLabs, который можно запускать локально:

VoiceStudio - локальная open-source студия для работы с голосом без подписок и лимитов

В одном приложении собрали:

- клонирование голоса по короткому образцу
- создание голоса по описанию - возраст, акцент, стиль, подача
- автоматический дубляж видео с переводом и разделением спикеров
- импорт EPUB/PDF и сборку многоголосых аудиокниг .m4b
- диктовку с очисткой текста локальной LLM
- удаление фонового звука через Demucs
- разделение говорящих через Pyannote/WhisperX
- MCP-сервер и локальный API

Внутри - 16 TTS-движков, 11 ASR-систем и каталог на 646 языков**. Основные данные и проекты по умолчанию остаются на вашем компьютере. Работает на Windows, Linux и Apple Silicon Mac.

Проект пока в активной beta.

https://github.com/debpalash/VoiceStudio

Читать полностью…

📚 Бесплатная книга по causal inference + ML

Applied Causal Inference Powered by Machine Learning and AI - большая открытая книга про причинно-следственный анализ с современным уклоном в машинное обучение и AI.

Внутри:

* causal graphs и DAG
* потенциальные исходы
* A/B и observational data
* propensity score
* matching и weighting
* heterogeneous treatment effects
* Double/Debiased Machine Learning
* causal forests
* uplift и policy learning
* связь causal inference с современными ML-моделями

Подойдёт тем, кто хочет выйти за пределы обычной корреляции и разбираться, что действительно влияет на результат.

496 страниц, PDF доступен бесплатно:

http://arxiv.org/abs/2403.02467

Читать полностью…

Блокчейн за минуту: почему один изменённый блок ломает всю цепь

Каждый блок хранит данные, время и хэш предыдущего блока, поэтому цепь держится сама на себе. Меняешь один байт в первом блоке, его хэш становится другим, и все последующие блоки мгновенно превращаются в недействительные. Показываю механику на тридцати строках Python: класс Block, SHA-256 и три транзакции, где видно, как ломается связь.

#blockchain #jojo

Читать полностью…

Знаете ли вы, что в #Python можно делать перегрузку функций с помощью functools?

Вот пример!

Читать полностью…

Python в 10 потоков работает медленнее, чем в один. Виноват GIL

Запускаешь CPU-bound задачу в 10 потоков и получаешь результат медленнее, чем в один. В любой момент времени байткод исполняет только один поток: остальные стоят в очереди за GIL, а переключения между ними съедают весь выигрыш. Правило простое: для ожидания берёшь threads и async, для вычислений — multiprocessing.

Читать полностью…

🔥 6 AI API, которые можно попробовать бесплатно - сохрани, пригодится

Если нужен API для pet-project, прототипа, AI-агента или просто тестов, необязательно сразу подключать платный OpenAI API.

Вот что доступно сейчас:

* ⚡ Groq - бесплатный rate-limited tier и очень быстрый inference для Llama, GPT-OSS, Qwen и других моделей.
console.groq.com/keys

* 🤖 Google Gemini - Free Tier для Gemini API с бесплатными input/output токенами на поддерживаемых моделях.
aistudio.google.com/apikey

* 🌊 Mistral AI - Free mode включён по умолчанию, можно создать API key без банковской карты. Лимиты ниже production-тарифа.
console.mistral.ai

* 🌸 Pollinations AI - единый API для текста, изображений, аудио и видео, плюс OpenAI-compatible endpoints. Учтите: сервис сейчас развивает систему API-ключей и Pollen credits, поэтому условия бесплатного использования лучше проверять перед интеграцией.
pollinations.ai

* 🐙 GitHub Models - бесплатный rate-limited доступ к каталогу разных AI-моделей через playground и API. Отлично подходит для прототипирования.
github.com/marketplace/models

* 🤗 Hugging Face Inference Providers - один API для сотен моделей и разных inference-провайдеров. Бесплатный аккаунт получает небольшие ежемесячные credits для экспериментов.
huggingface.co/settings/tokens

Важно: free tier ≠ unlimited API. Есть RPM/TPM, дневные квоты, ограничения по моделям и иногда совсем небольшие бесплатные credits.

Но для MVP, теста нового агента или weekend-проекта этого часто достаточно, чтобы начать вообще без расходов. 🚀

Читать полностью…

🐍 Генераторные выражения в Python - один из самых простых способов экономить память.

Обычный list comprehension сразу создаёт весь список:

squares = [x ** 2 for x in range(1_000_000)]

А generator expression вычисляет значения только по мере необходимости:

squares = (x ** 2 for x in range(1_000_000))

То есть миллион элементов не хранится в памяти одновременно.

Можно получать значения по одному:

next(squares)

или передать генератор напрямую в:

sum(...)
max(...)
any(...)
all(...)

Главный плюс - lazy evaluation.

Особенно полезно для:

- больших файлов;
- потоков данных;
- длинных последовательностей;
- ETL-пайплайнов;
- обработки данных, которые не нужно хранить целиком.

Но есть нюанс: генератор одноразовый.

После того как значения закончились, пройти по нему повторно уже нельзя.

Маленький синтаксический приём, который может заметно уменьшить потребление памяти.

#Python #Programming #Backend #DataEngineering

Читать полностью…

⚡️ Как узнать количество CPU в Python одной строкой

Для этого не нужны сторонние библиотеки — всё есть в стандартном multiprocessing:

import multiprocessing

print(multiprocessing.cpu_count())

Например:

8

Но есть важный нюанс: функция обычно возвращает количество логических процессоров, доступных системе, а не обязательно число физических ядер.

То же самое можно получить через:

import os

print(os.cpu_count())

Это особенно полезно, когда нужно автоматически подобрать количество worker-процессов:

workers = multiprocessing.cpu_count()

Но запускать N workers только потому, что у CPU есть N потоков, не всегда оптимально. Для CPU-bound задач количество процессов обычно подбирают экспериментально, а для I/O-bound архитектура может быть совсем другой.

Маленькая функция, но часто полезна при настройке multiprocessing, worker pools и параллельных вычислений.

#Python #Programming #Multiprocessing #Backend

Читать полностью…

🚀 Neo4j без сервера: GraphForge запускает полноценный Cypher прямо внутри Python-скрипта

GraphForge занимает редкую нишу между NetworkX и серверными графовыми БД. Вы получаете встроенный графовый движок на Rust, полный openCypher и хранение проекта в обычной директории.

Что внутри:

- четыре независимых слоя на Rust: parser → IR → planning → execution;
- результаты сразу возвращаются как Apache Arrow Table;
- данные легко передаются в Pandas и Polars;
- постоянное хранение построено на Parquet;
- встроены PageRank, Louvain и гибридный текстово-векторный поиск;
- Python- и Node.js-биндинги работают поверх одного движка.

from graphforge import GraphForge

graph = GraphForge("research/")

result = graph.execute("""
    MATCH (a)-[:CITES]->(b)
    RETURN a.title, b.title
""")

print(result.to_pandas())

При этом GraphForge честно позиционируется как инструмент исследовательского и notebook-масштаба. Для миллиардных графов, высокой нагрузки и многопользовательского доступа по-прежнему нужна серверная БД.

Python и Node.js доступны сейчас, Swift и Kotlin находятся в планах. Лицензия — Apache 2.0.

https://github.com/CurateLabs/graphforge

#RustLang #Python #OpenSource #GraphDatabase #DataScience #KnowledgeGraph

Читать полностью…

✔️ Liquid AI выпустила локального агента, который работает на телефоне

LFM2.5-2.6B - компактная агентная модель на 2,6 млрд параметров. Она умеет планировать действия, вызывать инструменты и выполнять многошаговые задачи полностью на устройстве, без облачного API.

Модель обучили примерно на 34 трлн токенов, расширили словарь до 128 тысяч токенов и добавили контекст 128K.

Особенно интересно устроено дообучение:

- отдельные модели-эксперты усиливали математику, код, tool use и длинный контекст;
- затем их навыки перенесли в одну модель через on-policy distillation;
- финальный этап прошёл внутри реальных агентных сред, включая Hermes Agent и OpenClaw.

По тестам Liquid AI, модель выдаёт:

- до 220 токенов/с на Apple M5 Max;
- до 113 токенов/с на Ryzen AI Max+ 395;
- около 30 токенов/с на смартфоне;
- почти 15 000 выходных токенов/с на одной H100 при высокой параллельной нагрузке.

При этом потребление памяти на CPU остаётся ниже 2,5 ГБ.

В бенчмарках LFM2.5-2.6B обходит более крупные Gemma и Qwen в ряде задач на следование инструкциям и использование инструментов. В сложном программировании большие модели пока сохраняют преимущество.

Есть поддержка llama.cpp, MLX, vLLM, SGLang и ONNX. Доступны базовая и дообученная open-weight версии.

Источник:
https://www.liquid.ai/blog/lfm2-5-2-6b

#LiquidAI #opensource

@ai_machinelearning_big_data

Читать полностью…

🔥 PyTorch Monarch теперь поддерживает AMD GPU через ROCm

Monarch позволяет управлять распределённым обучением на сотнях GPU из одной Python-программы. Вместо ручной координации процессов разработчик работает с акторами и группами устройств, а runtime берёт оркестрацию на себя.

Главное преимущество - отказоустойчивость. Если один узел выходит из строя, исправные реплики продолжают обучение. Система перезапускает повреждённую группу, восстанавливает её состояние и возвращает в работу без полного рестарта кластера.

Поддержка ROCm включает:

- Actor runtime и supervision trees
- шардирование тензоров
- RCCL и RDMA
- SLURM, Kubernetes и SkyPilot
- интеграцию с TorchTitan и TorchFT

Подход протестировали на кластерах из 128 AMD MI300 и 256 MI355 GPU. Даже при искусственно вызванных сбоях обучение продолжалось почти так же стабильно, как в обычном запуске.

Для команд, обучающих большие модели, это означает меньше потерянных вычислений, простоев и дорогих перезапусков инфраструктуры.

Подробнее:
https://pytorch.org/blog/bringing-pytorch-monarch-to-amd-gpus-single-controller-distributed-training-on-rocm/

Читать полностью…

🐍 Python-совет: когда `deque` лучше обычного списка

collections.deque — двусторонняя очередь, оптимизированная для быстрых операций с обоих концов.

from collections import deque

queue = deque(["a", "b", "c"])

queue.append("d")       # добавить справа
queue.appendleft("z")   # добавить слева

queue.pop()             # удалить справа
queue.popleft()         # удалить слева

У deque добавление и удаление с краёв выполняются за O(1). У списка операция pop(0) требует сдвига остальных элементов и работает за O(n).

Ещё одна полезная возможность — циклический сдвиг:

queue.rotate(1)   # сдвиг вправо
queue.rotate(-1)  # сдвиг влево

Подходит для очередей задач, скользящих окон, буферов и алгоритмов обхода графов.

Читать полностью…