8387
Всё самое интересное из мира LLM, Data Science и машинного обучения adds: @devmangx Автор: @ScienceLLM
Microsoft реально перевернули игру 🤯
Они уже давно выложили в open source bitnet.cpp — фреймворк для инференса 1-битных LLM.
Он позволяет гонять модели на 100B параметров прямо на локальном CPU, без всяких GPU.
- инференс быстрее в 6.17 раза
- потребление энергии на CPU меньше на 82.2%
И да, это 100% open source.
👉 @DataSciencegx
12 новых продвинутых типов RAG
▪️ Mindscape-Aware RAG (MiA-RAG)
▪️ Многошаговый RAG с памятью на основе гиперграфов
▪️ QuCo-RAG
▪️ HiFi-RAG
▪️ Двунаправленный RAG
▪️ TV-RAG
▪️ MegaRAG
▪️ AffordanceRAG
▪️ Graph-O1
▪️ SignRAG
▪️ Гибридный RAG для многоязычного question answering по документам
▪️ RAGPart и RAGMask
👉 @DataSciencegx
Превращай PDF-файлы в чистые данные, готовые для LLM.
Dolphin — это open-source фреймворк для парсинга документов, который конвертирует PDF в структурированные форматы: Markdown, HTML, LaTeX и JSON.
Работает в два этапа.
Этап 1: детальный анализ макета на уровне страницы. Определяются элементы и их порядок в соответствии с естественным порядком чтения.
Этап 2: параллельный парсинг элементов с использованием разных типов якорей и task-специфичных промптов.
Ключевые возможности:
» Двухэтапный подход analyze-then-parse на базе одной VLM
» Обнадёживающая производительность на задачах парсинга документов
» Генерация последовательности элементов в естественном порядке чтения
» Гетерогенные anchor-промпты для разных типов элементов документа
» Эффективный механизм параллельного парсинга
Проект на 100% open source.
👉 @DataSciencegx
А что если можно определить свои собственные типы сущностей без обучения отдельной модели?
Named Entity Recognition (NER) вытаскивает из текста ключевые данные вроде имен, дат и организаций. Но стандартные модели обычно зашиты под фиксированный набор типов, типа PERSON, ORG, DATE и т.п.
Если надо вытянуть что-то более специфичное, обычно приходится обучать свою модель на тысячах размеченных примеров.
GLiNER решает это за счёт zero-shot извлечения сущностей: можно тащить любые типы без обучения.
Плюсы:
• Сразу работает на любом домене текста, без подготовки
• Поддерживает несколько типов сущностей за один проход
• Возвращает confidence для каждой найденной сущности
• Легко интегрируется в spaCy и другие NLP-пайплайны
Полная статья: https://bit.ly/4pdiNrz
Запустите этот код: https://bit.ly/4s6wEkZ
Кроме того, GLiNER является открытым исходным кодом! Установите его с помощью команды «pip install gliner».
👉 @DataSciencegx
А что если можно было бы точно увидеть момент, когда модель начинает переобучаться при подборе гиперпараметров?
Тюнинг гиперпараметров — это поиск баланса между недообучением (модель слишком примитивная) и переобучением (модель запоминает датасет вместо того, чтобы учиться обобщать).
Конечно, можно самому писать цикл, гонять кросс-валидацию по каждому значению, собирать метрики и строить графики. Но это рутинщина, которую придётся повторять из проекта в проект.
Yellowbrick — библиотека визуализации для машинного обучения, которая как раз решает эту задачу.
ValidationCurve показывает, где всё ок, где начинает разваливаться и что стоит поправить, без шаблонного кода и кривых графиков.
Как читать график из примера:
• Метрика на train (синяя) остаётся высокой при росте max_depth
• Метрика на validation (зелёная) падает после глубины 4
• Разрыв между ними растёт — модель запоминает тренировочные данные и плохо обобщает на новых
Что делать: выбрать max_depth примерно 3–4, пока валидационная метрика на пике и разрыв ещё не ушёл в космос.
Полная статья: https://bit.ly/44CBQ62
Запустите этот код: https://bit.ly/48RanQp
👉 @DataSciencegx
А что если просто смена библиотеки разблокировала бы все ядра процессора без переписывания кода?
pandas гоняет join’ы на одном ядре, оставляя остальные простаивать при работе с большими таблицами.
Polars раскидывает операции join по всем доступным ядрам и за счёт этого ощутимо быстрее pandas на крупных данных.
Почему Polars такой быстрый:
• Обрабатывает строки батчами в параллель
• Использует все CPU-ядра
• Не требует никакой настройки
Статья — pandas vs polars vs DuckDB
Запустите этот код
👉 @DataSciencegx
Вышла GLM-4.7.
Новая версия заметно прокачалась по сравнению с GLM-4.6 и теперь уверенно тянет open-source SOTA в кодинге, сложных рассуждениях и работе с инструментами. Параллельно подтянули чат, креатив, сторителлинг и role-play.
Что важно на практике:
Кодинг
» Существенный прирост качества в реальных дев-сценариях
» Модель стала дефолтной в GLM Coding Plan
» Лучше держит контекст, меньше ломается на длинных цепочках действий
Thinking modes
» Доработан Interleaved Thinking
» Появились Preserved Thinking и Turn-level Thinking
» Можно думать между действиями и сохранять логику между ходами, что сильно повышает стабильность на сложных задачах
UX и визуал
» Улучшена работа с фронтендом
» Поддержка разных стилей
» Заметный апдейт в генерации слайдов и постеров
Ссылки:
» Coding Plan: [http://z.ai/subscribe]
» Чат: [http://chat.z.ai]
» Веса: [http://huggingface.co/zai-org/GLM-4.7]
» Техблог: [http://z.ai/blog/glm-4.7]
» Thinking Mode: [http://docs.z.ai/guides/capabilities/thinking-mode]
👉 @DataSciencegx
Проекты на PyTorch
Плейлист, который помогает изучать PyTorch через работу над продвинутыми проектами.
👉 @DataSciencegx
Разворачивайте и запускайте LLM прямо на телефоне
Unsloth теперь позволяет дообучать LLM и деплоить их на 100% локально на устройствах iOS и Android.
В видео показано, как это работает на практике: автор запускал Qwen3 на iPhone 17 Pro с производительностью примерно 25 токенов в секунду.
Гайд
👉 @DataSciencegx
А что если можно ускорить Python в 37 раз одной строкой кода?
Медленные Python-функции в больших кодовых базах страшно оптимизировать. Можно попробовать Numba или Cython, но Numba в основном работает только с числовым кодом и NumPy-массивами.
Можно пойти в Cython, но там нужны .pyx-файлы, аннотации типов и сборка. По факту это часы рефакторинга, прежде чем ты вообще увидишь прирост. 😬
Codon решает это одной строкой: декоратор codon.jit компилирует твой Python прямо в машинный код.
Ключевые плюсы:
• Работает с любым Python-кодом, не только с NumPy
• Аннотации типов не нужны, типы выводятся автоматически
• Скомпилированные функции кэшируются и потом вызываются мгновенно
• Никаких изменений в коде, кроме добавления декоратора
Выше реальные замеры производительности:
• Чистый Python: 0.240 с
• Первый вызов Codon: 0.324 с (разовая компиляция)
• Повторные вызовы Codon: 0.006 с (ускорение в 37 раз)
Ссылка на репозиторий: https://bit.ly/4q8SW3q
Запустите этот код: https://bit.ly/492cz6D
👉 @DataSciencegx
Представили T5Gemma 2 - новое поколение encoder-decoder моделей
Модель построена поверх Gemma 3. Это позволило собрать компактные варианты в конфигурациях 270M–270M, 1B–1B и 4B–4B.
На фоне того, что сегодня большинство моделей » decoder-only, T5Gemma 2 (насколько мне известно) — первая мультимодальная encoder-decoder модель с длинным контекстом и мощной мультиязычной поддержкой » 140 языков.
Надеемся, что эта модель будет полезна как в ML, так и разработчикам, которым интересно экспериментировать с новыми архитектурами.
Блог: https://blog.google/technology/developers/t5gemma-2
Модели: https://huggingface.co/collections/google/t5gemma-2
Статья: https://arxiv.org/abs/2512.14856
👉 @DataSciencegx
Почему pre-norm работает лучше, чем post-norm в трансформерах?
Я снова копался в архитектуре трансформеров (в который уже раз) и в этот раз обратил внимание на одну вещь: почти все реализации, которые я видел, используют вариант pre-norm (нормализация перед сабслоем, потом residual), и он стабильно обгоняет оригинальный post-norm дизайн (сначала residual, потом нормализация).
Разница в коде элементарная:
post-norm: output = norm(x + sublayer(x))
pre-norm: output = x + sublayer(norm(x))
Но почему это на первый взгляд небольшое изменение позволяет обучать трансформеры гораздо глубже и стабильнее? Я понимаю, что это улучшает протекание градиентов, но хочется более глубокого объяснения. В чем конкретная математика и где именно ключевая причина?
👉 @DataSciencegx
Xiaomi представила MiMo-V2-Flash, новую опенсорс MoE-модель, для агентных сценариев и быстрого инференса.
Архитектура включает 309B параметров, из которых 15B активны на шаг, что позволяет сочетать производительность моделей уровня топовых моделей с заметно меньшей задержкой.
Модель использует гибридное внимание: схема 5:1 с чередованием 128-оконного SWA и Global Attention, поддержка контекста до 256K токенов. По результатам бенчмарков MiMo-V2-Flash сопоставима с DeepSeek-V3.2 на общих задачах, но работает быстрее.
Отдельно отмечены результаты на SWE-Bench:
73.4% на SWE-Bench Verified
71.7% на SWE-Bench Multilingual — новый SOTA среди опенсорс моделей
Скорость генерации достигает 150 токенов/с, при этом модель получила Day-0 поддержку от lmsys.
MiMo-V2-Flash уже доступна:
-» модель на Hugging Face
-» технический отчет с деталями архитектуры
-» блог-пост команды
-» AI Studio для тестирования
Есть бесплатный доступ по API до конца года (потом - $0,1 за млн. входных токенов и $0,3 за млн. выходных)
👉 @DataSciencegx
День добрый, друзья!
Если вы только заходите в ML или уже пробуете что-то ковырять в моделях, то мы собрали для вас небольшую, но очень толковую папку – 5 каналов, которые закрывают базовые потребности любого начинающего спеца
Что внутри:
🔵 Обучающий канал – простыми словами про матчасть, алгоритмы, фреймворки, пайплайны. Даст понимание что и зачем происходит 👌
🔵Авторские блоги практиков: у них найдете посты, как парни учились, какие ошибки делали, что сейчас используют в проде, а также сможете задать вопросы в комментах
Там очень разный, но сильный бэкграунд:
Дима – основатель собственной школы по DS с большим опытом в BigTech, Паша – ML-инженер в ЦУМе с крутой историей карьерного роста
Саша – учился в Бауманке, а теперь прогнозирует в аналитике Яндекс Лавки, Ваня – пишет о своем пути в ML с нуля и работе DS в Яндексе
Новая статья от Apple просто взрывает мозг.
Они показали, что одного слоя attention достаточно, чтобы превратить предобученные vision-фичи в SoTA-генераторы изображений.
Это сильно упрощает диффузионные модели, при этом качество остаётся на топовом уровне.
👉 @DataSciencegx
Фраза «у меня нет GPU» официально умерла.
VS Code теперь умеет напрямую подключаться к Google Colab.
→ Бесплатная T4 GPU прямо в редакторе.
→ Файлы локально у тебя, вычисления на их стороне.
👉 @DataSciencegx
Самый ожидаемый модуль по техникам оптимизации в машинном обучении наконец вышел.
В нем разобраны базовые вещи:
варианты SGD
выпуклые и невыпуклые задачи
Momentum и ускорение Нестерова
Adam, RMSprop
ландшафты функции потерь
регуляризация
Batch Normalization
метод Ньютона и множители Лагранжа
Читать здесь — https://www.tensortonic.com/ml-math
👉 @DataSciencegx
Google обучил модель на миллионах пользовательских сообщений.
Не увидев ни одного сообщения.
Это называется federated learning. Его используют Google, Apple, Meta и почти все крупные техкомпании.
Объясняю, как это работает.
Представь, что ты хочешь сделать клавиатуру, которая предсказывает следующий ввод.
Лучшие данные для обучения — реальные сообщения с миллионов телефонов.
Но собирать их нельзя: приватность, чувствительные данные, пользователи просто взбунтуются.
Federated learning переворачивает подход.
Вместо того чтобы тащить данные к модели, ты тащишь модель к данным.
Вот как это выглядит на практике.
Шаг 1. Отправляем модель на устройства
Телефон скачивает небольшую нейросеть. Она живет локально, прямо на девайсе.
→ это глобальная модель W
Шаг 2. Обучаем там, где живут данные
Пока ты печатаешь, телефон незаметно учится твоим паттернам."omw" → "буду через 10 минут".
Он считает, как модель должна улучшиться.
→ это локальные градиенты ΔW
Шаг 3. Возвращаем только обучение, не данные
На сервер уходят обновления весов.
Не сообщения. Не история ввода. Только математика.
→ этап агрегации обновлений
Шаг 4. Усредняем по тысячам устройств
Сервер объединяет апдейты с тысяч телефонов.
Общие паттерны усиливаются, индивидуальные особенности взаимно гасятся.
→ классический FedAvgW_new = W + (1 / n) × Σ(ΔWₖ)
Четыре шага.
Ни один сырой пользовательский данные не покидает устройство.
Только аккуратная координация.
Самое важное:
это открывает доступ к данным, которые раньше были принципиально недоступны.
Больницы могут обучать модели для диагностики рака, не обмениваясь снимками пациентов.
Банки строят антифрод, не раскрывая транзакции.
Умные дома учатся предпочтениям, не отправляя личные моменты в облако.
Приватность и польза — не взаимоисключающие вещи.
Наоборот: уважение границ данных делает такие модели возможными.
Так что прежде чем централизовать все подряд, стоит задуматься:
лучшие данные для обучения уже существуют — просто они заперты на устройствах, к которым ты никогда не получишь прямой доступ.
Открытый релиз первой единой библиотеки для роутинга LLM
☝️ Встречайте LLMRouter
16+ роутеров в одном фреймворке. Хватит заново переписывать научные работы про роутинг. Просто ставите:
pip install llmrouter-lib
Открыли исходники DeepTutor — AI-ассистента для персонализированного обучения.
Мы экспериментируем с агентными ИИ, которые могут помогать студентам и исследователям на всём пути обучения. DeepTutor объединяет работу с материалами, решение задач, генерацию практики и управление знаниями в одну систему, которая реально понимает твой контекст обучения.
Ограничен по GPU и не хочешь поднимать локальный кластер для RL?
Знакомься с OpenTinker.
OpenTinker — это open-source RL-as-a-Service: ты проектируешь агента локально, а обучение и инференс спокойно уезжают на удалённые GPU. Без возни с инфраструктурой, без жёсткой связки логики агента и исполнения. Чистый, масштабируемый агентный RL.
Почему это важно:
- можно прототипировать RL-задачи локально, не думая о железе
- всё тяжёлое — обучение и инференс — выполняется на облачных GPU
- поддержка single-turn и multi-turn задач
- обученную модель можно сразу задеплоить в инференс, без допкода
Как это устроено:
- дезагрегированная архитектура
- локально крутится лёгкий клиент
- эксперименты отправляются в облачный scheduler
- scheduler матчится с доступными GPU и оркестрирует задачи по ресурсам
- таск поднимается удалённо, а метрики стримятся в реальном времени в дашборд
API для разработчиков:
- один раз оборачиваешь environment, reward и policy
- OpenTinker сам берёт на себя data loading, rollouts, training и inference
Интерфейсы знакомые:
- для окружения: env.reset() и env.step()
- для обучения: high-level fit() — полный training loop end-to-end
- под капотом fit() собран из train_step(), validate(), save_checkpoint()
- хочешь быстро — используешь fit()
- нужен контроль — кастомизируешь шаги вручную
Runtime агента выглядит как state machine:
PENDING — препроцессинг и токенизация
GENERATING — модель генерирует ответ
INTERACTING — агент действует в окружении
TERMINATED — задача завершена
Ссылки:
Репозиторий: https://github.com/open-tinker/OpenTinker
Блог: https://open-tinker.github.io/opentinker-page/
👉 @DataSciencegx
EgoX тепеь опенсорс: генерация эгоцентрического видео из одного экзоцентрического видео
Исходники теперь доступны. Можно генерировать эгоцентрические видео так же, как в демо, либо использовать EgoX, чтобы преобразовывать свои экзоцентрические (вид от третьего лица) видео в эгоцентрические.
arXiv: https://arxiv.org/abs/2512.08269
Страница проекта: https://keh0t0.github.io/EgoX/
Код: https://github.com/DAVIAN-Robotics/EgoX
Как работает EgoX
• Стартует с одного экзоцентрического (third-person) видео
• Использует предобученные диффузионные модели для видео
• Применяет унифицированное кондиционирование и attention с учетом геометрии
• Генерирует согласованные, высококачественные эгоцентрические видео
👉 @DataSciencegx
На днях, Google выпустила FunctionGemma — компактную модель для локального запуска
Языковая модель на 270 млн параметров, рассчитана на работу с функциями и инструментами.
Модель занимает около 0,5 ГБ оперативной памяти и может работать прямо на смартфоне, выдавая больше 50 токенов в секунду. Подключение к облаку не требуется, все вычисления выполняются локально.
FunctionGemma изначально ориентирована на сценарии, где модели нужно вызывать внешние функции и работать как часть агентной логики. Ее можно дообучать с помощью Unsloth, а затем разворачивать на мобильных устройствах или других системах.
Docs + Notebook: тут
GGUF: тут
👉 @DataSciencegx
Собрать RAG-приложение на AWS проще, чем кажется.
Разберём, как это сделать на сервисах, которые и так всем знакомы.
В основе RAG всегда два этапа: ingestion и querying.
Вот как каждый из них можно реализовать в AWS.
1. Ingestion: превращаем сырые данные в доступные для поиска знания
Документы лежат в S3
При появлении новых данных срабатывает Lambda
Она чистит текст, режет его на чанки и строит эмбеддинги через Bedrock Titan Embeddings
Эмбеддинги сохраняются в векторное хранилище, например OpenSearch Serverless
В итоге получается база знаний, по которой можно искать.
Важный момент: переиндексация.
Если в документе поменялся один символ, нет смысла прогонять его целиком заново. Умный diff и инкрементальные апдейты сильно экономят и время, и деньги.
2. Querying: поиск и генерация ответа
Пользователь задаёт вопрос в приложении
Запрос проходит через API Gateway в Lambda
Вопрос превращается в эмбеддинг и матчится с векторной БД
Самые релевантные чанки передаются в LLM из Bedrock, например Claude
Готовый ответ возвращается пользователю
Так LLM отвечает не «из головы», а опираясь на реальные данные.
Это самый базовый вариант RAG на AWS, но сам паттерн не меняется при масштабировании.
Можно добавлять более умный чанкинг, улучшенный retrieval, кэширование, оркестрацию, eval-пайплайны — архитектура остаётся той же.
👉 @DataSciencegx
NotebookLM & GeminiApp
Теперь можно загружать ноутбуки NotebookLM напрямую в GeminiApp. Это удобно для:
- объединения нескольких ноутбуков в один
- генерации изображений или приложений на основе ваших ноутбуков
- развития существующих ноутбуков с подключением онлайн-исследований
- и других сценариев
Функция уже доступна, можно пробовать. 🤙
👉 @DataSciencegx
В open source выходит jax-js - библиотека машинного обучения для веба, полностью на чистом JavaScript.
jax-js — первый ML-компилятор, который работает прямо в браузере и генерирует быстрые WebGPU-ядра. Проект написан с нуля за последний год как личный сайд-проект.
Подробности: https://ekzhang.substack.com/p/jax-js-an-ml-library-for-the-web
Python и JavaScript - самые популярные языки в мире.
Python нужен для ML,
JavaScript — нативный язык веба.
Проект пока на ранней стадии, но jax-js задумывается как по-настоящему «реальная ML-библиотека» для веба: с JIT-фьюжном ядер под WebGPU и полноценным API, а не просто рантайм.
👉 @DataSciencegx
На одном таком аэрофото модель делает сотни детекций, каждая локализована и классифицирована в реальном времени. Контейнеры, транспорт, здания, портовая инфраструктура — все распознается за один forward pass модели.
Почему это важно:
- масштабируемый мониторинг для логистики
- ситуационная осведомленность в реальном времени с дронов или спутников
- автоматический подсчет и трекинг активов
- база для digital twins и умной инфраструктуры
Это уже не просто bounding box’ы и раскраска. Это машинное восприятие на уровне города, где пиксели превращаются в структурированные, прикладные данные.
Компьютерное зрение больше не про то, чтобы видеть картинки.
Оно про понимание мира.
👉 @DataSciencegx
Андрей Карпаты, основатель Eureka Labs и бывший директор по ИИ в Tesla, на простом уровне объясняет, как LLM вроде ChatGPT по сути «скачивают интернет».
Подходит даже для новичков. Полное видео с разбором тут: https://bit.ly/4o13PTx
👉 @DataSciencegx
Способность RoPE кодировать относительные позиции при минимальном числе параметров сделала возможным появление LLM с длинным контекстом.
Нельзя просто так запихнуть вход на 4k токенов в модель с контекстом 2k, но решение стоит недорого.
В итоге расширение контекста превращается в задачу дообучения за $5K, а не полного переобучения за $500K.
👉 @DataSciencegx
NVIDIA выложила открытую модель на 30B, которая обходит GPT-OSS и Qwen3-30B -» и работает в 2.2–3.3 раза быстрее.
Nemotron 3 Nano:
- контекст до 1 млн токенов
- MoE: 31.6B параметров всего, 3.6B активных
- лучшая в классе производительность на SWE-Bench
- открытые веса + инструкция по обучению + датасеты с правом перераспространения
Модель можно запускать локально -» достаточно 24 ГБ ОЗУ.
👉 @DataSciencegx