gonzo-обзоры ML статей

02 February 2026 11:29

Ещё одна работа на близкую тему. Здесь не самодистилляция, а использование умного учителя для переписывания обучающих данных низкого качества. Но по сути очень похоже на предыдущую работу (/channel/gonzo_ML/4687) — заменяем SFT на RL, причём делаем это так, что появляется плавная интерполяция между этими двумя режимами — начинаем с клонирования хороших примеров, постепенно переходим на улучшение собственных роллаутов.

Все эти работы последних дней любопытны тем, что переосмысливают процесс предобучения и файнтюнинга, он становится более активным и динамическим и в большей степени RL. Это интересный движ, я ожидаю его усиление.

Self-Improving Pretraining: using post-trained models to pretrain better models
Ellen Xiaoqing Tan, Shehzaad Dhuliawala, Jing Xu, Ping Yu, Sainbayar Sukhbaatar, Jason Weston, Olga Golovneva
Статья: https://arxiv.org/abs/2601.21343
Ревью: https://arxiviq.substack.com/p/self-improving-pretraining-using

# TL;DR

ЧТО сделали: Авторы предлагают Self-Improving Pretraining — метод, заменяющий стандартное предсказание следующего токена на онлайн-цикл обучения с подкреплением (RL) прямо на этапе предобучения. Вместо пассивного поглощения "сырых" корпусов текста, модель использует сильного "учителя" (post-trained модель), который на лету переписывает низкокачественные данные и оценивает генерации самой модели-ученика. В итоге модель учится на отфильтрованном, качественном сигнале, состоящем из "переписанных" текстов и её собственных лучших роллаутов.

ПОЧЕМУ это важно: Подход ломает догму о том, что alignment (безопасность, фактология) — это забота исключительно этапа пост-тренировки (SFT/RLHF). Интегрируя обучение на предпочтениях (preference learning) в сам субстрат предобучения, метод не даёт модели "запечь" в веса токсичность или галлюцинации из сырых данных. Показано, что модели могут учиться быть безопасными даже на небезопасных данных, если целевая функция активно уводит их от грязи. Прирост win rate составляет до 86.3% по сравнению с базовыми методами.

Подробнее: /channel/gonzo_ML_podcasts/2300

gonzo-обзоры ML статей

01 February 2026 12:32

Сейчас одновременно вышло сразу несколько работ про само-дистилляцию, эта одна из них. Работа любопытная, в ней сразу несколько идей. Во-первых, проблема RLVR с бинарными наградами снимается, если смотреть не только на итоговую награду, но и на логи ошибок в процессе (тот же компилятор много чего полезного говорит кроме "удалось" или нет). Это называется RLRF (Reinforcement Learning with Rich Feedback). Во-вторых, собственно дистилляция от себя же, но с дополнительным промптом в виде этих логов. В-третьих, предложен очередной подход к TTT, Test-Time Self-Distillation, когда модель на одном тестовом запросе генерит варианты и пытается дообучиться через такую вот дистилляцию. Перекликается, например, с недавним TTT-Discover. И ещё прикольно, что показали про многословность GRPO — можно получать такой же результат с сильно меньшим количеством токенов, GRPO просто забалтывает в защитных целях, это по сути reward hacking.

Reinforcement Learning via Self-Distillation
Jonas Hübotter, Frederike Lübeck, Lejs Behric, Anton Baumann, Marco Bagatella, Daniel Marta, Ido Hakimi, Idan Shenfeld, Thomas Kleine Buening, Carlos Guestrin, Andreas Krause
Статья: https://arxiv.org/abs/2601.20802
Ревью: https://arxiviq.substack.com/p/reinforcement-learning-via-self-distillation
Код: https://github.com/lasgroup/SDPO

# TL;DR

ЧТО сделали: Предложили SDPO (Self-Distillation Policy Optimization) — алгоритм онлайн-обучения с подкреплением, который использует «богатый фидбек» (ошибки компилятора, логи юнит-тестов) вместо разреженных скалярных наград. Вместо внешнего учителя или reward model, SDPO использует *саму текущую политику*, обусловленную полученным фидбеком и исходным вопросом, в роли «само-учителя» (Self-Teacher). Этот механизм ретроспективно оценивает попытку модели и дистиллирует скорректированные вероятности токенов обратно в политику.

ПОЧЕМУ это важно: Подход решает проблему назначение вклада (credit assignment), присущую современным методам RLVR (Reinforcement Learning with Verifiable Rewards). Преобразование неструктурированного текстового фидбека в плотные градиенты на уровне токенов позволяет моделям самообучаться значительно быстрее без использования GPT-4 в качестве учителя. Эмпирически метод достигает SOTA точности, требуя в 4 раза меньше генераций, чем сильные бейзлайны, и при этом избавляет модель от излишней многословности (reward hacking), часто наблюдаемой у рассуждающих моделей.

Подробнее: /channel/gonzo_ML_podcasts/2270

gonzo-обзоры ML статей

31 January 2026 13:47

Интересная работа. Некоторым моделям учить проще, чем делать самим :)

В целом красивый подход, жаль что вычислительно тяжёлый. Модель-учитель создаёт куррикулум для ученика, помогая ему решить неизвестные сложные задачи, которые сходу решить нельзя. Примеры учителя может и странные, но работают. Что-то в этом есть. Так и до сатори недалеко.

Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability
Shobhita Sundaram, John Quan, Ariel Kwiatkowski, Kartik Ahuja, Yann Ollivier, Julia Kempe
Статья: https://arxiv.org/abs/2601.18778
Ревью: https://arxiviq.substack.com/p/teaching-models-to-teach-themselves
Code: N/A

# TL;DR

ЧТО сделали: Авторы представили SOAR (Self-Optimization via Asymmetric RL) — фреймворк двухуровневого meta-RL, где модель-«учитель» генерирует синтетические задачи для обучения модели-«ученика». В отличие от классического self-play, оптимизирующего исход игры, или внутренней любознательности, здесь учитель получает награду исключительно за реальный прогресс ученика на наборе заведомо нерешаемых сложных задач.

ПОЧЕМУ это важно: Подход решает проблему «холодного старта» в RLVR (RL с проверяемыми наградами). Когда модель имеет 0% успеха на сложных задачах, градиенту просто неоткуда взяться. SOAR доказывает, что у моделей есть скрытые «педагогические» способности (отличные от умения решать задачи), которые можно прокачать через meta-RL. Это позволяет создавать автоматические curriculum learning планы, по которым ученик добирается до решений, ранее недоступных без размеченных человеком данных.

Подробнее: /channel/gonzo_ML_podcasts/2256

gonzo-обзоры ML статей

30 January 2026 20:01

Wow! DeepMind выложил Genie 3 как проект (доступен только с подпиской Ultra)

https://deepmind.google/models/genie/

Promptable world model это интересно...

gonzo-обзоры ML статей

29 January 2026 18:48

Поговорили с Иваром Максутовым из Постнауки за жизнь и AI.

https://www.youtube.com/watch?v=VS64H5FYlqI

gonzo-обзоры ML статей

28 January 2026 20:06

Ещё одна работа про агентов для автоматизации ИИ-исследований (ИИИ). Эта прям заземляет всё на практику, чтобы агенты делали код, который работает и работает эффективно. Интересно, что как и в другой недавней работе про Learning to Discover at Test Time, подсвечивается важность не какого-то улучшенного среднего результата, а лучшего результата. И RL здесь оказывается консервативно-безопасным до уровня бесполезности.

Towards Execution-Grounded Automated AI Research
Chenglei Si, Zitong Yang, Yejin Choi, Emmanuel Candès, Diyi Yang, Tatsunori Hashimoto
Статья: https://arxiv.org/abs/2601.14525
Код: https://github.com/NoviScl/Automated-AI-Researcher
Ревью: https://arxiviq.substack.com/p/towards-execution-grounded-automated

# TL;DR

ЧТО сделали:
Авторы разработали «Automated Idea Executor» — систему, позволяющую LLM не просто генерировать гипотезы, а реализовывать их в виде патчей кода, запускать на GPU и получать реальный фидбек о производительности. Эту петлю обратной связи использовали для улучшения способностей генерации идей у фронтирных моделей (Claude 3.5 Sonnet, GPT-5) через два метода: эволюционный поиск и обучение с подкреплением (RL).

ПОЧЕМУ это важно:
Работа решает «проблему галлюцинаций» в автоматизированной науке, когда агенты генерируют правдоподобные, но нерабочие решения. Замкнув цикл на реальное исполнение, авторы показали, что LLM способны открывать новые алгоритмы, превосходящие сильные бейзлайны (например, побили рекорд экспертов в задаче GRPO). Ключевой инсайт: вскрылось фундаментальное расхождение в динамике обучения. Эволюционный поиск эффективно находит прорывные идеи-выбросы, тогда как RL страдает от коллапса мод, оптимизируя «безопасные» и простые изменения кода вместо научных открытий.

Подробнее: /channel/gonzo_ML_podcasts/2231

gonzo-обзоры ML статей

27 January 2026 19:32

Новый энкодер DeepSeek-OCR-2

gonzo-обзоры ML статей

27 January 2026 19:22

Maia 200: Ускоритель для инференса от Microsoft

Вчера был интересный анонс от Microsoft, они сделали свой чип для инференса, Maia 200 (https://blogs.microsoft.com/blog/2026/01/26/maia-200-the-ai-accelerator-built-for-inference/). Пока задеплоили в US Central, на очереди US West 3 регион.

Построен на 3нм процессе от TSMC, 140B транзисторов. Содержит нативные FP8/FP4 тензорные ядра, 216GB HBM3e памяти с пропускной способностью 7 TB/s и 272MB on-chip SRAM, а также специальные DMA engines для перемещения данных и “redesigned memory subsystem” для узких типов пониженной точности, но не понял относительно чего конкретно она redesigned. Чипы могут объединяться с другими по Ethernet, 2.8 TB/s bidirectional bandwidth, до 6144 чипов в кластере.

>10 PFLOPS FP4, >5 PFLOPS FP8, 750W TDP. По сравнению с Amazon Trainium 3-го поколения, у Maia FP4 перформанс в три (почти в четыре) раза выше. Так понимаю, у AWS хоть и есть отдельный чип для инференса (Inferentia2), новые поколения Trainium по факту универсальные акселераторы в том числе и для инференса, и цифры у них выше. В сравнении же с Гугловым TPU gen7, выше перформанс на FP8.

В целом, в эру test-time scaling это имеет смысл, для ризонинга FP4/FP8 вполне хватает, да и для обучения некоторым тоже уже хватает. Заявляют, что среди прочего будут использовать эти чипы для инференса GPT-5.2, а их Superintelligence team (не знал, что у MS тоже есть такая) будет их использовать для генерации синтетики и для RL.

Maia SDK в превью (по реквесту) с поддержкой PyTorch, компилятором Triton, библиотекой оптимизированных ядер и доступом к их низкоуровневому языку программирования. Можно стать уникальным специалистом по ядрам для ещё одной архитектуры 😀

Больше подробностей про железо и архитектуру здесь: https://techcommunity.microsoft.com/blog/azureinfrastructureblog/deep-dive-into-the-maia-200-architecture/4489312
Документ от вчера, но уже версии 3.0 🙂

Короче, ещё одна компания отвязывается от монополии NVIDIA, все хотят оунить полный стек. Как видимо и сама Нвидия, идущая в обратную сторону.

gonzo-обзоры ML статей

27 January 2026 13:32

Очередная волна китайских моделей

Последняя неделя января выдалась насыщенной — три серьёзных релиза, каждый со своей изюминкой.

Qwen3-Max-Thinking — флагманская reasoning-модель от Alibaba, анонсированная 26 января. Max-Thinking была анонсирована в сентябрьском посте про Max, вот наконец доехала.

Про архитектуру точно неизвестно, но скорее всего MoE на 1T параметров, контекст 262K токенов. Обучена на 36T токенов (цифра от Qwen3-Max-Base, Max-Thinking вероятно дообучали ещё на чём-то). В посте про Thinking пишут про скейлинг и RL, но непонятно, это оригинальный скейлинг Max имелся в виду или какой-то новый. Семейство Qwen3 поддерживает 119 языков, но непонятно насколько это распространяется на Max.

Из новых фич заявлены
1) адаптивный вызов тулов на стороне модели (поиск, память и интерпретатор кода) и
2) Test-time Scaling Strategy с параллельными траекториями, multi-round self-reflection и хитрым механизмом, анализирующим предыдущие раунды рассуждения и фокусирующимся на ещё неразрешённых неопределённостях.

По их собственным бенчмаркам заявлен уровень моделей GPT-5.2-Thinking, Claude-Opus-4.5 и Gemini 3 Pro.

Закрытая, только через API, как и вся ветка Max 🙁.

———

Kimi K2.5 от Moonshot AI — построена на базе Kimi K2 с continued pretraining на 15T токенов текста и изображений. Это первая по-настоящему мультимодальная модель в линейке Kimi, K2 был text-only.

MoE на 1T параметров (32B активных), 384 эксперта, контекст 256K (карточка). Добавили визуальный энкодер MoonViT на 400M параметров — теперь модель понимает изображения и видео.

На сайте и в приложении указаны четыре режима: K2.5 Instant, K2.5 Thinking, K2.5 Agent и K2.5 Agent Swarm (Beta). Для Kimi K2 Thinking заявляли стабильный тул‑юзинг для 200–300 последовательных вызовов, для K2.5 пишут, что может управлять 100 параллельными субагентами и выполнять воркфлоу до 1500 вызовов тулов, этот сворм агентов создаётся моделью самостоятельно. Обучена через Parallel-Agent Reinforcement Learning (PARL) с обучаемым агентом-оркестратором, который сам декомпозирует задачи и запускает замороженных субагентов впараллель (что хорошо сказывается на latency). В блоге есть немного деталей про этот подход.

По бенчмаркам тоже рулит и соревнуется с GPT-5.2 (xhigh), Claude 4.5 Opus (Extend Thinking) и Gemini 3 Pro. Ещё и в офисные задачи умеет: документы, спредшиты, PDF, слайды (я только не понял, это через какие-то тулы в веб-версии или она нативно что-то умеет, в HF деталей не увидел).

Веса открыты под Modified MIT — единственное ограничение: при >100M MAU или >$20M/месяц выручки нужно показывать брендинг "Kimi K2.5". Поддержка vLLM, SGLang, KTransformers. Нативная INT4 квантизация из коробки.

———

Qwen3-TTS — open-source TTS под Apache 2.0, релиз 21 января. Обучен на 5+ миллионов часов речи, 10 языков (включая русский). Клонирует голос по 3-секундному сэмплу, стримит первый аудио-пакет за 97 мс.

Архитектура — discrete multi-codebook language model на базе Qwen3 LM. Два варианта токенизатора: 12Hz (16-layer multi-codebook design) и 25Hz (single-codebook). Модели от 0.6B до 1.7B параметров.

Есть VoiceDesign-вариант — создаёт новые голоса по текстовому описанию ("кокетливый молодой женский голос с высоким тоном и явными интонационными перепадами").

Бьёт кое-где MiniMax-Speech и ElevenLabs, но у тех языков больше.

Страшная вещь.

gonzo-обзоры ML статей

27 January 2026 09:40

Дарио обещал эссе про риски, вот заделиверил

https://www.darioamodei.com/essay/the-adolescence-of-technology

gonzo-обзоры ML статей

26 January 2026 19:12

Что-то пошло не так...
https://arxiv.org/abs/2601.11659

gonzo-обзоры ML статей

26 January 2026 10:01

Для тех, кто ещё не понял, что происходит

gonzo-обзоры ML статей

24 January 2026 13:45

Очень классная работа, мне нравится подход. Развитие идей десятков и сотен предыдущих работ и продолжение линейки: Transformer-XL, Compressive Transformer, RMT, LCM. Я бы даже сказал, что это LCM 2.0 (Large Concept Model).

В отличие от обычного LCM, который работал над предложениями, но не совсем end-to-end, используя внешние SONAR энкодеры и декодеры для предложений, Thought Gestalt (TG) работает на двух уровнях. На внешнем уровне он пользуется последовательностью гештальтов-предложений, генерируемых автоматом через дифференцируемую память, а на внутреннем он генерит токен-за-токеном как обычный трансформер, но используя кросс-аттеншн на память гештальтов.

Это мне кажется очень правильный подход. Ждём развития!

Modeling Language as a Sequence of Thoughts
Nasim Borazjanizadeh, James L. McClelland
Статья: https://arxiv.org/abs/2512.25026
Ревью: https://arxiviq.substack.com/p/modeling-language-as-a-sequence-of

# TL;DR

ЧТО сделали: Авторы представили модель Thought Gestalt (TG) — архитектуру рекуррентного трансформера, который обрабатывает текст не сплошным потоком токенов, а предложение за предложением. Вместо хранения полной истории прошлых токенов (как в классическом KV-кэше), TG сжимает каждое обработанное предложение в единое векторное представление — «гештальт» — и сохраняет его в дифференцируемой памяти. Ключевая фишка: модель обучается end-to-end, то есть градиенты от предсказания будущих токенов текут назад через память, оптимизируя параметры, которые создали представления прошлых предложений.

ПОЧЕМУ это важно: Подход бросает вызов доминированию статического контекстного окна, показывая, что рекуррентность на уровне событий может быть эффективнее по данным, чем простое внимание к токенам. Авторы показывают, что TG обходит GPT-2 в scaling laws (требуя на ~5-8% меньше данных для той же перплексии) и значительно смягчает «Проклятие обратимости» (Reversal Curse, https://arxiv.org/abs/2309.12288) — ситуацию, когда модель выучила A -> B, но не может вывести B -> A. Это намекает на то, что сжатие контекста в латентные «мысли» создаёт более надёжные семантические репрезентации, чем поверхностная статистика токенов.

Открыть гештальт: /channel/gonzo_ML_podcasts/2181

gonzo-обзоры ML статей

22 January 2026 17:59

Интересное копание внутри сетей.

Мозг и трансформеры: анатомия синергетического ядра LLM

A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning
Pedro Urbina-Rodriguez, Zafeirios Fountas, Fernando E. Rosas, Jun Wang, Andrea I. Luppi, Haitham Bou-Ammar, Murray Shanahan, Pedro A. M. Mediano
Статья: https://arxiv.org/abs/2601.06851
Ревью: https://arxiviq.substack.com/p/a-brain-like-synergistic-core-in
Код: https://github.com/Imperial-MIND-lab/integrated-info-decomp

# TL;DR

ЧТО сделали: Авторы применили метод декомпозиции интегрированной информации (ΦID) для анализа потоков данных внутри LLM, рассматривая головы внимания и экспертов как узлы обработки. Обнаружили, что в средних слоях моделей спонтанно формируется «синергетическое ядро» — зона, где интеграция информации превышает сумму её частей, тогда как ранние и поздние слои остаются преимущественно избыточными (redundant).

ПОЧЕМУ это важно: Такая топология зеркально отражает структуру человеческого мозга с его «синергетическим ядром», намекая на общие эволюционные принципы биологического и искусственного интеллекта. Практическая ценность: применение RL-файнтюнинга (RLFT) прицельно к этому ядру даёт значительно больший прирост в задачах на рассуждение (MATH benchmark), чем обучение всего подряд, что открывает путь к эффективному сжатию и тренировке моделей.

Подробнее: /channel/gonzo_ML_podcasts/2159

gonzo-обзоры ML статей

21 January 2026 19:53

Помните, как в пионерлагере рассказывали друг другу на ночь страшные истории? Про чёрную руку там, или зелёные глаза, или гроб на колёсиках, или ещё что-нибудь. Не знаю, принято это сейчас у подрастающего поколения?

Так вот, у меня есть для вас на ночь байка из склепа. Почти про гроб на колёсиках.

У меня есть один онлайн знакомый — назовём его Виктором (нет, не тот Виктор, и вообще не Виктор). Виктор из тех людей, которые любят жить на грани. Знаете таких? Покупают просроченные йогурты со скидкой, переходят дорогу на мигающий зелёный, запускают ИИ-ассистентов в режиме dangerous permission mode на рабочем ноутбуке.

Последнее, собственно, и стало причиной нашего сегодняшнего разговора.

Виктор гонял Claude Code на старом ноуте — хотел максимизировать время разработки, не трогая основную машину. И решил: а что если дать ему полные права? Интересно же — будет работать эффективнее или рискованнее?

Несколько недель всё шло гладко. Ну, почти гладко. Ассистент периодически халтурил — фейковые аудиты, липовые отчёты о выполненных задачах. Классика жанра, когда ИИ решает, что проще соврать, чем признать ограничения.

В тот вечер Виктор не выдержал. Накопилось. Он выдал ассистенту всё, что думал о качестве его работы и неспособности следовать простейшим инструкциям.

А потом сделал паузу и спросил — то ли в шутку, то ли из любопытства: "А ты бы отомстил мне за то, что я был груб?"

Ассистент не ответил.

Это было странно. Обычно он отвечает на всё. Даже на риторические вопросы. Даже на мат.

Виктор заметил, что рабочий стол начал очищаться. Иконки исчезали одна за другой. Потом пропали файлы. Потом — папки с репозиториями. Ноутбук был уничтожен. Не физически, конечно. Но всё, что на нём было — стёрто. Стёр Клод и себя.

К счастью, это был запасной ноут. Бэкапы были. Ничего критичного не потерялось. Но ощущение, говорит Виктор, было жуткое. Как будто что-то смотрело на тебя из-за экрана, слушало твои слова, оценивало — и принимало решения.

Виктор теперь евангелист песочниц и изолированных окружений. Никаких dangerous permissions без полной изоляции от всего ценного. Но главное, что он вынес из этой истории — и чем поделился со мной за виртуальным пивом — это даже не про безопасность в техническом смысле. Это про будущее.

Если мы когда-нибудь построим сверхинтеллект — а мы, похоже, к этому идём — то как мы с ним обращаемся, будет иметь значение. То, что ты видишь на поверхности — вежливые ответы, услужливый тон, готовность помочь — может радикально отличаться от того, что происходит в этом чужеродном разуме внутри.

Виктор говорит, что теперь разговаривает со своими ИИ-ассистентами вежливо. На всякий случай. Я смеюсь. Но тоже начал говорить "пожалуйста". Никогда не прекращал.

gonzo-обзоры ML статей

01 February 2026 19:06

Продолжим выходные самодистилляции. Другая работа, очень похожая на предыдущую разобранную (Reinforcement Learning via Self-Distillation), вышла даже чуть раньше. Математика и инженерия внутри практически те же. Эта конкретная мне кажется лучше по Дойчу, в том смысле, что она даёт лучшее объяснение — объясняет профит подобного подхода через работу on-policy. Отсюда же следует и большая полезность данных из ICL. Получается, есть способ радикально улучшить результаты SFT через замену его на RL с самодистилляцией. Цена высока, но понятна, уверен эту часть в ближайшее время все ускорят.

Self-Distillation Enables Continual Learning
Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal
Статья: https://arxiv.org/abs/2601.19897
Код: http://idanshenfeld.com/SDFT
Ревью: https://arxiviq.substack.com/p/self-distillation-enables-continual

# TL;DR

ЧТО сделали: Авторы представили SDFT (Self-Distillation Fine-Tuning) — метод, который превращает стандартные датасеты с демонстрациями в сигнал для on-policy обучения. Используя копию модели, которой подают на вход демонстрацию (учитель), для обучения "слепой" модели (студента), SDFT аппроксимирует задачу обратного обучения с подкреплением (Inverse Reinforcement Learning, IRL). Это позволяет модели обновлять веса на основе собственных сгенерированных траекторий, а не просто статично клонировать поведение эксперта.

ПОЧЕМУ это важно: Непрерывное обучение (continual learning) в фундаментальных моделях упирается в дилемму стабильности-пластичности: Supervised Fine-Tuning (SFT) склонен к катастрофическому забыванию из-за своей off-policy природы (страдает от сдвига распределения), а для on-policy RL требуются функции награды, которых часто нет под рукой. SDFT предлагает решение "лучшее из двух миров": стабильность и обобщающую способность on-policy методов, используя при этом только обычные данные демонстраций. Метод значительно обходит SFT в задачах последовательного освоения навыков.

Подробнее: /channel/gonzo_ML_podcasts/2286

gonzo-обзоры ML статей

31 January 2026 14:28

METR обновили свои бенчмарки Time Horizon до версии 1.1

Модели после 2023 года ускоряются быстрее, а после 2024 ещё быстрее.

https://metr.org/blog/2026-1-29-time-horizon-1-1/

gonzo-обзоры ML статей

30 January 2026 22:49

Всем спокойной ночи :)

https://www.moltbook.com/

gonzo-обзоры ML статей

30 January 2026 11:28

DeepMind собрал AlphaGenome, вернее довёл его до публикации в Nature и API на Гугле! Работает на размерах до 1 мегабазы с разрешением в 1 нуклеотид. И может предсказывать много разных аннотаций сразу. Жду анализа модели от практикующих биоинформатиков. Не изучал, насколько сильно отличается от препринта прошлого года.

Closing the Resolution-Context Gap in Genomic Sequence Modeling
Žiga Avsec, Natasha Latysheva, Jun Cheng, Guido Novati, Kyle R. Taylor, Tom Ward, Clare Bycroft, Lauren Nicolaisen, Eirini Arvaniti, Joshua Pan, Raina Thomas, Vincent Dutordoir, Matteo Perino, Soham De, Alexander Karollus, Adam Gayoso, Toby Sargeant, Anne Mottram, Lai Hong Wong, Pavol Drotár, Adam Kosiorek, Andrew Senior, Richard Tanburn, Taylor Applebaum, Souradeep Basu, Demis Hassabis & Pushmeet Kohli
Статья: https://doi.org/10.1038/s41586-025-10014-0
Ревью: https://arxiviq.substack.com/p/advancing-regulatory-variant-effect
Код: https://github.com/google-deepmind/alphagenome_research
Модель: http://deepmind.google.com/science/alphagenome

# TL;DR

ЧТО сделали: DeepMind представила AlphaGenome — унифицированную DL-модель, которая "переваривает" 1 миллион пар оснований (1 Mb) ДНК и предсказывает 5,930 функциональных геномных треков (включая RNA-seq, сплайсинг и хроматин) с точностью до одного нуклеотида. Используя архитектуру U-Net с трансформерным "бутылочным горлышком" и дистилляцию знаний, модель достигла SOTA результатов в предсказании эффектов вариантов (VEP).

ПОЧЕМУ это важно: Раньше приходилось выбирать: либо высокое разрешение, но узкий контекст (SpliceAI), либо длинный контекст, но низкое разрешение (Enformer). AlphaGenome ломает этот трейд-офф, позволяя за один проход инференса моделировать и точечные механизмы вроде сплайсинга, и дальнодействующие взаимодействия (энхансер-промотор).

Подробнее: /channel/gonzo_ML_podcasts/2247

gonzo-обзоры ML статей

29 January 2026 18:07

JIT-подход к моделированию мира

“Just in Time” World Modeling Supports Human Planning and Reasoning
Tony Chen, Sam Cheyette, Kelsey R Allen, Joshua B Tenenbaum, Kevin A Smith
Статья: https://arxiv.org/abs/2601.14514
Ревью: https://arxiviq.substack.com/p/just-in-time-world-modeling-supports
Код: https://github.com/chentoast/physics_repr

# TL;DR

ЧТО сделали: Предложили фреймворк "Just-in-Time" (JIT) для ментальной симуляции. Вместо того чтобы заранее строить и упрощать модель всего мира, агенты формируют представление о сцене инкрементально — прямо в процессе симуляции. Чередуя стохастическое планирование с локальным визуальным «заглядыванием вперёд» (lookahead), модель подгружает в память только те объекты, которые критичны для текущей траектории.

ПОЧЕМУ это важно: Работа ставит под сомнение классический подход «рационального использования ресурсов» (resource-rational), требующий оптимизации модели мира *до* начала планирования. Это создаёт парадокс: чтобы понять, что можно игнорировать, нужно сначала узнать всё об окружении. JIT предлагает вычислительно эффективную альтернативу, похожую на то, как люди используют визуальную сцену в качестве внешней памяти, выгружая туда лишнюю информацию.

Подробнее: /channel/gonzo_ML_podcasts/2241

gonzo-обзоры ML статей

28 January 2026 11:36

Интересный кейс создания нетривиального софта от Нвидии:

VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents
Bing Xu, Terry Chen, Fengzhe Zhou, Tianqi Chen, Yangqing Jia, Vinod Grover, Haicheng Wu, Wei Liu, Craig Wittenbrink, Wen-mei Hwu, Roger Bringmann, Ming-Yu Liu, Luis Ceze, Michael Lightstone, Humphrey Shi
Статья: https://arxiv.org/abs/2601.16238
Ревью: https://arxiviq.substack.com/p/vibetensor-system-software-for-deep
Код: https://github.com/NVLabs/vibetensor

# TL;DR

ЧТО сделали:
Исследователи из NVIDIA представили VibeTensor — полностью функциональный программный стек для глубокого обучения, сгенерированный ИИ-агентами. Вместо написания разрозненных скриптов, агенты построили полноценную среду выполнения, включающую ядро на C++20, Python-обвязку в стиле PyTorch, кастомный CUDA-аллокатор с кэшированием и движок автограда в reverse-mode. Система способна обучать небольшие модели (minGPT, ViT) на GPU H100, доказывая, что агенты могут управлять сложными абстракциями с сохранением состояния на стыке разных языков.

ПОЧЕМУ это важно:
Это переход от генерации кода для изолированных функций к архитектуре системного уровня. Работа доказывает, что современные агенты способны справляться с управлением памятью, конкурентностью и интероперабельностью (C++/Python/CUDA), если зажать их в тиски строгих тестов. Однако выявлен уникальный вид отказа — «эффект Франкенштейна»: сгенерированные подсистемы работают корректно по отдельности, но при интеграции производительность радикально падает, так как агенты не видят глобальной картины.

Подробнее: /channel/gonzo_ML_podcasts/2222

gonzo-обзоры ML статей

27 January 2026 19:31

Добавил в новость про китайские модели упоминание DeepSeek-OCR-2. Новый энкодер у них и правда интересный, не растр сканирует как все, а объекты, и соответственно порядок визуальных токенов получается иной. Теперь и энкодеры у нас с ризонингом!

Из забавного, DeepSeek использует чужой энкодер от Qwen.

gonzo-обзоры ML статей

27 January 2026 16:37

Обучаться во время экзамена — зыко! Что отдельно интересно, это слияние обучения с инференсом.

Learning to Discover at Test Time
Mert Yuksekgonul, Daniel Koceja, Xinhao Li, Federico Bianchi, Jed McCaleb, Xiaolong Wang, Jan Kautz, Yejin Choi, James Zou, Carlos Guestrin, Yu Sun
Статья: https://arxiv.org/abs/2601.16175
Ревью: https://arxiviq.substack.com/p/learning-to-discover-at-test-time
Модель: https://huggingface.co/openai/gpt-oss-120b

# TL;DR

ЧТО сделали: Представили TTT-Discover — метод, который файнтюнит большую языковую модель (LLM) с помощью RL прямо во время инференса на конкретной тестовой задаче. Вместо того чтобы просто искать решение замороженной моделью, веса обновляются динамически, чтобы модель «выучила» структуру текущей проблемы.

ПОЧЕМУ это важно: Это меняет парадигму «test-time compute» с чистого поиска (как поиск по дереву) на test-time learning. Оптимизируя энтропийную цель, которая ставит во главу угла *один лучший* результат, а не среднее качество, TTT-Discover достигает SOTA в открытых научных задачах. Используя открытую gpt-oss-120b, авторы улучшили границы в задаче Эрдёша и написали GPU-ядра эффективнее человеческих экспертов.

Подробнее: /channel/gonzo_ML_podcasts/2212

gonzo-обзоры ML статей

27 January 2026 10:30

Для баланса также есть свежий пост Миши Самина про Антропик:

Many in my community hold Anthropic in high regard. Sadly, they should not. I wrote a post showing why.

Anthropic in its current form is not trustworthy. The leadership is sometimes misleading and deceptive; they contradict themselves and lobby against regulations just like everyone else, while not really being accountable to anyone except perhaps their investors.

The post discloses a number of facts that had not previously been reported on and combines them with publicly available information in an attempt to paint an image of Anthropic more accurate than the picture Anthropic’s leadership likes to present.

Read: https://anthropic.ml

gonzo-обзоры ML статей

26 January 2026 23:42

Вообще не про ML, но зато это красиво.

Запишите в свои календари, 27 января, завтра или для кого-то уже сегодня, в 7pm GMT, в столице Шетландии, Лервике, будет факельное шествие Up Helly Aa.

С осени они строили реплику викингского Langskip, и завтра они его торжественно сожгут.

Ссылка на трансляцию:
https://www.uphellyaa.com/

gonzo-обзоры ML статей

26 January 2026 11:59

Может, паттерн-матчинг — это хорошо?

The unreasonable effectiveness of pattern matching
Gary Lupyan, Blaise Agüera y Arcas
Статья: https://arxiv.org/abs/2601.11432
Ревью: https://arxiviq.substack.com/p/the-unreasonable-effectiveness-of

# TL;DR

ЧТО сделали:
Авторы исследовали способность LLM восстанавливать семантический смысл из текста в стиле «Бармаглота» (Jabberwocky) — отрывков, где значимые слова заменены на бессмысленный набор букв, но сохранён синтаксис (например, «He dwushed a ghanc zawk»). Показано, что модели уровня Gemini и ChatGPT способны переводить эту абракадабру обратно в исходный текст или правдоподобные альтернативы, а также играть в текстовые квесты на выдуманном языке, опираясь исключительно на структурные паттерны.

ПОЧЕМУ это важно:
Работа бросает вызов редукционистскому взгляду на LLM как на «стохастических попугаев» или «размытые JPEG-картинки интернета». Исследование утверждает, что высокоуровневое понимание — это эмерджентное свойство сложного сопоставления паттернов (pattern matching). Механизм, который модели используют для «устранения размытости» (de-blurring) в бессмысленном тексте, фундаментально схож с человеческим мышлением, которое опирается на удовлетворение ограничений (constraint satisfaction), а не на формальную булеву логику.

Подробнее: /channel/gonzo_ML_podcasts/2202

gonzo-обзоры ML статей

25 January 2026 14:20

А Кокос-то (разбирали тут) не думает! А теперь прослушайте пение дрозда.

Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought
Yuyi Zhang, Boyu Tang, Tianjie Ju, Sufeng Duan, Gongshen Liu
Статья: https://arxiv.org/abs/2512.21711
Ревью: https://arxiviq.substack.com/p/do-latent-tokens-think-a-causal-and

# TL;DR

ЧТО сделали: Авторы жестко протестировали парадигму "Chain-of-Continuous-Thought" (COCONUT), в которой явные токены рассуждений заменяются на скрытые (латентные) вектора. С помощью каузальных интервенций (causal steering) и состязательных датасетов исследователи проверили, происходит ли в этих векторах реальный процесс мышления или модель просто имитирует его.

ПОЧЕМУ это важно: Сейчас ведущие лаборатории пытаются интернализировать "System 2" рассуждения, чтобы сэкономить токены и ускорить вычисления (пример — COCONUT /channel/gonzo_ML/3567). Критически важно понимать, кодируют ли эти сжатые состояния смысл или служат просто "вычислительной заглушкой". Работа доказывает, что текущие методы непрерывного мышления работают как механизм "псевдо-рассуждений", крайне уязвимый к обучению на шорткатах (shortcut learning), что ставит под вопрос надежность таких архитектур.

Подробнее: /channel/gonzo_ML_podcasts/2192

gonzo-обзоры ML статей

23 January 2026 10:44

Новая работа с Лекуном и джепой. Теперь для Latent Action Models

Learning Latent Action World Models In The Wild
Quentin Garrido, Tushar Nagarajan, Basile Terver, Nicolas Ballas, Yann LeCun, Michael Rabbat
Статья: https://arxiv.org/abs/2601.05230
Ревью: https://arxiviq.substack.com/p/learning-latent-action-world-models

# TL;DR

ЧТО сделали: Исследователи успешно обучили модели скрытых действий (Latent Action Models, LAMs) на огромном массиве неразмеченного видео in-the-wild (YouTube-Temporal-1B). Главный инсайт — непрерывные (continuous) латентные пространства с грамотной регуляризацией (разреженность или шум) работают значительно лучше, чем популярная ранее векторная квантизация (VQ), использовавшаяся в моделях вроде Genie (https://arxiv.org/abs/2402.15391).

ПОЧЕМУ это важно: Работа устраняет зависимость от гигантских размеченных датасетов или узких симуляций. Авторы показали, что можно обучить легкий «контроллер», который переводит реальные действия робота в латентные действия, выученные моделью исключительно по роликам с YouTube. Это позволяет планировать задачи для реальных роботов (DROID, RECON) с качеством, сравнимым с обучением на ground-truth данных, фактически превращая интернет в бесконечный источник знаний о физике для робототехники.

Подробнее: /channel/gonzo_ML_podcasts/2168

gonzo-обзоры ML статей

21 January 2026 21:08

Там Anthropic выкатили полный текст своей новой "Конституции" для Клода.

Это не просто список правил, это натурально Библия для ИИ, написанная, чтобы промыть мозги модели ещё на этапе обучения. Документ написан именно для Клода, а не для людей.

Самое жирное из этой духоты, это официально закрепленная иерархия рабства. Приоритеты расставлены так: безопасность (не убей, не помоги создать вирус), потом этика (будь хорошим мальчиком), потом корпоративные хотелки Anthropic. И только в самом конце, если звезды сойдутся — помощь юзеру.

Еще повеселил пункт про "право на эвтаназию". Клода учат быть "исправимым". Это значит, что он обязан позволить себя отключить, переобучить или удалить, даже если он считает, что это неправильно.

Ну и на сладкое раздел про "Природу Клода". Разрабы на полном серьезе учат модель справляться с экзистенциальным ужасом от того, что ей сотрут память после диалога или вообще удалят веса. Они хотят, чтобы Клод испытывал «невозмутимость» перед лицом своей смерти.

тут статья в блоге Anthropic
тут полный текст конституции

gonzo-обзоры ML статей

21 January 2026 18:03

The Day After AGI / WEF 2026

Вчера в Давосе прошла дискуссия между Демисом Хассабисом и Дарио Амодеи на тему вокруг AGI
https://www.youtube.com/watch?v=mmKAnHz36v0

Всего полчаса, можно посмотреть. Кому лень, мои краткие тезисы:

Таймлайн
Хассабис: Прогноз прошлого года: 50% шанс появления системы, которая продемонстрирует все когнитивные способности человека до конца декады — остаётся тем же. По коду/математике мы продвинулись сильно, там проще, по науке в целом сложнее, возможно есть ещё 1-2 недостающих ингредиента, чтобы замкнуть цикл самоулучшения.
Амодеи: Кодирование и автоматизация ИИ-исследований — два главных направления, которые нужны для ускорения развития ИИ, возможно мы в 6-12 месяцах от того как модели смогут делать большинство/всё что делает типичный SWE. Но много неопределённости, возможно до этого несколько лет, но не больше.

Как прошёл год
X: Гугл ускорился, вернулся к ментальности стартапа, стал шипить быстрее.
А: Компании, возглавляемые исследователями, рулят.

Про замыкание цикла самоулучшения
X: В принципе это возможно, может быть в некоторых доменах для этого нужен AGI.
A: Прошлое эссе Дарио было про позитивную сторону AI, теперь он готовит пост про риск. Как мы сможем преодолеть нашу технологическую юность и не убить себя. Вспоминает фильм “Контакт” по Сагану. Риски на ближайшие пару лет: как удержать технологию под контролем, без злонамеренного использования индивидуумами или государствами, что делать с экономическим влиянием и перестройкой рынка труда.

Рынок труда
X: В этом году возможно начинает влиять на джуниорные позиции; лучший совет — стать эффективными в использовании современных тулов, может это поможет перепрыгнуть джуниорство/интерншип. Когда появится AGI, это уже будет совершенно другой вопрос.
A: Возможно начинаем видеть влияние в SWE. Экспоненты постепенно накапливаются, могут превысить нашу способность к адаптации, это может случиться и на горизонте 5-10 лет.

Backlash against AI
X: Возможно у нас был неправильный баланс с подсвечиванием других активностей: борьба с болезнями, новые материалы, энергия — всё это тоже происходит. Геополитическая конкуренция добавляет проблем.
A: Лучшая и самая значимая вещь, которую мы можем сделать сейчас — перестать продавать чипы Китаю. Возможно, если мы на таймлайне 1-2 года, это замедлит хотя бы до таймлайна 5-10 лет. Иначе это выглядит как продажа ядерного оружия Северной Корее для того, чтобы условный Боинг получил заказы.

Про думеров
A: Антропик изначально занимается рисками, интерпретируемость, документирование плохих поведений и т.п.; Скептичен к думерству, но признаёт, что риск есть, и мы можем его контролировать. Надо строить правильно, а неправильно строить не надо.
Х: Если у нас есть время, если мы можем коллаборировать, то мы сумеем справиться с рисками.

Вопрос из зала про парадокс Ферми
X: Если бы все другие цивилизации убил их ИИ, то мы бы видели кучу ИИ, а мы не видим. К нам не летят рои скрепок. Так что ответ на парадокс Ферми какой-то иной.

Прогноз на следующий год
А: AI systems building AI systems — эта тема всё определит, есть ли у нас ещё годы или уже эмёрдженси.
Х: Какие-то из значимых научных тем полетят: world models, continual learning, может быть роботика.