gonzo-обзоры ML статей

13 марта 2025 00:47

Ну в общем публичного списка языков реально нет, и это очень печально. В остальном мультиязычность выглядит очень интересно.

gonzo-обзоры ML статей

12 марта 2025 08:27

Gemma 3 is coming!

https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

We introduce Gemma 3, a multimodal addition to the Gemma family of lightweight open models, ranging in scale from 1 to 27 billion parameters. This version introduces vision understanding abilities, a wider coverage of languages and longer context – at least 128K tokens. We also change the architecture of the model to reduce the KV-cache memory that tends to explode with long context. This is achieved by increasing the ratio of local to global attention layers, and keeping the span on local attention short.

The Gemma 3 models are trained with distillation and achieve superior performance to Gemma 2 for both pre-trained and instruction finetuned versions. In particular, our novel post-training recipe significantly improves the math, chat, instruction-following and multilingual abilities, making Gemma3- 4B-IT competitive with Gemma2-27B-IT and Gemma3-27B-IT comparable to Gemini-1.5-Pro across benchmarks. We release all our models to the community.

gonzo-обзоры ML статей

12 марта 2025 06:58

AI Scientist-v2 от Sakana (первую версию упоминали тут) создал статью, которая прошла пир ревью на воркшоп ICLR.

https://sakana.ai/ai-scientist-first-publication/

We looked at the generated papers and submitted those we thought were the top 3 (factoring in diversity and quality—We conducted our own detailed analysis of the 3 papers, please read on in our analysis section). Of the 3 papers submitted, two papers did not meet the bar for acceptance. One paper received an average score of 6.25, ranking approximately 45% of all submissions. These scores are higher than many other accepted human-written papers at the workshop, placing the paper above the average acceptance threshold. Specifically, the scores were:

* Rating: 6: Marginally above acceptance threshold
* Rating: 7: Good paper, accept
* Rating: 6: Marginally above acceptance threshold
* Rating: 6: Marginally above acceptance threshold

Ну, можно было смеяться над ошибками и косяками ранних моделей, можно и продолжать это делать, но тренд неостановим.

gonzo-обзоры ML статей

10 марта 2025 00:05

И вот до кучи мой старый пост из 2020-го.

“Чужой разум”, Питер Годфри-Смит (Peter Godfrey-Smith, Other Minds: The Octopus, the Sea, and the Deep Origins of Consciousness)
https://ast.ru/book/chuzhoy-razum-841787/

“Ложная слепота”, Питер Уоттс (Peter Watts, Blindsight)
https://ast.ru/book/lozhnaya-slepota-714648/

Две крайне сильно перекликающиеся между собой книги, одна художественная, другая научно-популярная, обе с впечатляющим набором примечаний со ссылками на научные работы. Книги в общем про одно и то же, только одна написана в парадигме what is, а другая — what if. Одно и то же — это сознание или субъективный опыт, причём рассмотренный со стороны распределённых интеллектов типа осьминога (но этим не ограничивающиеся).

Что характерно, оба автора — морские биологи (ну или около того), только один теперь философ, а другой фантаст. И по странному стечению обстоятельств, оба — Питеры.

У нас на планете по факту есть минимум три различных эволюционных эксперимента по созданию разума: мы, млекопитающие (и затем приматы, а также вероятно, иные развилки, типа дельфинов и китов); птицы (особенно врановые и попугаи); головоногие (осьминоги, каракатицы, кальмары). Последние — самые “инопланетные” для нас, хотя в общем и про птиц в последние годы тоже много интересного публикуется (типа https://www.facebook.com/grigory.sapunov/posts/10215874024103747).

“Чужой разум” Годдфри-Смита, книга с подзаголовком “Осьминоги, море и глубинные истоки сознания”, на первый взгляд кажется книгой про сознание осьминогов (что в общем уже интересно), но на поверку оказывается книгой по философии сознания, включающей в себя также довольно подробный разбор эволюционных корней сознания, и даже, неожиданно, вопросы старения.

Автор прослеживает эволюционные истоки развитых нервных систем фактически от коммуникации одноклеточных, к клеткам внутри многоклеточного организма, появлению нервной системы (возможно, ещё у эдиакарской фауны), и множеству дальнейших эволюционных развилок. Описывает устройство тел и особенности биологии головоногих (не знал, что у них кожа по сути представляет многопиксельный экран и то, что они, вероятно, могут кожей “видеть”). Рассуждает, когда в эволюции появляется субъективный опыт, и в какой момент внутри “загорается свет”, обсуждает некоторые теории сознания. Ну и попутно, конечно, много рассказывает о своих и чужих наблюдениях за осьминогами и каракатицами.

Много классных примеров поведения осьминогов, которые вместо того, чтобы дёргать рычаг и получать пищу, начинают откручивать лампочки, брызгаться водой или отламывать этот рычаг. Мне очень запомнился пример с осьминогом, жившим в каком-то аквариуме то ли в зоопарке, то ли в институте, где их кормили вроде размороженной рыбой, которая для осьминогов скорее второсортна. И вот осьминог в первом аквариуме после получения этой еды терпеливо дождался, пока исследовательница пройдёт все остальные аквариумы и раздаст еду их обитателям, и на её обратном пути встретил её у стекла, держа в щупальцах эту еду, а затем не отрывая взгляда поплыл вглубь аквариума, где находился слив воды, и демонстративно, глядя на исследовательницу, отправил туда в слив эту размороженную рыбу.

На очереди у меня также давно лежит “Душа осьминога” Сай Монтгомери, её теперь ещё больше хочется почитать. А “Чужой разум”, думаю, ещё буду перечитывать, она того стоит.

“Ложная слепота” Питера Уоттса появилась раньше, в 2006-м (“Чужой разум” в 2016-м, и, кстати, у Годдфри-Смита вот только что, месяц назад, вышла новая книга “Metazoa: Animal Life and the Birth of the Mind”). Читать интересно, но спойлерить не буду, там кроме инопланетных разумов и про наши тоже есть неплохие рассуждения. Тоже рекомендую.

#books

gonzo-обзоры ML статей

06 марта 2025 21:33

Ну и до кучи к предыдущему, если ещё не видели

https://www.anthropic.com/news/anthropic-s-recommendations-ostp-u-s-ai-action-plan

gonzo-обзоры ML статей

06 марта 2025 08:45

Дожили

https://corticallabs.com/cl1.html

gonzo-обзоры ML статей

02 марта 2025 11:10

Давно Шмидхубера не видели?

https://www.ted.com/talks/juergen_schmidhuber_why_2042_will_be_a_big_year_for_ai

gonzo-обзоры ML статей

27 февраля 2025 23:37

Всех поздравляю!

https://openai.com/index/introducing-gpt-4-5/

gonzo-обзоры ML статей

25 февраля 2025 08:26

DeepSeek пошёл всё опенсорсить на этой неделе.

Сегодня опубликовали DeepEP, коммуникационную библиотеку для MoE с GPU кернелами
https://github.com/deepseek-ai/DeepEP

Вчера выложили кернелы для MLA
https://github.com/deepseek-ai/FlashMLA

Завтра ещё что-нибудь выложат.

gonzo-обзоры ML статей

25 февраля 2025 01:23

Акустические модемы снова в моде!

https://devpost.com/software/gibber-link

gonzo-обзоры ML статей

24 февраля 2025 21:13

О, Sonnet 3.7 подоспел!

https://anthropic.com/news/claude-3-7-sonnet

gonzo-обзоры ML статей

24 февраля 2025 20:50

6.5 минут рассказа про работу с демонстрациями

gonzo-обзоры ML статей

24 февраля 2025 10:47

https://x.com/maximelabonne/status/1890018729389359307

gonzo-обзоры ML статей

24 февраля 2025 10:46

https://github.com/booydar/babilong

gonzo-обзоры ML статей

21 февраля 2025 12:17

🌸MLGym – открытый фреймворк и бенчмарк для Агентов в автоматизации ML-задач🌸
#nlp #про_nlp #nlp_papers

Сегодня, под конец этой насыщенной недели, мы с коллегами выпускаем новую работу "MLGym: A New Framework and Benchmark for Advancing AI Research Agents".

🟣TL;DR
MLGym – это фреймворк для оценки и развития LLM-агентов.
В нем пока 15 различных ML задач, включая хорошо и не очень определенные: задачи на NLP, CV, RL, теорию игр.
Агенты должны продемонстрировать свою способность понять задачу, запустить бейзлайн, оцени его, и начать итерировать эксперименты и улучшать результат, находясь при этом в заданной среде. В среде есть набор инструментов, которые можно использовать: поиск по файловой системе, поиск по файлам, модуль памяти, просмотр и изменение файлов, и собственно действия запуска скрипта оценки и сабмита решения.
Каждая задача содержит датасет, метрику, бейзлайн, а также свою собственную среду, где есть контролируемые ограничения на вычислительный бюджет и таймауты.

Мы предлагаем иерархическую структуру из 6 уровней для оценки степени автономии и научного вклада агентов:
Уровень 0: воспроизведение – аккуратно повторить чужие эксперименты без ошибок
Уровень 1: Итеративное улучшение бейзлайна – применение лучших практик, перебор гипертапаметров
Уровень 2: Достижение SOTA через итерации от бейзлайна – решение лучше тех, что смогли найти люди
Уровень 3: Новый научный вклад – можно быть принятым на условный NeurIPS
Уровень 4: Научное новаторство, фундаментальный научный вклад – можно получить "лучшую статью" на том же NeurIPS
Уровень 5: Долгосрочная исследовательская программа – test of time awards, научная революция, премия Тьюринга.

🟣Что мы выяснили?
Текущие ИИ системы находятся почти поголовно на уровне 1.

Удобно оценивать все системы относительно дельты, которую они смогли достичь, опираясь на бейзлайн, за заданное количество итераций (за первые 5 шагов у системы Х получили +15% точности, а у системы Y +20%). Если оценивать LLM-агенты так, то увидим, что O1-preview вырывается вперед практически на всех задачах. GPT-4o и LLama 3.1 405B примерно на одном уровне, Claude и Gemini делят обычно 2 и 3 место. Ну а если помимо дельты оценивать еще и стоимость инференса модели, но картина меняется, и лучше по соотношению оказывается Gemini с большим отрывом.  

Достаточно интересно посмотреть распределение действий агентов и их ошибок:
— большинство LLM-агентов делают ошибки и из-за этого не доходят до сабмита, тогда как O1 и Gemini гораздо чаще просто не доделывают сабмит до конца.
— все агенты большую часть действий тратят на изменение файлов: редактирование скриптов обучения, а также чтение файлов, запуск обучения и валидацию — соотношение действий примерно у всех одинаковое, хотя некоторым система действий требуется меньше.
— почти все агенты очень мало используют поиск, хотя могли бы.
— минимальное число итераций до первого сабмита — примерно 5. Все системы начинают с чтения файлов, затем запускают валидацию, и дальше планомерно итерируются, изменяя скрипты и запуская обучение.

🟣Что еще есть полезного?
— Классный Web UI визуализатор агентных логов на streamlit
— Есть набор полезных функций и tools, полностью совместимый с SWE-Agent.
— Есть модуль памяти, модуль поиска научной литературы, и еще много разных ништяков, которые можно использовать отдельно от бенчмарка, просто развивая своего агента (свой агент? Это же неодушевленное...). 
— Есть большой обзор литературы, охватывающий почти все последние работы в области агентов для SWE, ML, науки, который угадайте кто писал.

Линейку задач можно легко расширять — поэтому мы будем рады идеям и контрибьюшенам, а также любой активности в репозитории.

🟣Arxiv: https://arxiv.org/abs/2502.14499
🟣Github: https://github.com/facebookresearch/MLGym
🟣Лицензия: CC-BY-NC 4.0

gonzo-обзоры ML статей

12 марта 2025 08:52

Особенно приятно, что модель наконец мультиязычная, это был мой главный фичареквест в команду Джеммы начиная с первой версии.

Заявлено 140 языков в обучающем датасете, но списка я пока не видел.

gonzo-обзоры ML статей

12 марта 2025 07:07

Я помню как на NIPS 2016 (?) в Барселоне во время доклада Гудфеллоу про GAN вылез Шмидхубер с обычным комментарием про то, что всё, включая GAN, изобретено им. Я щетаю, это ответочка, процитировать именно Гудфеллоу :)))

gonzo-обзоры ML статей

10 марта 2025 00:16

И нельзя не напомнить про китов:
/channel/gonzo_ML/2182

gonzo-обзоры ML статей

09 марта 2025 23:54

Прогресс в зоопсихологии:

Интересный систематический обзор всех аспектов психики головоногих, включен полный библиографический список всей накопленной к данному моменту литературы по этому вопросу. Линии человека и головоногих разошлись более 600 миллионов лет назад, тем не менее дальнейшие эволюционные процессы (включая механизмы конвергентной эволюции) создали во многом параллельные формы мозга и психики. Изучение психики настолько эволюционно далеких от нас форм жизни важно для дальнейшего расширения круга эмпатии человечества и разработки законодательных мер защиты сложных форм нечеловеческого сознания.

https://thebrooksinstitute.org/sites/default/files/2025-02/Cephalopod%20Cognition%20and%20Sentience.pdf

gonzo-обзоры ML статей

06 марта 2025 09:43

Что ни день, то сто грамм! А то и двести!

"Mutual Assured AI Malfunction (MAIM)"

https://www.nationalsecurity.ai/

gonzo-обзоры ML статей

05 марта 2025 16:43

Turning Award у Barto & Sutton за RL! И bitter lesson

https://www.acm.org/media-center/2025/march/turing-award-2024

gonzo-обзоры ML статей

27 февраля 2025 23:37

Пост с выжимкой трансляции:

— модель будет в API вместе с выпуском в Pro-подписку (сегодня)
— Модель будет доступна разработчикам в API ВСЕХ ТИРОВ (не только тем, кто потратил $100+ или $250+). У меня уже появился доступ. В теории завтра-послезавтра появятся независимые бенчмарки... если авторы наскребут денег на тесты ;) новая модель ОЧЕНЬ дорогая
— в остальные тиры (Plus за $20) попадёт уже на следующей неделе
— появился блог: https://openai.com/index/introducing-gpt-4-5/
— модель уже работает с Canvas и поиском (инструменты в ChatGPT), а самое главное поддерживает загрузку файлов
— «GPT-4.5 демонстрирует более сильную эстетическую интуицию и креативность» (прилагаются результаты слепого тестирования на пользователях, как часто они предпочитали ответ одной модели другой). Новая модель побеждает в 57%-63% чатов (более высокий процент достигается на «профессиональных» запросах, что бы это не значило).
— модель тренировалась на нескольких датацентрах одновременно (как Gemini 1.0 год назад)
— как я писал, сделали акцент на том, что новая модель будет очень крутой базой для обучения рассуждающих моделей. Второй акцент — на существенном уменьшении галлюцинаций и улучшении надёжности.

UPD: появились цены!
— $75 долларов за миллион токенов на входе, $150 за миллион на выходе — существенно дороже, чем на релизе была GPT-4. Сейчас GPT-4o стоит $2.5/$10 — в 30 и 15 раз дешевле соответственно (а ведь это ещё и не самая дешёвая модель на рынке DeepSeek стоит значимо дешевле). Страшно представить, сколько будут рассуждалки стоить..
— модель похоже реально ОГРОМНАЯ, скорость генерации ну очень маленькая. Даже простых ответов приходится ждать... как будто вернулся в март '23-го и свежую GPT-4.

Длина контекста остаётся 128k токенов, но почти для всех кейсов этого хватает. Всё равно длинный контекст не так надёжен сам по себе :)

UPD2: модель имеет знания до Октября 2023-го года, согласно документации, то есть как o1/o3/GPT-4o. Это очень не здорово( хотелось хотя бы плюс 8-10 месяцев данных получить...

gonzo-обзоры ML статей

26 февраля 2025 12:20

Сегодня выложили кернелы для матричных операций в FP8

https://github.com/deepseek-ai/DeepGEMM

DeepGEMM is a library designed for clean and efficient FP8 General Matrix Multiplications (GEMMs) with fine-grained scaling, as proposed in DeepSeek-V3. It supports both normal and Mix-of-Experts (MoE) grouped GEMMs. Written in CUDA, the library has no compilation need during installation, by compiling all kernels at runtime using a lightweight Just-In-Time (JIT) module.

Currently, DeepGEMM exclusively supports NVIDIA Hopper tensor cores. To address the imprecise FP8 tensor core accumulation, it employs CUDA-core two-level accumulation (promotion). While it leverages some concepts from CUTLASS and CuTe, it avoids heavy reliance on their templates or algebras. Instead, the library is designed for simplicity, with only one core kernel function comprising around ~300 lines of code. This makes it a clean and accessible resource for learning Hopper FP8 matrix multiplication and optimization techniques.

Despite its lightweight design, DeepGEMM's performance matches or exceeds expert-tuned libraries across various matrix shapes.

Неделя опенсорса продолжается!

gonzo-обзоры ML статей

25 февраля 2025 01:24

https://youtu.be/EtNagNezo8w

gonzo-обзоры ML статей

24 февраля 2025 21:17

Обещают лучше на SWE

gonzo-обзоры ML статей

24 февраля 2025 20:51

Работа на самом деле год отлёживалась

gonzo-обзоры ML статей

24 февраля 2025 20:41

World and Human Action Models towards gameplay ideation
Anssi Kanervisto, Dave Bignell, Linda Yilin Wen, Martin Grayson, Raluca Georgescu, Sergio Valcarcel Macua, Shan Zheng Tan, Tabish Rashid, Tim Pearce, Yuhan Cao, Abdelhak Lemkhenter, Chentian Jiang, Gavin Costello, Gunshi Gupta, Marko Tot, Shu Ishida, Tarun Gupta, Udit Arora, Ryen W. White, Sam Devlin, Cecily Morrison & Katja Hofmann
Статья: https://www.nature.com/articles/s41586-025-08600-3
Модели: https://huggingface.co/microsoft/wham
Пост: https://news.xbox.com/en-us/2025/02/19/muse-ai-xbox-empowering-creators-and-players/
Более подробный пост: https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/

Не так давно на новый год я писал свой топ результатов (/channel/gonzo_ML/3175) и одним из них были World Models (/channel/gonzo_ML/3176), а также изменения, назревающие в игровой индустрии.

На прошлой неделе Microsoft (точнее Xbox) сделал сильный ход здесь, выпустив Muse.

Muse -- это World and Human Action Model (WHAM), обученная на игре Bleeding Edge (https://www.bleedingedge.com/en). Это модель, которая моделирует динамику игры, по сути позволяет играть.

Muse обучена на записях игры человека, она предсказывает кадры и действия игрока. Это декодер трансформера, работающий с дискретными токенами, в которых чередуются последовательности кадров и действий на игровом контроллере. За кодирование изображения в токены и декодирование обратно отвечает VQGAN.

Датасет -- это 500,000 анонимизированных игровых сессий, более 7 лет непрерывной игры по семи разным картам игры. Он и называется соответственно, 7 Maps. Есть фильтрованный вариант, где оставили карту Skygarden и 1 год игры.

Трансформеры (вариация nanoGPT) обучены размером от 15M до 894M с VQGAN на 60M параметров, и отдельный самый большой трансформер на 1.6B плюс ViT-VQGAN на 300M. Размер контекста -- 1 секунда игры, для малых трансформеров это 2,720 токенов, для большого 5,560. Размер картинки для малых 128×128 и 256 токенов, для большого 300×180 и 540 токенов.

Ну то есть по архитектуре всё довольно традиционно.

Бюджет на обучение большой модели 10^22 FLOPS. Скромно на фоне фронтира (https://epoch.ai/blog/tracking-large-scale-ai-models). Обучали на 98xH100 GPUs в течение 5 дней. PyTorch Lightning, FSDP, Flash Attention.

На HF опубликованы две модели, на 200M и 1.6B параметров.

Оценивали модель по Consistency (в геймплее не должно быть резких изменений и всё должно быть когерентно), Diversity (для поддержки ‘Divergent thinking’ нужно разнообразие!), Persistency (должна позволять модификации пользователем и давать интерактивность).

Позиционируют как для gameplay ideation. Но мы ждём нейроигр!

gonzo-обзоры ML статей

24 февраля 2025 10:47

https://arxiv.org/abs/2409.10566

gonzo-обзоры ML статей

24 февраля 2025 10:45

Короткий комментарий про длинные контексты.

Сейчас уже многие модели поддерживают контекст размером 128k+, некоторые типа Gemini даже 1-2M. Но есть много подтверждений тому, что эффективный контекст (когда модель держит ещё нормальное качество) сильно ниже. AI21 показывали это для своей Jamba (/channel/gonzo_ML/2914). Много разных бенчмарков с вариациями needle-in-a-haystack демонстрируют что-то такое, например, BABILong (https://github.com/booydar/babilong).

Что интересно в этих бенчмарках, это не только то, насколько хороша (или плоха) модель на пределе своего контекста, а как быстро ухудшается качество даже на казалось бы маленьких длинах типа 4-32k, где предел был несколько лет назад.

Это видно и в таблице BABILong, это было видно в работе “Eureka: Evaluating and Understanding Large Foundation Models“ (https://arxiv.org/abs/2409.10566), это же видно и в свежей работе “NoLiMa: Long-Context Evaluation Beyond Literal Matching“ (https://arxiv.org/abs/2502.05167).

В общем, по-прежнему не работает тема "запихну всё в один большой промпт". Ну как не работает, технически работает, но продуктово... Так что продолжаем пилить на более короткие куски и вообще переходить к специализированным агентам, которые в стиле Unix way делают одну вещь, но хорошо.

In the meantime, я вчера попробовал применить Gemini 2.0 Flash для анализа статей с arxiv, попробовал на статье про DeepSeek-R1, которую уже разбирал. Ну в целом неплохо, и саммари генерит лучше, чем абстракт статьи, и на вопросы вполне неплохо отвечает, действительно суть выделяет.

Что больше всего мне понравилось, это что работа идёт сразу на уровне PDF, не надо ничего парсить. И особенно порадовала скорость — один запрос к 22-страничному PDF отрабатывает за 6-7 секунд, без всякого кеширования. Когда кеширование включат для Gemini 2.0 должно быть ещё быстрее (и дешевле).

Плохо, что у Гугла пока нет единообразия в поддерживаемых фичах. PDF поддерживает Gemini 2.0 Flash, ризонинг поддерживает Gemini 2.0 Flash Thinking, а кеширование работает только для Gemini 1.5. Хотелось бы одновременно всё это заюзать и сразу для набора статей. Ну ладно, переходный момент, вопрос времени.

Пост со ссылками на код тут:
https://gonzoml.substack.com/p/analyze-research-papers-with-gemini

gonzo-обзоры ML статей

21 февраля 2025 12:17

Таня и команда сделали