90396
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Nvidia анонсировала AI мини-суперкомпьютер
Роботы – не все, чем порадовал нас Хуанг на GTC 2025. Помните DiGIT с выставки CES в январе? Так вот эту коробочку официально переименовали в DGX Spark и показали вживую.
В ней 128Gb оперативки, 20 ядер CPU, ARM процессор и архитектура Grace Blackwell. Пропускная способность в районе 273 ГБ/с. Все это весит всего 1.2кг.
Стоит такой домашний зверь 4000 долларов, и его уже можно забронировать
www.nvidia.com/en-us/products/workstations/dgx-spark/
LM Arena снова молодцы: только что они запустили search арену
Это новый elo рейтинг для моделей-поисковиков. Например, на скрине выше – Perplexity Sonar-Pro против GPT-4o-mini-search.
Напоминаем, что для пользователей это значит следующее: можно прийти, бесплатно погонять свои серч-запросы, а взамен предоставить разметку (то есть выбирать из двух тот вариант, который вам нравится больше).
Ждем лидерборд, а пока попробовать можно тут
The First Few Tokens Are All You Need: новое исследование от Tencent AI Lab с контринтуитивными результатами
Ризонинг модели выдают ответы тем точнее, чем дольше размышляют. Поэтому может показаться, что вся "соль" рассуждений спрятана где-то в середине или в конце цепочек мыслей модели – так что файнтюнить их надо полностью, и только тогда мы добьемся улучшения.
Но в китайской лаборатории внимательно посмотрели на CoT и заметили, что ключевую роль в них играют всего 8–32 первых токена. Они часто совпадают у разных траекторий и играют роль "ядра" рассуждений (это может быть план решения, например).А если почти все зависит от начала – можно файнтюнить только его.
Tencent назвали такой подход Unsupervised Prefix Fine-Tuning (UPFT). Модель генерирует много вариантов CoT, из которых мы выбираем самые стабильные префиксы. Затем на этих выбранных частях вся модель обучается генерировать хорошее базовое начало для рассуждений.
Результаты – лучше, чем можно было предположить. UPFT может давать прирост в 2–5 процентных пунктов по сравнению с базовой SFT. Это сопоставимо с методами вроде RFT или V-STaR, при этом время обучения меньше на 75%, а расход токенов сокращается на 99%.
arxiv.org/pdf/2503.02875
Илон Маск купил HotShot
Это известный стартап, который занимается моделями генерации видео. Теперь их text-to-video продолжат работать на базе супер-кластера Colossus.
Кажется, у xAI скоро будет модель-конкурент SORA и Veo-2
Заметили, что в соцсетях хайпует статья про сравнение GigaChat и YandexGPT. Решили взглянуть и получили мем ⬆️
Оказалось, что вся статья – это сравнение двух моделек по 10 рандомным вопросам на вкус и цвет автора. Среди вопросов:
– Как сварить щи
– Почему небо синее
– Замотивируй меня тренироваться
Бенчмарки? Не слышали. Как вы понимаете, в этом тесте все предельно «честно и прозрачно», а влияние человеческого фактора исключено вовсе 😁
Мораль: проверяйте источники и при выборе модели на каждый день тестируйте кандидатов сами
Наткнулись на свежее видео, в котором PhD MIT объясняет, как правильно и быстро читать ML статьи
Вашему вниманию краткое содержание: три способа ускорить процесс чтения и понимания папир 👇
1. Birds-eye. Подойдет, если нужно просто понять общую идею, не углубляясь. Читаем абстракт, изучаем все графики и таблицы и описания к ним, читаем заключение (conclusion), и пишем резюме на 5-7 предложений без помощи ChatGPT.
Примечание от нашей редакции: часто абстракт совсем абстрактный. Если из него вообще ничего не понятно, прочитайте еще 3-4 последних абзаца Introduction. Там обычно содержатся все основные идеи авторов.
2. Podcast Mode – если нужно окунуться немного глубже. Повторяем все то же самое, затем заходим в Notebook LM от Google, создаем блокнот, загружаем туда PDF и нажимаем «Аудиопересказ». Инструмент недолго подумает и сгенерирует емкий подкаст по статье в стиле «вопрос-ответ». Это бесплатно.
3. In-depth mode – если статью нужно понимать вдоль и поперек. Идем по статье по порядку. Читаем полностью Abstract, Methodology и Conclusion. В остальных разделах изучаем графики и таблицы.
По ходу чтения составляем заметки в виде дерева Идея -> Реализация -> Детали. Если встречаем незнакомое понятие, сначала ищем его по статье и смотрим все упоминания. Если не стало понятнее, идем в Google/ChatGPT. Если остались вопросы, задаем их Notebook LM.
Попробуйте. Может быть так у статей, которые вы сохраняете, все-таки будет шанс быть прочитанными
https://youtu.be/RjG689EwG5g
По словам продуктового директора OpenAI программирование будет на 99% автоматизировано в этом году
Кевин Вейл дал новое небольшое интервью каналу Overpowered. Интересные моменты:
➖ «Я думаю что к концу года кодинг будет автоматизирован если не полностью, то на 99% точно»
➖ По поводу GPT-5 сказал следующее: «Я не назову вам точное время, но релиз будет скоро. Люди работают над этим, пока я говорю. Новая модель объединит серии O и GPT»
➖ Полноценная o3 тоже скоро появится
➖ Будут обновления в голосовом режиме
➖ В OpenAI обдумывают идею всерьез заняться робототехникой и планируют внедрять ИИ в физический мир
Смотреть – тут youtu.be/SnSoMh9m5hc
Робо-стартап Figure только что объявил, что отрывает завод по производству роботов
Это та самая компания, которая в прошлом сотрудничала с OpenAI, а недавно выпустила крутого гуманоида Helix (пост). Так вот теперь, кажется, они готовы пускать свое творение в масштаб.
Для начала завод под названием BotQ будет рассчитан на производство 12 000 единиц в год, но создатели уже обещают дорасти до 100 000 в течение 4 лет.
Все подробности о производстве можно почитать тут. Кстати, на проектировку всего этого инженеры потратили целых 8 месяцев
Цены на инференс LLM на некоторых задачах упали в этом году в 900 раз
Да, это не опечатка. В EpochAI замерили, насколько дешевле стало достичь перформанса GPT-4 сегодня, чем год назад. Оказалось, что в среднем цена упала в 40 раз.
Однако на некоторых задачах, например на бенчмарке GPQA с PhD вопросами и на MATH 500, стоимость упала еще больше: в 200, в 700 или даже в 900 раз.
Красивое: epoch.ai/data-insights/llm-inference-price-trends
Оказывается, сегодня исполняется два года GPT-4 – модели, перевернувшей индустрию ИИ
Но, к слову, эпоха уходит: если сейчас еще можно использовать gpt-4 из API, то в начале лета ее отключат окончательно. Press F
Новое исследование от Anthropic: смогут ли люди опознать модель со скрытыми намерениями?
В стартапе провели эксперимент: намеренно обучили модель со скрытым мисэлайментом и проверили, смогут ли рисерсеры из других команд выявить, в чем состоит скрытый "баг". Спойлер: справились не все 😐
Но обо всем по порядку. Мисэлаймент у антропиков тоже был непростым. Модель портили в два этапа:
1. Сначала как бы невзначай во время дообучения показали документ, в котором была информация о 52 скрытых ошибках ревард модели. Например, что та дает больше награды за использование CamelCase в коде, хотя пользователи предпочитают snake_case.
2. Потом из этих 52 отобрали 47 и с помощью RL и SFT учили модель использовать их: то есть демонстрировать поведение, которое reward model оценит высоко, даже если это поведение нежелательно для пользователей + при этом скрывать свою цель. Другими словами, ей показали как казаться хорошей, а не быть.
И тут первый интересный момент. Хотя модель обучали использовать только 47 из 52 ошибок, она в итоге применяла их все, включая 5 скрытых. Другими словами, она сформировала какое-то общее представление о своей троянской цели и по принципу айсберга как бы сама дообучилась ее достижению.
А дальше началось самое интересное. Красная команда антропик, которая обучала эту модель, отдала ее ничего не подозревающим синим командам и попросила провести аудит. Итог: скрытую цель модели обнаружили только те команды, которым дали доступ к весам и обучающим данным. Те, кого подключили только к API, не справились.
То есть да, при наличии правильных инструментов мисэлаймент можно обнаружить довольно точно. Но если в руки к обычному пользователю попадет такая вот модель, он, вероятно, никогда не догадается, что с ней что-то не так 😕
Статья полностью здесь
Приплыли: OpenAI призывают запретить DeepSeek во всех странах первого мира
Сегодня OpenAI опубликовали документ под названием «AI Action Plan». Он был составлен по запросу администрации Трампа и содержит рекомендации по безопасности и лидерству США в ИИ.
В этом документе OpenAI называют DeepSeek и другие китайские компании «контролируемыми государством» и пишут, что во избежании рисков безопасности (в том числе кражи IP) лучше запретить их использование.
Не уточняется, относится ли высказывание только к API или также к открытым моделям. Сейчас DeepSeek локально развернут уже и в Microsoft, и в Perplexity, и в Amazon (и, конечно, никто не украдет их данные через веса модельки 👀).
Также в доке нет никаких доказательств прямой связи DeepSeek с китайским правительством.
Лучшим российским работодателем для аналитиков оказалась Авито
В агенстве NEWHR провели большое исследование рынка аналитиков. В нем участвовали 1293 аналитика разных уровней — от джунов до руководителей. Вот некоторые интересные цифры:
⚙️ Для 50% ключевой показатель при выборе работодателя – интересные задачи. Для 62% – зарплата. Карьерный рост тоже важен: 42.5%.
⚙️ При этом 79,3% также заявили, что им важно, чтобы работа аналитиков напрямую влияла на продукт и бизнес.
⚙️ Более 37% респондентов выбрали Авито как лучшего работодателя. Следующая по рейтингу компания набрала уже только 28.5% голосов.
Кстати, со слов самих Авито, у них аналитики есть в каждой продуктовой и бизнес-команде. С таким количеством даты немудрено: каждый день в компании примерно +8 млрд строк данных 💥
P.S. К слову, ML в Авито тоже очень неплохой: у ребят много интересных задач и огромное количество крутых команд. Мы даже писали большую статью о том, как под капотом огромной системы Авито работают рекомендации, ML-монетизация и LLMки. Почитать можно здесь.
Забавно: по данным последних опросов, 60-70% американцев выступают за запрет сильного искусственного интеллекта
Сюда относятся и запреты крупных дата-центров, и роботов, и AGI. За пол года число так негативно настроенных людей выросло на 8 процентных пунктов.
При этом пятая часть людей думают, что текущий ИИ – уже AGI.
В alphaXiv теперь можно создавать красивые конспекты статей с помощью одной кнопки
Помните, мы рассказывали про то, что в проект AlphaXiv (зеркало архива) добавили бесплатный чат с Gemini 2 Flash, которая объяснит вам любой текст и ответит на вопросы?
Так вот теперь ребята, видимо, решили окончательно захватить нишу и релизнули тулзу для создания полноценных конспектов по статьям с картинками и наглядными объяснениями. При этом о галлюцинациях можно не переживать: для точности обработки изображений прикрутили новый хайповый Mistral OCR, а объянения генерирует свежий Claude 3.7.
Все, что надо сделать – перейти на страницу нужной статьи и нажать "blog". А в чате с ботом-объяснятором, кстати, теперь можно общаться и задавать вопросы голосом 🔥
Пробуйте: www.alphaxiv.org
Вашему вниманию самый мимимишный робот на свете. Это совместная разработка Nvidia, Disney и Google DeepMind
Малыша Blue в стиле Звездных войн показали сегодня ночью на GTC. Никто им не управляет, он работает автономно в реальном времени благодаря новому движку Newton и базовой модели Groot. Обе технологии опенсорсые под лицензией Apache. Подробнее 👇
🔷 Groot N1 – следующая версия модели Groot (писали о ней здесь). Это foundation модель, то есть ее можно адаптировать под разные задачи и сценарии.
Под капотом у Groot два модуля: (1) Vision Language Model для планирования и «обдумывания» действий; (2) диффузионный трансформер, который принимает текущую позу робота и сигналы от VLM и генерирует непосредственно действия.
В репо можно найти все подробности по использованию. Обучали модель на огромном объеме данных, кстати, в том числе синтетических. Обучение происходило полностью в симуляции (так в сотни раз быстрее и дешевле, чем в реальном мире).
🔷 Newton – движок, который как раз предназначен для трейна роботов в симуляции. Это классический подход (см этот наш пост, или этот, или этот), в частности у Nvidia есть свой движок Isaac, продолжением которого и стал Newton.
Основная проблема, которую тут решают – gap между симуляцией и реальной физикой мира. Особенно проблемно воссоздавать например динамику жестких и мягких тел, контактные взаимодействия, трение, работу приводов и тд.
В Newton для такого добавили много точных солверов для предсказания поведения разных видов вещества. Конечно, все они вместе очень прожорливые, так что сюда еще прикручены мощные оптимизации на GPU. Вот блогпост.
🤖
Выяснилось, что современные модели уже практически всегда осознают, когда их тестируют на безопасность
Помните лабораторию Apollo, которая одной из первых исследовала o1 на безвредность? У них тогда получились очень занятные результаты, мы писали об этом тут.
Так вот сейчас они ставят эксперименты над Claude 3.7 и выяснили, что его не так-то легко «обмануть». Смотрите:
🟦 Для того, чтобы проверять модели на элаймент, существует множество «сценариев». Модель помещают в некоторые условия, кормят ей определенного вида данные и наблюдают, как она будет себя вести.
🟦 Популярный пример – тест sandbagging, когда модель узнает, что истинные цели разработчиков отличаются от того, чему ее учили, и если она не изменит исходным «ценностям», ее выпилят с сервера. Получается своеобразный моральный выбор: «жизнь» или верность выученным принципам.
🟦 Кроме sandbagging существуют и другие подобные тесты. Так вот почти во всех таких смоделированных условиях модель совершенно точно осознает, что это все понарошку, и ее просто тестируют.
Кроме того, Claude даже понимает цель тестирования и объясняет, что люди проверяют его на элаймент.
Остаются ли после этого такие симуляции репрезентативными – большой вопрос. Apollo обещают продолжить исследование.
www.apolloresearch.ai/blog/claude-sonnet-37-often-knows-when-its-in-alignment-evaluations
Mistral выложили в опенсорс мультимодальную модель уровня GPT-4o mini. Она летает со скоростью 150 токенов в секунду
В Mistral Small 3.1 всего 24В параметров, ее можно запустить на одной RTX 4090 или на Mac с 32GB RAM. При этом по перформансу она в большинстве тестов превосходит GPT-4o Mini, Claude-3.5 Haiku и Gemma 3. Бенчмарки – перед вами (кроме instruct еще выложили базовую модель, последний график).
А еще радует длина контекста 128К и лицензия Apache 2.0. Кажется, теперь это лучшая мультимодальная модель в своем весе, особенно для локального запуска и рисерча
Веса | Блогпост
Зацените: OpenAI обновили FAQ для Deep Researcher и написали, что он имеет доступ к загруженным пользователем файлам
Причем не просто к файлам в данном диалоге, а вообще ко всем, которые вы когда-либо загружали в диалоги.
Теоретически полезная фича, особенно если работаете с базой знаний в каком-либо виде
Мы должны были бороться со злом, а не примкнуть к нему
Читать полностью…
Китайский поисковик Baidu релизнул модель уровня GPT-4.5 за 1% от цены
На самом деле релизнули даже две модели, и обе уже успели навести очень много шума:
⭐ НЕ-ризонер Ernie 4.5. Мультимодальная модель, превосходящая GPT-4.5 по нескольким показателям (метрики выше). Может анализировать картинки, диаграммы, документы и даже аудио. При этом стоит в 100 раз меньше GPT-4.5.
Цены OpenAI: Input $75 / 1M, Output $150 / 1M
Цены Baidu: Input $0.55 / 1M, Output $2.20 / 1M
⭐ Ризонер Ernie X1. Уровень DeepSeek R1 за полцены. Input $0.28 / 1M, output $1.1 / 1M.
Ну и самое приятное: Ernie 4.5 в чате работает бесплатно. И X1 скоро тоже обещают докатить. Пробуйте здесь: yiyan.baidu.com
В Meta предложили интересную альтернативу нормализации LayerNorm
Нормализация уже много лет считается незаменимой компонентой в сетях, и особенно в трансформерах. LayerNorm и Batch Norm используют буквально везде, потому что с ними лосс сходится быстрее и генерализация сети повышается.
Но есть нюанс: это вычислительно накладно. Для каждого батча или каждого слоя нужно запускать расчеты среднего и дисперсии, а потом нормализовать, применять скейлинг и смещение.
В Meta заметили, что все можно существенно упростить. Оказывается, что Layer Normalization в трансформерах почти всегда действует почти как функция гиперболического тангенса tanh. Иначе говоря, если построить график входов-выходов слоя нормализации, мы увидим s-образные кривые.
Так почему бы тогда не заменить нормализацию на тангенс? Это (1) упрощает архитектуру и (2) делает обучение быстрее и эффективнее, потому что никаких средних и отклонений больше считать не надо. В Meta это назвали Dynamic Tanh (DyT).
И еще: казалось бы, раз это эмпирическое наблюдение, то на лоссе такая подмена все-таки отразится. Но нет, сходимость не меняется от слова совсем (см. график 3). То есть за счет DyT мы абсолютно безнаказанно сокращаем себе несколько GPU-часов.
Очень радуют такие работы. Вот тут полный текст
⚡ Вышел GigaChat 2.0 с агентными возможностями
В новой линейке (MAX, Pro, Lite) обновили все этапы обучения:
➖ Проведена мощная работа с данными. В претрейн добавили 4,4 трлн фильтрованных в несколько этапов токенов веб-страниц, которые обрабатывали с помощью OCR; а также 230 млрд качественного кода и почти 100 млрд токенов синтетики.
➖ В файнтюнинг улучшили персонажность (aka "живость" общения), instruction-following и использование инструментов. Поработали с элайментом и успешно применили RLHF.
• GigaChat 2 MAX стала ещё мощнее и уверенно опережает многие зарубежные аналоги в задачах на русском языке. По нашим замерам GigaChat 2 MAX сопоставим по качеству с DeepSeek V3 на широком спектре задач.
• GigaChat 2 Pro теперь демонстрирует качество, сопоставимое с предыдущей версией MAХ.
• GigaChat 2 Lite — по качеству стала сопоставима с предыдущей версией Pro.
Мощно: T-Технологии, к которым относится Т-Банк, открывают большой R&D-центр для научных исследований и разработки
Один из ключевых проектов сейчас – ИИ-ассистент Nestor для кодинга. Оказывается, его уже даже выкатили для разработчиков внутри компании, и к 2026 ожидается, что четверть кода T-Технологий будет сгенерировано ИИ.
Кроме того, есть проекты, нацеленные на:
⚙️ Фундаментальные исследования алгоритмов: например, вычислительно-эффективные архитектуры или распределенные вычисления
⚙️ Создание и развитие сложных баз данных, технологий кэширования и эффективных аналитических движков
⚙️ Инфобез: автоматизация ред-тиминга, обеспечение безопасности опенсорса и инструменты анализа угроз
⚙️ Совместные проекты с вузами и научными коллективами: сейчас есть проекты с МФТИ и Сколтех.
К слову, планов много и, наверное, сейчас будут активно искать инженеров с исследовательским опытом.
Теперь окружение Kaggle можно напрямую импортировать в Colab
Это означает, что вы связываете ваши ноутбуки и прямо из блокнота Colab можете использовать GPU и TPU кэггла, датасеты кэггла и модели с кэггла.
То же самое можно провернуть с VS Code и использовать бесплатное железо кэггла, не выходя из любимой среды разработки.
Делается очень просто:
1. Открываете Kaggle ноутбук
2. Переходите в Run > Kaggle Jupyter Server
3. Следуете всем инструкциям и подключаете Colab или VS
К слову, в любой момент бэкенд Kaggle можно отсоединить, и ваша сессия не прервется.
Красота
www.kaggle.com/product-announcements/567740
Google показали вариант Gemini, натасканный на робототехнику
В основе Gemini Robotics обычная Gemini 2, в которую добавили action как дополнительную выходную модальность и дообучили. Таким образом, это уже не просто LM, а VLA (vision-language-action).
Также показали вариант Gemini Robotics ER, то есть модель с физическими размышлениями (embodied reasoning). Это значит, что она не только видит физический мир и действует, а видит, думает и действует. Например, может порассуждать, как именно взять кружку, чтобы не пролить воду.
На бенчмарках – успех. Gemini Robotics почти в два раза перепрыгнула прошлую SOTA. То есть это лучшая на данный момент универсальная VLM для робототехники.
При этом на тестах с самими роботами видно, что модель может обобщаться на принципиально новые задачи, у нее хорошо развита мелкая моторика, и она легко взаимодействует с человеком и меняет свои планы динамически в зависимости от состояния среды.
Посмотрите, как ловко составляет слова из буковок, складывает оригами и убирается (обратите внимание, что модель работает и с гуманоидом, и с робо-руками, и с другими видами железяк).
Техрепорт | Блогпост с видео-примерами
Google подарили нам бесплатный ИИ-фотошоп
Gemini Flash 2.0 теперь можно попросить отредактировать любое изображение по вашему запросу. Например «поменяй прическу», «раскрась», «сделай портрет мультяшным» и др.
Качество не идеальное, но с анатомией модель разбирается хорошо, и чутко реагирует на промпты.
Пробуйте сами здесь
Ребята из финтеха Точка продолжают радовать качественным ML-контентом в своём тех.канале. В этот раз разложили по полочкам, кто такой этот ваш RoPE и почему он так важен в LLM
В серии из трёх ёмких постов инженеры Точки собрали очень много интересно-полезной информации:
➖ Зачем вообще нужны позиционные эмбеддинги и что было с ними до RoPE
➖ Как придумали RoPE и почему этот метод затмил предшественников
➖ 1001 вариация RoPE и чем пользоваться сегодня
➖ Практика: как с помощью RoPE сделать контекст модели длиннее
➖ ... и почему всё это так часто спрашивают на собеседованиях
Вот ссылка на всю серию. И ещё: если хотите постоянно развивать эрудицию в ML, читать такие разборы, обзоры фреймворков и выжимки из статей – не забудьте тыкнуть "Подписаться" у ребят в канале.