55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Google предложили новую обобщенную архитектуру нейросетей, устроенную так, что трансформеры и RNN являются ее частными случаями
Основная проблема сегодняшних моделей – память. У нас есть трансформеры, но их сложно масштабировать на длинный контекст из-за квадратичной сложности операций. У нас есть RNN, но они не параллелятся и постоянно все забывают.
Так что в последнее время выходит все больше работ про все новые и новые подходы к моделированию памяти. И все они строятся на каких-то видах скрещивания: атеншена с линейностью, или гейтов забывания с трансформерами, или склярной памяти с матричной, ну и тд и тп.
В Google заметили, что почти все эти методы можно описать единым набором правил. Свой фреймворк они назвали MIRAS, и его главная идея в том, что любое проектирование памяти нейросетей сводится к четырем основным выборам:
1. Выбор архитектуры памяти. Память может быть скаляром, как в RNN, матрицей, как в трансформерах, отдельной маленькой нейросетью, как в test-time-training подходах, ну или чем-то другим.
2. Выбор attentional bias. Это функция потерь, которую память будет оптимизировать при обновлении. Цель, по сути, всегда одна: точно сопоставлять ключи со значениями, то есть верно восстаналивать связи между словами. В трансформерах, например, attention bias – это непараметрический ℓ₂‑MSE.
3. Retention Gate. Это регуляризация, которая контролирует, как и когда мы избавляемся от ненужной информации. Другими словами, мера консервативности или забывания.
4. Выбор метода оптимизации. Это конкретный рецепт того, как перейти из прошлого состояния памяти в новое, учитывая все компоненты выше. Например, в трансформерах это просто вычисление softmax‑attention, но также это может быть градиентный спуск или его модификации.
Google снова тестирует новые модели
Одна из них под кодовым названием dayhush на днях появилась на webdev арене. Кажется, это какой-то новый ассистент для программирования. Попробовать можно тут.
Вторая модель, видимо, для генерации картинок. Ее начали тестировать только вчера.
Напоминаем, что в следующем месяце у Google пройдет их крупнейший ивент I/O. Будем ждать стоящих новинок
Джеффри Хинтон: «Люди больше похожи на ИИ, чем мы думаем»
Принято считать, что люди умеют рационально последовательно рассуждать, а ИИ – пока нет.
Но Хинтон говорит, что по мере изучения мозга становится понятно, что мышление мало похоже на логику. Наоборот, это мысли на уровне ассоциаций.
«Мы не рассуждающие системы. Мы системы аналогий. На самом деле мы гораздо менее рациональны, чем кажется. Мы думаем резонансом, а не дедукцией»Читать полностью…
В детской книжке по философии была найдена жемчужина
А можно лучше на мозг Димы посмотреть?
Помните пост про ML-модель для уборки мусора, которую студенты ШАДа сделали вместе с Yandex B2B Tech?
С её помощью ускорили очистку заказников, выложили код в опенсорс — и всё это ещё во время учёбы.
Если вы тогда задумались: «А как вообще попасть в ШАД и делать такое?» — вот подробный подкаст с Алексеем Толстиковым, руководителем Школы анализа данных Яндекса.
В выпуске:
— как устроен отбор (20 задач, олимпиада или экзамен, собес);
— что за люди туда поступают и как готовятся;
— зачем нужна такая система и как она помогает вырасти от джуна до специалиста, который делает значимые проекты.
Смотреть здесь
Демис Хассабис (тот самый с обложки TIME): «Сейчас ИИ не обладает сознанием, но оно может возникнуть неявно»
По словам ученого, появление сознания в моделях не является целью как таковой, но оно может возникнуть само собой по мере их развития.
«Таким системам необходимо понимание себя, собеседника и других. И это может вырасти в что-то, напоминающее самосознание. Но оно будет отличаться от человеческого»
В соцсетях пользователи ополчились на OpenAI за то, что результаты выпущенной o3 не соответствуют заявленным в декабре бенчмаркам. Разбираемся
Как мы помним, o3 анонсировали еще в декабре. Вот наш пост с показанными тогда метриками. Кратко: 25% на FrontierMath (против 2% у следующего конкурента) и 88% на ARC AGI.
И вот, наконец, o3 выпускают в паблик, и что мы видим? 10% на FrontierMath и 35-40 на ARC AGI.
Получается, OpenAI соврали? Не совсем так:
1. В анонсе были показаны, вероятно, результаты o3-pro, которая еще не вышла. Плюс, замеры были по верхней границе (сейчас настройки могут быть другие).
2. С декабря версии бенчмарков изменились. Если в декабре во FrontierMath было 180 задач, то теперь их 290 и они другие.
3. Выпущенная в паблик модель отличается от версий o3, которые были у OpenAI в декабре. Об этом разработчики говорили прямо на стриме: «Модель оптимизирована для реальных сценариев использования и более быстрых ответов». Ну и цена упала в несколько раз, судя по замерам ARC-AGI (картинка 3). Ожидаемо, что метрики у такой версии где-то просядут.
Ситуация, конечно, все равно спорная. Просто помним, что бенчмарки вещь тонкая, на слово верить им не стоит никогда. Сейчас это в основном инструмент маркетинга, а не адекватного эвала.
Там Стэнфорд выложили на YouTube свой свежий курс CS336: Language Modeling from Scratch
Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала.
Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг.
Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу.
Репозиторий с дз и ноутбуками
Сайт курса
YouTube
Яндекс создал более надежный аналог Kafka
Если вы строите микросервисы, то знаете: когда архитектура становится сложнее, просто Kafka может не хватить. Хочется чего-то с такой же совместимостью, но более управляемое.
Шина от Яндекса называется YDB Topics и умеет передавать разнородную информацию с высокой гарантией сохранности. При этом развернуть её можно где угодно.
У Яндекса на YDB уже вся инфраструктура и это действительно удобнее с точки зрения настроек доступа и организации распределенной работы.
Больше о YDB Topics расскажут на вебинаре 23 апреля. Будет информация про архитектуру, встроенные корпоративные возможности и то, как систему получилось сделать настолько отказоустойчивой. А еще много интересных тех.деталей: например, про ACID транзакции и борьбу с дублями.
Только что в Китае закончился первый в мире полу-марафон для людей и роботов
Участие приняли более 20 двуногих роботов. Были и от ведущих китайских стартапов, но даже победители очень сильно отставали от людей (фух).
Пробежать нужно было, если что, 21 километр. Победитель от людей преодолел расстояние за 1 час 2 минуты. От роботов победил Tiangong Ultra. Его результат – 2 часа 40 минут.
В общем, атлеты пока что не ВСЕ
Качество стриминга под контролем 🔥
22 апреля на VK Видео Meetup не пропустите доклад о лаборатории качества единой видеоплатформы VK. Вы узнаете, чем она занимается, как в ней замеряют качество роликов, исследуют эффективность работы приложений и пользовательский опыт. Инсайдами поделится Павел Муханов, руководитель лаборатории.
Регистрируйтесь сами и расскажите коллегам!
Anthropic инвестируют 50 миллионов долларов в интерпретируемость LLM
Точнее в стартап Goodfire, который специализируется на интерпретируемости. Вместе с Anthropic они теперь будут разрабатывать общедоступную платформу нейронного программирования Ember, которая сможет показывать «мысли» любой ИИ-модели.
Это, кстати, первая инвестиция Anthropic за все время существования компании
Платформа Midjourney становится похожа на ИИ-фигму
Они только что выкатили обновление для своего редактора изображений. Поменялся интерфейс, добавился инструмент для выбора и редактирования определенных частей изображения.
Также улучшили модерацию и даже стали показывать слои картинки: все, как в любимом фотошопе.
Пробуем тут
У разработчиков и аналитиков свои игрушки 👾
Конечно, с ИИ-уклоном и те, которые им помогают в работе. Когда дело доходит до вайб-кодинга, многие обращаются к инструментам вроде Copilot. На бумаге — это волшебная палочка, которая должна разгружать спецов. А как на деле? 🪄
Коллеги из Т1 отвечают на этот вопрос — упаковали ответы в карточки. И их самих тоже — конечно же, с помощью искусственного интеллекта.
Больше про ИИ узнаем 16 и 17 апреля в Москве на конференции Data Fusion. Здесь спикеры от Т1 примут участие в сессиях, где обсудят:
🔘 выход российских компаний на зарубежные рынки;Читать полностью…
🔘 человекоцентричный транспорт;
🔘 нейросети;
🔘 AI-native банки;
🔘 тренды в бизнесе;
🔘 инженеров нового поколения.
Генеральный директор ИТ-холдинга Т1 Алексей Фетисов также наградит победителей соревнования Data Fusion Contest.
⚫️ Data Fusion подошла к концу
В эти два дня у ВТБ получилось уместить уйму полезного контента. Технические доклады, кейс-сессии по всем направлениям ML, планарные сессии с CEO из бигтеха и лидами ведущих рисерч команд, Q&A. Мы физически не смогли посетить даже половину из того, что хотелось (хорошо, что есть записи).
Продуманно, масштабно, интересно. Выражаем организаторам большую благодарность за приглашение и уже ждем следующего года 👉
Новое исследование от Anthropic: система, которая позволяет мониторить элаймент онлайн
Обычно все тестирования на безопасность проводятся до деплоя, а затем модель уже отдают пользователям. Но что, если (теоретически) что-то пойдет не так уже после того, как систему развернули?
Anthropic предложили фрейморк для анализа диалогов пользователей и выявления ценностей, которые транслирует в этих диалогах Claude. Ценность - это какое-то "соображение" модели, которое оказывает влияние на ответ (как в мультике Головоломка). Помните, как Anthropic выделяли темы диалогов студентов с ботом? Вот тут техника похожая.
По умолчанию в клода заложены ценности "ответственность", "критическое мышление", "полезность для пользователя". Однако статистика показывает, что иногда всплывают такие штуки, как "доминирование" или "аморальность". Это результат джейлбрейков.
То есть система позволяет не только поломки в элайменте находить, но и в реальном времени ловить попытки неэтического использования.
Еще, кстати, интересно, что Claude, хоть и обучен определенным ценностям, не всегда напрямую их продавливает (картинка 3). Например, если запрос связан с прихологической помощью, он пытается переосмыслять ценности пользователя, вместо того, чтобы просто впихивать свои.
Статья
А ничего тот факт, что Сбер приглашает тебя на One Day Offer для DS/ML/DE специалистов? 😏
Ты будешь работать над рекомендательной платформой: масштабируемой, способной каждый день удивлять пользователей и предлагать им релевантные рекомендации.
Добавляй в свой календарь 26 апреля, регистрируйся по ссылке и готовься пройти отбор в команду мечты за один день!
Зацените аргумент, который Meta использует в судебных исках против авторов
Сейчас на Meta заведено более 10 дел за пиратское использование книг для обучения моделей. Это, к слову, не одна и не две книги, а порядка 7 миллионов.
Так вот, в ответах истцам юристы компании используют, внимание, такой ответ:
«Использование одной книги для претрейна повышает производительность модели менее чем на 0,06%. Поэтому, взятая отдельно, работа не имеет экономической ценности в качестве обучающих данных»
Зумеры не пройдут: теперь в Инстаграме ИИ будет отлавливать профили несовершеннолетних и автоматически менять настройки их аккаунтов
Meta будет анализировать переписки, вовлеченность и, конечно, фото. Настройки можно будет вернуть обратно, но для этого нужно будет подтвердить возраст. С сегодняшнего дня функцию уже тестируют в США.
В конце той недели Meta FAIR выкатили целую пачку опенсорсных релизов, которые могут стать частью их будущего AMI (advanced machine intelligence). Краткий разбор:
1. Perception Encoder. Лидер FAIR Ян Лекун часто говорит о том, что просто понимания изображений и видео моделям недостаточно. Они должны понимать физический мир целиком, как мы. И вот этот Perception Encoder – это как раз обобщенный аналог vision энкодера. Perception – c английского "восприятие", то есть некоторое глобальное зрение. Цель была научить систему справляться с любыми визуальными задачами, но не посредством традиционных отдельных многозадачных схем, а через единый контрастивный лосс.
2. Perception Language Model. Тут целое семейство моделей от 1 до 8 млрд параметров. Аналогично, обобщенный аналог VLM. Вместо привычных энкодеров – PE. В целом превосходит QwenVL2.5, так что результаты довольно неплохие.
3. Meta Locate 3D. Новый state‑of‑the‑art на основных бенчмарках локализации объектов в 3D. Интересно, что модель научили оперировать напрямую с RGB‑D фреймами, то есть потоками от сенсоров. Это значит, что, например, при использовании в работотехнике системе даже не понадобятся дополнительные заглушки, все будет работать end‑to‑end.
4. Dynamic Byte Latent Transformer. Пытаются уйти от токенизации и заставляют модель обрабатывать сырые байты вместо токенов. В архитектуре такой же трансформер, только еще добавляется слой для сжатия/восстановления информации.
5. Collaborative Reasoner. Фреймворк для обучения LLM решать задачи через многошаговое взаимодействие агентов. Имитация дискуссии ну или, исходя из названия, коллективного рассуждения. В плане появления реальных способностей рассуждать Meta верит в такие брейнштормы агентов больше, чем в классический single‑agent chain‑of‑thought.
Общая идея понятная: обобщить то, что можно обобщить; уйти от ограничений типа токенизации; всеми способами повышать генерализацию и адаптивность модели. Посмотрим, приживется ли.
Все веса, датасеты и демо тут
Что лучше: получить 500 000 ₽ или пропуск в одно из крупнейших сообществ web3-энтузиастов и блокчейн-разработчиков? 😏
Победители блокчейн-хакатона DeFi Hack 2025 получат и то и другое. Для этого нужно только решить реальную бизнес-задачу Сбера и предложить лучшее инновационное решение.
🏆 Призовой фонд хакатона в 1 000 000 ₽ разделят между собой 3 участника/команды: 500 000 ₽, 300 000 ₽ и 200 000 ₽.
Приём заявок продлится до 12 мая — успейте собрать команду до 5 человек или принять участие соло! 👌
Отец обучения с подкреплением Ричард Саттон опубликовал очень интересное эссе под названием «Добро пожаловать в эру опыта»
О Ричарде мы писали вот тут. В 80-е он вместе с Эндрю Барто разработал основы RL, а в этом году они получили премию Тьюринга.
В эссе Саттон говорит о том, что эпоха контролируемого предобучения ИИ постепенно заканчивается. В будущем вместо привычной связки претрен + файнтюнинг + RL нас ждут агенты, которые будут самообучаться.
Конкретнее, агенты будут непрерывно действовать в реальном или смоделированном мире и генерировать в нем собственные данные для обучения посредством взаимодействия друг с другом. Среда, кстати, может быть какая угодно: компьютеры, игры, биржи, реальный мир для роботов или даже обычные умные часы.
Это будет похоже на тот же RL, только агенты будут оптимизировать вознаграждения, основанные именно на окружающей среде, а не только на человеческих предпочтениях. Получается, что это ближе к человекоподобному обучению на основе жизненного опыта.
Полностью почитать можно тут
Bloomberg пишет, что за 2024 из-за производства ИИ-чипов выбросы углекислого газа увеличились вчетверо
Особенно ИИ-гонка влияет на Азию, потому что там расположены все основные производства (в том числе заводы Nvidia и Microsoft).
Интересно, что рост выбросов, связанных с производством чипов, обогнал даже рост выбросов от потребления электроэнергии: 357% против 351.
Гринпис в связи с этим заявляет, что они уже начинают сомневаться в конечной полезности ИИ 😬
Google выпустили новые версии Gemma-3, которые можно запустить локально на домашних видеокартах
Например, теперь, чтобы запустить Gemma 3 27B, понадобится всего 14 гигабайт vRAM всесто 54. А Gemma 3 1B вообще заведется на 0.5 Gb (считай, на утюге).
Технически все дело в квантовании. Квантование – это когда мы снижаем точность чисел, которые модель хранит и использует для расчетов.
Обычно квантование снижает качество ответов исходной модельки, но тут Gemma специально натренили быть к этому устойчивой. Это называется Quantization-Aware Training: модель квантуют не после окончания обучения, а прямо во время.
Веса уже на HF
Интересно: OpenAI добавили в API флекс-процессинг
Как это работает: теперь вы можете использовать модели в API с огромными скидками, если согласитесь ждать ответы чуть дольше. Получается дешевле на 50%.
Подходит, если у вас асинхронная система или вы используете API для себя. Ну, например, для разметки или эвала.
Чтобы воспользоваться, надо просто прописать service_tier="flex"
Вайб-кодинг, флекс-процессинг… Чил-трейнинг будет?
ML-щик? Назови все модели OpenAI в порядке возрастания метрик на бенчмарках
Читать полностью…
Cloud․ru выкатил первый сервис для инференса LLM в облаке с разделением GPU
Облачный провайдер анонсировал управляемый сервис Evolution ML Inference с упором на гибкость и эффективность работы с GPU. На платформе впервые в России реализовали технологию Shared GPU, то есть можно будет использовать GPU не полностью, а потреблять только то количество vRAM, которое необходимо модели в конкретный момент.
Такой подход экономит от 15 до 45% ресурсов, а, следовательно, и костов (тарификация осуществляется as-you-go и только в момент обращения к модели).
А еще фишка в том, что на платформе можно будет в пару кликов развернуть не только встроенные модели, но и любую модельку с HF, и даже свою собственную LM.
При этом Cloud․ru берут на себя скейлинг, администрирование и обслуживание инфраструктуры. Плюс никаких проблем с 152-ФЗ: данные хранятся на российских серверах.
OpenAI выкатили 32-страничный практический гайд по разработке агентов
Его создавали сами инженеры из продуктовых команд стартапа.
Внутри теоретические основы, шаблоны проектирования, лучшие тактики для безопасного развертывания и мониторинга, а главное много-много примеров.
Забираем мастрид на выходные: cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
Вышла Gemini 2.5 Flash. Что нужно знать:
– Это гибридная модель с ризонингом, продолжительность рассуждений она контролирует сама, но в API можно настраивать бюджет ризонинга вручную
– Почти на всех бенчмарках модель лучше Sonnet 3.7 и R1.
– o4-mini и Grok-3 выглядят чуть получше, но по соотношению цена-качество проигрывают однозначно
– Модель очень дешевая. 0.15$/М инпут и 0.6$/М аутпут (с ризонингом 3.5$).
– Попробовать можно здесь
Новость дня: OpenAI покупают Windsurf – вайб-кодинг стартап
В прошлом инструмент был известен как Codeium. Это один из главных конкурентов Cursor. Говорят, сделка обойдется OpenAI в три миллиарда (интересно, это дешевле, чем нанять команду и реализовать собственного агента с нуля?)
Кстати, мало кто об этом пишет, но до этого OpenAI дважды пытались купить Cursor. Однако переговоры с Anysphere почему-то не задались.