55445
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Ничего необычного, просто в Твиттере вспомнили, как в 2022 году после запуска ChatGPT кто-то сказал Альтману, что это худший из возможных концептов ИИ-продукта
Вот бы распечатать – и на стенку в офисе OpenAI
POV: я и новый агент ChatGPT, которого я попросил заработать мне миллион к концу дня
P.S. Кстати, агента сегодня раскатили на всех Plus пользователей: самое время попробовать
⚙️ Наш авторский конспект по LLM теперь доступен на сайте Data Secrets
Вы просили – и мы сделали. Теперь, помимо PDF-версии, конспект также можно полностью прочитать в веб-версии на нашем сайте.
Напоминаем: это буквально энциклопедия LLM от А до Я. История нейросетей, необходимая математика, архитектура трансформера, механизм внимания, претрейн, файнтюнинг, RL, ризонинг – обо всем этом и многом другом мы подробно и понятно рассказали на этих страницах.
Детальное оглавление смотрите в начале конспекта.
Приятного чтения: https://datasecrets.ru/abstracts/llm
P.S. Press F нашему фронтендеру, который сверстал 50 страниц текста, схем и картинок 🫡
Все про A/B тесты за 5 лекций
Школа анализа данных Яндекса проведет онлайн-интенсив A/B Week. За неделю научат:
➖правильно проводить А/В‑тесты
➖анализировать их и формулировать бизнес‑решения
После интенсива получите готовый набор инструментов, включая методы и скрипты для Jupyter Notebook на Python, которые позволят вам сразу применить знания на практике.
Чтобы поучаствовать, нужно зарегистрироваться по ссылке до 25 июля. В интенсиве может участвовать любой, кому интересны А/В-тестирования, но, чтобы получить доступ к итоговому заданию и сертификат, придётся пройти отбор (потребуется знание статистики, теорвера и Python!).
Не пропускайте
Почитали тут системную карту ChatGPT Agent. Оказывается, это первая в мире система ИИ, официально получившая статус «высокого риска» по разработке биологического оружия
Это значит, что Agent может существенно помочь даже неспециалисту пройти все шаги, необходимые для создания известных биологических или химических угроз.
Пока ни одна компания, кроме OpenAI, ни разу не объявляла о подобном для своих моделей. На уровне экосистемы это означает следующее:
1. Естественно, повышенные меры безопасности и мониторинга. Инструменты обнаружения вводятся не только на этапе генерации, но и (дополнительно) до того, как запрос вообще передается в модель.
2. Обновленные NDA и политики ответственности внутри самого OpenAI + обязательные постоянные внешние аудиты системы.
3. Ну и самое интересное: обязательная отчетность для пользователей, выявлявших необычное поведение системы. То есть если вы – даже случайно – наткнулись на необычное поведение модели, то обязаны об этом сообщить. В противном случае могут заблокировать аккаунт, а еще вы попадете под расследование.
Вот так, друзья. Уже ощущаете киберпанк?
Всего один программист в мире оказался лучше ИИ в прошедшем соревновании на AtCoder
AtCoder World Tour Finals – одно из самых престижных соревнований в мире, попасть туда не так уж и просто. Особенно в Heuristic Division: там задачи решаются методами эвристики и оптимизации и нельзя просто решить или не решить, можно только решить лучше других (как на Kaggle).
Так вот в этом году это соревнование спонсирует OpenAI, и им разрешили выпустить свою модель посоревноваться наравне с людьми.
Ну и дальше случилось то, что вы видите на скрине. Всего один человек в мире, поляк Przemysław Dębiak с ником Psyho (довольно известный кодер, кстати) смог побить модельку OpenAI.
Сам кодер утверждает, что вообще не использовал ИИ и программировал просто в VSCode. Он пишет:
Человечество одержало верх (пока!)
Я совершенно измотан. Мне казалось, что я спал всего 10 часов за последние три дня, и я еле живой.
(Если честно, это предварительные результаты, но мой отрыв должен быть достаточно большим)
Французская лаборатория INRIA предложила новый способ самообучения LLM – SOAR
С помощью него они выбили 52% на ARC-AGI. Для понимания, результат o3-pro – примерно 58%. Разбираемся ->
Основная идея – рисерч и доработка возможных решений. Это называется эволюционный поиск и вообще-то это вещь не новая. Если брать такой поиск сам по себе, он, конечно, что-то там бустит, но без вау-эффекта.
А тут к нему прикрутили еще и дополнительное обучение. После каждой итерации генерации и доработки гипотез все попытки (удачные и неудачные) используются для тюнинга той же самой модели. Этот цикл «поиск — обучение на своем опыте — улучшение» повторяется до стабилизации результата.
И вот это уже работает заметно лучше. Например, если взять Qwen2.5-32B, результат которого на ARC-AGI – 27%, и приложить SOAR, то метрика растет до 52%, то есть почти в 2 раза! То же самое можно наблюдать с другими размерами и моделью Mistral.
Все дообученные модели выложили в опенсорс. Вот веса. Код тоже имеется.
А статью почитать полностью можно вот тут. Ее, кстати, приняли на ICML
Белые хакеры из университета Торонто придумали новую атаку на GPU
Те, кто увлекается кибербезом, точно знают, что такое Rowhammer. Это классическая аппаратная атака, которая заключается в многократном чтении (или записи) определённых строк памяти. Это вызывает электрические помехи и приводит к непреднамеренным изменениям (bit flip) в соседних ячейках памяти.
Изначально Rowhammer была обнаружена для обычной оперативки, но теперь оказалось, что она может быть адаптирована и для видеопамяти (это назвали GPUHammer).
Причем эффект может быть даже страшнее, потому что в случае ИИ всего один ошибочный бит в весах модели может привести к катастрофическому снижению точности. Прямо в статье это доказали на примере ImageNet: метрика скакнула с 80% до менее чем 1%.
Уязвимы все системы с видеокартами NVIDIA на GDDR6 (например, A6000). Такие ооочень часто используются в дата-центрах. Причем существующие защиты вроде TRR не сильно спасают.
Nvidia порекомендовали включать ECC (Error-Correcting Code): он позволяет автоматически исправлять некоторые типы ошибок в памяти. Но есть нюанс: ECC роняет производительность на 10–50%. Так что в перспективе нвидии все-таки придется реагировать изменениями в архитектуре.
В общем, спасибо ребятам за исследование, конечно, но не от всей души 🎧
Курс с углублённым изучением профессии аналитика данных.
Станьте незаменимым специалистом на рынке труда с курсом от Нетологии.
Преподаватели курса — эксперты из крупных компаний: Сбера, Яндекса, Gett, Работы.ру и других.
Вы изучите:
- продвинутые инструменты — A/B-тестирование, аналитику больших данных, SQL и Python;
- современные российские BI-решения — AW BI и DataLens;
- нейросети, которые можно использовать при анализе.
А ещё все студенты получат доступ к профессиональному комьюнити с еженедельными офлайн и онлайн-митапами. На них разбираем актуальные инструменты и делимся опытом.
До конца июля на курс действует сразу 2 скидки: летняя — 40%, и дополнительная — 10 000 рублей по промокоду DATA10.
➡️ Посмотреть программу курса
Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5y6vPL4
А тем временем другой ИИ-браузер – Comet от Perplexity – вышел уже сегодня
Это первый за три года принципиально новый продукт от Perplexity. Выглядит как обычный браузер, но добавляется окошко чат-бота. По черрипикам тестеров из X выглядит интересно: агента даже можно залогинить в ваши учетки и он сможет автономно (реально автономно, а не как Operator) выполнять какие-то действия от вашего имени.
Comet уже доступен для юзеров подписки Max (200 долларов). Вряд ли кто-то пользуется этим тарифом, поэтому ждем, когда раскатят с лимитами на обычную и бесплатную подписки.
Вы гляньте, какая прелесть: HuggingFace только что открыли продажи на этого малыша
Его зовут Reachy Mini, и он опенсорсный. Разработали его буквально за пару месяцев совместно со стартапом Pollen Robotics, который HF купили в апреле.
Reachy может видеть, слышать и говорить. Цена на него начинается от 299 долларов, это в несколько дешевле айфона.
И самое прекрасное – робота можно полностью программировать на Python: подключать любые модели с HF или собрать датасет и обучить его чему-то своему. Код открытый, так что придумывать можно вообще все, что хочешь.
Нам такого надо
У МТС теперь есть свой AI для понимания данных, и он уже работает на бизнес
В MTС Web Services запустила первого в России AI-агента для автоматического документирования корпоративных данных – называется он MWS Data Scout.
Суть: берёт все базы компании, парсит, находит, что где лежит, как связаны таблицы, где чувствительные данные, – и аккуратно описывает всё это в понятной форме. Не просто по названиям столбцов, а по смыслу. К примеру, указывает, округлены ли цифры в «Выручке», по какой методике ода считалась или в какой валюте указана «Сумма сделки».
AI-агент интегрируется с DataHub, OpenMetadata и другими каталогами. Подключить агента можно и локально в вашем контуре, и из облака.
Это большой шаг в сторону автоматизации дата-менеджмента. Особенно для банков, промышленности, ритейла и остального бизнеса, где данных море, а описывать их всегда нужно вручную.
В будущем этот агент сможет строить пайплайны, прогонять данные до BI и ML и ловить аномалии.
Говорят, только на описании данных компании могут сэкономить от 50 миллионов рублей. А сам процесс ускоряется в 10 раз. И это уже не говоря о гораздо более высоком качестве и полноте документации.
Пользуясь случаем, не можем еще раз не подсветить замечательный канал Валерия Neural Deep
Во-первых, автор большой спец по RAG, LLMOps, локальному инференсу и всему, что связано с AI Infrastructure (отсюда и такие частые и глубокие разборы кейсов с локальными LLM на канале).
За весь свой опыт Валерий успел построить рексис в Билайне, кучу RAG-платформ для крупных заказчиков, а теперь работает Head of AI в red_mad_robot.
Пишет он про железо, RAG, реальный опыт внедрения LLM в прод и запуск ИИ-продуктов. Инженерно, интересно, иногда хардово.
Из последнего – обязательно почитайте пост про вайб-кодинг. Это, пожалуй, наиболее трезвое мнение по поводу этого явления: просто потому что это слова не вайб-кодера из X, которому «Ааа, ИИ сгенерировал приложение за 5 минут», а технически подкованного человека с кучей лет опыта, который видит в коде любые косяки и понимает важность системного подхода.
Советуем от души: @neuraldeep
Двое ключевых разработчиков Claude Code ушли в Anysphere работать над Cursor
В индустрии началась какая-то мощная волна перемещений талантов. Бонусы за переходы исследователей сейчас достигают абсолютного исторического максимума. Конечно, во многом на это повлиял Цукерберг со своей политикой громкого агрессивного хантинга, но, в целом, даже и без него все к этому и шло.
Так вот: сорока принесла на хвосте, что в этот раз крупно повезло стартапу Anysphere. Они сцапали себя двух лидеров из Anthropic – Бориса Черного и Кэт Ву. Оба работали непосредственно над Claude Code – то есть над прямым конкурентом Cursor от Anysphere.
Бориса, многие, вероятно, знают. Он давал кучу интервью и работал руководителем разработки Claude Code. Кэт же была менеджером по продукту. В Anysphere Черный займет должность главного архитектора, а Ву – руководителя продуктового отдела.
Сейчас, кстати, Cursor не так уж и сильно отстает от Claude Code по доходу. Годовая выручка первого на сегодня уже 500 миллионов долларов, а у Anthropic – 4 миллиарда. По меркам сегодняшнего рынка разница мизерная, и шансы Anysphere обогнать конкурента довольно неплохие.
Ну а пока где-то плачет один Дарио Амодеи
Уже через пару недель выйдет ARC-AGI-3
Об этом сообщили сами разработчики. Они пообещали показать новую версию легендарного бенчмарка на митапе в Сан-Франциско 17 июля.
Однако это будет только раннее исследовательское превью. На его основе от тестеров будут собирать подробную обратную связь, и полноценный улучшенный бенч выйдет зимой.
Уже точно известно, что внутри ARC-AGI-3 будут игры. Или, точнее говоря, интерактивные среды-головоломки, в которых понадобится уже не просто понимание символов, а арифметика, геометрия, агентские способности и умение по-настоящему рассуждать.
Ждем результаты по нулям от всех самых мощных моделей 👍
В Авито появился управляющий директор по искусственному интеллекту — Андрей Рыбинцев, руководитель ИИ-направления с десятилетним стажем, теперь входит в правление.
Также будет создан новый кластер AI Experience, развивающий ассистентов на основе Gen AI. Так компания подчеркивает, что ИИ теперь — ключевой драйвер развития.
Фокус — масштабирование собственных моделей (A-Vibe, A-Vision), развитие генеративных ассистентов и построение агентских ИИ-систем. По прогнозам, GenAI принесет компании не менее 21 млрд ₽ допвыручки к 2028 году.
«Задача моей команды — масштабировать уже работающие решения и внедрить новые технологии, которые будут ощутимы для миллионов пользователей и тысяч бизнесов по всей стране»», — отметил Рыбинцев.
Meta* выпустили ИИ-девайс для бесконтактного управления компьютером
Выглядит это как браслет, который трекает ваши жесты (свайпы, тапы, письмо в воздухе, движения для управления курсором) и синхронизирует их с ПК.
Из железа там, по сути, просто чувствительные сухие электроды, которые ловят MPF-активность руки. А вот с ML частью все гораздо интереснее. Для каждой разновидности жестов работает отдельная модель.
– Для контроля запястья (курсор) отрабатывает слой LSTM, который ловит временные зависимости
– Для дискретных жестов там сверточный 1D‑слой, затем три рекуррентных слоя LSTM и финальный классификатор
– Для воздушного письма все ожидаемо сложнее, тут уже Conformer (конволюционно‑трансформерный блок с механизмом внимания)
Накрученно, зато получается хорошая точность (> 90%) и отличная скорость. А если добавить примерно 20 минут собственных данных, то ошибка становится вообще минимальной.
Кажется, у Neuralink образовался конкурент?
MWS Cloud представила свое новое детище - платформу для хранения и обработки данных — MWS Data Lakehouse.
В Data Lakehouse можно:
• работать с любыми типами данных, включая структурированные, неструктурированные и векторные
• запускать любые инструменты для обучения и инференса ML и больших языковых моделей, например, для прогнозирования спроса на товар или процента возврата кредитов
• использовать сервисы MWS или свои программы для работы с ИИ
• более эффективно использовать инфраструктуру за счет разделения слоев хранения и вычислений
• безопасно работать с данными благодаря встроеным инструментам защиты информации
Почему это круто?
• обработка данных ускоряется в 23 раза
• хранилище используется на 40% эффективнее
• работа персонала становится в 2,5 раза продуктивнее
• время расчетов аналитических витрин сокращается вдвое.
Платформа также совместима с Greenplum и Postgres. Это позволяет заказчикам сохранить свои исторические активы, сократить цикл реализации проекта по миграции, а также снизить затраты и риски, связанные с переходом на новое решение.
Fun fact: западные компании уже оценили преимущества технологии Lakehouse. Протестить платформу прямо сейчас - по ссылке.
Так, это что-то новенькое: там вышла статья, которую совместно писали ученые из OpenAI, Anthropic, Google DeepMind и Meta*
Вот так наборчик, да? И о чем, как вы думаете, статья, если она объединила исследователей из четырех таких конкурирующих лаб?
Конечно, о безопасности. Кстати, среди авторов – Йошуа Бенджио, а среди рецензентов – Илья Суцкевер, Джон Шульман и Джеффри Хинтон.
Пишут про цепочки рассуждений (Chain of Thoughts). Основная мысль: люди зря надеятся, что CoT поможет нам надежно интерпретировать модели и считывать их истинные мотивы, предупреждая тем самым какие-то вредные действия.
На сегодняшний день – да, какое-то представление о скрытых мыслях сетей CoT действительно дает, и этим надо активно пользоваться. Но это довольно хрупкая возможность, которая может исчезнуть по мере прогресса.
В перспективе на стоит забывать о физике процесса ризонинга: для модели это та же самая генерация токенов, только в рамках специального тега /think. Фактически, сеть просто генерирует что-то «для себя» перед тем как начать генерировать ответ для пользователя, и мы называем это размышлением.
Нет оснований полагать, что в CoT всегда будут содержаться истинные намерения моделей, тем более для будущих более продвинутых архитектур и методов обучения.
Ну, в общем, очень интересный кейс единодушия ученых. Почитать полностью можно тут
Netflix официально объявили о том, что теперь они будут использовать ИИ для создания фильмов и сериалов
Оказалось, что на платформе даже уже есть ИИ-фрагменты. В аргентинском сериале El Atonata сцена с крушением здания – полностью сгенерированная.
И co-CEO говорит, что такие «съемки» обошлись в несколько раз дешевле, и заняли в 10 раз меньше времени, чем классический монтаж.
Давно пора ☕️
В Google ИИ-агент помог обнаружить и предотвратить предстоящую кибер-атаку на систему
Об этом рассказал сам Сундар Пичаи. Агент называется Big Sleep, его презентовали еще в прошлом году. До этого он уже помогал находить белые пятна в системе безопасности Google, но этот случай – первый в истории, когда ИИ помог предотвратить реальную атаку.
Кстати, сегодня Google также объявили о том, что добавят ИИ-агентов в свою известную систему мониторинга Timesketch и анонсируют еще одну ИИ-систему (уже помасштабнее) обнаружения аномалий и угроз – FACADE. Это будет первое публичное демо проекта, хотя внутри Google он работает уже с 2018 года.
blog.google/technology/safety-security/cybersecurity-updates-summer-2025/
Цукерберг заявил, что исследователи уходят к нему вовсе не из-за денег
Он говорит, что новости не совсем честно освещают, почему ученые из многих лабораторий охотно уходят в его новое подразделение MSL. Дело, мол, по большей степени не в деньгах, а в корпоративной структуре и количестве компьюта.
Команды в MSL будут очень маленькие и подчиняться будут напрямую Марку, чтобы ученые тратили минимум времени на бюрократию, созвоны и согласования.
Кроме того, в MSL будет самый большой объем компьюта на одного речерчера. Каждый получит в распоряжение сотни GPU, и количество доступных вычислений будет быстро увеличиваться.
К 2026 компания построит кластер Prometheus на 1GW, а потом примется за строительство Hyperion, который будет масштабироваться до 5GW+. Для частной компании это просто невероятные мощности.
Ну и да, сотни миллионов за переход – это так, приятное дополнение 👉
Оказывается, там еще и пасхалка спрятана: из первых букв имен этой толпы ученых можно сложить фразу "GEMINI MODELS CAN THINK AND GET BACK TO YOU IN A FLASH", то есть "Gemini может подумать и ответить вам мгновенно"
Ощущение, что даже с самим тех.отчетом они так не напрягались, как с этим списком
Мем: в вопросах политики и мировоззрения Grok-4 пользуется твитами Маска, как референсом
Твиттер прямо сейчас заполнен примерами того, как перед ответом модель шерстит посты миллиардера и пытается подстроить свой ответ под них.
😐😐😐
Акции Nvidia снова подскочили и теперь это первая компания в истории, пробившая капитализацию в 4 миллиарда долларов
И это, кстати, несмотря даже на все ограничения экспорта в Китай.
* Для сравнения, Apple стоит 3 триллиона, а ВВП Великобритании – 3.3 триллиона.
Где-то один Дженсен Хуанг свитает, сколько кожанок можно купить на 4 триллиона 🔵
В Твиттере завирусился тренд: нужно скинуть картинку, которую поймут только люди из твоей субкультуры
Среди реплаев нашлось вот это золото
Согласны? Узнали?
Дочерняя компания Google DeepMind набирает людей на первые испытания противораковых препаратов, изобретенных ИИ
Лаборатория называется Isomorphic Labs, и в ней работают те же люди, что стояли за AlphaFold. Это та самая громкая модель для предсказания структуры белков и других молекул от Google.
В общем, недавно Isomorphic Labs получили финансирование в размере 600 миллионов долларов и сейчас сообщают журналистам, что скоро планируют перейти Рубикон в мире ИИ-медицины.
Амбиций у них хоть отбавляй: они верят, что в будущем смогут побороть с помощью ИИ любую болезнь. Сейчас они работают над единым ядром для разработки лекарств.
По слухам – есть успехи. Представители самой компании говорят, что несколько раз уже проводили испытания на людях, и сейчас набирают добровольцев на противораковые препараты.
Наткнулись на историческое видео восьмилетней давности, где Альтман берет интервью у Цукера и говорит:
«Я точно знаю, что одна вещь, которую Facebook делает невероятно хорошо, – это найм. Расскажите, как вы нанимаете сотрудников?»
«Слева Роналду, Реал Мадрид потратил 80 млн долларов, чтобы он перешел к ним из Манчестер Юнайтед.
Справа — Цзяхуэй Юй, Meta заплатила 100 млн долларов, чтобы он перешел к ним из OpenAI»
Там в открытый доступ вышла самая свежая книга Себастьяна Рашки «Machine Learning Q and AI»
С книгами Рашки, наверное, многие знакомы. Он один из разработчиков scikit learning и просто очень опытный и известный рисерчер, написавший много учебной литературы. Если пока ничего его авторства не читали – сильно рекомендуем.
Конкретно эта книга – сборник всей базы по Deep Learning. В ней 30 больших глав по нейросетям, компьютерному зрению, LLM, эвалу и методам деплоя моделей. Много практики, примеров, схем и картинок.
К каждой главе есть упражнения и список дополнительных источников. Ну, в общем, мед.
Сама книга вышла примерно год назад, но до этого дня ее можно было только заказать с Amazon. Сегодня же Себастьян выложил ее в открытый доступ полностью бесплатно.
«Сейчас лето, сезон стажировок и технических интервью. Надеюсь, моя книга будет полезна» – написал он 👼