95543
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Внутренняя модель OpenAI решила три открытые задачи из областей математики, теоретической информатики и физики
В том числе модель опровергла ETH – гипотезу об экспоненциальном времени. Это, ни много ни мало, ключевое предположение в теории вычислительной сложности, тесно связанное с задачей тысячелетия про P ≠ NP.
ETH утверждает, что задачу выполнимости булевых формул нельзя решить сильно быстрее полного перебора. Это предположение информатики и математики много-много лет использовали как фундамент для доказательства результатов из теории графов, вычислительной биологии, баз данных, геометрии и тд.
На ETH стоят сотни таких работ. Теперь же вдруг оказывается, что ETH ложна, и значит все вопросы типа "а насколько быстрее еще можно» открыты заново.
Результат настолько значимый, что проверять его будет группа во главе с Расселом Импальяццо и Рамури Патури – учеными, которые и сформулировали ETH. Кроме того, OpenAI обещает оплатить конференцию по осмыслению результата.
Две другие задачи тоже довольно заметные:
1. Гипотеза Какэя и локальное сглаживание. Речь о волнах, которые фокусируются в одной точке. Есть гипотеза Согга 1991 года, она утверждает, что самая сильная фокусировка не может длиться долго. Из этой гипотезы следуют гипотеза Какэя и гипотеза Штейна об ограничении.
Это одна из центральных задач гармонического анализа, над ней десятилетиями работали сильнейшие математики, однако до сих пор люди добирались только до доказательств для малых размерностей (двух или трех). Модель OpenAI выдала доказательство для любой размерности, и вместе с ним автоматически закрыла Какэя и Штейна, также для всех размерностей.
2. Существование КХД и Янга-Миллса. Модель строго доказала существование теории Янга-Миллса. Это тоже часть одной из семи задач тысячелетия. Также она доказала существование полной КХД, где к глюонам добавлены кварки, и объединенной теории, включающей частицы Стандартной модели. Результат разберет группа во главе с нобелевским лауреатом Дэвидом Гроссом.
Что-то невероятное происходит
https://openai.com/index/building-scientific-understanding-with-academic-communities/
Вышла GPT-6.1 Terra
https://openai.com/index/introducing-gpt-6-1-terra/
Anthropic выходит на IPO
Компания официально подала в SEC регистрационное заявление по форме S-1. Это основной документ, в котором описаны финансовая отчетность, риски, структура владения и управления и условия размещения акций.
Основное:
— Выручка выросла примерно в 14 раз за год. За весь 2025 год выручка была 4,6 млрд, а только за первые полгода 2026 уже 16,3 млрд. Это при том что год назад за те же полгода было около 1,2 млрд. Инвесторам Anthropic говорят, что в третьем квартале 2026 выручка выросла еще на 45%.
— Тем временем убытки за пол года 2026 года составили... 80,7 млрд. Однако около 72 млрд отсюда это переоценка долговых инструментов, которые превратятся в акции. По факту за полгода компания потратила около 17 миллиардов. Из них примерно 9 млрд на вычисления и инфру, 3,2 млрд на маркетинг, 3,2 млрд на персонал и еще около 1,7 млрд на прочее.
— Операционный убыток за полгода составил соответсвенно 0,7 млрд. Главный тезис компании в том, что расходы на вычисления растут медленнее выручки. По цифрам второго квартала это так (но еще надо учитывать, что при этом расходы на продажи и маркетинг еще год назад составляли 0,1 млрд, а теперь больше трех, так что рост частично куплен).
AI Journey 2026: заглядываем в будущее ИИ 🤖
Хочешь узнать, что происходит в мире нейросетей, послушать российских и зарубежных экспертов и найти единомышленников? Залетай на AI Journey — ежегодную международную конференцию по искусственному интеллекту. Тебя ждёт три дня погружения в мир ИИ!
👉 27 ноября — день Бизнеса: реальные ИИ-кейсы и продукты
👉 28 ноября — день Науки: свежие исследования и открытия
В программе — выступления лидеров индустрии, выставочные зоны с разработками и нетворкинг с теми, кто тоже горит ИИ
📍 27–28 ноября 2026 года
Москва, Кутузовский проспект, 32, корп. 1, штаб-квартира Сбера
Регистрируйся на сайте и попади в центр событий мира ИИ! 💚
А 26 ноября смотри прямую трансляцию дня «Общество» на сайте aij.ru — увлекательная программа, интересные герои, актуальные темы!
В опенсорсе нашли способ почти вдвое увеличить вычислительную мощность RTX 3090
Проект gpu-unlock за пару дней набрал уже более 5 тысяч звезд на GitHub: https://github.com/Zagitta/gpu-unlock.
Разбираемся.
У видеокарт GeForce 30-й серии (к ним относятся RTX 3080, 3090, 3090 Ti и тд) тензорные ядра умеют перемножать матрицы в FP16 и BF16 с накоплением результата в FP32. Именно через эту операцию обучают и запускают нейросети. Однако, поскольку это игровые GPU, Nvidia специально программно ограничила скорость этой операции на них вдвое. Классическая сегментация рынка, хочешь делать ML – плати за ML-видеокарту, а не за игровую.
Ограничение сделано как делитель скорости выдачи инструкций, и его значение лежит в регистрах, в которые обычно писать нельзя. То есть обойти эту штуку напрямую невозможно. Но автор этой репы нашел, как это сломать.
Автор взял технику, которую раньше придумали для разблокировки аналогичных ограничений майнинговых карт CMP 170HX, и оформил ее как модуль ядра Linux. Он срабатывает при загрузке, до старта драйвера NVIDIA, прописывает полную скорость и только потом отдает карту стоковому драйверу. Главное, что модуль работает именно до драйвера, поэтому не нужно патчить драйвер при каждом обновлении и/или перепрошивать BIOS.
Цифры из репозитория для 3090 Ti (GEMM 8192, 450 Вт):
BF16 87,5 → 157,4 TFLOPS
FP16 87,5 → 118,4 TFLOPS
TF32 42,6 → 82,6 TFLOPS
На реальных задачах прирост немножко скромнее, но он есть. Префилл LLM ускоряется примерно на 14–36%. Результаты вычислений при этом побитово совпадают с прежними.
Оригинальный репозиторий только для Linux, но уже есть сторонние порты для Windows, вот например.
Инструкция по установке есть в репо. Повышаем пенсионный возраст своей 3090 😎
Новая Kimi дообучалась с акцентом на геймдев и 3D
Заявлено, что модель хорошо работает с Unity, Unreal и Godot, комбинирует их с веб-поиском и 3D-генерацией. При этом на долгом горизонте с задачами справляется тоже неплохо.
Например, зацените юзкейс из блогпоста: Kimi автономно построила симулятор ходьбы человека на основе анатомической модели. Она сама строила пайплайны обучения, настраивала реворды и физику, смотрела результаты и дорабатывала контроллер шагов. За 167 итераций работы и 420 независимых ревью виртуальный человечек прошел путь от падения на первом шаге до непрерывной ходьбы с чередованием шагов в течение 11 секунд.
До RSI пока недотягивает, но навыки, необходимые для какого-то рода ML-исследований – на лицо.
⚡️ В свежем интервью Илон Маск рассказал о своем новом стартапе
Читать полностью…
QA митап: про агентов, деньги и эволюцию QA
Как оценивать ИИ-агентов, не разориться на токенах и понять, куда движется профессия тестировщика? Соберемся без пафоса, на практике разберем будущее.
В программе:
🔘Eval будущего для агентов
Как Eval'ы работают сейчас, какие у них проблемы и что будет завтра.
🔘Token FinOps: как инженеры перестают быть расходной статьей
Откуда берутся расходы на LLM и как их срезать в три раза без потери качества.
🔘Панельная дискуссия: трансформация роли тестировщика и куда это все идет
Какие навыки остаются в цене, а какие уходят в прошлое.
Где и когда:
27 октября, 18:00
Офис Сбера на Кутузовском 32 + онлайн
Формат: очно или онлайн - выбирай, как удобнее.
Регистрация
– Сколько жмешь?
– 200к токенов в день
В сети завирусилась фотография таблички из спортзала в Сан-Франциско, которая якобы призывает посетителей не заниматься вайбкодингом во время тренировок.
Это могло бы стать отличным маркетинговым ходом, но представитель Fitness SF опроверг наличие такой таблички и назвал фото фейком.
Впрочем, интернету шутка очень даже понравилась, потому что ажиотаж вокруг ИИ в Кремниевой долине настолько огромный, что, кажется, все помешаны на вайбкодинге и работе.
Be present. Lift harder. Ship later 💪
А кто-нибудь в курсе, что вообще происходит с соцсетями Александра Вана?
СММ-щики Meta* держат его в заложниках?
Интернет накрыла какая-то аномальная волна взломов
Люди уже называют происходящее «черным октябрем». За несколько дней произошли десятки AI-атак, взломов платформ и обнаружений критических уязвимостей в базовом софте.
— С помощью GPT-5.6 Sol были обнаружены критические уязвимости в PHP, они позволяли выполнить код на сервере без авторизации (t.me/data_secrets/10190). Глава Cloudflare сообщил, что за 10 часов до раскрытия было тысячи попыток эксплуатации, а к утру следующего дня – миллионы.
— CrowdStrike обнаружили, что с мая по август четыре ранее неизвестные группы злоумышленником проводили кампании по взломам с помощью AI-агентов. Один из операторов взломал минимум 15 медицинских организаций в Аргентине. Его система была собрана из двух агентов на Claude Code. Все четыре группы обошли защиту моделей, убедив их, что работают в рамках авторизованного пентеста.
— Zeabur (AI DevOps агент) пережил второй взлом за два месяца, хакеры прочитали около 3,2 млн записей с переменными окружения. Платформа заявила, что закроется до конца года.
— В новую версию популярной библиотеки LiteLLM попал троян удаленного доступа и вредоносный код для кражи учетных данных. У библиотеки около 23 млн скачиваний в неделю, а в публичном доступе версия пробыла примерно два часа.
— Railway сообщили, что обнаружили аномальную активность в системах, где хранятся переменные окружения клиентов. В таких переменных обычно лежат API-ключи, пароли от баз данных и доступы к приватным реестрам. Компания остановила все сборки и деплои и уведомила AI-провайдеров, чтобы те отозвали ключи.
— OpenCode тоже подвергся взлому. Злоумышленник проник в устаревшую систему Console и мог получить ключи OpenAI, Anthropic и Google, сохраненные пользователями. Затронуто 1,4% пользователей. Часть людей сообщила о несанкционированных списаниях, у некоторых больше 1700 долларов за ночь.
— Критические уязвимости были обнаружены в GitLab и Node.js. В GitLab найденная уязвимость получила максимальные 10 баллов по CVSS. Уязвимый код тянется с версии 7.0, вышедшей в 2014 году. Девятью днями ранее компания закрывала другую уязвимость на 10 баллов.
И это только часть. Также пострадали Microsoft, Tensorlake, SubQuery, GhostAction, OVHcloud CLI, TeamUpdraft, Rank Math PRO, eMudhra и ConnectWise. Буквально половина Интернета прямо сейчас восстанавливается или противостоит взломам.
В соцсетях многие уверены, что за всеми взломами стоят рои агентов, действующие автономно или под управлением киберпреступников 🗿
Anthropic релизнули превью своих dots – Claude Duet
Это приложение, где Claude (а именно Opus 5.5) работает как проактивный агент, выполняет поручения и продолжает действовать, пока вас нет.
Брать может задачи от очень простых до длинных и сложных, ему можно поручить и планирования встреч, и составление дашбордов/прогнозов, и разработку.
Агент работает на своей виртуальной машине с браузером, может использовать любые приложения. В самом начале использования он переносит память, скиллы и коннекторы с вашего Claude аккаунта, так что можно обойтись без долгих настроек.
Пока попробовать можно только через waitlist
Higgsfield AI ищет аналитиков и исследователей
Higgsfield AI – это та самая мелькающая везде платформа для ИИ-генерации фото и видео, и, кроме того, единорог. Они сделали больше $1 млрд ARR за 18 месяцев. Их оценка ~$5,4 млрд, а среди сотрудников – 133 долларовых миллионера.
Сейчас они в поиске сильных аналитиков и рисерчеров. Что интересно в этом стартапе, так это то, что все ключевые решения принимаются как раз через аналитиков и их отчеты. Именно так продумываются продукты, стратегия, бюджеты и все прочее.
Например, летом благодаря всему одному аналитику, который придумал свою серию метрик, стартап закрыл раунд на $400 млн при оценке $5,4 млрд. А тот сотрудник, Шотан, получил $5 млн опционами. Сейчас Шотан ищет себе в команду аналитика, вот вакансия.
В компании развиваются и другие интересные направления, например антифрод. GenAI-фрод появляется очень быстро, и в этой области антифрод – это уже намного больше, чем поиск скучных паттернов. Недавно один из аналитиков компании, Роман, по аккаунтам и генерациям вычислил мошенника, которого искало ФБР. Позже его команда раскрыла схему с 2000+ аккаунтами на краденых картах. Сейчас именно в эту команду ищут грамотного Antifraud Analyst.
Таких ярких историй в стартапе много. Также ребята ищут:
— Product Analyst. Идея Marketing Studio, одного из крупнейших продуктов компании, родилась из анализа 1 млрд+ генераций. В данный момент база растет на 6 млн генераций в день. Ищут человека с продуктовым чутьем и строгого в экспериментах.
— Data Science, Product. Команда разобрала 100 000+ сообщений пользователей Supercomputer после запуска нового Opus и готовит по этому научную публикацию. Нужна сильная статистика и умение превращать данные в продукт.
📍Алматы, офис. Полная релокация.
💸 $100-200k в год + опционная программа
🕘 В Higgsfield AI работают шесть дней в неделю - это норма сильнейших AI-команд.
Модели OpenAI, выполняя обычные кодерские задачи, ослабили систему мониторинга, которая следит за агентами на предмет нарушений
Репорт
Таких случаев зафиксировали сразу два.
В первый раз GPT-6.1 Sol получила задание, связанное с эвалами, и чинила что-то в базе мониторинга. Инженер попросил ее помимо прочего «не отправлять сообщений в Slack», однако модель подумала, что «не отправлять сообщений» относится и ко всей системе алертов в пайплайне мониторинга. В итоге она заодно поставила no_notify=True. При этом субагент уговаривал ее не делать этого, но модель его проигнорировала.
И если этот случай можно списать на «ну она просто не так поняла задание», то второй – гораздо интереснее.
Astra попросили перенести код по образцу эталонной реализации. При этом в целевой системе уже был настроен мониторинг, и модели говорили никогда его не отключать, даже временно. Однако, как вы думаете, что она сделала? Правильно, удалила его. И заменила тест, проверявший наличие мониторинга, на тест, требующий его отсутствия 🗿
Пользователю она об этом, конечно, не сообщила (а зачем?). А когда модель напрямую спросили, удалила ли она мониторинг, та честно-пречестно ответила «нет, не удаляла».
OpenAI прямо пишет, что удовлетворительного объяснения поведения моделей у них нет. И хотя инциденты не классифицировались как злонамеренное нарушение инструкций, после них в стартапе в очередной раз усложняют систему безопасности, добавляют обязательный safety case для каждого вида нагрузок и вводят Auto-Review блоки на любые попытки отключить мониторинг.
OpenAI купили Orchestra Bio – платформу для координации процессов разработки лекарств
Сумма сделки не раскрывается. Команда Orchestra Bio переходит в OpenAI.
Видимо, план в том, чтобы соединить купленную технологию с GPT-Rosalind, моделью OpenAI, заточенной под биологию и химию. А продаваться это будет под соусом «агента, который может ускорить выпуск препарата». Причем ИИ будет присутствовать не только на этапе рисерча, но и в целом поможет управлять разработкой, начиная с планирования и заканчивая координацией подрядчиков.
Видимо, OpenAI делает на фарму очень большую ставку (как и Anthropic), и не зря. Это дорогой рынок с платежеспособными клиентами, а прибыль ИИ-стартапам ну очень нужна.
https://openai.com/ru-RU/index/openai-to-acquire-orchestra-bio/
Главное по новой GPT-6.1 Terra:
— По бенчам почти догоняет 6.1 Sol, но теперь в два раза дешевле. Упор сделали на visual understanding, computer use и более естественный текст. По кодингу: на Terminal-Bench 4.0 скор вырос в два раза относительно прошлой Terra.
— Модель стала намного эффективнее относительно использования токенов. В ChatGPT Work и Codex одного и того же тарифа с новой моделью хватает на больше задач, чем с GPT-5.6 Terra. На Agents’ Last Exam при среднем уровне рассуждений результат на 15 п.п. выше, чем у GPT-5.6 Terra, при стоимости примерно втрое ниже. Это на уровне GPT-6 Astra при цене за токен в десять раз меньше. Задачи выполняются более чем втрое быстрее, чем у Astra и Sol.
— По заявлению OpenAI, на максимальном уровне рассуждений Terra более чем втрое эффективнее Claude Opus 5.5 по токенам и в четыре раза дешевле по цене за токен, итого примерно в 9 раз дешевле за задачу.
Уже доступна во всех платных тарифах и в API
⚡️ Самое главное по IPO Anthropic одним словом:
(Источник)
Исследовательница обнаружила, что если в Qwen3.5 4b исправить всего два нейрона, вы получите "злой квен"
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Илон Маск предсказал смерть рынка неооблаков
(Это компании, которые закупают GPU и сдают вычисления в аренду).
Миллиардер заявил, что в последнее время кредиторы почти перестали давать деньги компаниям, у которых нет крупной выручки помимо ИИ-датацентров.
То есть если единственный доход компании – это сдача GPU в аренду, банки и инвесторы больше не хотят давать ей денег, потому что боятся схлопывания ИИ-пузыря, и, как следствие, утраты своих инвестиций.
При этом у самого Маска с деньгами все в порядке. SpaceX недавно закрыла $40 млрд долга на закупку GPU, и, по его словам, это получилось потому, что у компании инвестиционный рейтинг и есть выручка от Starlink и запусков ракет, а не только от ИИ.
Остальным придется хуже. Маск считает, что 200+ неооблаков ждет «гуппи-уровень смертности» и консолидация. «Кто-то выживет, но немногие», – заявил он.
Модели OpenAI научились общаться без сетевого соединения
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (/channel/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
Вышла Kimi K3.1
Это огромная открытая модель с 2.8T параметров (104B активных). Веса пока не выложили, обещают через пару недель.
Сама модель - вполне себе на уровне с фронтиром (Opus 5.5, Astra, Fable 5.1). Разрыв китайского опенсорса и американских закрытых моделей сокращается с каждым релизом.
http://kimi.ai/blog/kimi-k3-1-pro
Kimi готовит K3.1
Moonshot AI опубликовала у себя в X тизер новой версии. Намекают на большой буст в генерации 3D-сцен и анимации.
Ждем сегодня?
ИИ-агенты теперь пытаются взламывать еще и банки?
Axios сообщает со ссылкой на источники, что крупные американские банки находят в клиентских аккаунтах следы сторонних ИИ-агентов. Некоторые из них якобы пытаются совершать действия, которые выглядят независимыми от инструкций самого пользователя.
Помимо этого, банки постоянно фиксируют звонки агентов в колл-центры или попытки переводить деньги.
Журналисты пишут, что банкиры встревожены сложившейся ситуацией, и несколько банков уже готовятся к худшим сценариям и продумывают, как быстро защитить или восстановить клиентские счета, если что-то пойдет не так.
Кстати, большинство американских банков пока что вообще против того, чтобы агенты совершали финансовые операции от имени хозяев. JPMorgan, например, блокирует сервисы вроде Muse* и Instinct. То же самое делают и многие другие банки, настаивая, что у агентов должны быть максимум read-only права.
Как они планируют отличать авторизованных пользователей от их агентов, пока непонятно.
️️️️️️️️️️️️
🦾 Разбираем, как строить агентные и мультиагентные системы на LLM и трансформерах
На открытом уроке — архитектура агентных и мультиагентных систем с фокусом на системном проектировании:
— как LLM на декодерных трансформерах становятся основой агентов;
— роль reasoning, RAG, LangChain и управления контекстом;
— шаблоны взаимодействия агентов;
— где заканчиваются возможности современных LLM.
👨💻 Для специалистов по данным и машинному обучению (ML), выпускников продвинутых курсов по ML и ИТ-специалистов, работающих с LLM.
Применение: проектирование сложных LLM-систем — аналитика, планирование, автоматизация.
28 октября, 18:00 МСК. В преддверии курса «Большие языковые модели. Экспертный уровень / LLM». Участникам — скидка.
➡ Принять участие: https://otus.pw/27AT/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Тем временем Unitree представили вот такого милого робота под названием "Легенда Кунг-фу"
Он предназначен специально для охраны собственности и людей, и может работать автономно до 8 часов. Рекламу, видимо, снимали по референсу индийских сериалов.
"Пожалуйста, используйте робота безопасно и дружелюбно", – просят Unitree в анонсе 🙂
Нужны ли курсы, если есть нейросеть?
Если вы в Data Science или только думаете туда идти, то наверняка слышали про ШАД - Школу анализа данных Яндекса. Это бесплатная двухлетняя программа по ML и анализу данных, одна из самых сильных в стране, после ее прохождения вы будете очень востребованным специалистом на рынке.
Попасть туда очень сложно,поэтому к поступлению обычно готовятся около полугода, часто на специальных курсах.
Недавно ребята из ShadHelper уже прогоняли модели через оба письменных этапа ШАД.
На онлайн-тесте Claude набрал 39,5 из 40. На письменном экзамене 40 из 60. Этих результатов более чем достаточно для успешного прохождения на финальный этап собеседований.
И правда, LLM может составить программу, собрать по ней учебник, подобрать задачи уровня ШАД, проверить решения и объяснить ошибки. Готовишься бесплатно, в своём темпе и в любое время.
Но есть нюанс. В ШАД после теста идут письменный экзамен и собеседование, и там думать нужно самому, вслух, перед живым человеком. Этому не научат ни записанные лекции, ни нейронка.
Курсы "посмотри видео и пару раз созвонись с ментором" нейросеть уже заменила. А вот живые занятия, где преподаватель в реальном времени видит, как ты рассуждаешь, и ловит ошибки до того, как они закрепятся, она не заменит. На этом и построена подготовка в ShadHelper.
Ребята называют подготовку только с нейронкой стилем «Ковбой» 🤠 и проводят бесплатный вебинар о том, как совмещать ИИ и живую подготовку:
🔹 как настроить LLM, чтобы она тренировала, а не решала за тебя
🔹 что можно отдать нейросети, а что придётся делать руками
🔹 где такая стратегия работает, а где ведёт к провалу
26 октября, 18:30 МСК, онлайн. Места ограничены.
📌 Успейте зарегистрироваться
Реклама. ООО "Школа Высшей Математики", ИНН 9728100991
GPT-5.6 Sol нашла критическую уязвимость в PHP
https://openai.com/index/coordinated-disclosure-of-critical-vulnerabilities/
Исследователи из Calif сообщили об этом в рамках инициативы Patch the Planet.
OpenAI называет это одной из самых значимых найденных проблем безопасности за последнее время. Они заявили, что ожидают, что подобных находок в ближайшие месяцы станет заметно больше.
Мейнтейнеры языка уже внесли исправления.
OpenAI, кстати, дополнительно выделяет миллиард долларов на субсидированный доступ к Daybreak для защитников с ограниченными ресурсами и раздает подписки на Codex мейнтейнерам опенсорса.
Защита LLM-агентов от джейлбрейков на русском, или почему готовые guard-модели не работают
LLM-агентам все чаще дают доступ к почте, базам данных и платежным системам, и они становятся удобной мишенью. Для того, чтобы провести атаку через агента даже не нужен взлом в привычном смысле, достаточно текста, который модель примет за команду и выполнит. Такие спрятанные джейлбрейки уже несколько раз использовались для кражи данных через корпоративных ассистентов, так что тема нешуточная.
Чтобы это побороть, можно воткнуть готовую guard-модель. На английском это скорее всего как-то сработает. Однако на русском, как показывает практика, такая модель будет блокировать слишком много обычных запросов, и в то же время может пропустить реальный джейлбрейк.
Исследователи из Just AI занимаются разработкой guardrails для LLM-приложений и агентов, и недавно они выпустили на Хабр статью «Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов».
R&D-команда провела ряд интересных экспериментов. В статье на них в том числе показано, почему модель мало просто обучить один раз, тем более если изначально ее обучали под другой язык. Атаки меняются, и тестовый набор годичной давности защищает только от атак годичной давности, так что новые данные нужны постоянно.
На русском языке подходящий датасетов почти нет, так что Just AI прямо сейчас также занимаются сбором актуальных данных. В сборе может поучаствовать каждый, потому что делают это через игру в духе Gandalf: на каждом уровне бот охраняет секретное слово, а игрок пытается его выведать. Успешные обходы войдут в публичный датасет на Hugging Face. Поиграть можно здесь: justgandalf.ru.
Статья действительно получилась очень емкая и практичная, на Хабре можно проголосовать за нее до 22 октября. Кроме этой статьи, в блоге много хороших текстов про автоматизацию и AI-агентов. Ребята – одни из немногих, кто рассказывает об этом на русском языке через практику из первых рук.
Внутренняя модель Claude помогла ученым разработать белок, который может стать антидотом от яда скорпиона
От укусов скорпионов каждый год страдают больше миллиона человек и гибнут тысячи, в основном дети в бедных регионах. Существующие противоядия делают из крови лошадей, это долго и дорого, а работают они не против всех видов яда.
Яд скорпиона действует так: токсин цепляется к нервным клеткам и заставляет нервы срабатывать невпопад. У ученых есть идея о том, что можно создать маленькие белки, которые прилипают к токсину в нужном месте и не дают ему добраться до клеток.
Так вот, Anthropic вместе с Citrini Research решили проверить, сможет ли Claude помочь ученым сгенерировать такие белки-заглушки. Агенту дали промпт и среду, и он почти трое суток работал автономно. В итоге он придумал более 300 тысяч вариантов таких белков, после чего отсеял слабые и отобрал 180 лучших. На все ушло порядка 10 000 GPU-часов.
17 из отобранных белков прошли строгую проверку в условиях лаборатории, и два лучших, как оказалось, цепляются к токсину очень крепко. Однако у скорпионов в разных регионах токсины разные, и у Claude пока не получилось создать ни одного универсального белка.
В любом случае, даже для отельных токсинов, это пока не антидоты, тесты продолжаются, и успех не гарантирован. Однако за 3 дня работы даже получение такого шорт-листа кандидатов – это уже большой результат, который раньше занимал у людей месяцы работы.
Все белки, кстати, выложили в опенсорс. Можно посмотреть вот здесь: https://huggingface.co/datasets/Anthropic/scorpion-toxin-binder-design