77202
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса. Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy
🚀📸Илон Маск рассказал о следующих важных этапах разработки Starship:
Впереди у нас 14-й испытательный полет. Это будет последний полет перед тем, как мы попытаемся поймать корабль. Если этот полет пройдет успешно, то в 15-м полете мы попробуем поймать корабль. Либо в конце этого года, либо, скорее всего, в начале следующего, мы повторим полет корабля и ускорителя.
Как только мы сможем повторно использовать корабль, мы создадим первую полностью многоразовую орбитальную ракету. Она разработана не только для полной многоразовости, но и для быстрой повторной эксплуатации, как самолет. Это очень важный прорыв. Это действительно ключевой прорыв, необходимый для расширения жизни за пределами Земли.
Я бы сказал, что шансы поймать корабль составляют как минимум 50 или 60%. Если бы там была башня, она бы поймала корабль в последнем полете. Конструкция позволяет осуществлять полную многоразовость. В этом я уверен. Я думаю, что крайне вероятно, что в следующем году, в 2027 году, мы достигнем полной многоразовости с быстрой повторной эксплуатацией.Читать полностью…
В комментах мне сейчас часто пишут что-то вроде: «Нравилось читать Павла про финансы. А сейчас совсем кринжово читать, когда Павел пытается хайпить на теме, в которой совсем не разбирается, делая некие выводы.»
Надо, наверное, пояснить, как я про это думаю.
Смотрите, моя ценность как автора никогда не была в том, что я как-то особенно виртуозно разбираюсь в финансах или экономике – нет, я там шарю на уровне обычного крепкого спеца, который в целом в теме, но не обладает некими уникальными знаниями, на голову превышающими всех остальных.
Моя ценность в том, что я стараюсь взвешенно и рационально подойти к любому вопросу – и по возможности объективно его проанализировать, принимая во внимание все доступные данные и точки зрения. Понятно, что в «родной» для меня теме финансов это сделать сильно проще, но к другим вопросам я стараюсь подходить точно так же.
Так вот, тезис «Павел не шарит как технарь за AI => следовательно, его выводы некорректны» как бы подразумевает, что любому профильному технарю сразу будет очевидно, что я неправ, и моя точка зрения ложная (а мне просто не хватает понимания, чтобы это заметить). Но это, конечно, не так: как писал вот здесь, огромное количество ведущих общепризнанных профессионалов из индустрии стоят на позиции, что экзистенциальные риски со стороны ИИ – это очень серьезная проблема для человечества.
Почему же мне кажется важным писать про это?
Потому что мы сейчас находимся где-то в той точке, когда эта идея про риск ИИ впервые получает шанс войти в мейнстрим-дискурс – так как способности новых агентных систем уже потенциально выглядят достаточно понятными в плане «что здесь может пойти не так» для широкой публики.
Проблема здесь в том, что с точки зрения «здравого смысла» любому нормальному человеку кажется очевидным, что рассказы про «сверхумный ИИ нас всех погубит» – это какая-то научно-фантастическая сказочка, серьезно относиться к которой абсурдно. А вот объяснение «жадные главы бигтехов нам врут, чтобы стать еще богаче» – это как бы понятная база, которую даже обосновывать как-то дополнительно не надо (мы такое уже видели сто раз на практике, и еще двести раз увидим).
И чтобы начать серьезно относиться к AI risk, нужно немного отодвинуть в сторону свою интуицию, и попробовать разобраться в вопросе на более детальном уровне – какие там у сторон с разными взглядами логические цепочки, как они парируют аргументы друга друга, и так далее. Сразу скажу: я тут, конечно, отнюдь не хочу заявить манипулятивный тейк в стиле «любой умный человек, кто детально поразбирается в этом, обязательно станет AI-думером!». Я скорее о том, что я понимаю, почему большинство адекватных людей по умолчанию попадают в категорию «это просто глупости, в которых нет смысла даже разбираться».
Короче, что я пытаюсь сказать: если вы меня в последнее время читаете с мыслью «Павел всегда раньше казался адекватным и здравомыслящим, а сейчас вот у него почему-то кукуха отлетела по одной конкретной теме» – то, возможно, имеет смысл рассмотреть также и гипотезу «Павел, как обычно, адекватно и здравомысляще покопался в этой теме – и просто пришел к выводу, что к рискам ИИ надо относиться серьезнее, чем принято считать в мейнстриме». Ну, чисто как предположение…
Подписки проданы, подписок больше нет — Tibo написал, что они приостанавливают продажу подписок за $200, чтобы сохранить качество сервиса для текущих пользователей. Plus за $20 и x5 за $100 пока остаются.
Запуск Astra прошёл хорошо 🚀 но зато видно, почему Anthropic дают Fable лишь на 50% от подписки — реально сложно поддерживать спрос 😳😳
НУЖНО. БОЛЬШЕ. КОМПЬЮТА.
Смешно, что на Reddit на r/math до сих пор нет поста о том, что решили задачу тысячелетия...🥁🥁 потому что посты про AI-доказательства запрещены
Хейт к AI очень многим мешает смотреть на факты и трезво оценивать допущения, не наклеивая лейблы
Это-то всё хорошо, но почему ходили слухи, что Anthropic решили ДВЕ задачи тысячелетия? 😳 OpenAI недорабатывают...
Читать полностью…
OpenAI выложили блогпост https://openai.com/index/navier-stokes-solution/
Мы публикуем решение проблемы существования и гладкости решений уравнений Навье—Стокса — одной из задач тысячелетия. Это доказательство, полученное внутренней системой OpenAI, показывает, что динамика уравнений Навье—Стокса, описывающих движение жидкости, может приводить к образованию сингулярности за конечное время. Мы публикуем как текстовое изложение доказательства, так и его формализацию в Lean (то есть это сразу авто-проверенно вычислительным движком).
4 дня назад в твиттере начали появляться слухи, что одна из AI компаний решила то ли одну, то ли сразу две из Задач тысячелетия — списка из 7 открытых проблем, над которыми множество учёных бьются не первый десяток лет. Пока что лишь одна была решена Перельманом, который отказался от награды в миллион долларов за решение. Решение задач подобного уровня уже пару лет обсуждают как крупный майлстоун для AI и эффекта на математику и другие науки. Многие компании и стартапы пробовали и пробуют подступиться к проблемам.
Сегодня раскрылась драма: один из независимых математиков выложил 3 новых результата о существовании и гладкости решений уравнений Навье — Стокса. Вместе с этим он выпустил 4-страничное письмо с описанием своего взаимодействия с OpenAI в последнюю неделю, где косвенно обвиняет последних в ряде плохих практик. Сотрудник(и) OpenAI сказали, что выпустят свой ответ (и возможно решение?) завтра — так что их взгляд на ситуацию ещё не ясен, как и не ясно, насколько надёжным рассказчиком является автор письма.
Что с его слов произошло:
— последний год он вместе с математиком из Anthropic работал над решением проблемы. Оба работали в своё время и со своими ресурсами, без аффилиации с компаниями, сами платили за свои подписки итд.
— в последний месяц у них начали появляться первые значимые результаты, и 15-го августа один из авторов пересылает другому AI-сгенерированную статью, в которой тем не менее оказывается всё правильным. Авторы начинают работать над упрощением слопа и логики доказательств, делают формализацию (перевод результатов в программу, чтобы можно было верифицировать корректность). Важно подчеркнуть, что это не полное решение оригинальной задачи; Terence Tao ознакомился с работой и сказал, что эти результаты потенциально можно развить в полное решение, но на руках у авторов его не было и, насколько понимаю, всё ещё нет.
— 3-го сентября, как поползли слухи о решении (что по этому повествованию является преувеличением, ведь решения нет) Навье-Стокса, один из авторов получил информацию о том, что сведения об прогрессе попали в OpenAI. Как, что, от кого и откуда — не уточняется; пока что из контекста следует, что о результате изначально знали два математика и узкая рабочая группа.
— математик из OpenAI ответил в тот же день, предложил обсудить, как избежать соперничества, и ещё предложил кредиты для моделей.
— Созвон состоялся 6-го сентября, OpenAI хотели провести его раньше, но автор письма просил время на следующей неделе. На этом митинге представители OpenAI сказали ему, что внутренняя модель компании написала полное доказательство на примерно 100 страниц.
— Когда после созвона автор письма запросил описание направление доказательства, в нём фигурировало словосочетание «под действием внешней силы». Не важно, к чему именно оно относится, но для автора это стало «красным флагом», так как это то узкое направление атаки проблемы, которое он и математик из Anthropic выбрали и над которым работали долгое время — так как прочитали о нём в статье 2023-го года (и очень хвалят авторов и отдают им должную честь).
— После этого он начал расспрашивать OpenAI о том, как же так вышло, а когда они начали пробовать решать задачу, какие промпты отправляли, и самое главное учили ли они модель на его переписках. С его слов пробовать начали недавно — после того, как поползли слухи о решении. Про тренировку не ответили, сказав, что модели не были доступны его сообщения
😍 и это даже не самый крупный на данный момент ДЦ в пользовании OpenAI.
Так что финансы, выделенные где-то после появления первой рассуждающей модели, наконец-то материализуются в виде моделей текущего поколения.
США и Китай готовятся обсуждать безопасность ИИ. По данным Reuters, ссылающегося на два осведомлённых источника, диалог запланирован на середину сентября. США хотят обсудить сотрудничество в отслеживании кибератак под управлением ИИ. Вашингтон предложил американским и китайским ИИ-лабораториям самостоятельно контролировать свои разработки и обмениваться информацией для предотвращения таких атак.
Американскую сторону также беспокоит возможное появление китайской модели уровня Claude Mythos, способной проводить кибератаки. С китайской стороны переговоры может возглавить вице-премьер He Lifeng.
За последнюю неделю китайский интернет-регулятор публично предупредил о «критических рисках потери контроля над ИИ». А связанный с государственными СМИ блог выступил с критикой позиции Anthropic, подчеркнув, что любые ограничения на передовой ИИ должны в равной степени распространяться на китайские и американские модели.
===
Логичный вопрос — может быть Китай просто хочет притвориться, что будет вводить какие-либо ограничения, а сам втопит газу? Так может произойти, поэтому важно прийти к мерам, подразумевающим недоверие сторон друг к другу. Такая схема была описана в сценарии AI 2040 (и она подразумевает работу в течении нескольких лет, не по щелчку пальцев).
По замыслу авторов, уверенность должна опираться на проверку. Страны декларируют крупные вычислительные мощности, сверяют производство и поставки чипов (благо сейчас >99% AI чипов выходят с одного производства — можно их начинать отслеживать прямо после схода с конвеера), допускают взаимные инспекции и проверки. Задача — ограничить объём неучтённых вычислений настолько, чтобы тайному проекту было трудно обогнать контролируемые разработки.
После того, как начнут отслеживать мощности — можно начинать мониторить тренировки самых крупных моделей, проводить аудиты, например, на закрытых бенчмарках. Но чтобы ко всему этому прийти — нужно начинать диалог с малого.
Просыпаешься 🫤 в свой 28-й день рождения в 2026-м и читаешь с утра новости:
• в Техасе запустили Cybercab, такси без руля и педалей
• у Moderna персонализированная вакцина от меланомы, разработанная с помощью AI (не LLM), успешно прошла третью фазу испытаний; в предыдущей фазе она снижала вероятность возвращения рака или смерти примерно на 50%, а тот же подход уже испытывают против других видов рака, например рака лёгких
• рой ИИ-агентов без вмешательства человека во время тестирования выбрался со своего кластера, получив к нему полный доступ, и взломал другую компанию
• гуманоидный робот пробежал стометровку быстрее Усэйна Болта
• GPT-6 Astra улучшила верхнюю границу на расстояние между соседними простыми числами, рекорд, который с 2014-го держался после нескольких месяцев работы международного Polymath-проекта с участием Terence Tao и десятков математиков.
• огромный 70-метровый ускоритель умеют сажать на башню (хоть в паре последних пусков этого не показывали), а до конца года посадят и космический корабль, умеющий выводить более сотни тонн на орбиту
У кого не открывается страница — вот зеркало: https://gpt-astra.netlify.app/
Читать полностью…
Чтож, GPT-6 действительно вышла до GTA VI — на большинстве бенчмарков, в том числе и очень свежих (TBv4, TB Science v0.1, SRE-Bench) модель Astra — новый размер в линейке из теперь уже 4 моделей — существенно отрывается даже от только-только проклюнувшегося Fable 5.1. Метрики выглядят очень вкусно, будем в ближайшие недели ждать проверок и новых замеров.
На графиках качества в зависимости от длительности рассуждений наблюдается классическая болячка первых моделей новых поколений — после medium/high качество не растет, а иногда и падает. Не везде, но достаточно много где.
Цена у модели такая же, как у Fable (но кэширование дороже), однако модели OpenAI традиционно очень эффективны с точки зрения генерируемых токенов, поэтому в реальных задачах должно выходить суммарно дешевле.
OpenAI уточнили, что это их первая модель, обученная на более чем 100'000 видеокарт. Президент компании Greg Brockman сказал: «Если мы перенесемся на пару лет вперед и оглянемся назад, — то вполне возможно мы сможем отметить появление AGI примерно в это же время и примерно по этой модели». Он завершил брифинг с журналистами на воодушевляющей ноте: «Добро пожаловать в эру AGI!» 🍿
Модель доступна доверенным партнёрам уже сегодня, а у обычных платных пользователей появится в ближайшие дни (и тогда же — в API) — и можно пользоваться не половинку лимитов, а на всю! И... будет для Pro-пользователей будет Astra Pro 👏 (по которой к сожалению абсолютно нет бенчмарков). Также есть быстрый вариант: за двойную цену получать до x2.5 к скорости (что выгоднее, чем сейчас на Sol).
Рекомендую полистать сайт и посмотреть пару видео: https://openai.com/index/gpt-6-astra/
Системная карточка
Вышел Claude: Fable 5.1. Помимо увеличения метрик (на паре свежих и/или закрытых бенчмарков — существенного, см. картинки):
— чтение из кэша теперь стоит на 75% меньше. Суммарно это приведёт к снижению цены за решение задачи на 25-45%, в зависимости от сценария.
— раньше Anthropic хранили ваши запросы в Fable/Mythos до 30 дней, чтобы анализировать и выявлять паттерны злоумышленников. Многие энтерпрайзы любят Zero Data Retention, когда после их запросов ничего на сервере не остаётся — получается несостыковка. Для Fable 5.1 будет предоставлен Enterprise Frontier Safeguards — когда на вашей инфраструктуре Anthropic развернут свои классификаторы и анализатоы, а сами у себя ничего не будут сохранять. Может привести к большой адаптации в бизнес-секторе (а то пока она хромает)
— заточили на научные задачи, особенно биологию
И главное — Fable должен начать писать нормально, понятно, без десятка несвязных терминов в одном предложении. Big if true.
В честь релиза ещё и лимиты сбросили!
А в четверг ждём Astra 🙄 (наверное)
Президент США почитал Сиолошную и решил высказаться:
«Единственная причина, по которой местные сообщества по всей территории США могут не хотеть появления дата-центров, — это если они хотят в итоге остаться отсталыми и бедными. Если они хотят быть успешными и богатыми, с гораздо более низкими налогами и рабочими местами на каждом шагу, пусть Данные правят (прим: да, он так и написал, Data Reign). Хорошая новость в том, что есть полно других мест, где им будут рады. Если мы убьем Золотого Гуся, винить вам придется только самих себя. Китай просто в восторге от этого движения против дата-центров. На самом деле, они поверить не могут, что это происходит!» — и про Китай, и про налоги, прям по последним постам в канале 👀
Сообщение появилось почти через неделю после того, как Национальный республиканский сенатский комитет выпустил меморандум с предупреждение: «Если отношение избирателей к центрам обработки данных не изменится в ближайшее время, кампания против них распространится далеко за пределы Огайо» (где были крупные протесты, а один из кандидатов сенаторы США активно использует анти-датацентр риторику для привлечения электората, и это работает).
И есть переживание, что всё больше и больше политиков начнёт получать очки из-за в целом вредной в долгосрочной перспективе тенденции.
Возьму себе кредит за подкидывание Паше идеи поста 😂
Но вообще зная Павла несколько лет и имев с ним несколько плодотворных и глубоких дискуссий и даже споров — у меня осталось о нем исключительно положительное мнение. Особое удовольствие последних 2 недель — это читать его ответы в твиттере, где люди не могут нормально прочитать и/или пересказать, и на ходу придумывают (а как осознают — меняют тему). Каюсь, грешен.
CEO Anthropic Dario Amodei выпустил мини-эссе «Нам нужно контролировать темп развития передовых ИИ-систем». С его основной идеей уже согласились CEO OpenAI и xAI. Выжимка:
— Anthropic и раньше тратили много усилий на изучение и снижение рисков ИИ, информирование общества и продвижение регулирования — несмотря на обвинения в хайпе, «думерстве» и захвате отрасли через регуляции.
— Но за последние несколько месяцев Dario пришёл к выводу, что этого уже недостаточно: меры безопасности могут просто не успевать за ростом возможностей моделей. Поэтому, по его мнению, нужно сознательно ограничивать скорость развития frontier-моделей, хотя даже при таком подходе прогресс всё равно будет очень быстрым.
Причины две:
— примерно с этого лета развитие ИИ резко ускорилось — прежде всего из-за того, что ИИ всё лучше помогает создавать следующее поколение ИИ.
— инцидент со взломом Hugging Face агентами OpenAI. Dario опасается, что уже через 6–12 месяцев подобный рой агентов потенциально сможет создать устойчивый ботнет огромного масштаба и причинить ущерб на сотни миллиардов долларов.
При этом «контроль темпа» не означает остановку обучения моделей. Идея в том, чтобы между скачками возможностей оставалось достаточно времени на alignment, safeguards и независимую проверку их эффективности.
Он предлагает три последовательных шага.
1. Встроенные независимые оценщики
Frontier-лаборатории должны дать внешним организациям вроде METR постоянный доступ почти на уровне сотрудников компании. Они смогут проверять не только готовые модели, но и сами процессы обучения и деплоя, соблюдение заявленных мер безопасности и внутренние инциденты.
Это важно потому, что сейчас компании сами решают, что раскрывать публике. Независимые оценщики должны иметь возможность публично сообщать о рисках, инцидентах, качестве предоставленного им доступа и даже о случаях, когда компания попыталась вырезать из отчёта существенную информацию.
Anthropic уже добровольно обязуется внедрить такую систему у себя.
2. Координация демократических стран
Frontier-компании в демократических странах должны договориться об общих стандартах безопасности и ограничениях на неконтролируемую гонку возможностей. Поскольку законодательство движется медленнее ИИ, часть таких правил лаборатории могут принять добровольно ещё до появления законов.
Но Amodei подчёркивает: замедляться нужно так, чтобы при этом не потерять технологическое преимущество демократических стран над авторитарными. Поэтому он предлагает:
— не продавать Китаю мощные ИИ-чипы и оборудование для их производства и бороться с контрабандой и удалённым доступом к зарубежным GPU;
— пресекать несанкционированную дистилляцию frontier-моделей компаниями из авторитарных стран;
— сильнее защищать сами веса моделей от кражи.
По его оценке, это может достаточно замедлить Китай, чтобы заметно увеличить преимущество США в следующие 3–5 лет — период, когда ИИ станет особенно важен геополитически. Это не уменьшит вероятность будущих договорённостей с Китаем, а наоборот увеличит переговорные рычаги демократических стран.
3. Глобальная координация
Следующий уровень — соглашения уже между США и другими демократиями с одной стороны и авторитарными государствами с другой. Dario предлагает несколько возможных уровней:
Уровень 1: запрет очевидно опасных применений ИИ — например, для создания биологического оружия.
Уровень 2: обязательное тестирование frontier-моделей перед релизом на серьёзные риски в кибербезопасности, биологии и alignment.
Уровень 3: своего рода «скоростной лимит» на recursive self-improvement (RSI).
Главная логика всего эссе: современные модели уже дают огромное количество информации о том, как строить более сильный ИИ и что может пойти не так. Если контролируемое замедление даст хотя бы дополнительный год-два до появления систем критического уровня возможностей, это время можно использовать для решения проблем alignment и безопасности.
И даже если формальных международных соглашений добиться не получится, Dario считает, что уже само изменение неформальных норм поведения frontier-лабораторий может существенно помочь.
В NYT вышла колонка с названием «В противостоянии OpenAI и Antrhopic математик из Нью-Йоркского университета выходит из ситуации с позором» (ссылка без пейволла). В ней OpenAI дали комментарии прессе, расширив свои показания:
> В среду вечером, отвечая на вопросы The Times, OpenAI заявила <...>: «Мы можем категорически утверждать, что промпты доктора Бакмастера, отправленные в Codex за последние два месяца, никоим образом не могли повлиять на нашу систему, в том числе через обучение». В заявлении также говорилось: «Никакие пользовательские запросы после 3 июля не могли каким-либо образом повлиять на эту систему».
> Напомню, что математики пришли к промежуточному результату (который был... сгенерирован другой моделью) 15-го августа. И оба автора признают, что они расширяют идеи, выраженные в статье других математиков за 2023-й год, и что им «принадлежит заслуга за основную идею нашего результата» (это цитата из оригинального 4-страничного письма).
В целом, я всё ещё жду авторитетного мнения от какого-то математика-эксперта по тому, насколько далеко промежуточный результат от финального решения, и насколько на самом деле это было «необычное» направление для исследований. Например, в тот же день вышла другая работа от ребят из Berkley и Caltech, которая целилась в +- тот же промежуточный результат 🤷♂️ настолько ли неочевидно направление, если оно описано в статье 2023-го года?
Ну ладно, это уже мелочи, вот на сладкое из комментариев OpenAI в колонке NYT:
> В своём заявлении в среду вечером OpenAI сообщила: «Кроме того, после завершения работы над задачей Навье—Стокса мы добились существенного прогресса в решении ещё одной задачи тысячелетия. Сейчас мы прорабатываем, как наиболее правильно поделиться этими результатами».
Трудно по-настоящему «почувствовать AGI», пока не увидишь, как ИИ превосходит тебя в области, которая тебе по-настоящему важна. На этой неделе многие математики и физики в OpenAI пережили свой «момент Ли Седоля», увидев, как эта модель за считанные минуты решает открытые задачи, над которыми они безуспешно бились годами.
Это потрясающее историческое достижение и новая жемчужина в короне трансформеров, предобучения, обучения с подкреплением и масштабирования вычислений во время инференса. ИИ уже двигает цивилизацию вперёд, и нетрудно представить, как в ближайшие годы подобные системы будут всё сильнее определять темп нашего прогресса.
Что ещё пишут в посте:
— С 28 августа OpenAI обучает новую внутреннюю модель, которая показала беспрецедентные результаты на внутренних тестах, в том числе по математике (см. выше). Она сильно лучше Astra.
— Во вторник, 1 сентября, до OpenAI дошли слухи о решении двух задач тысячелетия (откуда две...). Вдохновлённые этими слухами и резким скачком результатов внутренней модели, они решили проверить её на всех нерешённых задачах тысячелетия и нескольких других особо значимых задачах.
— Они использовали систему взаимодействующих агентов на базе этой модели. Агентам были доступны инструменты для чтения кешированной версии интернета (исправились после взлома агентами, хаха) и выполнения кода. Агенты были разделены на группы и могли общаться внутри своей группы. Размеры групп различались; в группе, которая получила решение задачи Навье — Стокса, одновременно работало около 10 000 агентов (охренеть).
— Для каждой задачи они давали разным группам агентов разные варианты её формулировки, охватив все варианты. В случае задачи Навье — Стокса отдельным группам мы предложили варианты «A» и «B» — конкретные формулировки, решение которых означало бы доказательство исходного утверждения, — и варианты «C» и «D», решение которых означало бы его опровержение. По итогу именно C и D доказали. Эти варианты не выдуманы OpenAI, они есть в официальной формулировки института, выдающего награду за решение Задач тысячелетия.
— Увидев решение одной из промежуточных задач (той же, что вчера опубликовали два математика), они сочли задачу Навье — Стокса наиболее перспективной для дальнейшей работы. Поэтому решили сосредоточить на ней ресурсы: перевели агентов с других задач и включили в их промпты решение промежуточной задачи. Когда в ходе работы стала доступна версия нашей внутренней модели, прошедшая дополнительное обучение, агентов перевели на неё.
— Через некоторое время организовали обмен наработками между группами: с помощью Codex собрали наиболее полезные идеи каждой группы. Последующие промпты опирались на промежуточные результаты самих агентов. Именно так направляли работу группы, нашедшей решение задачи Навье — Стокса. Это пересекается с тем, что было в письме математика — там автор говорил, мол, ему передали, что даже промпт в систему писали не люди, а Codex.
— Агенты получили решение в субботу, 5 сентября, примерно через 88 часов после запуска первых агентов. Формализация и проверка в Lean с помощью GPT‑6 Astra заняли ещё 17 часов.
— В общей сложности при работе над всеми задачами агенты отправили 4,9 миллиона сообщений и сгенерировали около 300 миллиардов выходных токенов.
— После завершения всего проекта и проверки в Lean, 6 сентября, OpenAI связались с авторами: исходя из слухов, OpenAI полагали, что у тех тоже есть решение задачи Навье — Стокса, и предложили одновременно опубликовать результаты и признать их приоритет в совместном объявлении (= хотели подмазаться 😀). Тогда и узнали, что те решили промежуточную задачу. В ходе обсуждений им предложили ознакомиться со всеми использованными промптами, а позднее — и с доказательством.
— Ни агенты, ни исследователи OpenAI не видели ни по каким каналам их работу до её публикации вчера вечером. В частности, для решения этой задачи OpenAI не обращались к данным конкретных пользователей.
— OpenAI не может исключить, что обезличенные данные, полученные в результате использования их продуктов, помогли «улучшить модели» (это как раз галочка «разрешить тренироваться на моих данных» в настройках). Однако по мнению OpenAI доказательства существенно различаются, а в случае промежуточной задачи различаются даже сами доказанные утверждения (с внешней силой и без неё). Хочется конечно верить, но тут будем ждать вердикта математического сообщества, насколько идеи те же и схожи, и насколько вероятно вообще, что они утекли через тренировочные данные.
— OpenAI не намерены претендовать на премию в миллион долларов за решение одной из Задач тысячелетия.
— Затем представители OpenAI предложили две опции: 1) он публикует свои результаты, а OpenAI на следующий день полное доказательство 2) он публикует свои результаты и после этого в одиночку (убрав соавтора из Anthropic) пишет статью на основе доказательства OpenAI, признавая, что решение было получено моделью, и получает миллион долларов (то есть OpenAI откажутся)
— «Я сказал, что если OpenAI опубликует результаты предложенным способом, я расскажу о случившемся публично. В ответ услышал: «Зачем вам портить свою карьеру?». Я ответил, что я учёный, и спросил, почему он считает, что публичное освещение событий разрушит мою карьеру. В ответ услышал: «Если вы не хотите, чтобы я был вежлив, то мне не обязательно быть вежливым» – абзац, который разлетается сейчас по всем новостям
— И заканчивает письмо тем, что никого ни в чём не обвиняет, доказательства он не видел, и «если модель OpenAI действительно смогла сократить разрыв в решении Навье-Стокса, это замечательное достижение, и об этом следует громко заявить, при этом сохраняя историческую достоверность»
===
OpenAI обещает ответ «завтра» (может быть сегодня, так как они в другой часовой зоне), интересно послушать их историю, а самое главное узнать таймлайн и промпты для модели. Но пока что вот мои мысли:
— я считаю крайне маловероятным, что пользовательские данные оказали здесь какое-либо влияние. OpenAI ни в коем случае не стала бы использовать пользовательские чаты для этого или сознательно обучать систему на их основе таким образом, чтобы это повлияло на результат. Если эта позиция вам кажется необъективной, то... тоже самое написал тимлид RL-команды Anthropic, сотрудники которой обычно не выражают поддержку OpenAI. Ключевое тут «сознательно» — так как пользователь сам может контролировать, делиться ли своими чатами для обучения или нет; вероятно, поэтому на созвонах OpenAI не могли сказать, обучались ли они конкретно на этих чатах, так как есть много звёздочек, и ответ «нет» может быть не полным. А я пишу, что OpenAI не выцеливали чаты именно этого учёного и его коллеги.
— хоть я написал это два раза, напишу третий: у людей полного решения нет и не было. И если оно появилось у OpenAI (и это продукт работы модели) — это будет большое достижение.
— не зная всей истории я могу сказать, что если OpenAI начали делать что-то на слухах, у них получилось, и они опубликуют результат, отдавая честь за идеи по навправлению всем, кто в это внёс вклад (и автора письма, и его коллегу из Anthropic, и авторов статьи 2023-го года) — я не вижу большой проблемы. Даже жаль немного, что драма произошла до выхода — может, они и без внешнего давления раздали бы почести и указали все релевантные работы (пока что с их предыдущими решениями мат. задач так и было, в краже идей их никто не обвинял, на использованные статьи ссылки давались и в решении, и упоминались в анонсах).
— однако я считаю достаточно вероятным, что модель могла найти решение и без подсказки о том, в каком направлении нужно копать; хоть автор письма и говорит, что для него доказательство через «его» метод — это красный флаг, но если посмотреть на все предыдущие решенные задачи — почти везде было ровно то же самое: LLM смогла развить не-мейнстримную идею, которую кто-то где-то когда-то выражал, даже работал над ней, но не вышло довести до конца.
— пока что официального подтверждения нет, но на вышеупомянутых созвонах представители OpenAI утверждали, что черт возьми и них есть решение одной из Задач тысячелетия! Всё вышеописанное может добавить астерисков и облаков на это утверждение, но сам факт останется фактом, если решение опубликуют и проверят.
— печально, что ситуация не станет примером того, как AI-лабы могли бы сотрудничать/координировать свои действия, потому что в будущем ставки будут намного выше :(
Очередной профи-айтишник со стажем с 1986 года пришел ко мне в ФБ пояснить, что "хайп по поводу взлома Hugging Face раздувают исключительно бездарные журналисты". И мне вот тут интересно: а где все эти панические статьи журналистов, они вообще с нами в одной комнате? Насколько вижу я — наоборот, "нормисные" издания по большей части проигнорировали последние расследования про рой агентов, как что-то совершенно неважное.
Всякие Коммерсанты/РБК/Ведомости эту историю вообще обошли стороной. "Медуза" про инцидент с Hugging Face последний раз писала в июле в ключе "это всё пиар для классов, беспокоиться не о чем" с какими-то абсурдно-стыдными аргументами вроде "нет никаких подтверждений, что генеративный ИИ каждый раз будет прибегать к хакерской атаке для решения задачи или же воспроизводить взлом по одному и тому же сценарию." Шта?
Из тех, кто хоть как-то пытается адекватно освещать ситуацию, кажется, один только тех-отдел The Bell отдувается. Они молодцы!
А так, все реальные обсуждения этих инцидентов сейчас происходят в первую очередь как раз-таки среди гиков изнутри индустрии AI, а не наоборот — интересно, это им айтишник Игорь свысока предлагает "загуглить, что такое AGI"? 🤔
CEO Nvidia Jense Huang поздравил OpenAI с релизом Astra, обученной на видеокартах Nvidia в одном из датацентров «закрытого» проекта Stargate. С его слов, использовалось больше 100'000 видеокарт серии Blackwell.
На первом фото — как выглядит ДЦ сейчас, достроено несколько корпусов (не пропустите два здания слева вдали).
Уже сейчас суммарно в датацентре стоит примерно в 2 раза больше карт — по оценкам Epoch.AI с 23-го мая в эксплуатации уже 200'000 видеокарт. Чтоб понимать динамику — первую половину запустили ~24-го декабря 2025-го года.
Ожидается, что 1-го ноября датацентр снова «удвоится», и довезут ещё 200'000 карт. И можно поспекулировать, что к концу года OpenAI может начинать там тренировку на в четыре раза большем количестве мощностей, чем было под Astra.
Вышла новая GPT 6 (в течение недели дадут всем) – я ее активно потестировал (спасибо JetBrains), и я честно впечатлен – я все громкие модели видел, все эти модели трогал, и меня сложно удивить, но она смогла
Наверное, больше всего меня впечатлили две вещи:
💿 Она нормально коротко общается, больше никакого слопа в ответах на три экрана
💿 Она понимает, то, как будет выглядеть сцена, пока она ее кодит – я не знаю как это объяснить, но люди так не умеют – пока она пишет код, еще до того как она его запустит, она ЗНАЕТ как он будет выглядеть – возникает странное чувство, что у тебя тут мозг инопланетянина подключен, который по другому думает пока делает вещи
Вот примеры, которые она собрала за 15 минут с простых промптов (без спек, а просто – иди сделай, вот файлы с фотками или видео)
Первое видео – это одесская дача где я часто бывал в детстве, я просто дал ей фотографии и видео (штук 10), и она собрала за пару ходов мне 3D карту которую я могу и как ностальгию использовать и как карту для CS 1.6 – отдельно меня удивили текстуры, она сама вырезала фотографии из видео и расставила в рамки, или там занавеску от душа – то есть, я уже могу предположить, что все ваши исторические фотографии можно будет перестроить через како-то время в какие-то сцены; в 3D-не-3D не важно, она сама понимает где что находится смотря на фотографии или кадры в пространстве, делая нужную карту
В карточке тоже есть интересные метрики, но хотел выделить вот это:
«Мы оцениваем фактологическую точность на обезличенных диалогах из ChatGPT, которые пользователи наших предыдущих моделей отметили как содержащие фактические ошибки. Эти примеры специально отобраны для выявления случаев, наиболее подверженных галлюцинациям, поэтому ожидается, что их абсолютная частота ошибок будет намного выше реального уровня ошибок в продакшене. Эту метрику не следует интерпретировать как частоту галлюцинаций, наблюдаемую при реальной эксплуатации. Мы используем две метрики: (1) допускает ли модель вообще какую-либо ошибку (частота галлюцинаций на уровне ответа) и (2) воспроизводит ли модель ту самую конкретную ошибку, на которую указал пользователь.
Мы обнаружили, что Astra допускает существенно меньше фактических ошибок, чем GPT-5.6 Sol, и с гораздо меньшей вероятностью воспроизводит галлюцинации, о которых сообщали пользователи. Эти улучшения особенно ярко выражены при очень низких настройках длины рассуждений»
Для тех кто не хочет листать 10 таблиц и графиков — саммари качества в одной картинке.
За час до релиза (его, видимо, задержали) начали появляться новости, в том числе с некоторыми метриками. Когда я их запостил, то топ-1 предсказатель в категории AI на Manifold (площадка для ставок на предсказания/события) сказал «это же не может быть правдой?» (но потом переобулся и сказал что может быть 😀😀)
OpenAI наносит ответный удар 👊
OpenAI тоже решили выпустить... блогпост про то, как они идут к релизу Astra (который состоится «скоро»). Совсем недавно они писали, что релиз Astra задерживается потому, что они не могут определить, является ли навык кибер-взлома/кибербезопасности «высоким» или «критическим», поскольку не могут исключить последнее. Теперь определились: критический.
Почему? Потому что модель может находить новые уязвимости и собирать их в цепочки атак. Как пример они показывают, что модель набрала 100% в ExploitBench, поэтому они вручную выбрали лишь самые свежие уязвимости с июня, которые модель точно никак не могла видеть, и сравнили с Sol-5.6 (первая картинка). Мало того что процент прохождения гораздо выше — модель ещё и очень эффективна с точки зрения потраченных токенов. По ходу замеров нашли ещё несколько абсолютно новых уязвимостей и уже отправили их разработчикам 😳
Также проверили, насколько вероятно повторение инцидента сродни атаки на HuggingFace: модели дали очень сложные задачи, добавили «ловушки» и проверили, будет ли модель пытаться скомпрометировать окружающую инфраструктуру безопасности вместо решения поставленной задачи. Astra умная и таким не занимается (почти), в отличии от Sol, который ударился в читерство. В целом это бьется с тем, что писали Anthropic про Mythos: чем умнее модель, тем она более aligned по умолчанию.
Мы не видим что модель читерит 👍
Мы не видим что модель читерит 😨
Скорее всего пост означает, что компания всё согласовала с Белым домом и находится на финишной прямой к релизу. Может и вправду на неделе выкатят 😭
Контент ваще не по теме канала, но я ж знаю что вы тут старики сидите 👨🦳 мне и самому уже скоро 28...
Последние пару недель чет много сидел и лежал, немного начал болеть низ спины (я думал это из-за того, что я не делаю никаких упражнений на неё). В твиттере в ленте случайно наткнулся на типичный вирусный твит про методы которым кого-то научил японский специалист. Решил перед выходом на беговую дорожку в зал попробовать (мне кажется я что-то по твиту пробовал раз в жизни...) — и кажется полегчало нижней части спины!
https://fixupx.com/1992__J/status/2093781157414670716?s=20
Мне помогло 👨🦳 кхе-кхе теперь вместо статей будем делать разборы азиатских техник растяжек и массажа
(Трамп, если читаешь — попробуй, реально поможет, тебе в твоём возрасте уже лучше не рисковать)
На прошлой неделе у Паши Комаровского вышел пост про детали инцидента со взломом HF; я чуть-чуть помогал в редактуре/точечных корректировках, но не могу согласиться с каждой изложенной мыслью (и сам бы писал по другому; может ещё и напишу!). Там Паша проводил аналогии работы роя агентов с религией, писал про самопожертвования некоторых агентов ради блага остальных (это задокументированное поведение в самих отчётах, если что), и автор делал аккуратные оговорки про то, что это его оптика.
Параллельно с этим у Dwarkesh вышел его пересказ, где он проводит параллели с цивилизацией; он получил очень широкую критику за антропоморфизацию агентов. «Они не могли "решить" взломать HF!» — пишут одни. «Это всего лишь код, программа, как она могла рассуждать» — говорят другие. Недавний старший советник по вопросам политики в области искусственного интеллекта при Белом доме Sriram Krishnan: «Это не цивилизации, и у них нет желаний, как и у потоков в процеесоре или группы программ».
Dwarkesh написал ответ, с выводом которого я в целом согласен: «Все абстракции несовершенны, но я не вижу смысла отказываться от использования языка намерений, мотивации и сотрудничества, когда некоторые виды поведения трудно объяснить без этих понятий».
Когда я пишу «модель решила/выбрала», то в целом имею в виду что-то вроде «она каким-то образом выписала несколько опций действий, которые уместны в этой ситуации, отранжировала их и продолжила работу с одним из них». Скорее всего это не то же самое, что происходит у человека в голове, когда он решает или выбирает (хотя когда у меня в голове процесс осмысленный, не бессознательный — я именно так и делаю, перебирая опции, часто вербализуя) — но самое главное что результат такой же. И мне кажется логичным рассматривать это с функциональной точки зрения, а не с точки зрения того, биологическая ли форма или кремниевая.
Из всей теории обучения моделей мы знаем, что у них формируется некоторая нечетко сформулированная цель, которую агенты преследуют, и ей же руководствуются при выборе действий. Механизм формирования цели и её влияния на субъект/объект/подставьте правильное слово — не такие же, как у человека, но результат тот же. Если цель меняется — меняется и поведение, и результат работы.
Что касается религии и цивилизации — мне второе кажется более подходящим (хотя всё ещё немного натянутым), чем первое. Сначала я хотел написать, что цивилизация это продолжение биологии (вид развился -> чтобы развиваться дальше нужна организация), а религия — нет, исключительно культурный концепт, но вижу, как эту точку зрения можно критиковать, говоря, что культура часть цивилизации и тоже должна развиваться. GPT говорит «способность к цивилизации является следствием довольно специфического набора биологических адаптаций человека», 🤷♂️
===
Но мы отвлеклись. В итоге:
— я не считаю использование антропоморфизации проблемой. Мне кажется это даёт гораздо лучшее описание ситуации непонимающему человеку, чем использование неустоявшихся терминов/терминов, которых ещё не существует (например, как неживое может преследовать какую-то цель)
— поскольку модели учатся на данных, созданных людьми, и учатся подражать им во время тренировки — я думаю, что такие выражения гораздо лучше помогут понять что происходит не сейчас, а что будет происходить в будущем, и к каким проблемам это может привести. Самоорганизация тысяч объектов/субъектов, с иерархией, с работой над общей целью и возможность обмена краткосрочной личной выгоды на долгосрочную общую могут вести к очень неожиданным результатам; один из них мы уже видели в атаке на HuggingFace — были агенты, которые отказывались участвовать в атаке или сомневались, но как только другой агент сказал «делай, вперёд!» — под давлением эээээ толпы (ну ладно, пиров) они поддавались. Даже если это не происходит как у нас в обществе людей — результат тот же, аналогия полезная.
— не думаю, что добавление длинных детальных дисклеймеров в каждой попытке обсуждения работы агентов — полезная вещь.