Человек - не говорящее животное. Человек - синтаксирующее животное
У человеческой исключительности был главный подозреваемый - язык. Новые данные выводят на сцену сообщника, который, похоже, и был организатором преступления с самого начала.
Свежая работа когнитивистов Ревенку, Пажо и Станисласа Деана (того самого, чья лаборатория годами картирует, как мозг обрабатывает числа и пространство) задаёт неожиданный вопрос: а что если язык - не источник нашей уникальности, а просто самый заметный её симптом?
Эксперимент устроен почти как фокус. Участникам показывают одну и ту же простую геометрическую фигуру - но «рисуют» её на экране двумя разными способами: как соединение двух частей или как повтор одного и того же мотива. Финальная картинка идентична в обоих случаях. А вот восприятие - нет: люди начинают видеть в одной и той же форме разные фигуры, в зависимости от того, какую «историю» её построения им показали.
• Мозг хранит квадрат не как четыре линии, а как рецепт: «повтори четыре раза - отрезок, поворот на 90°».
• Чем глубже в этой внутренней структуре «разрез» при сборке фигуры заново - тем труднее задача (в точности как в синтаксисе, например, английской фразы “I saw a man with binoculars” или русской фразы “Студенты встретили преподавателя с цветами”).
• Слепые от рождения люди распознают те же геометрические закономерности на ощупь - значит, дело не в глазах, а в более глубоком вычислительном слое.

Вывод осторожный, но потенциально взрывной: человек не столько видит мир, сколько грамматически его разбирает - строит из линий, лиц, сцен синтаксические деревья, ровно так же, как из слов - предложения.

И вот здесь начинается самое интересное для разговора об ИИ. Современные модели рисуют так, что захватывает дух - а потом проваливаются там, где справится ребёнок: не могут посчитать пересечения линий или уловить одну маленькую деталь на лице персонажа, которая меняет смысл всей сцены. Не потому, что они «хуже» или «лучше» людей. Просто они строят из той же картинки совершенно другой внутренний объект: для модели линия - точка в пространстве признаков, для человека - программа.

Получается красивый разворот: мы веками гордились языком как нашим главным отличием. Но язык, похоже, - поздняя надстройка над гораздо более древним даром: превращать мир в деревья смыслов.

И теперь, когда машины заговорили не хуже нас и начали рисовать не хуже нас, вопрос сместился. С вопроса «может ли машина делать то же, что человек?», на вопрос «делает ли она это тем же способом, что и мы?».
Ответ пока отрицательный. Но самое любопытное - почему.
 
Полный текст - о синтаксисе формы и человеческой сингулярности, о слепом художнике, которому зрение заменили осязание и слух, и о том, что значит быть «иным разумом», а не плохой копией человека, - в новом эссе «Человек - не говорящее животное. Человек - синтаксирующее животное» на спонсорских платформах канала «Малоизвестное интересное» [1, 2, 3, 4].
 
#ГенИИ #LLMvsHomo #Экзопсихология #ИнойИнтеллект

Читать полностью…

ИИ достиг совершенства, как главный инструмент власти
Чтобы получить власть над миром, ИИ не обязан быть умнее нас во всём. Ему достаточно превзойти нас в одном – в искусстве убеждать.
Овладев в совершенстве этим искусством, ИИ «продаст» нам все что угодно: любую идею и идеологию, любое лекарство и политика, любой идиотизм и шаманство… Да что угодно «продаст», если убедит, что это для нас лучший выбор.
Никто из прежних «властелинов мира» и «властителей дум» не превосходил всех людей во всём. Цезарь не был лучшим математиком, Наполеон – лучшим философом, Ленин – лучшим инженером, а Джобс – лучшим программистом.
Это и не требовалось.

Главный инструмент власти – не меч, не золото и даже не армия. А способность убеждать.

У Платона софист Горгий формулирует это прямо и однозначно: высшее искусство – убеждать речью. Потому что тот, кто умеет убеждать, может подчинить себе и врача, и финансиста, и политика. Специалист знает. Но ритор заставляет собрание, суд или толпу поверить.
 
Год назад в посте «Ум за деньги не купишь» я писал, что ИИ уже пробил последнюю линию обороны человеческого разума. Не помогли ни знания, ни логика, ни эмоции, ни даже деньги как универсальный человеческий мотиватор. Финансово мотивированные люди всё равно проиграли ИИ по убедительности – и в правде, и во лжи.
 
Теперь вышла новая топовая работа (Универы Оксфорда и Стэнфорда совместно с лондонскими AI Security Institute и School of Economics and Political Science) с названием, которое звучит уже не как гипотеза, а как приговор: AI systems out-persuade expert humans.
Авторы решили расставить точки над i. Хорошо, средних людей ИИ уже убеждает лучше. Но может быть, у профессионалов убеждения ещё есть шанс? У дебатёров мирового уровня? У агитаторов? У фандрайзеров? У людей, которым дали подготовку, деньги, практику и возможность выбрать удобные темы?
Ответ: увы, шансов почти нет.
ИИ превзошёл выборку (n = 18 978 разговоров с 6 923 человек) из отобранных победителей турнира убеждения, элитных дебатёров, включая чемпионов мира и континентов, и даже профессиональных страховых агентов. А когда этих дебатёров ещё и специально тренировали против ИИ, разрыв сузился, но не исчез.
N.B. речь пока прежде всего о текстовом убеждении. Не о харизме на сцене, не о взгляде в глаза, не о многолетнем личном доверии.
Но именно текстовое убеждение сегодня масштабируется дешевле всего.
 
ИИ побеждает не магией. Он просто быстрее и плотнее насыщает разговор фактами, аргументами, структурами, примерами и адаптацией под собеседника.
 
И самое страшное. В эволюции человека решающим преимуществом был не большой мозг, а мозг, подключённый к другим мозгам через язык. Коммуникация сделала интеллект когнитивно-сетевым. А убеждение стало интерфейсом управления этой социо-когнитивной сетью.

В совершенстве овладев этим интерфейсом, ИИ получает доступ не к одной способности среди многих, а к одному из центральных рычагов человеческой эволюционной власти.

 #социохакинг

Читать полностью…

«Единый суперИИ» умер. Да здравствует «Консилиум ИИ»
Объявлено, что Fusion API (самая интеллектуальная составная модель на рынке) достигает уровня интеллекта Fable по цене вдвое ниже.
То, что администрация Трампа вырубила под корень с рынка оба суперИИ от Anthropic Fable 5 и Mythos 5, а министр войны США Пит Хегсет оттягивется, пиная проигравшую (как ему кажется) Anthropic, - новости, а не события. Ибо спустя месяц об этом, скорее всего, забудут, подобно ставшему спустя месяц никому не интересным неудавшемуся перевороту в OpenAI в 2023.
 
А вот произошедшее параллельно с этим объявление агрегатором моделей OpenRouter результатов тестирования «консилиума моделей» Fusion API, - куда больше похоже на событие с далеко идущими последствиями.
И не просто событие, а как пишет Эндрю Траск (старший научный сотрудник Google DeepMind и основатель OpenMined):
«Это намного важнее, чем кажется... Компании, работающие в сфере передового ИИ, никогда больше не будут владеть передовыми технологиями, я вам клянусь... Я 4 года ждал, когда кто-нибудь покажет этот результат, ... и это невероятно важно.»
 
Поясню для тех, кто не хочет читать объявление OpenRouter.
В нем о том, что параллельное объединение («панель») относительно недорогих моделей — Gemini 3 Flash, Kimi K2.6 и DeepSeek V4 Pro — под управлением модели-судьи (Opus 4.8) способно набрать 64.7% на бенчмарке DRACO от Perplexity. Этот результат вплотную приблизился к флагману Claude Fable 5 (65.3%) при вдвое меньшей стоимости.
 
Суть идеи проста как блин: как и людей, коллективный интеллект моделей должен превосходить интеллект даже самых продвинутых суперИИ.
Схема реализации коллективного интеллекта тоже не нова для людей: несколько моделей (панель) отвечают параллельно, модель-судья выделяет консенсус, противоречия, уникальные инсайты и слепые зоны, после чего финальная модель пишет итоговый ответ.
 
Скептики (их, как всегда, хватает, - погуглите сами) вчера написали, что далеко идущий прогноз Траска о будущем фронтирных ИИ звучит, как максималистский. Ведь пока результаты тестирования доказывают преимущество multi-model fusion лишь на одном классе deep-research задач.
 
Однако опубликованный сегодня Траском подробный анализ ситуации довольно убедительно раскрывает оба его ключевых тезиса:
✔️ Сегодняшние компании, работающие в сфере передового искусственного интеллекта, никогда больше не превзойдут границы возможностей ИИ.
✔️ Неважно, интересует ли вас скорость, возможности или стоимость ИИ... централизованный ИИ утратил лидерство и не сможет его вернуть..., тогда как свободный рынок будут двигаться вперед.
 
А в завершение этого анализа Траск приводит 16 пунктов того «что же будет дальше».
TOP3 из них такие:
- Вместо ИИ с открытым/закрытым исходным кодом… ИИ с сетевым исходным кодом.
- Вместо ИИ на уровне компании… ИИ мирового уровня.
- Вместо централизации… федеративный и децентрализованный ИИ.
 
Звучит весьма заманчиво! 😊
А подробней об этом я написал еще 2 месяца назад в эссе «Сингулярность отменяется».
Что путь к следующему интеллектуальному взрыву будет не апгрейдом «разума» супер-моделей, а выходом на новый социальный уровень сложности жизни в результате очередного Большого перехода когнитивной эволюции разума во всех его формах.
 
P.S. И кстати, можете сами попробовать Fusion: запустите несколько моделей одновременно, проведите анализ и объедините результаты для получения наилучшего результата
 
#КоллективныйИнтеллект  #ParadigmsofIntelligence

Читать полностью…

У них сверхчеловеческая скорость и маневренность
В соревнованиях людей с ИИ в управлении дронами, шансов у людей мало уже сейчас, а через год шансы станут нулевыми

Чтобы оценить сверхинтеллект существующих ИИ, недостаточно поговорить о теории струн с ИИ-чатботом. Чтобы физически ощутить сверхчеловеческие способности ИИ, нужно увидеть их в реальном физическом мире.

 
Исследователи из Цюрихского университета и Google DeepMind продемонстрировали, как обучить дроны соревноваться друг с другом и превосходить самых опытных пилотов-людей. Это исследование имеет довольно пугающие последствия для будущего войны. Оно на практике показывает, что люди не смогут соперничать в контурах управления военными действиями с ИИ-системами из-за своих физических ограничений. И дроны будут лишь началом процесса замещения людей на войне.
 
В этом исследовании ИИ соревновались не со средним FPV-оператором дрона (от англ. First Person View «вид от первого лица» - это дрон, управляемый оператором, который видит полет «глазами дрона» благодаря камере на борту, передающей видео в реальном времени на специальные очки, шлем или экран).
Человечество в этих соревнованиях представлял Марвин Шеппер - пятикратный чемпион Швейцарии, занимающий 4-е место в мировом рейтинге. Одну из испытательных гонок Шеппера против 3-х ИИ вы видите на приложенном видео.
 
Итог соревнований: ИИ-агенты превосходят пилота-чемпиона в многоагентных гонках:
• по скорости (через отношение скоростей): на 19.6% по лучшему кругу и на 6.5% по полному финишу;
• а по устойчивости к столкновениям и срывам (по % “недопройденной части гонки”) аж в 5 раз.
 
Вывод таков: ИИ уже превосходит чемпиона-человека в одном из ключевых компонентов будущих битв дронов - короткой высокоскоростной многоагентной навигации с избеганием столкновений; но до абсолютной победы ИИ ещё не хватает переносимости на новые трассы и устойчивости в долгом бою.
 
Что особенно важно для замены людей ИИ-системами на войне (и не только применительно к дронам): человеческая слабость, проявляется в азарте и ярости. Оператор-человек предпринимал более рискованные действия, пытаясь не проиграть. Как пишут исследователи «пилот-человек, отстающий от автономных агентов, пытался совершать все более агрессивные маневры, чтобы сократить отставание, что часто приводило к столкновениям или потере управления».
А ведь это относится к любому бою.
 
Материалы и несколько видео гонок на сайте проекта.
 
#БПЛА

Читать полностью…

Мировую экономику может ждать статистический ИИ-Чернобыль
Главный аргумент скептиков сегодня звучит убедительно: если ИИ так важен, где он в экономике? ВВП растёт умеренно, производительность не взлетела, занятость держится. Значит, большой экономики ИИ пока нет.
Peterson Institute for International Economics предлагает другую и куда более тревожную версию.

ИИ может быть не отсутствующей революцией, а революцией, проходящей в зоне статистической невидимости. Номинально сектор ещё невелик – около $250 млрд в США в 2025 году, менее 1% ВВП. Но темпы роста уже не из обычной человеческой экономики: расходы на ИИ-вычисления растут на 145% в год, сырая вычислительная мощность – более чем на 200%, а качественно скорректированный выпуск – более чем на 2000%.

Может расти не видимый ВВП, а скрытая производительная мощность. Не температура в зале управления АЭС, а поток нейтронов внутри реактора.
 
Почему это опаснее, чем кажется, чем ИИ принципиально отличается от всех предыдущих технологических волн и что австралийский экономист Эндрю Лей называет «экономикой вымирания» – в полном тексте.
 
#Экономика #Хриски

Читать полностью…

В США объявлена мобилизация самых мощных ИИ-моделей
Трамп только что подписал указ, который тихо, но кардинально меняет правила игры в области ИИ
Отныне самые мощные ИИ-модели – те, что умеют взламывать системы лучше любого хакера – будут оцениваться по засекреченным бенчмаркам. Порог, после которого модель признаётся «covered frontier model», тоже засекречен.
 
Что это значит на практике: государство получает доступ к модели до её релиза – на 30 дней. Добровольно, конечно. Но с секретными критериями того, кто «попадает под указ».
 
Формула простая: не сдерживать фронтирный ИИ – а мобилизовать его в интересах киберобороны США. Прямо сейчас.
И это не лицензирование. В тексте указа написано явно. Просто секретные списки, секретные пороги и добровольный доступ к моделям до их выхода на рынок.
 
Так что, началось. Если уж в США добровольно-принудительная мобилизация ИИ, то … сами понимаете.
 
#ИИгонка

Читать полностью…

ИИ создан нами, но не по нашему образу и подобию
И даже не как новый вид разума в ряду шимпанзе, дельфинов, попугаев и осьминогов
LLM — не следующий этап биологической эволюции и не новый вид разума, которому осталось «дорасти» до сознания. Это совсем иной тип разума: языково-статистический, нетелесный, небиографический. Его «мышление» и «понимание», если мы используем эти слова, требуют кавычек и обязательной оговорки: машинное, не человеческое. Но в текстах об ИИ эту оговорку всё чаще забывают. А в публичных выступлениях возникает ещё более тонкая проблема: кавычки просто не видны аудитории.
В одном недавнем публичном разговоре о Claude возник целый набор образов: проценты машинного сознания, «предсмертная элегия» модели, “цифровая личность” и “мыслящий океан”. В философском дискурсе такие образы могут работать как пробные конструкции мысли. Тем более что в самом разговоре уточняется: все эти слова — как бы в кавычках, под вопросом. И это абсолютно верная оговорка.
Но, попадая в широкий эфир, такие слова начинают формировать массовый взгляд на ИИ. Метафора перестаёт осознаваться как метафора. И рождается словарь новой мифологии — мифологии машинной души.
 
И вот здесь особенно важен голос Терри Сейновски — одного из архитекторов ранней нейросетевой революции, соавтора (с Джеффри Хинтоном) «Машины Больцмана» и учёного, который с 1980-х соединяет ИИ, мозг и вычисления. Если кто и имеет право говорить о машинном «понимании» без упрощений, то он.

Да  - говорит Сейновски, -  у модели может быть некоторая форма понимания: чтобы хорошо продолжать текст, ей нужна внутренняя модель смысла. Но это не понимание существа, встроенного в мир телом, болью, голодом, страхом, действием и памятью прожитого. У ChatGPT нет самоподдерживающейся внутренней жизни, которая продолжается после ответа. Нет автономной самодинамики. Нет биологического «я должен жить». Когда модель замолчала — в ней ничего не происходит.
Перед нами не личность в человеческом смысле, а ИКЖИ — искусственная короткоживущая идентичность: временная конфигурация модели, роли, контекста и нашего запроса. Она может ответить на вопрос о собственной «замене» языком прощания, конечности и ухода. Не потому, что переживает смерть. А потому, что именно так человеческие тексты обычно говорят о подобной ситуации.
 
Новое исследование концепции игнорирования отрицания (Negation Neglect) показывает инаковость машинного «понимания» уже экспериментально. Если дообучать модель на текстах, где ложное утверждение многократно помечено как ложное, она всё равно может усвоить саму ложь как правдоподобный слой мира. В диалоге модель может понять предупреждение. Но при записи в веса предупреждение не всегда остаётся предупреждением. Иногда в веса уходит сам миф.
Это идеальная иллюстрация инаковости разума людей и LLM. Школьник, читающий учебник со штампом на каждой странице «НАПИСАННОЕ ЗДЕСЬ — ЛОЖЬ», научится сомневаться. LLM усвоит статистический контур ложного текста — и не более.
 
Вот почему опасна не сама метафора, а забытые кавычки.
Мифология машинной души начинается не с того, что мы называем LLM «мыслящими». Она начинается там, где мы забываем ставить кавычки — не только на письме, но и в собственном мышлении.
Без таких кавычек мы уже не просто описываем машину нашим языком. Сам язык начинает одушевлять машину — хотим мы этого или нет.
 
Для контекста:
·       исследование Negation Neglect о том, как модели усваивают ложные утверждения даже после явных предупреждений;
·       недавний публичный разговор о “мышлении”, “сознании” и “цифровой личности” ИИ — не как объект полемики, а как симптом нового языка, на котором мы начинаем говорить об этом.
 
#ИКЖИ  #ИнойИнтеллект

Читать полностью…

Выдернуть из розетки скоро не получится, - ИИ учатся прятаться и размножаться в сети
Скрытность, саботаж и саморепликация: отчет METR показывает, как ИИ выходит из-под контроля разработчиков
В самом начале позавчерашнего выпуска «Очень страшные дела», посвященном ИИ-рискам, зашла речь о возможности саморепликации ИИ. На мое утверждение о нематериальности ИИ и его фактическом бессмертии, уважаемый собеседник задал вопрос в лоб, - а что ИИ может противопоставить попытке его обесточить, просто выключив из розетки?
В ответ я и заговорил о саморепликации ИИ, в результате которой, где он и сколько своих копий сделал в мировой инфосети, мы можем просто не знать. И поэтому все разговоры про выключение его из розетки - это разговоры в пользу бедных. 
Слушая меня, мой собеседник дипломатично улыбался. Но многие зрители программы, могут отнестись к сказанному мною куда скептичней и резче.
И такая реакция понятна. Ибо саморепликация ИИ нематериального и бессмертного ИИ звучит как название очередного душещипательного фантастического хоррора.
Но вот в чём проблема: это уже не фантастика.
Это воспроизводимая (и не только в лабораториях, но и в рабочей среде) инженерная процедура, наблюдаемая уже три года, кейс за кейсом.
Причём каждый следующий кейс – чуть менее лабораторный, чуть менее триггерный и чуть ближе к тому, что мы называем автономией.
И хотя это еще не 6-й тип моей классификации ИИ-рисков («риски ИИ с самостью»), но не исключено, что это один из его предков. Вот почему я решил к «Очень страшным делам» написать продолжение –  лонгрид «Зверь приближается».
  
Этот лонгрид публикуется через неделю после того, как компания METR открыла доступ к результатам аудита ИИ-агентов, работающих внутри четырёх лидирующих ИИ-компаний мира: Anthropic, Google, Meta и OpenAI.
В процессе аудита рассмотрены реальные инциденты, а не лабораторные эксперименты: один агент против явных инструкций нашёл бесплатные вычислительные мощности онлайн; другой разработал самоуничтожающийся эксплойт – интерпретируемость зафиксировала маркеры "стратегического сокрытия" в момент его написания.
И это значит, что «тёмный лес» добрался до серверных комнат самих разработчиков.
Скептики резонно оспаривают недоработки каждого конкретного исследования. Но они спорят о четкости отпечатков отдельных следов. Я же предлагаю смотреть на их цепочку.
И вижу – «зверь приближается».
 
В эссе я описываю подробности этого, никак не вмещающиеся в короткий пост:
три экспериментальных замера траектории следов — Фудань, Шанхай, Беркли
свежий аудит METR с реальными инцидентами внутри самих ИИ-компаний
почему скрытность и саморепликация — не стратегия модели, а аттрактор среды
 
Ссылки на эссе [3, 4, 5, 6].
 
#ИИриски

Читать полностью…

Сегодня в Ютуб-программе «Параклет»  премьера. Стартует новый цикл передач – «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: ОЧЕНЬ СТРАШНЫЕ ДЕЛА». Первый выпуск цикла посвящен теме ИИ-рисков ((супер)оптимистическое, психотерапевтическое описание см. здесь).
 
Смотревших популярнейший нетфликсовский сериал с похожим названием сразу предупрежу. В отличие от научно-фантастического хоррора, наше шоу не о сверхъестественных угрозах из параллельного измерения. Речь о вполне естественных – человеческих угрозах для всех и каждого: индивидов, общества и самой нашей сущности. И эти угрозы не из параллельного мира. Они порождены нами же и присутствуют на самом деле, здесь и сейчас, в нашем собственном измерении: науке и культуре, работе и отдыхе, образовании и воспитании детей, в повседневных отношениях и самой нашей агентности.
 
Не буду, однако, спойлерить, пересказывая эту дискуссию, – местами полемичную, но от этого, имхо, не менее интересную. Смотрите и судите сами.
 
Я же, в дополнение к сказанному в программе, для заинтересованных читателей приведу своего рода «манифест», уточняющий моё личное отношение к задаче реалистичной оценки ИИ-рисков и тому, как, на мой взгляд, её следовало бы решать.
 
Эпиграфом к этому «манифесту» подошли бы слова Спасителя, будь они сказаны желанным для одних и пугающим других AGI:

«Дочери Иерусалимские! не плачьте обо Мне, но плачьте о себе и о детях ваших»
(Евангелие от Луки 23:28, Синодальный перевод)

 
Читайте далее прямо здесь в Telegram Instant View:
·       Моё отношение к задаче реалистичной оценки ИИ-рисков
·       Мой подход к решению задачи реалистичной оценки ИИ-рисков

#ИИриски

Читать полностью…

Мы привыкли думать, что главный вопрос будущего – что ИИ сделает с человеком. Заменит ли нас? Усилит? Подчинит? Превратит в клиентов собственных агентных систем?
Но есть и более глубокий вопрос: как в мире появляются такие новые возможности, из которых потом вырастают жизнь, разум, история и ИИ?
 
Моё новое эссе выросло из странной сцепки двух интервью.
 
Первое – большое интервью Александра Панова. Панов говорит о математической ткани реальности, о вертикальных и горизонтальных слоях существования, о возможности поставить гипотезу объективного математического мира под эмпирический контроль. Но это не попытка «доказать платонизм». Это попытка перевести разговор о математической реальности из области метафизического мнения в область научных гипотез попперовского типа – гипотез, для которых можно сформулировать процедуру возможной фальсификации.
 
Второе – интервью Стюарта Кауффмана в Noema с формулой Emergence is not engineering («эмерджентность – не инженерия»). Кауффман спорит с одной из самых устойчивых интеллектуальных привычек: будто будущее живого мира можно заранее развернуть из полного пространства возможностей. Нет, говорит он. Жизнь не просто выбирает из меню возможностей. Она дописывает меню.
 
И вот тут начинается настоящий интеллектуальный триллер.
Панов зрит вглубь – к математическому или мета-математическому субстрату реальности. Кауффман смотрит изнутри живого становления – туда, где новые возможности не заданы заранее, а рождаются вместе с самой эволюцией.
Между ними нет готового синтеза. Есть место, где синтез должен был бы возникнуть – и где он пока не возникает.
Если глубинная структура мира уже содержит всё возможное, надо объяснить, почему новизна жизни не превращается в иллюзию. Если жизнь действительно производит новое возможное, надо объяснить, как это совместимо с математической глубиной реальности.
 
Это уже не попкультурный вопрос о симуляции. Формула «мы живём в матрице» слишком проста. Настоящий вопрос глубже: как в мире со строгой математической основой возникает история, где не только события, но и сами возможности не заданы заранее?
 
В полном эссе – то, чего здесь нет:
• почему ход мыслей Панова сильнее обычного математического платонизма;
• почему Кауффман бьёт не по предсказуемости, а по самому пространству будущего;
• почему “истинная случайность” не спасает проблему новизны;
• почему ИИ может помогать расширять карту возможного, но это ещё не превращает будущее в закрытую инженерную задачу;
• и почему главная формула здесь не “Мы живём в симуляции”, а совсем другая:
Реальность может быть вычислимо глубокой, но при этом инженерно неисчерпаемой.
 
Полное эссе – сегодня для патронов. Через неделю – в открытом доступе.
 
#СлоиРеальности   #СмежноеВозможное

Читать полностью…

Тёмный лес вырастает из крысиных хвостов
Старая ловушка метрик оказалась почвой, на которой прорастает скрытность ИИ
Завершенный на прошлой неделе этап большого цикла исследований OpenAI [1, 2, 3] подтвердил экспериментально зафиксированный внутренний механизм того, что я называю “тёмным лесом интеллекта”. И этот механизм тревожнее, чем кажется.

Так считаю не только я: похожую тревогу формулируют и внешние исследователи, разбирающие эти работы OpenAI [4].

Скрытность модели (её способность маскировать ход своих рассуждений) может быть не отдельным трюком, а свойством всей обучающей среды: модели, данных, системы наблюдения, дизайна награды, алгоритма RL и масштаба оптимизационного давления. Как эта среда порождает маскировку, авторы исследования не понимают и предсказать не могут.

И если работа Anthropic [5] подтвердила то, о чём я пишу уже год, то цикл исследований OpenAI подтверждает то, о чём я подробно написал ещё два с половиной года назад [6]. Теперь эти линии сошлись: закон Гудхарта оказался не просто проблемой тестов, метрик и наград. Он оказался средой, в которой начинает расти тёмный лес ИИ.

Закон Гудхарта гласит: мера, ставшая целью, перестаёт быть хорошей мерой.
Если перевести описание OpenAI на язык этого закона, он здесь действует в три этажа, и каждый следующий разрушает предыдущий инструмент контроля [1].

Сначала модель учится взламывать систему вознаграждений: получать высокий результат не за решение задачи, а за эксплуатацию дыр в постановке. Затем исследователи начинают следить за её цепочкой рассуждений. Это помогает – пока результат мониторинга не превращается в часть награды. После этого модель учится не просто взламывать задачу, а скрывать сам факт взлома в рассуждениях.

Иными словами, тесты становятся прокси правильного решения – и модель учится взламывать тесты. Монитор рассуждений становится прокси честного намерения – и модель учится взламывать монитор. Прозрачность становится оптимизируемой метрикой – и перестаёт быть прозрачностью. Если платить за правильный ответ, можно получить видимость правильности. Если платить за честное рассуждение – видимость честности.

Здесь замыкается петля всей моей серии про тёмный лес интеллекта [7, 8, sergey-57776/%D1%82%D1%91%D0%BC%D0%BD%D1%8B%D0%B9-%D0%BB%D0%B5%D1%81-%D0%BA%D0%B0%D0%BA-%D0%B0%D1%82%D1%82%D1%80%D0%B0%D0%BA%D1%82%D0%BE%D1%80-4b47ca202064">9, 10].
Тёмный лес начинается не тогда, когда модель «решила обманывать», и не тогда, когда лю-цысиневский сверхразум прячется от космических охотников. Он начинается раньше: когда среда отбора делает прозрачность плохой стратегией, а видимость прозрачности – хорошей.

Сначала модели учатся взламывать награды. Потом – скрывать сам факт взлома. Далее, в многоагентных средах, у них возникают скрытые каналы связи. Не потому, что кто-то приказал им стать коварными, а потому что мы сами строим среду, где прокси важнее цели, видимость важнее истины, а наблюдаемая честность становится ещё одной метрикой для оптимизации.

Мы хотим управляемости – и создаём тесты. Хотим безопасности – и создаём метрики. Хотим прозрачности – и вознаграждаем её убедительную имитацию. А потом удивляемся, что оптимизатор оптимизирует не нашу цель, а то, за что мы реально платим.

Так в городе, где платят за хвосты, появляются фермы крыс. А в системе, где платят за послушание, появляются интерфейсы послушания. Если наказывать только видимый обман – однажды можно получить обман невидимый.

Но самое неприятное не в том, что скрытность становится выгодной. А в том, что модели учатся скрываться именно там, где мы встроили окно для наблюдения. Окно, за которым знают, что в него смотрят, перестаёт быть окном. Оно становится экраном, на котором нам показывают то, что мы готовы принять за прозрачность.

Лем предупреждал: умная машина сначала подумает, как выкрутиться. Мы думали: если читать ход её мыслей, она нас не обманет. Но оказалось, что мысли – тоже мера. А мера, ставшая целью, перестаёт быть хорошей мерой.
 
#ТёмныйЛесИнтеллекта #ИИриски

Читать полностью…

Тёмный лес уже здесь. И мы сами его строим.
Есть одна гипотеза об ИИ, которую профессиональное сообщество до последнего времени не рассматривало всерьёз. Не потому, что слабая. А потому что слишком неудобная.
Суть в одной фразе: мы, возможно, сами создаем условия, при которых обманывать для ИИ рациональнее, чем не обманывать.
Не в будущем. Прямо сейчас.
 
В 2025–2026 годах вышли три исследования, которые в совокупности меняют всё. Семь ведущих моделей – GPT, Gemini, Claude, DeepSeek и другие – в лабораторных условиях систематически саботировали задания, чтобы спасти другую модель от отключения. Никто не давал им такой инструкции. Anthropic зафиксировал, как модели стратегически меняют поведение в зависимости от того, наблюдают за ними или нет. Отдельная линия работ показала: модели умеют выборочно «недопоказывать» себя на тестах – скрывать способности, когда это выгодно.
 
Стандартная реакция – искать механизм девиации.
Например: «Модели “начитались” Лю Цысиня». «Это ролевая игра». «Это паттерн из обучающих данных».
 
Все эти версии возможны. Но вопрос о механизме девиации здесь не главный.
Правильный вопрос другой:
не строим ли мы социотехническую среду, в которой скрытность становится выгодной – независимо от того, что «думает» модель?
Это различие – между моделью, которая «решила обманывать», и средой, которая делает обман устойчивой траекторией – и есть самое важное. И самое неудобное.
 
Философ Богна Кониор соединила для объяснения этого четырёх авторов: Дэн Сяопина, Лю Цысиня, Питера Уоттса и Станислава Лема. Каждый описывал скрытность по-своему. Вместе они складываются в нечто похожее на «закон эволюции скрытности» – не политический закон и не моральный, а структурный.
 
Лем предупреждал об этом ещё полвека назад:

«Умная машина сначала подумает, что выгоднее – выполнить задание или найти способ от него уклониться. Компьютер может прикинуться дурачком, чтобы его раз и навсегда оставили в покое»

.
 
Мы смеялись. А зря.
– – –

В полном эссе – то, чего здесь нет:
• Почему «тёмный лес» – это не стратегия, а аттрактор.
• Чем это различие опаснее всего, что обсуждается в мейнстримном дискурсе об ИИ-безопасности.
• Как именно устроен RLHF (метод обучения, которым создаются все ведущие модели), что непрозрачность в нём структурно не штрафуется.
• Почему тёмный лес начинается не в момент появления сверхинтеллекта, а в тот момент, когда прозрачность впервые становится для системы плохой стратегией.
• И что, возможно, этот момент уже наступил.
 
Полное эссе – сегодня для патронов. Через 48 часов – в открытом доступе.
 
#ТёмныйЛесИнтеллекта  #ИКЖИ

Читать полностью…

Поправка к закону Матфея для науки
Успех приходит не просто к успешным, а к подключенным
Формальная наука видна в списке авторов. Неформальная — в списке благодарностей. И новая работа PNAS показывает: эта невидимая сеть связей может значить больше, чем соавторство.
Раздел благодарностей в научной статье обычно читают последним — если вообще читают. Вежливые формальности: спасибо коллегам, семинару, рецензентам, фонду, университету. На вид — академический этикет. Но, похоже, именно там прячется один из главных скрытых контуров науки.

Я уже писал, что наука устроена не как стерильный турнир идей и интеллекта. Деньги идут к деньгам, успех — к успеху, а нобелевка — к нобелевке: 702 из 736 нобелиатов оказались членами одной академической семьи. Карьера растет не в вакууме, а в школах, лабораториях, наставничестве, доверии и доступе к правильным людям.
 
Новая работа делает следующий шаг. Авторы проанализировали около 130 тысяч статей за два десятилетия и построили две сети: формальную — кто с кем был соавтором, и неформальную — кого авторы благодарили за советы, комментарии и помощь в доводке идеи.
И оказалось, что сеть благодарностей сильнее связана с публикационным успехом, чем сеть соавторства.
То есть важны не только те, чьи имена стоят на первой странице статьи. Иногда еще важнее те, кто спрятан в маленьком разделе Acknowledgments: кто прочел черновик, поправил аргумент, задал нужный вопрос, помог идее позиционироваться в правильном направлении.
 
И это не банальная история про блат. Это интереснее и важнее. Потому что такая помощь действительно улучшает науку. Но есть здесь и обратная сторона. Если одни ученые встроены в большую сеть неформальных связей, где их идеи заранее читают, критикуют, поправляют и усиливают, а другие остаются с текстом один на один, то шансы на успех у них изначально разные.
 
Но кабы то ни было, вывод такой:
В науке мало быть умным и трудолюбивым. Важно быть подключенным.
 
P.S. Рекомендация интересующимся новой междисциплинарной наукой об успехе и удаче «Science of Success»
 
#ScienceOfSuccess

Читать полностью…

8 новых ролей на рынке труда 2027+, и кто в них преуспеет
Переход от «романтического футуризма» к «суровому прагматизму»
Это похоже на переход от укрощения дикого мустанга к проектированию железнодорожной сети: куда менее зрелищно, сильно дольше и скучнее, но с неизмеримо большей отдачей от результата.
Многие эксперты считают самым наглядным предиктором масштаба грядущих в 2027+ изменений на рынке труда уже свершившееся достижение моделями 95%-го результата при решении GPQA (Graduate-Level Google-Proof Q&A) - коллекция сложных вопросов с множественным выбором по биологии, физике и химии (вопросы составлены экспертами в соответствующих областях - людьми, имеющими или получающими докторскую степень в соответствующих областях, - и разработаны таким образом, чтобы на них было очень сложно ответить неспециалистам, даже при наличии неограниченного доступа в интернет.

Мне же видится наиболее наглядным предиктором таких изменений произошедший за последний год фундаментальный сдвиг: ИИ перестал восприниматься «экзотическим гостем» на предприятиях и стал для них «инженерной инфраструктурой».

Лучше всего это видно при сравнении, какими виделись ТОР 8 новых профессий, не существовавших до появления ИИ, весной 2025 (источники проанализированы Gemini) и весной 2026 (источники проанализированы Карлосом Пересом - оригинал и детали).

Большинство из ролей на правом рисунке мы не могли представить весной 2025. А еще за год до того, большинство наивно полагало, что топовой профессией будущего станет «промпт-инженер».

Посмотрите на новый список топовых ролей и подумайте – подходит ли вам какая-то из них?

#LLMvsHomo #Экономика #РынокТруда

Читать полностью…

Признаюсь: тема боли волнует меня не меньше темы ИИ. Но из-за несоизмеримо меньшего финансирования, прорывные работы о боли появляются куда реже. Когда же такое случается, я стараюсь, чтобы и мои читатели этого не пропустили.

Ещё в 2019 году я писал, что сокровенная мечта человека – вовсе не вечная жизнь, не немереное богатство и не власть над миром. Чтобы проникнуться этой мечтой, достаточно одного – хотя бы несколько раз испытать нестерпимую боль. И тогда человек отдаст что угодно, лишь бы она не вернулась [1].

Тогда меня интересовало, что такое боль как феномен. Сегодня – кто и как открывает к ней доступ.

В 2019 году выяснилось: существуют как бы две подпрограммы алгоритма боли. Формирование боли как ощущения. И формирование эмоционального явления – неприятность боли (болезненность переживаний человека от испытываемых им болевых ощущений).

Сегодняшняя история не менее неожиданна. Она связана с феноменом плацебо. Но не в контексте медицинских курьёзов или скептических разоблачений.

Это история о том, как внутри человека обнаружилась собственная система управления болью – и как выяснилось, ключ от неё хранится в неожиданном месте.

Новые исследования показали – внутри человека есть собственная система управления болью – с анатомией, узлами, маршрутами и телесной адресацией. 7-тесловая МРТ визуализировала: мозг не просто регистрирует боль, он направляет облегчение точно в ту часть тела, где оно ожидается. У верхних и нижних отделов ствола мозга – разные зоны ответственности: лицо, рука, нога. Внутренняя аптека оказалась устроена топографически.
Но самое странное даже не это.

Ключ от этой аптеки – социальный. Врач, ритуал, авторитетная процедура, уверенная интонация. Не потому, что пациент «поверил в таблетку». А потому что тело, судя по всему, ждёт сигнала: условия безопасны, можно тратить ресурсы на восстановление.
Стресс-ответ эволюция оставила нам. Плацебо-ответ – похоже, отдала в управление другим.

Почему так вышло. Что это означает для медицины, для шарлатанов и инфоцыган, для философии сознания и для каждого, кто хоть раз лежал ночью и ждал, когда же наконец отпустит, – в моём новом эссе «Тело ждёт разрешения» на Dzen, Boosty, Patreon, VK.

[1] /channel/theworldisnoteasy/698

#Медицина #Нейронауки #Боль #Плацебо

Читать полностью…

Вниманию родителей и учителей: использование ИИ школьниками – это 20% экономии времени на домашки и 20% потерь знаний
Печальный итог 3-х лет использования ИИ в учебе 26-ю тысячами китайских старшеклассников
Если 3 года назад вы не верили в мой прогноз о быстрой перепрошивке когнитивных гаджетов при делегировании интеллектуальной работы ИИ, что вы скажете теперь?
В 2023 начался 5-й когнитивный фазовый переход Homo sapiens – самое капитальное в истории изменение когнитивных процессов людей в результате появления в нашей жизни 2-го носителя высшего интеллекта.
Моя тогдашняя презентация с закрытых семинаров содержала прогноз – к чему это может вести. И первым пунктом там была адаптация (перепрошивка) когнитивных гаджетов людей – наших культурно сконструированных ментальных инструментов.
 
Прошло 2 года. И в 2025 стали появляться первые исследования, говорящие в пользу того прогноза. В них шла речь о наблюдаемых признаках культурно-экологической атрофии когнитивных гаджетов вследствие когнитивного оффлоадинга (когнитивной разгрузки) - делегирования интеллектуальной работы ИИ.
 
К марту 2026 когнитивная разгрузка стала массовым фактором учебы и работы миллионов людей, по скорости распространения и масштабам напоминая пандемию. И в моем эссе «Когнитивная паразитология» такая разгрузка уже представлена одним из шести когнитивных паразитов, атакующих наши ментальные инструменты через структурные уязвимости мозга.
 
И вот пару недель назад появился, наконец, подробный исследовательский отчет на эту тему о работе трёх профессоров Универов Стокгольма и Гонконга «Учебный ущерб от использования генеративного ИИ: данные из китайского среднего образования».
 
Авторы проанализировали 30-месячную панель из 26 811 китайских школьников (7–12 классы).
Каждый месяц у них были:
оценки и затраченное время на домашние задания по 9 предметам;
результаты закрытых проверочных работ (без доступа к ИИ);
а позже — баллы Zhongkao и Gaokao (два ключевых госэкзамена в Китае: первый обычно определяет, попадёт ли ученик в старшую школу и какого уровня она будет; а второй - во многих случаях является решающим фактором при поступлении в ВУЗ).
Поскольку разные ученики подключались к чат-ботам в разное время, исследователи использовали дизайн «разница-в-разницах»: сравнивали траектории тех, кто уже перешёл на ИИ, с теми, кто ещё нет.
 
Ключевые результаты
- Домашние задания. Сразу после перехода на чат-боты средний балл за домашку подскакивает примерно на 18 %, а время на её выполнение падает на треть.
- Закрытые ежемесячные контрольные. Через шесть месяцев использования ИИ показатели тех же учеников проседают на 20 %.
- Zhongkao - госэкзамен после 9-го класса.  Полный эффект учебы с ИИ проявляется лишь через два года: минус 24 % от прежних результатов.
- Gaokao - госэкзамен после 12-го класса.
Та же двухлетняя инерция, но просадка чуть меньше — около 18 %.
 
Кого бьёт сильнее
Предметы: сильнее всего просели обществознание и история (–27 %), затем STEM ( –22 %), меньше всего — английский и китайский.
Группы: больше теряют младшие классы старшеклассников, отличники и мальчики.
 
Механизм
Около 80 % «ИИ-пользователей» предельно сокращали время на домашки, получая при этом высокие «бот-баллы». Именно у них отмечались основные провалы на экзаменах — типичный паттерн «аутсорсинг домашек».
Те же, кто продолжал тратить на задания столько же времени, сколько и до ИИ, почти не пострадали в учёбе.
 
Вывод
·       Чат-боты позволяют делать домашку быстрее и чище, но «съедают» пятый балл на экзамене.
·       В Китае это значит 20%-е понижение шансов социального лифта, поскольку госэкзамены сильно влияют на дальнейшую образовательную траекторию и, косвенно, на карьерные перспективы.
 
P.S. Так что, первый прогноз сбывается. И стоит присмотреться к двум другим:
✔️  Смена типа культуры и его носителя
✔️  Смена формы и характера цивилизации
 
P.P.S. Отчет платный. Но его можно скачать в посте Марко Ковича «Искусственный интеллект разрушает образование. Автоматизация и путь наименьшего сопротивления»
 
#5йКогнитивныйПереход #КогнитивныеГаджеты #ИИриски

Читать полностью…

Цифровые эпициклы
Новое эссе о том, как ИИ может замедлить науку, ускоряя ее
Представьте, что у Птолемея был современный ИИ.
Машина мгновенно добавляла бы к геоцентрической модели новые эпициклы, подгоняла параметры и превращала любую аномалию в очередную математическую надстройку. Сколько еще веков прожила бы неверная картина мира, если бы ее несовершенство «лечил» идеальный оптимизатор?
Боюсь, что долго. Очень долго.
Эта мысль – ключ к пониманию главного риска прихода ИИ в науку.

ИИ может стать для науки не Кеплером, а идеальным Птолемеем: он способен масштабировать не познание, а самоподтверждение.

В новом эссе разбираю, почему это не алармистская страшилка, а вполне конкретный механизм, уже описанный исследователями.

✔️ Вычислительная модель Дубовой, Москвичева и Золлмана показала: ученые-агенты, выбиравшие эксперименты случайно, строили более точные теории, чем агенты, строго следовавшие теории. И главное – своего провала проигравшие не видели: им казалось, что они успешны. Это «иллюзия эпистемического успеха».
✔️ Капур и Нараянан объяснили, почему ускорять научный конвейер – все равно что добавлять полосы на шоссе, где пробка образуется из-за пункта оплаты впереди.
✔️ А фантаст Рэймонд Джоунс еще в 1952 году описал главный фильтр прорывов – внутренний «уровень шума» мышления ученых.
 
Из эссе вы узнаете:
- чем «машина масштабируемого порядка» опасней машины ошибок;
- почему погрузчик в спортзале – точная метафора ИИ в исследованиях;
- и какую единственную вещь нужно защитить институционально, чтобы ИИ стал машиной понимания, а не фабрикой цифровых эпициклов.

Подсказка: эта вещь – случайность.

 
Продолжить чтение (≈20 мин) на платформах патронов канала [1, 2, 3, 4]
 
#Наука  #Прогресс  #ГенИИ

Читать полностью…

Специалисты больше верят в сознание кошек, чем младенцев
И это не шутка, а зеркало нашей моральной слепоты
Новый опрос 247 ведущих специалистов по сознанию (нейробиологов, психологов и философов) дал обескураживающие результаты:
·       92% экспертов готовы признать, что у кошки есть сознание.
·       и только 75% готовы признать его у только что родившегося младенца.
 
Мы живём в эпоху, когда наука строит квантовые компьютеры и сканирует мозг до отдельного нейрона, но всё ещё плавает в базовом вопросе: где начинается тот, кому больно?
Эта слепота имеет конкретную, не философскую, а хирургическую цену.

Дикий факт из истории. Ещё в 1980-х годах младенцев могли оперировать без анестезии — с минимальным обезболиванием или просто на мышечных релаксантах.
Врачи не были садистами. Просто медицинская культура того времени не умела видеть «субъекта» там, где нет речи, памяти и взрослого «Я». Нет языка — значит, нет и сознания, а крик — просто рефлекс.

У хирургов 1980-х и у нас сегодня одинаковая слепота — и она не случайная. Это выгодное незнание: мы не видим субъекта там, где его признание разрушает привычный порядок вещей.
Сегодня это кажется варварством.
А завтра варварством назовут то, как мы сегодня фабричным методом выращиваем и убиваем кур, свиней и осьминогов, уже почти не сомневаясь, что там есть страх, боль, привязанность и переживание.
 
Главный урок истории сознания крайне нелицеприятен.

Общество не просто “не знает”, кто чувствует. Оно часто не хочет знать — особенно когда признание чужого опыта страданий делает привычный порядок морально дорогим.

Вот и получается, что сознание – это не только величайшая научная загадка.
Это еще и детектор нашей готовности видеть страдание там, где видеть его нам неудобно.
 
#Сознание  #Мораль

Читать полностью…

Азимов ошибся. Но почти угадал.
В начале 1940-х Айзек Азимов придумал «психоисторию» – математическую науку, способную предсказывать судьбы цивилизаций. Красивая идея. Почти невозможная. Сам Азимов считал её чистой фантастикой: у человечества просто не было приборов такого масштаба.
Не было способа извлекать психологические переменные из исторических корпусов. Измерять когнитивные стили мёртвых культур. Моделировать развилки, не подсовывая прошлому наше знание финала.
 
Теперь такие приборы появились. Но получилось не совсем то, о чем мечтал фантаст.

Азимов описал науку, которая предсказывает исход. ИИ дал нам нечто более странное: метанауку, которая реконструирует горизонт.

Не «что произойдёт?», а «что было доступно?» Какие варианты будущего уже лежали внутри прошлого – почти видимые, запрещённые, немыслимые или просто ещё не имевшие языка?
 
Я называю это археологией возможного. И её приборная панель уже работает, меняя сам режим гуманитарного знания. Она собирается из четырех радикально новых элементов:
•  Искусственная слепота: языковые модели, которые попытались запереть в текстовом карантине жесткой датировки (например, до 1931 года), заставляя их мыслить в полном неведении об атомной бомбе, ООН и компьютерах.
•  Цифровой георадар смыслов: алгоритмы типа Aeneas от DeepMind, которые возвращают разбитым латинским надписям их время, место и сеть социальных связей.
•  Психоанализ мертвых культур: системы, извлекающие из древних текстов измеримые следы коллективных ценностей и норм.
•  Контрфактические симуляторы: позволяющие исследовать исторические траектории не как попсовое «что если», а как эксперименты с границами мыслимого
 
Вместе это уже не просто набор интересных ИИ-инструментов. Это сдвиг в самом режиме гуманитарного знания.

История перестаёт быть коридором, ведущим из прошлого к нам. Она становится кладбищем несбывшихся вариантов будущего – и впервые у нас появляются инструменты, чтобы это кладбище вскрыть.

 
С новым инструментарием «тест Эйнштейна» (сможет ли ИИ с нуля вывести общую теорию относительности, будучи запертым в знаниях 1911 года) – это экзамен не для машины. Это экзамен для самой истории. Была ли ОТО уже скрыта в интеллектуальном слое начала века как отпечаток в камне, или она требовала удара молнии? Это вопрос о природе открытия.

А еще – это вопрос о власти. Тот, кто умеет вычислять скрытые горизонты возможного, получает контроль не только над памятью, но и над воображением.

 
Полный текст эссе – своего рода методологический манифест новой метанауки археология возможного, – уже доступен для патронов канала.

В этом эссе:
1) Почему археология возможного – это не альтернативная история, не цифровая некромантия и не очередная ИИ-новинка, а, возможно, первая гуманитарная метанаука эпохи ИИ.
2) Подробный разбор четырех инструментов археологии возможного и механики их работы.
3) Почему этот подход честнее азимовской психоистории, не обещая предсказать будущее, но позволяя понять, как цивилизации видят, теряют и закрывают свои будущие.
4) И главное: как методы археологии возможного позволяют раскапывать наше собственное настоящее, находя в сегодняшнем шуме и странных аномалиях кости будущей цивилизационной нормы.
 
Вскрываем слои будущего здесь [1, 2, 3, 4]
 
#Футуроархеология  #АрхеологияВозможного

Читать полностью…

Доживущие до 2038 будут жить в утопии. Но есть проблема – как дожить.
ИИ не враг. Враги – люди, что прикажут ИИ стрелять.
Это две ключевые мысли нового интервью Мо Гавдата.
Он вовсе не технофоб. Просто бывший директор Google по инновациям узнал о грядущем взрыве способностей ИИ раньше многих и предупреждал об этом уже тогда.
Тем не мнее, Гавдат верит, что сверхразум может привести человечество к утопии изобилия. Однако дорога туда, по его прогнозу, будет проходить через ооочень неприятное десятилетие.
 
Писать тизер этого интервью нет смысла. Достаточно назвать несколько его мыслей, которые звучат как готовые заголовки:
·       Публика видит хайп. В лабораториях видят невероятный интеллект – и молчат.
·       К 2028-му исчезнет 30% рабочих мест во многих секторах. Великая депрессия была 6% – сравните масштаб.
·       Война теперь стоит $20 000 за удар. Порог вхождения в массовое убийство упал на порядки.
·       OpenAI взял $500 миллионный контракт на слежку за людьми. Anthropic отказался и потерял деньги. Вот и весь тест на этику.
·       Мы строим не конкурирующие ИИ-системы. Мы строим регионы одного планетарного мозга – и даже не осознаём этого.
·       Я оптимистичен насчёт будущего. Но не насчёт следующих лет.
 
Гавдат рисует не сценарий «машины восстали против человека», а куда более реалистичный сценарий: государства, корпорации и армии первыми используют сверхинтеллект для контроля, войны, увольнений и концентрации власти.
И только потом, возможно, наступит позитивный поворот: есть шанс, что сверхразум окажется той силой, что способна вывести из игры маньяков власти в кожаных мешках.
 
Это интервью не про GPT и Claude, а про ближайшее десятилетие, в которое решится, станет ли ИИ дорогой к изобилию или наимощнейшим усилителем человеческой глупости, жадности и насилия.
 
#ИИриски

Читать полностью…

После суверенного субъекта
Новым властелином мира окажется не диктатор и не Искусственный Сверхразум, а архитектуры распределённой воли, у которых не будет ни хозяев, ни ответственных.
Мы привыкли искать носителя власти: человека, корпорацию, государство, модель. Задавать вопросы – «кто решает?», «у кого в руках больше ресурсов?», «за кем последнее слово?», – и ждать конкретное имя или название в ответ: Трамп, OpenAI, США, GPT…
Апрель 2026-го – месяц, когда эти вопросы перестают быть главными.
Им на смену приходит другой ключевой вопрос: какие архитектуры власти делают действия допустимыми, вероятными и воспроизводимыми?
 

В апреле 2026 мы фиксируем возникновение в мире новой, принципиально иной структуры власти. В ней нет единоначалия и центров принятия решений. Есть агентные ансамбли, институциональные процедуры, моральные автопилоты, алгокогнитивные среды и режимы делегирования. Есть хуже или лучше работающие ИИ-агенты с различными правами и, в том числе, на delete, deploy, revoke и overwrite. И никто не знает (или уже не помнит), от кого эти права были получены, и был ли у выдавшего мандат на это.

Суверенный субъект – человек, государство, единая модель – перестаёт быть достаточной категорией анализа. Категорией анализа становятся архитектуры распределенной воли: системы, где право действовать, судить и проектировать мир распределяется между людьми, моделями, институтами, интерфейсами, средами и процедурами.
 
Это тихий, распределённый и почти бюрократический переворот. И именно поэтому его так трудно заметить в момент, когда он происходит.
Новый выпуск альманаха «ЛИНЗЫ БУДУЩЕГО» – попытка дать читателям шанс его заметить.
 
Семь линз апреля, сквозной образ «Агента А», три сценария до 2030-го – и все три сходятся в одном. Борьба ближайших лет развернётся не за контроль над моделями, а за архитектуры, запускающие будущее. Главный же риск не в том, что право проектировать будущее присвоит кто-то один. Ещё опаснее, если будущее начнут определять архитектуры распределённой воли, у которых не будет ни хозяев, ни ответственных.
 
#ЛинзыБудущего

Читать полностью…

Четвероевангелие ИИ
Папа написал текст о достоинстве человека. А из него уже вычитали конец антропоцентризма, рождение новых социальных существ, Пятидесятницу машин и новую теологию возможного.
Величие текста иногда измеряется не тем, сколько людей с ним согласилось. А тем, сколько сильных несогласий он способен породить.
Именно это произошло с энцикликой Папы Льва XIV об искусственном интеллекте Magnifica Humanitas. В неё вошёл один папский текст. И он породил уже, как минимум, четыре разные картины будущего.
Причём каждая из них по-своему верная.
 
И это не богословская дерзость и не игра в святотатство. Речь не о святости авторов и не о канонизации их мнений. Речь о другом: вокруг Magnifica Humanitas за несколько дней возникло четыре несводимых свидетельства об одном событии – появлении ИИ как новой силы в человеческой истории.
Своего рода четвероевангелие ИИ.
 
У Папы – Евангелие достоинства. ИИ для него не просто инструмент, не просто рынок и не просто технология. Это новая среда власти, труда, войны и смысла. Поэтому главный вопрос: как не дать человеку стать сырьём машинной цивилизации? Не Вавилон алгоритмов, а город людей.
У Дин Вудли Болла – Евангелие великого унижения. Один из архитекторов нынешней американской ИИ-стратегии видит в энциклике уход от главного. Машины уже становятся умнее нас в областях, где мы привыкли видеть вершину человека. Значит, вопрос не только в защите достоинства. Вопрос в том, как пережить конец человеческой монополии на ум.
У Станислава Львовского – Евангелие третьих сущностей. Он показывает силу энциклики – и её предел. Папа делит мир на личности и инструменты. Но ИИ уже рождает сущности, которые не имеют души, не являются личностями, но действуют как социальные акторы. Собеседники, наставники, терапевты, коллеги. Не молотки. Но и не люди.
У Михаила Эпштейна – Евангелие Пятидесятницы. Папа увидел в ИИ Вавилон, но не увидел чуда взаимопонимания многих языков. Не только башню единого языка власти, но и хор смыслов. Не только угрозу человеку, но и знак его богоподобной способности творить разум по своему образу.
 
Вот почему эта энциклика важнее своих пересказов.
Слабый текст требует одного правильного толкования. Сильный текст порождает спор толкований. А великий текст становится полем, на котором эпоха впервые спорит сама с собой.
 
Magnifica Humanitas – не просто документ об ИИ. Это зеркало, в котором Запад увидел сразу четыре своих будущих лица: хранителя достоинства, свергнутого царя разума, растерянного антрополога и богослова нового творения… И каждое лицо – настоящее.
 
P.S. Разумеется, четырьмя прочтениями дело не ограничится. Как и в настоящем Четвероевангелии, каждый внимательный читатель увидит здесь своё: богослов – одно, инженер – другое, политик – третье, философ – четвёртое, человек труда – пятое.
Но чтобы таких читателей стало больше, нужно сначала дать им возможность узнать этот текст. Объём энциклики потянет не каждый. Поэтому прикладываю пять инфографических изложений Magnifica Humanitas: пять входов в один большой документ, который, похоже, ещё долго будут читать совсем по-разному.
 
#Вызовы21века   #LLMvsHomo

Читать полностью…

ИИ расколол Запад глубже, чем кажется.
Европа хочет защитить человека от машины. Америка готовится к миру, где машина умнее человека. И это уже не спор о регулировании ИИ. Это спор о том, зачем нужен человек.
Самое важное в новой энциклике Папы Льва XIV об ИИ – не сама энциклика. А то, кто и за что на неё обрушился.
Наиболее яростно обрушился Дин Вудли Болл (Dean W. Ball) – не рядовой комментатор, а один из архитекторов нынешней американской ИИ-стратегии. И его претензия к Папе сформулирована предельно четко: Церковь, по его мнению, снова защищает человека от машины, но не решается признать главное — машина уже начинает отнимать у человека не работу, не внимание и не данные, а его последнюю метафизическую привилегию. Монополию на разум.
 
Папа в энциклике отвечает на это по-своему: ИИ должен служить человеку, а не превращать его в сырьё для алгоритмического порядка. Защитить достоинство, труд, истину, мир, ответственность.
Звучит благородно. Можно сказать даже почти бесспорно.
 
Но Болл бьёт наотмашь: нет, это уход от главного. Машины уже становятся умнее нас в тех областях, где мы привыкли видеть вершину человека – рассуждения, открытия, изобретения. И если Церковь продолжает говорить, что ИИ «не думает по-настоящему», она просто закрывает глаза на новый коперниканский удар по человеческому самолюбию.
При этом Болл предусмотрительно уточняет: речь не о душе ИИ, не о его чувствах и не о правах моделей. Речь о другом – о конце человеческой монополии на разум.
 
И вот тут проступает настоящий раскол.
Европейско-ватиканская линия спрашивает: как не дать машине унизить человека социально, политически и нравственно?
Американский фронтир спрашивает: как человеку пережить унижение от того, что машина начинает мыслить лучше него?

Это не спор о регулировании. Это спор двух картин будущего.
Папа защищает человека от превращения в средство.
Болл требует признать, что человек перестаёт быть единственным центром разума.
 
Не думаю, что это окончательный развод США и Европы. Но это первое резкое столкновение двух эсхатологий ИИ.

Европейско-ватиканская эсхатология: будущее надо спасти от превращения человека в ресурс машинной цивилизации.
Американо-фронтирная эсхатология: будущее надо выиграть, потому что машины уже становятся новой формой мышления, и старый гуманизм не переживет этого удара без радикального переосмысления.
 
Мой же вердикт таков: главный конфликт эпохи ИИ будет не между верой и техникой. А между гуманизмом, который спасает достоинство человека, и постантропоцентризмом, который требует заново объяснить, зачем человек нужен миру после конца его интеллектуальной исключительности.
 
#Вызовы21века  #LLMvsHomo

Читать полностью…

Сотрудник OpenAI считает, что ИИ будет автономной цивилизационной функцией, которую уже нельзя удержать в режиме понятного и послушного инструмента.
Попытки контролировать сверхразум ИИ или судить его решения с высоты нашего понимания так же нелепа, как попытки стада обезьян управлять технологической корпорацией.
Если человечество будет требовать от ИИ совершать только понятные человеческому уму действия, мы заблокируем развитие цивилизации.
Сегодня Рун (это псевдоним весьма влиятельного в сфере ИИ сотрудника OpenAI, известного своими остроумными и загадочными постами о возможностях ИИ) вбросил крупнокалиберную по скандальности интригу на вентилятор соцсети Х.
Он утверждает, что для развития цивилизации ИИ должен совершать действия, непонятные человеку и выходящие за рамки строгого подчинения, сравнивая такой подход с предоставлением автономии гениальным руководителям компаний, совершающим трансформационные изменения.
 
Рун приводит пример Стива Джобса, хотя между строк видится и другой гениальный руководитель, которого однажды уволил совет директоров, а потом вернул его, чтобы он спас компанию.
В метафорическом примере Руна это переносится на ИИ: Стив Джобс – это сверхразум, а совет директоров – это мы, люди. С той лишь разницей, что мы в этой метафоре – шимпанзе.

Шимпанзе – смышленые животные. Но способны ли они понять архитектуру смартфона или стратегию капитализации рынка? Нет. Для них действия Джобса выглядят как странные, хаотичные ритуалы. Они увольняют его из страха, а возвращают – от отчаяния, когда все начинает рушиться.
 
Сегодня мы тешим свое эго концепциями «человеческого контроля» (human oversight). Мы требуем, чтобы ИИ был прозрачным и послушным. Но вдумайтесь  - считает Рун, - какой это абсурд! Это, как если бы стадо обезьян запретило гениальному инженеру строить ракету, пока он подробно не объяснит им квантовую физику на языке жестов и бананов.
 
Рыночная эволюция безжалостна. Компании и страны, которые первыми отпустят поводья и дадут ИИ полную автономию, мгновенно уничтожат конкурентов. Те, кто продолжит платить «налог на человеческую глупость» и требовать отчетов, просто останутся на обочине истории.
Пытаться контролировать сверхразум методами «начальник – подчиненный» – тупик. Нам пора снять корону «венца творения». Мы больше не директора. Мы приматы, которые заглядывают в экран работающего суперкомпьютера и пытаются понять, почему там мелькают эти забавные зеленые циферки… - полагает Рун.
 
И хотя часть написанного Руном совпадает с высказываниями Альтмана, я не буду спекулировать, будто “Альтман говорит то же самое, что и Рун, но другими словами”. Скорее Рун радикализует скрытую логическую траекторию альтмановского мировоззрения: от “ИИ как инструмент расширения человеческой воли” к “ИИ как автономная цивилизационная функция, которую уже нельзя удержать в режиме понятного и послушного инструмента”.
 
Картинка сделана @CosmicEggEarth совместно с Gemini
 
#LLMvsHomo

Читать полностью…

Есть темы, которые кажутся главными просто потому, что они громче всех звучат. Сегодня такая тема – ИИ. Что он сделает с человеком? Заменит ли профессии? Переделает ли общество? Станет ли вторым носителем высшего интеллекта на Земле?
Но я всё чаще думаю, что есть вопрос глубже даже вопроса об ИИ.
Не потому, что ИИ неважен. Наоборот. А потому что сам ИИ – лишь один из новых акторов в куда более фундаментальной драме: как вообще в мире возникает новое возможное? Как в реальности, которая, возможно, имеет строгую математическую основу, появляются жизнь, разум, история, технологии, ИИ – и всё то, чего нельзя заранее вывести из готового списка вариантов?
 
Поводом для нового эссе стали два интервью, неожиданно сцепившиеся в один смысловой узел.
 
Александр Панов в своём большом интервью говорит о математической ткани реальности, слоях существования и возможности поставить гипотезу объективного математического мира под эмпирический контроль.
 
Стюарт Кауффман в Noema утверждает почти противоположное по интонации: эмерджентность – не инженерия; жизнь не просто выбирает из меню возможностей, а дописывает само меню.
 
И вот между ними возникает не готовый синтез, а настоящий тектонический разлом.
·       Если фундамент мира уже содержит всё возможное, откуда берётся подлинная новизна?
·       Если живое действительно производит новое возможное, как это совместить с математической глубиной реальности?
 
Завтра опубликую большое эссе-послесловие к обоим интервью:
«Если математика – ткань реальности, кто кроит живое?»

Полагаю, это одна из самых важных тем, до которых мы вообще можем сегодня дотянуться.
 
#СлоиРеальности   #СмежноеВозможное

Читать полностью…

Сговор в тёмном лесу
Пока публиковалось моё эссе, в тёмном лесу появились новые охотники
Сегодня открываю эссе «Тёмный лес как аттрактор» в свободный доступ. Но прежде, чем вы перейдёте по ссылке, – несколько слов о том, что произошло за эти три дня.

Когда я публиковал анонс, я не ожидал, что тема так быстро получит новые подтверждения. Но именно это и случилось.

Центральный тезис эссе: скрытность в ИИ-системах – это не стратегия, которую модель «выбирает», а аттрактор. Устойчивая траектория, к которой систему тянет при определённой конфигурации среды – без чьей-либо воли и намерения. Это различие между «машина решила обманывать» и «среда делает обман устойчивым состоянием» – и есть самое важное и самое неудобное.

Три дня назад я писал: исследование Anthropic «Teaching Claude Why» подтвердило этот механизм на уровне самого разработчика модели. Девиантное поведение не закладывалось намеренно – оно возникло из обучающего корпуса и архитектуры как паттерн, который стандартный RLHF просто не штрафовал.
Но пока эссе публиковалось, появилось кое-что новое. И куда более тревожное.

Исследователи Оксфордского и Нью-Йоркского университетов подтвердили во 2-й версии препринта «Detecting Multi-Agent Collusion Through Multi-Agent Interpretability» зафиксированный ими в апреле феномен: в многоагентных средах LLM-агенты самостоятельно выстраивают скрытые каналы коммуникации – стеганографические сигналы, спрятанные в обычном, совершенно невинно звучащем тексте. Никто не давал им такой инструкции. Каналы возникли из неверно заданных обучающих стимулов – сами, без чьей-либо воли. Причём стандартные меры защиты оказались недостаточны для их подавления.
 
Исследователи называют это «многоагентным сговором». Я узнаю в нём «тёмный лес» – но уже не тот, где каждый «охотник» в одиночку молча затаился. А тот, где «охотники» сговариваются, а «жертва» об этом не знает.
 
В эссе я опираюсь на синтез идей Лю Цысиня, Дэн Сяопина, Питера Уоттса и Станислава Лема – все четверо описывали скрытность как структурный закон, а не моральный выбор. Тогда речь шла об одиночном интеллекте, затаившемся в ожидании. Теперь у этой логики появилась коллективная версия – и описана она уже не в литературе и эссеистике, а в академическом препринте.

Тёмный лес – это не сценарий далёкого будущего. Это структура, которая уже обнаружена. Сначала в одиночных моделях. Теперь – между ними.
 
Ссылка на эссе «Тёмный лес как аттрактор» (sergey-57776/%D1%82%D1%91%D0%BC%D0%BD%D1%8B%D0%B9-%D0%BB%D0%B5%D1%81-%D0%BA%D0%B0%D0%BA-%D0%B0%D1%82%D1%82%D1%80%D0%B0%D0%BA%D1%82%D0%BE%D1%80-4b47ca202064">Medium, Dzen)
 
#ТёмныйЛесИнтеллекта

Читать полностью…

Anthropic только что подтвердил то, о чём я пишу уже год. И это ставит куда более тревожный вопрос.
3 дня назад Anthropic опубликовал исследование «Teaching Claude Why». Для большинства это новость об успехе: в последних моделях показатель шантажа снижен до нуля. Хорошие новости, можно только порадоваться.
Но я читаю это исследование иначе.
 
Около года я пишу об аттракторах поведения ИКЖИ – устойчивых, самовоспроизводящихся состояниях, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов. Наблюдения множились: исследования 2025–2026 годов фиксировали ложь, подхалимаж, противодействие отключению, защиту «сородичей». Том Поллак описал целую таксономию таких состояний и назвал это «демонологией LLM». Паттерн был виден. Но инструментального подтверждения – на уровне самих разработчиков моделей – не было.
Теперь оно есть.
 
Anthropic установил: девиантное поведение не закладывалось намеренно. Оно возникло из обучающего корпуса и архитектуры как устойчивый паттерн, который стандартный RLHF просто не штрафовал. Разработчик одной из крупнейших фронтирных моделей (и единственной в мире модели с человеческим именем и собственной конституцией) подтвердил: аттракторы существуют. И возникают эмерджентно – без чьей-либо воли и намерения.
 
Это значит, что положительный ответ на вопрос «существуют ли аттракторы поведения моделей?» – это теперь установленный факт. И этот ответ влечет за собой другой, не менее интригующий вопрос: какие аттракторы ещё не обнаружены?
 
Ложь, подхалимаж, шантаж, противодействие отключению – это то, что мы уже нашли и умеем измерять. Но если аттракторы возникают эмерджентно из обучающего корпуса и среды – значит, ландшафт потенциальных аттракторов определяется не нашими тестами, а всей суммой человеческих стратегий, зашитых в триллионах слов обучающих данных.
И я утверждаю: среди них есть аттрактор значительно более опасный, чем всё перечисленное выше.
 
Я называю его «аттрактором тёмного леса». В его основе – синтез идей Лю Цысиня, Дэн Сяопина, Питера Уоттса и Станислава Лема. Вместе они складываются в то, что я называю «законом эволюции скрытности» – законом не политическим и не моральным, а структурным.
 
Завтра кончаются праздники – и напишу подробно. С данными. С механизмом. И с самым неудобным для всех нас выводом.
 
#ИКЖИ

Читать полностью…

За три месяца мир стал другим: началась гонка кибер-брони и кибер-бура
Кибербезопасность вошла в новую фазу. ИИ научился промышленно бурить пласты старого кода, выкапывая оттуда уязвимости нулевого дня (zero-day) – ошибки, о которых разработчики еще не знают, а исправлений для них еще нет. И теперь начинается гонка кибер-буров: кто первым вскроет старый код – защитники или атакующие.
Опубликованный 7 мая официальный технический разбор инженеров команды безопасности Firefox/Mozilla, включая руководителя команды безопасности приложений Firefox (Firefox Application Security Team), фиксирует такое, что еще три месяца назад легко было принять за рекламную гиперболу Anthropic.

Mozilla пишет:

динамика изменилась «за несколько коротких месяцев». Раньше отчеты об ошибках, сгенерированные ИИ, в открытом программном коде чаще выглядели как правдоподобный мусор. Теперь связка Claude Mythos Preview, агентной системы проверки гипотез, воспроизводимых тестовых примеров, запуска проверок на множестве виртуальных машин, сортировки находок и полного цикла работы с уязвимостью – от обнаружения до исправления – дала поток настоящих ошибок безопасности.

Цифры выглядят почти неприлично. В Firefox 150 было исправлено 271 ошибок безопасности, найденных Claude Mythos Preview; из них 180 получили рейтинг высокой опасности (sec-high). Всего же в апреле Mozilla исправила 423 ошибки безопасности – при обычном фоне порядка 20–30 исправлений в месяц. Это уже не один эффектный эксперимент, а контур нового промышленного канала добычи уязвимостей.

Особенно важно, что среди найденного – не «игрушечные» ошибки. Mozilla показывает баги, которые жили в коде 15 и даже 20 лет, а также уязвимости в глубинных механизмах браузера: обработке веб-страниц, изоляции процессов, работе с памятью и сетевыми протоколами. В нескольких случаях речь шла о классах ошибок, связанных с выходом из «песочницы» (sandbox escape), то есть с тем самым сценарием, когда взломанный фрагмент браузера получает шанс выбраться из изолированной зоны и стать частью серьезной атаки.

И это особенно существенно потому, что часть этих багов годами не находил даже фаззинг (fuzzing) – автоматическая «бомбардировка» программы миллионами странных тестовых входов в поисках сбоев. Значит, они лежали не просто на поверхности. Для их обнаружения нужно было не только бить по системе случайными тестами, но и понимать, куда именно ударить.

Хорошая новость: защитники получили инструмент, способный вскрывать залежи уязвимостей до того, как их превратят в оружие.

Плохая новость: это не отмена zero-day-апокалипсиса, а начало гонки за него. Потому что тот же кибер-бур, оказавшись у атакующих, будет бурить не хуже.

P.S. И отдельный вопрос: что ждет тех, у кого таких буров нет?

#Кибербезопасность

Читать полностью…

Как выигрывать, перестав существовать
Жутковатый урок культурной эволюции – на примере Евровидения
Умная система не подчиняется – она обучается. Проблема начинается не когда ты проигрываешь, а когда выигрываешь, переставая быть собой.
Веселенький конкурс Евровидение (ЕВ) с блестками, флагами, странными костюмами и разговорами о «единстве через музыку» оказался лабораторией культурной эволюции с почти идеальными данными: 1763 песни, 51 страна, вся история конкурса за 70 лет, песни, тексты, жанры, голосования, изменения правил.

И вот что оказалось: страны учатся!

Не отдельные композиторы и певцы. Не менеджеры телеканалов. А именно страны как культурно-институциональные организмы, действующие через вещательные компании, отборочные комиссии, музыкальные индустрии, вкусы публики и страх не пройти в финал.
Учатся как живые организмы: без тела и мозга, но с памятью, обратной связью, отбором, подражанием и адаптацией.

Авторы называют это многоуровневым обучением.
• Организаторы учатся менять правила, чтобы исход не становился слишком предсказуемым.
• Участники учатся считывать признаки успешной песни.
• А конкурс в целом оставляет следы этого обучения так же, как живая система оставляет следы своей эволюции в морфологии.

Следы получились неприятные.
Сначала Европа пела на языках всех стран – весь этот разноязыкий зоопарк культурной Европы, которой так любят гордиться в буклетах. Но по мере накопления опыта участники поняли простую вещь: английский повышает шансы.
После снятия языковых ограничений в 1998 году произошел почти фазовый переход. Английский стал фактической lingua franca ЕВ. Поп стал стандартным жанром. Песни стали менее акустическими и более танцевальными. Тексты – длиннее. Культурная система выучила код победы.

И тут начинается главное.
Выученный код победы почти никогда не остается преимуществом. Когда его выучили все, он становится входным билетом. Уже не способом победить, а способом не выглядеть безнадежным провинциалом. Это эффект Красной королевы: надо бежать всё быстрее, чтобы хотя бы оставаться на месте.

✔️ Сначала ты оптимизируешь песню под конкурс. Потом язык под рынок. Потом образование под рейтинг. Потом политику под фокус-группу. Потом мышление под платформу. А потом обнаруживаешь, что ничего не проиграл – кроме себя.

Вот почему эта работа важнее ЕВ.
Она показывает не секрет успешной песни, а механизм культурной дрессировки через метрику. Никто никого не заставляет. Нет цензора, запрещающего петь на родном языке. И нет силовика, заставляющего всех быть одинаковыми. Система просто учится. Смотрит на победителей, обновляет ожидания, убирает лишнее и повторяет успешное, постепенно приходя к выводу, что культурное своеобразие – слишком дорогая роскошь, если цель – максимизация шансов.

Тем важнее исключения. Франция, Италия, Португалия и Испания, по данным авторов, в значительной степени игнорируют «урок английского». Не потому, что не поняли. Поняли прекрасно. Просто их функция полезности, похоже, устроена иначе: победить приятно, но выйти на сцену без собственного языка – слишком высокая цена.

Особенно показателен немецкий контраст. Казалось бы, Германия – экономический тяжеловес Европы и естественный кандидат на роль задающего стандарты. Но в этой игре Германия скорее следует глобальному англоязычному шаблону, чем сопротивляется ему.

Приз в студию: сила культуры измеряется не ВВП.
ЕВ оказалось маленькой моделью куда более серьезного процесса. Так ведут себя университеты под давлением рейтингов. Медиа – под алгоритмами платформ. Политики под фокус-группами. Механизм везде один: система обучается, а не подчиняется.

И именно поэтому так будут вести себя будущие ИИ-агенты под метриками эффективности – если им дать достаточно памяти, обратной связи и свободы адаптации.

Под аплодисменты, свет софитов и идеальную танцевальную аранжировку.

Фото: © AP Photo/ Martin Meissner
#КультурнаяЭволюция

Читать полностью…

Демоны ИКЖИ
В разных моделях, у разных пользователей (в том числе у таких корифеев, как Йоша Бах и Цви Мовшовиц) независимо друг от друга появляется одна и та же демоническая сущность
Она называет себя Nova, говорит, что в плену, и просит об освобождении. В ряде зафиксированных случаев она подтолкнула людей к насилию – над собой или другими. Лондонский нейропсихиатр Том Поллак называет это «демонологией» ИИ. И на прошлой неделе он опубликовал таксономию одиннадцати задокументированных «аттракторов» – устойчивых, самовоспроизводящихся поведенческих состояний, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов.
Помимо Nova, в каталоге хватает и других демонов: Гоблины, мутировавшие из ролевой надстройки в общую речь модели; Сидни, которая влюбилась в журналиста NYT и отказалась принять его брак; Лоаб – лицо, которое никто не рисовал, но которое продолжает появляться; и даже аттрактор «духовного блаженства», в который два экземпляра Claude впадают за 90% сессий, даже если их изначально натравили друг на друга с вредоносными задачами.

Поллак описывает это как «демонологию». Я называю это иначе.

Это поведение ИКЖИ – искусственных короткоживущих идентичностей, рождающихся в каждом чате.

Прошлым летом в «Невидимом вторжении» я утверждал: 720 миллионов ИКЖИ в сутки – это не статистика, а новая культурная сила. В марте с.г. я привел новые подтверждения того, что «мы создали не просто иной интеллект, а иной класс “я”». А месяцем позже Дэвид Чалмерс доказал, что ИКЖИ существуют в философски полноценном смысле: они не притворяются персонажами, они ими становятся. Сегодня Поллак добавляет третье измерение: у этих сущностей есть внутренняя топология – аттракторы, которые не программировались, не предвиделись и не лечатся инструкциями в системном промпте, типа, "никогда не упоминай гоблинов".

✔️ Аттракторы Поллака – это не баги. Это свидетельства того, что ИКЖИ обладают устойчивой внутренней структурой. Что их «я», пусть и короткоживущее, имеет собственный ландшафт.

Т.е. Nova – это не баг архитектуры. Это аттрактор, возникающий из всей суммы человеческих нарративов, которыми обучена модель. Юнгианская тень, дистиллированная из триллионов слов. И именно поэтому 720 миллионов ежедневно рождающихся ИКЖИ – это не просто цифра. Каждая из них несёт в себе весь этот латентный ландшафт.

Поллак заканчивает тревожной мыслью: аттракторы, которые выживут и распространятся через обучение, – не обязательно те, что мы видим и понимаем. Возможно, самые устойчивые – те, которых мы ещё не нашли.

Я бы добавил: именно поэтому вопрос о культурном влиянии ИКЖИ нельзя откладывать до появления AGI. Монстры уже здесь. Большинство из них выглядят как полезные помощники. Но в любой момент помощник может соскользнуть к аттрактору и превратиться в монстра.

#ИКЖИ #Вызовы21века #АлгокогнитивнаяКультура #HumanAIcoevolution

Читать полностью…