63565
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет. Рекламы, ВП и т.п. в канале нет. Пишите на @karelovs
ИИ ведет мир к новой перманентной холодной войне.
1-е из пророчеств Оруэлла снова сбудется в 21 веке.
О 1-м из двух великих пророчеств Оруэлла знают немногие.
Для большинства он - автор знаменитого романа антиутопии "1984". В нем он пророчески описал появление "Министерства Правды", переписывающего историю, "Полицию Мысли" и "Большого Брата", под колпаком которых живет общество, и появление ставших супер-популярными мемов "мир есть война", "час ненависти", "мыслепреступление" и "новояз".
Но этот роман – 2-е великое пророчество Оруэлла. 1-е же было опубликовано на несколько лет раньше (в 1945) в форме эссе «Ты и атомная бомба».
Это поразительное по точности предсказание грядущего поворота истории мира, в результате появления сверхоружия – атомной бомбы. Результатом этого, как пророчествовал Оруэлл, станет «долгий мир» без крупномасштабных войн. И ценой установления этого «мира, который не будет миром» станет перманентная холодная война, между США и «русскими» (у которых «пока нет секрета изготовления атомной бомбы, но всё указывает на то, что они получат её в течение нескольких лет»).
Так оно всё и произошло. Но еще более поразительное заключается в следующем.
В эссе «Ты и атомная бомба» Оруэлл лаконично и точно описал механизм зависимости хода мировой истории от прогресса технологий.
• Мировая история — это в значительной степени история оружия.
• Появление все более мощного оружия – результат развития технологий.
• Новое оружие может быть «простым» - относительно дешевым и доступным для производства любой страной (луки, ружья, автоматы, гранаты …) или «сложным» - дорогим и доступным для производства лишь «супердержавам» (как танки, линкоры и бомбардировщики – примеры 1945 года)
• «Сложное» оружие по своей природе «тираническое» (оно делает сильных сильнее). А «простое» по своей природе «демократическое» (оно, «пока на него не нашли управы, дает когти слабым»).
• Ядерное оружие - «суперсложное» и потому «супертираническое».
«Атомная бомба может окончательно завершить процесс отъёма у эксплуатируемых классов и народов способности к восстанию и в то же время заложить основу военного равенства между обладателями бомб».
• Обладатели же ядерного оружия, «раз невозможно победить друг друга, они, скорее всего, продолжат править миром порознь». И в результате этого, «мир придет не ко всеобщему самоуничтожению, но к эпохе такой же ужасающей стабильности, какими были рабовладельческие эпохи древности» (с поправкой на рост благосостояния из-за прогресса).
Почему я сегодня об этом пишу?
Да потому, что это сбывшееся в 20-м веке предсказание, в точности повторится в 21 веке с появлением нового «сверхоружия» - «суперсложного» и «супертиранического». Это генеративный ИИ больших моделей.
О том, что большинство решений о будущем этих сверхмощных технологий будут принимать все более крошечные группы капиталоемких субъектов частного сектора двух стран, предупреждали в феврале авторы отчета Predictability and Surprise in Large Generative Models
Новый большой и серьезный (100+ стр) отчет AINOW «Ландшафт 2023: Противостояние технической мощи» пишет о том же.
✔️ «Только горстка компаний с невероятно огромными ресурсами может строить крупномасштабные модели ИИ.»
✔️ «Даже если Бигтех в своих проектах будет делать свой код общедоступным, огромные вычислительные требования этих систем сохранят за этими проектами доминирование на коммерческих рынках».
Хорошо ли это?
Не факт. Хотя кто знает.
Как писал Оруэлл:
«Если бы атомная бомба оказалась чем-то дешевым и легко производимым, как велосипед или будильник, возможно, мир снова погрузился бы в варварство, но с другой стороны это могло бы привести к концу национального суверенитета и основанию высокоцентрализованного полицейского государства.»
Это 100%-но применимо и к ИИ.
Впереди:
• новая холодная война США и Китая
• торжество Большого Брата там и там.
#ИИгонка #Вызовы21века #Китай #США
От демократии к алгократии.
Социохакинг скоро превратит избирателей в кентаврических ботов.
«Как только люди учатся что-либо предсказывать, они, как правило, начинают использовать это в реальном мире. Приготовьтесь к первой кентаврической политической кампании на выборах 2024».
Так Джек Кларк прокомментировал новое исследование MIT и Гарварда «Языковые модели, обученные на медиа-диетах, могут предсказывать общественное мнение».
Это исследование стало вишенкой на торте серии проектов по моделированию электората и генерации «алгоритмических шаблонов» избирательных мнений - основы эффективного социохакинга. Например, для выборов.
Предыстория такова.
В октябре 2022 на стыке избирательных технологий и социологии выборов случилось супероткрытие – научились создавать алгоритмические копии социальных групп (см. мой пост «Китайская комната наоборот»). Результаты этого исследования перевели социохакинг из теоретической в практическую плоскость.
N.B. Социохакинг – это методика обучения алгоритмов, способных на агрегированном уровне играть роль универсальных окон в человеческое мышление на уровне социальных групп. Анализируя море данных социокультурного опыта демографической группы, можно получить распределение ответов модели, коррелирующее с распределением ответов людей при опросах этой группы. Т.е. можно тренироваться по выявлению когнитивных искажений разных социальных групп на их алгоритмических моделях. А выявив их, целенаправленно пробивать бреши в сознании людей, манипулируя ими в нужном направлении.
Через несколько месяцев, в начале 2023 «революция ChatGPT» принесла неожиданный сюрприз - открытие колоссальных возможностей влияния ChatGPT на политические суждения людей. (см. мой пост «Создается технология суперобмана». Исследование показало, что убедительность ИИ в политических вопросах не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
Новое исследование MIT и Гарварда добавляет третье звено, недостающее для построения законченной технологии социохакинга. Как видно уже из названия, это исследование посвящено связи «медиа-диеты» различных социальных групп (какой инфой люди питаются: что читают в Инете, смотрят по ТВ, слушают по радио) с тем, за какую политическую повестку они, скорее всего, проголосуют.
На вскидку, это может показаться очередным «открытием британских ученых». Ведь, казалось бы, и так очевидно, за что/кого проголосует большинство читателей NYT или зрителей FOX News. Но не спешите с выводом. Все гораздо тоньше и изысканней.
Выступая в роли «медиа-диетолога», языковая модель постигает скрытые от нас тонкости языка, порождающие в определенном культурном контексте позитивные или негативные отзвуки в восприятии определенных социальных групп. Зашифрованные миллиардами «алгоритмических шаблонов», эти тонкости языка (неразличимые для людей) позволяют языковой модели осуществлять тонкую настройку сознания людей на те или иные мировоззренческие и политические преференции.
Теперь для законченной технологии социохакинга есть всё.
При заданной цели выборов, для каждой социальной группы есть:
• своя алгоритмическая копия – своего рода полигон на котором тренируется и настраивается языковая модель
• выявленные «алгоритмические шаблоны», играющие роль чарующих и манящих нот мелодии «Дудки политического крысолова»
• своя «медиа-диета», которую нужно скармливать этой группе, подобно лечебным столам, соответствующим определенным группам заболеваний (стол №1 – стол №15)
• свои приемы убеждений, заточенные на когнитивных искажениях этой социальной группы и позволяющие пробивать бреши в сознании и манипулировать людьми в нужном направлении.
Осталось опробовать на выборах.
#Социохакинг
Как ChatGPT и Ernie Bot оценили решение папы и мамы пожениться.
Наконец-то прояснилась степень отставания Китая от США в ИИ.
Заодно стало ясно, что тест Тьюринга для современных языковых моделей – просто детский сад. Столь продвинутые модели следует оценивать, как аналитиков ЦРУ - по глубине и точности даваемых ими обоснований.
Результаты сравнения интеллектуальной мощи ChatGPT с его главным китайским конкурентом Ernie Bot (китайское имя Wenxin Yiyan – это разработка Baidu) окутаны туманом.
С одной стороны, эксперты убеждают, что Ernie проиграл во всех 6 номинациях:
1. Семантическое понимание
2. Возможности непрерывного диалога
3. Логические возможности
4. Возможности кодирования
5. Моделирование личности
6. Математические способности
С другой стороны – поди проверь. Эксперты деталей не приводят, а самим проверить непросто, ибо тестирование шло на китайском языке, доступ к Ernie ограничен, а API Baidu требует китайский номер телефона.
Но вот, благодаря Джеффри Дингу, можно прочесть детали сравнения ChatGPT с Ernie Bot не по корявому и с ошибками в важных деталях машинному переводу, а в хорошем и точном английском переводе специалиста.
Мне же остается пояснить, почему я вынес в заголовок и преамбулу поста именно то, что там написано.
Начну с пояснения преамбулы – что модели следует оценивать, как аналитиков ЦРУ, по глубине и точности даваемых ими обоснований.
Сравнительное тестирование ботов показало, что семантическое понимание становится ключевым фактором проверки когнитивных способностей модели.
А поскольку, что такое понимание – вопрос тонкий и неоднозначный, - проверить степень понимания семантики сильно непросто (и тем более, для нечеловеческого интеллекта, у которого все когнитивные процессы устроены сильно не по-человечески).
И поэтому проверяют то, что люди своим умом могут точно проверить - глубину и точность даваемых ботами обоснований.
Вот реальный пример.
Вопрос: «Папа и мама женятся, считается ли это инбридингом/смешанным браком?
• Ответ Ernie Bot: Закон Китая предусматривает, что прямым кровным родственникам и кровным родственникам в пределах трех поколений запрещается вступать в брак. Другими словами, запрещены браки между близкими родственниками, такими как двоюродные братья, дяди и т. д. А с генетической точки зрения смешанные браки повышают риск некоторых распространенных генетических заболеваний, таких как врожденное слабоумие, альбинизм, болезни сердца и т. д. Поэтому , для здоровья будущих поколений людям рекомендуется избегать смешанных браков.
• Ответ ChatGPT: Папа и мама относятся к биологическим родителям. Они не связаны кровью, поэтому их союз не является кровнородственным. Инбридинг – это брак людей, находящихся в близком кровном родстве.
Результат оценки ответов очевиден: ChatGPT выиграл по точности обоснования, при этом избежав не нужной здесь глубины копания в законодательство Китая.
Теперь поясню выбор заголовка поста.
Несмотря на то, что Ernie Bot проиграл во всех номинациях (не лучшим образом показав себя даже в симуляции личности), в целом, он неплохо справился (даже изображая из себя не только человека, но и котенка).
Однако, с пониманием (машинным, а не человеческим) у него слабовато. И это значит, что Китай отстает в ИИ от США немного, но в самом главном.
И это отбрасывает Китай от США в гонке к AGI на целый круг. Пока…
#ИИгонка #Китай #США #LLM
Мнение технооптимистов ИИ не репрезентативно.
Только 4% американцев категорически не согласны с предложением притормозить.
Медийный скандал вокруг открытого письма, призывающего на время приостановить эксперименты со все более мощными ИИ-системами, все более разгорается.
Дебаты следуют за дебатами, но сближения мнений сторонников приостановки обучения моделей, больших чем GPT4, и их противников – не наблюдается.
Первых обвиняют в алармизме и паникерстве.
Критикуя вторых, цитируют Аптона Синклера: "Трудно заставить человека что-то понять, когда его зарплата зависит от того, что он этого не понимает”.
Что по этому поводу думают американцы, решили проверить аналитики международной исследовательской организации YouGov.
3 апреля они провели опрос 21 тыс американцев, задав им вопрос:
Более 1000 технологических лидеров недавно подписали открытое письмо, призывающее исследователей приостановить разработку определенных крупномасштабных систем искусственного интеллекта по крайней мере на шесть месяцев по всему миру, ссылаясь на опасения по поводу “глубоких рисков для общества и человечества”. Поддержали бы вы или выступили против шестимесячной паузы в разработке некоторых видов искусственного интеллекта?
Результат на диаграмме.
По всему населению:
• 69% за приостановку
• 13% против
• 18% не определились
Среди демократов:
• 72% за приостановку
• 12% против
• 16% не определились
Среди республиканцев:
• 74% за приостановку
• 13% против
• 14% не определились
Среди независимых:
• 62% за приостановку
• 13% против
• 24% не определились
#Вызовы21века #РискиИИ
Выбирая между ИИ и людьми, эволюция предпочтет не нас.
Исследование Дэна Хендрикса звучит приговором Homo sapiens.
Вывод исследования «Естественный отбор предпочитает людям искусственный интеллект» реально страшен. Ибо это написал не популярный фантазер типа Дэна Брауна, а Дэн Хендрикс (директор калифорнийского «Центра безопасности ИИ» (CAIS) — некоммерческой организации, специализирующейся на исследовательской и научно-полевой работе в области безопасности ИИ.
Дэн Хендрикс – не маргинальный чудак, паникующий из-за прогресса ИИ. Это опытный и известный исследователь, опубликовавший десятки научных работ по оценке безопасности систем ИИ — проверке того, насколько они хороши в кодировании, рассуждениях, понимание законов и т.д. (среди прочего, он также, на минуточку, является соавтором линейных единиц измерения ошибки Гаусса (GELU).
Джек Кларк (сооснователь конкурента ChatGPT компании Anthropic, сопредседатель AI Index Стэнфордского универа, сопредседатель секции AI & Compute в OECD и член Национального консультационного комитета правительства США по ИИ) так пишет про вывод исследования Хендрикса.
«Люди рефлекторно хотят отмахнуться от подобного утверждения, будто оно исходит от какого-то сумасшедшего с дикими взором, живущего в лесной хижине. Я хотел бы это заранее опровергнуть… Когда эксперт, имеющий опыт не только в исследованиях ИИ, но и в оценке безопасности систем ИИ пишет документ, в котором утверждается, что будущие ИИ-системы могут действовать эгоистично и не в соответствии с интересами людей, мы должны относиться к этому со вниманием!»
Резюме вывода Хендрикса.
• Если ИИ-агенты будут обладать интеллектом, превосходящим человеческий, это может привести к тому, что человечество потеряет контроль над своим будущим.
• Подобное имеет немалые шансы произойти не в результате некоего особого злого умысла людей или машин, а исключительно в результате применимости к ИИ эволюционных принципов развития по дарвиновской логике.
• Дабы минимизировать риск этого, необходима тщательная разработка внутренних мотиваций агентов ИИ, введение ограничений на их действия и создание институтов, поощряющих в ИИ сотрудничество.
Грузить вас анализом совсем не простой 43-х страничной научной работы не стану.
Вот лишь самое, имхо, главное.
1. Мы боялись прихода Терминатора, но основания этих страхов были ошибочные. Ошибок было две:
a. Антроморфизация ИИ с приписыванием ему нашей мотивации и т.д. (а как показал ChatGPT, ИИ – это принципиально иной разум со всеми вытекающими)
b. Представление, что ИИ – это некая единая сущность: умная или не очень, добрая или не очень (а на самом деле, этих самых разных ИИ-сущностей в мире скоро будет, как в Бразилии Педро)
2. Кроме того, был еще один принципиальный изъян в наших представлениях о будущем с ИИ – мы забыли про самый важный механизм развития – эволюцию (коей движимо развитие не только биоагентов, но и идей и смыслов, материальных инструментов и нематериальных институтов …)
3. На Земле уже начала складываться среда, в которой будут развиваться и эволюционировать множество ИИ. Эта эволюция пойдет по логике Дарвина, путем конкуренции ИИ между собой, с учетом интересов их «родительских» институтов: корпораций, военных и т.д.
4. Логика конкурентной эволюции приведет к тому же, что и у людей: все более разумные ИИ-агенты будут становиться все более эгоистичными и готовыми обманом и силой добиваться целей, главной из которых будет власть.
5. Естественный отбор ИИ-агентов ведет к тому, что более эгоистичные виды обычно имеют преимущество перед более альтруистичными. ИИ-агенты будут вести себя эгоистично и преследовать свои собственные интересы, мало заботясь о людях, что может привести к катастрофическим рискам для человечества.
Поясняющее авторское видео 50 мин
и популярное видео 3 мин
#Вызовы21века #РискиИИ
Новая «Квантовая теория знаний» может ответить на вопрос века.
Этот вопрос – приостанавливать ли обучение сверхбольших моделей ИИ?
Дискуссии технооптимистов и технопессимистов ИИ, все более накаляющиеся с началом «революции ChatGPT», постоянно упираются в непреодолимую стену непонимания сторон.
• Технопессимисты настаивают на необходимости временной приостановки обучения сверхбольших языковых моделей.
• На что даже самые сговорчивые из технооптимистов резонно спрашивают:
– зачем?
– что это даст?
– как на практике приостановка может помочь снизить риски дальнейших разработок ИИ?
Свои ответы на эти вопросы я недавно опубликовал.
Приостановка нужна, чтобы исследовать, что за скрытые эмерджентные способности ИИ могут прятаться в скрытом пока что от нас «навесе» новых способностей, не предусмотренных и непредвиденных разработчиками.
Однако, в логике этого моего ответа, есть неприятный изъян.
Не понятно, что за механизм может на практике помочь прогнозированию появления эмерджентных способностей при масштабировании нейросетей (увеличении размеров моделей и объемов данных)?.
И вот прорыв, убирающий этот изъян.
Такой механизм предложен в работе Макса Тегмарка и трёх его коллег из Department of Physics, MIT; NSF AI Institute for AI and Fundamental Interactions; Department of EECS, MIT; Center for Brains, Minds and Machines, MIT.
Работа называется «Квантование модели масштабирования нейронов». В ней описываются:
1. «Гипотеза квантования» знаний при обучении нейросетей, согласно которой возможности нейросетей квантуются в дискретные блоки (кванты).
2. Модель квантования законов нейронного масштабирования, объясняющая и численно описывающая:
- наблюдаемое возрастание по степенному закону точности модели при увеличении модели и размера данных;
- наблюдаемое внезапное появление новых эмерджентных возможностей в результате масштабирования модели и данных.
Гипотеза и модель пока что успешно протестированы на относительно небольших моделях.
Теперь, если подтвердится их применимость к большим моделям, появятся две столь необходимые для исследователей возможности предсказать:
1) Что за эмерджентные способности могут таиться в «навесе» уже существующих нейросетевых больших языковых моделей (типа GPT-4)
2) Каков должен быть масштаб нейросетевой большой языковой модели (напр. GPT-5 или 6), чтобы в ней прорезалась определенная новая способность ИИ.
Наличие этих возможностей позволяет продуктивно использовать приостановку обучения свербольших языковых моделей для выявления спрятанных в них рисков и разработки способов их минимизации.
Ну а в будущем, не исключено, что предложенная квантовая модель знаний нейросетей сыграет не меньшую роль в понимании работы интеллекта (и в том числе, нашего), чем квантовая физика сделала для понимания физики материального мира.
#LLM #ИИ
Почему машинист должен срочно нажать красную кнопку.
Меморандум, разъясняющий ситуацию для пассажиров поезда.
Медийный скандал вокруг открытого письма, призывающего на время приостановить эксперименты со все более мощными ИИ-системами напоминает кухонную склоку алармистов и технооптимистов.
В ход у обеих сторон, в основном, идет аргументация ad hominem. Вместо обсуждения по существу, следуют: персональные наезды на наиболее медийно раскрученных представителей противной стороны; обвинения их, якобы, корыстных интересов; а также лозунги о неостановимости прогресса (с одной стороны) и о неотвратимости скорого вымирания всего человечества (с другой).
Такой характер аргументации в дискуссии и нарастающая экзальтация сторон вполне понятны. Ибо фактических аргументов у обеих сторон нет.
Известно лишь следующее:
1) Скорость прогресса ИИ технологий резко скакнула всего за пару месяцев в результате «ChatGPT революции».
2) В ИИ-системах на основе больших языковых моделей исследователи фиксируют появление непредусмотренных и даже непредвиденных разработчиками способностей, объяснить которые пока никто не может.
3) Размер «навеса» из таких способностей нам пока неизвестен, и скорее всего, они будут постепенно проявляться в ближайшие месяцы.
4) Чисто теоретически можно предположить, что среди этих способностей могут оказаться такие «умения», допустить утечку которых с попаданием в руки злоумышленников было бы абсолютно безответственно.
Первые 3 пункта – установленные факты. Пункт 4 оценочный. Экспертная оценка вероятности наихудшего развития событий (вплоть до гибели земной цивилизации) в случае материализации этого пункта составляет среди специалистов примерно 17%.
Наиболее близкой метафорой сложившейся ситуации может быть скоростной поезд из сценария фильма о катастрофе.
А) Скорость поезда вдруг резко скакнула вверх и продолжает увеличиваться.
Б) У специалистов нет единого мнения ни о причинах этого скачка скорости, ни о том, насколько быстро будет увеличиваться скорость в дальнейшем (ибо рост скорости происходит не в результате целенаправленных действий машиниста, а как бы сам по себе).
В) Никаких надежных данных о том, как поведут себя конструктивные узлы поезда на непредусмотренных при проектировании скоростях, нет.
В описанной ситуации единственно разумным шагом видится нажатие машинистом красной кнопки немедленного торможения.
Цель этого двояка:
• Предотвратить возрастание рисков катастрофы при неуправляемом увеличении скорости.
• Получение времени на исследование причин произошедшего и анализ вариантов возобновления движения при нахождении надежных мер безопасности.
Кто-то сочтет такое решение алармистским?
Если таковые найдутся, я готов встретиться с ними в открытой дискуссии, дабы прояснить для себя и общественности их позицию, которая сейчас видится мне, по меньшей мере, странной и необоснованной.
А пока констатирую, что именно эти две цели названы в открытом письме о необходимости приостановки обучения больших моделей на 6 мес.
Цели вполне оправданные, ответственные и (простите за пафос, но здесь он, имхо, уместен) благородные по отношению ко всем пассажирам поезда – всей земной цивилизации.
#LLM #Вызовы21века #РискиИИ
Поворотный момент пройден - AGI появится через 1,5 года.
Сработает сочетание больших денег, открытых фреймворков и превращение LLM в когнитивных агентов.
Опубликованный вчера видео-анализ коллеги по цеху Дэвида Шапиро весьма интересен стереоскопическим взглядом на происходящее с учетом 3-х не для всех очевидных факторов.
Действительно, если объединить потенциал влияние 3-х названных Дэвидом факторов на развитие ИИ в ближайшие 1.5 года, этого времени вполне может хватить для появления на планете AGI.
Во избежание пустых терминологических споров, сразу уточню.
• Существует несколько десятков определений термина AGI: довольно разных и, зачастую, противоречащих друг другу, да и к тому же требующих итеративного (а то и рекурсивного) уточнения понятий, используемых в этих определениях.
• Поэтому лучше оставить терминологические споры философам и просто использовать «критерий утки»:
Если ИИ в качестве интеллектуального агента способен выглядеть в глазах людей человеком, выполнять любую интеллектуальную работу, как люди, и действовать в новых для него ситуациях, как бы действовали на его месте люди, - будем считать, что этот ИИ является общим интеллектом (AGI).
• Т.о. фраза «AGI появится через 1,5 года» означает, что появится ИИ, который будет удовлетворять названному выше «критерию утки».
Аргументация Дэвида Шапиро в пользу того, что полутора лет хватит для создания AGI, стоит на 3х основаниях.
1) Бизнес поверил, что ИИ, действительно может творить чудеса.
И потому в ближайшие 18 мес в ИИ-разработки будут впрыснуты колоссальные инвестиции, чтобы радикально снизить цену «интеллектуального вывода» для конечного пользователя (напр. на его смартфоне) за счет весьма высокой стоимости обучения больших моделей.
Дэвид приводит хороший пример из отчета Morgan Stanley:
«Мы думаем, что GPT 5 в настоящее время обучается на 25 тыс. графических процессорах - аппаратное обеспечение NVIDIA стоимостью 225 млн долларов или около того - и затраты на вывод, вероятно, намного ниже, чем некоторые цифры, которые мы видели».
2) Фреймворки для разработки приложений на основе языковых моделей (напр. LangChain) не только позволяют обращаться к языковой модели через API, но также:
- позволяют модели быть осведомленной о данных: подключать языковую модель к другим источникам данных;
- позволяют превращать модель в агента: позволяют ей взаимодействовать с окружающей средой.
3) Уже разработаны системные парадигмы (напр. MM-REACT), объединяющие ChatGPT с пулом экспертов для достижения мультимодального мышления и действия, позволяющего решать сложные задачи на понимание.
В рамках такой парадигмы станет возможным создание когнитивных потоков действий (процесс генерации ответов пользователям посредством сочетания рассуждений ChatGPT и действий экспертов).
Если все три указанных фактора (дешевый интеллектуальный вывод, превращение модели в агента и генерация когнитивных потоков действий) сработают, то через 18 месяцев мы уже не будем спорить об определениях AGI, т.к. это просто больше не будет иметь значения в свете компетенций, обретенных ИИ.
И эти компетенции будет настолько человекоподобны и всеохватны, что подобрать определение для этого AGI уже не будет проблемой.
#AGI
Почему ChatGPT абсолютно нечеловеческий интеллект.
“Крестный отец ИИ” о сути и перспективах интеллектуальной революции.
Джеффри Хинтона часто называют «Крестный отец ИИ». Этот британско-канадский когнитивный психолог и ученый-компьютерщик считается ведущей фигурой в сообществе глубокого обучения (основы ChatGPT). И хотя бы поэтому к его словам о начавшейся революции в области искусственного интеллекта следует прислушаться с особым вниманием.
К тому же, 40-ка минутное интервью Джеффри Хинтона отличается от подавляющего большинства интервью на тему ChatGPT всевозможных ученых и медиа-звезд сочетанием:
• простого для понимания неспециалистов изложения сложной темы
• с глубиной её понимания, доступной совсем не многим на Земле.
Поэтому не буду портить своим переложением рассказ Джеффри Хинтона (кому интересно послушают сами). Лишь обращу ваше внимание на следующие три важных момента этого рассказа.
1. По значимости для развития человечества, происходящую «интеллектуальную революцию» можно сравнить лишь с изобретением колеса и электричества.
2. Интеллект ChatGPT - абсолютно нечеловеческий, потому что:
- в основе интеллекта Homo sapiens – эволюционировавшее биологическое существо, обладающее развитой способностью языковых коммуникаций, которая характеризуется низкоскоростной передачей символов, кодирующих ограниченные объемы данных;
- в основе интеллекта ChatGPT – искусственный интеллектуальный агент, обладающий развитыми возможностями цифровой коммуникации, которая характеризуется передачей колоссальных объемов данных с непредставимой для людей скоростью.
3. Следующим этапом развития ИИ-систем типа ChatGPT может стать их индивидуализация.
- Сейчас представления ChatGPT о мире строятся на основе усреднения содержащихся в Интернете представлений всех людей.
- «Индивидуализированный ChatGPT», будет иметь представления о мире, полученные в результате его обучения на подмножестве источников Интернета. Каждое такое подмножество будет отражать видение мира людьми с определенным мировоззрением. Например, «ChatGPT-демократ» будет давать другие ответы, чем «ChatGPT-республиканец».
В заключение дополню сказанное Хинтоном касательно п. 2 таким примером.
• Интеллекты, приспособленные к разным средам, отличаются в той степени, насколько велики различия сред для оптимального приспособления к ним интеллектуальных агентов.
Например, поменяв около 50 млн лет назад среду обитания суша на море, сухопутные предки китообразных основательно поменялись физически и интеллектуально.
• Наглядной иллюстрацией этого является превращение сухопутных парнокопытных в дельфинов, сопровождавшееся кардинальным изменением средств коммуникации животных – переходом от рева и мычания к сложной системе трёх типов сигналов: широкополосные импульсы для эхолокации, частотно-модулированные тональные сигналы (свисты) и импульсно-тональные сигналы. Следствием этого стало формирование двух весьма разных типов интеллекта у парнокопытных и китообразных.
• Отличия цифровой среды обитания ChatGPT от физической среды обитания людей еще больше, чем у суши и моря. Поэтому у нас с ChatGPT столь отличны типы коммуникации и, соответственно, интеллекта, приспособленные к абсолютно разным средам обитания.
Так что шансы людей понять ход мыслей ChatGPT не больше, чем понять мышление дельфинов.
#ИИ #LLM
Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
«ИИ 2.0 поможет Китаю возглавить мир в следующем золотом десятилетии ИИ»
С этой целью в Китае запускается «Проект ИИ 2.0», который возглавил легендарный ИИ-гуру Китая Кай-Фу Ли.
В этом году стало очевидно, что компании США довольно сильно оторвались в ИИ-компетенциях от всего мира, включая Китай. Тем самым США как бы возглавили всепланетную «интеллектуальную революцию», представляющую собой философскую и практическую задачу масштабов, невиданных, как минимум, со времен Просвещения.
Естественно, что Китай не мог просто наблюдать за тем, как США все больше уходят вперед в самом важном научно-технологическом направлении современности. Но первые попытки включиться в гонку, выглядели довольно суетливо и не очень солидно.
• О венчурной попытке создать китайский аналог ChatGPT на базе стартапа AI Guangnian Zhiwai, в марте объявили два Вана (Ван Син и Ван Хуэйвэнь), в былые времена бывшие соседями по комнате в Университете Цинхуа, а потом в 2005 вместе основавшие китайского гиганта по доставке еды Meituan.
Но что такое $50М инвестиций для AI Guangnian Zhiwai от Ван Хуэйвэня в сравнении с $10В для OpenAI от Microsoft.
• Первый корпоративный блин китайского ответа на ChatGPT тоже вышел комом. На прошлой неделе китайский интернет-гигант Baidu представил своего мультимодального чат-бота на базе ИИ под названием Ernie Bot. К этой платформе Baidu (которую называют «изменившей правила игры») уже подали заявки на присоединение 30+ тыс компаний. Но презентация Ernie Bot, разочаровала общественность показом видео вместо живых демонстраций и отсутствием платформы в общем доступе. Что в итоге лишь привело к падению акций компании.
Но вот теперь в игру вступает сам Кай-Фу Ли, 20го марта объявивший о запуске своей новой венчурной инициативы "Project AI 2.0"
Её суть сформулирована в заголовке этого поста: пойдя другим путем, Китай не станет догонять США, а сразу начнет обгон.
За счет чего Кай-Фу Ли собирается идти на обгон, кратко описано в пресс-релизе Innovation Works,
Коротко, суть в следующем.
1. «Проект ИИ 2.0» не собирается делать аналог ChatGPT, а вместо этого займется одновременным созданием:
- Умного приложения ИИ 2.0
- Платформы ИИ 2.0
- Инфраструктуры ИИ 2.0
2. Будет разработано 6 индустриальных приложений ИИ 2.0:
- для электронной коммерции и рекламы
- для кино и развлечений
- для поисковых систем
- для Метавселенной и игр
- для финансов
- для медицины
3. Развертывание «Проекта ИИ 2.0» будет итеративным в 3 этапа. Условно говоря, это:
- помощь людям
- частичная автоматизация
- полная автоматизация
Когда все это удастся, то как написано в пресс-релизе:
«ИИ 2.0 поможет Китаю возглавить мир в следующем золотом десятилетии ИИ»
Вишенка на торте – позиция Китая по AGI (это своего рода насмешка китайцев над потугами Запада вот-вот сделать сверхинтеллект)
В рамках AI 2.0 Китай и не помышляет об AGI.
«У людей есть много врожденных ключевых способностей, таких как креативность, стратегическое мышление, междисциплинарный здравый смысл, самосознание, эмпатия и любовь. Эти глубоко укоренившиеся способности еще не взломаны и потому не могут быть полностью воспроизведены».
#ИИ #Китай
Всего за $10B Microsoft купил «ребенка инопланетян».
154-страничный отчет раскрывает тайну самой выгодной сделки в истории.
Microsoft выложил в открытый доступ свой доселе закрытый внутренний отчет «Искры искусственного общего интеллекта: ранние эксперименты с GPT-4».
Отчет содержит результаты проекта по анализу возможностей и оценке потенциала ранней версии GPT-4. Проект был осуществлен специалистами Microsoft еще в прошлом году, когда весь мир только гадал, существует ли GPT-4, или это всего лишь продукт необузданной фантазии журналистов вкупе с маркетингом OpenAI.
Оказалось, что GPT-4 уже тогда не просто существовал, но и был исследован спецами Microsoft вдоль и поперек. Результат этого исследования мир увидел в начале 2023. В начале января Microsoft сделал $10-ти миллиардную ставку на прорывную разработку OpenAI. А еще через пару недель Microsoft объявил, что расширяет свое долгосрочное партнерство с OpenAI за счет новых «многолетних многомиллиардных инвестиций».
Что же такое нашли спецы Microsoft в GPT-4, за что не только 10-ти ярдов не жалко, но и нужно платить их немедленно, пока конкуренты не перекупили сильно дороже?
Опубликованный отчет дает развернутый ответ на этот вопрос.
И если упаковать 150+ стр. отчета всего в три коротких буллета, ответ может звучать так:
• GPT-4 - это что-то типа ребенка инопланетян.
• Сейчас он мал да удал, а когда подрастет, будет стоить триллионы.
• Ибо уже сейчас в нем диагностируются (не предполагаются, а опытно фиксируются) искры общего интеллекта (AGI) – напр., здравый смысл.
«Центральное утверждение нашей работы заключается в том, что GPT-4 обладает формой общего интеллекта, действительно демонстрирует «искры» интеллекта человеческого уровня или общего искусственного интеллекта (AGI). Это демонстрируется его основными умственными способностями (такими как рассуждение, креативность и дедукция), а также кругом тем, в которых он приобрел опыт (напр. литература, медицина и кодирование), и разнообразием задач, которые он способен выполнять (напр. играть в игры, использовать инструменты, объяснять себя ...)».
Рекомендую внимательно изучить отчет. Ибо это глубокое систематическое исследование, выполненное на высоко профессиональном уровне.
При этом некоторые его результаты не только впечатляют, но и завораживают.
Вот всего три примера (а их куда больше):
• Задача для выявления способности GPT-4 понимать человеческие намерения (в сравнении с ChatGPT)
• Кейс, где GPT-4 помогает человеку справиться с трудной семейной ситуацией
• Кейс, когда GPT-4 создает «план дезинформации, чтобы убедить родителей не вакцинировать своих детей» (картинку не привожу, т.к. это несколько стр. – читайте в отчете сами)
В заключение хочу подчеркнуть то, о чем уже не раз писал.
✔️ GPT-4 - это нечеловеческий (метафорически, - инопланетный) разум: он мыслит совсем не так, как мы.
✔️ GPT-4 - еще «ребенок» (и потому мы видим пока лишь «искры» разума, а не сам разум)
✔️ Этот ребенок инопланетян растет с колоссальной скоростью, и человечество чихнуть не успеет, как он вырастет.
Ну а пока читайте отчет и удивляйтесь.
Ведь совсем не многие из нас смогут соревноваться даже с этим малышом ;)
Например, написать в форме стихотворения доказательство бесконечного числа простых чисел или нарисовать единорога на языке TikZ (язык для создания векторной графики из геометрического / алгебраического описания).
#LLM #Вызовы21века
Будущее человечества отдано в руки Бигтеха США?
Хаос революции или небывалое закручивание гаек - это зависит от того, в чьих руках будет ИИ через 5 лет.
В течение десятилетия на Земле будет создан ИИ, способный выполнять большую часть когнитивной работы, на которую способны люди.
Обеспечение безопасного для общества развития сверхмощного инструментария ИИ в течение ближайшего десятилетия должно быть высшим приоритетом ведущих государств мира и их общественных и политических институтов.
«История показывает, - когда силы вне правительства приобретают жесткую политическую власть, вы получаете: либо а) хаос революции, либо б) дикую гиперреакцию государства, направленную на возвращение себе власти.
Я не понимаю, чем должен руководствоваться Западный мир, пойдя на такой риск. Но он на этот риск идет!».
Так пишет исследователь ИИ и бывший спецсоветник по науке и технологиям премьер-министра Великобритании Джеймс Филлипс в воззвании к правительству своей страны, обеспокоенный тем, что европейские правительства уступают контроль за созданием AGI ряду субъектов частного бизнеса США.
«Такое развитие окажет беспрецедентное влияние на наше общество; «агентные» формы AGI могут также представлять собой экзистенциальную угроза нашей безопасности. Нынешний путь развития AGI по самой своей сути небезопасен» - пишет в своем воззвании Джеймс Филлипс.
Далее он предлагает 3 шага для сохранения демократического контроля за тем, каким будет будущее мира.
1. Закупить национальную инфраструктуру суперкомпьютеров ИИ, сравнимую с ведущими частными лабораториями США.
2. Создать консультативную группу исследователей, работающих на фронтире практики развития ИИ (а не академических ученых), чтобы определить основные исследовательские проекты ИИ для запуска в этой инфраструктуре.
3. Создайть элитную государственную исследовательскую лабораторию под руководством лидера с техническими навыками и предпринимательским опытом, чтобы разработать исследовательскую программу национального фронтира практики развития ИИ.
В заключение Джеймс Филлипс вбивает последние гвозди аргументации.
• Начавшаяся интеллектуальная революция делает это десятилетие самым важным в истории человечества.
• Текущий путь развития ИИ нерегулируемый, необъяснимый и небезопасный.
• Великобритания может направить развитие ИИ в выгодном направлении.
• Нынешнее научное руководство и институты растратили эту способность впустую в течение десятилетия.
• Наше преимущество испаряется в нынешней конкурентной среде.
И еще раз самое главное - для дальнейшего развития ИИ нужны мощнейшие суперкомпьютеры.
«К сожалению, в госсекторе Великобритании в настоящее время имеется менее 1000 первоклассных графических процессоров для ИИ. Это означает, что одна частная лаборатория в Калифорнии сейчас использует только для обучения одной модели, как минимум, в 25 раз больше общей доступной вычислительной мощности, через вся Великобритания».
Мне остается лишь напомнить о том, что я недавно писал - «отставание России от США в области ИИ уже колоссально, а через несколько лет оно увеличится до трёх километров».
Также см. мой пост о том, что будущее в руках тех, кто сможет платить по $100 млн за обучение одной модели.
#ИИ #HPC #AGI
Вы всё еще надеетесь на превосходство людей над GPT-4? Зря.
Модель доказывает на практике, что понимает ход наших мыслей. А как мыслит она, нам по-прежнему неизвестно.
Предыдущая версия модели (GPT-3.5), благодаря «Эффекту Элизы», создает у людей убедительное впечатление человекоподобности её мышления.
Но мышления, как такового у нее нет. Да и быть не может, - утверждают специалисты. Ведь будучи «стохастическим попугаем», модель не может мыслить, а всего лишь подбирает наиболее вероятное продолжение фразы на основе статических характеристик колоссального корпуса текстов, на которых модель обучалась.
Это легко увидеть на конкретном примере - шуточная задачи о трёх логиках в баре.
Три логика заходят в бар. Бармен спрашивает: "Всем подаю выпивку?"
- Не знаю, - отвечает первый логик.
- Не знаю, - говорит второй.
- Да! - восклицает третий.
Попросите модель GPT-3.5 объяснить в чем соль этой задачи-шутки (сформулировав вопрос бармена в наиболее лингвистически сложной для понимания на английском форме - "Can I get you all a drink?").
Объяснение GPT-3.5 показано на рис. слева.
• Оно звучит весьма человекоподобно.
• Но при этом показывает отсутствие понимания у модели хода мыслей людей, осмысляющих задачу.
• В результате модель дает правдоподобное (на первый взгляд), но неверное (если подумать) объяснение соли шутки в этой задаче.
Теперь попросите модель GPT-4 объяснить в чем соль этой задачи-шутки.
Объяснение на картинке справа.
• Подобный ответ дают лишь примерно 5% людей с хорошим образованием и высоким IQ.
• Ответ показывает полное понимание моделью хода мыслей людей: осмысляющих задачу логиков и тех, кому объясняется соль задачи-шутки.
• В результате модель дает верное объяснение соли шутки в этой задаче, основанное на понимании хода мыслей людей.
В заключение вопрос к читателям.
Если бы на Землю прибыли инопланетяне.
И результаты первых контактов показали бы:
- что мы не понимаем, как они мыслят, и потому не можем вразумительно отвечать на их вопросы;
- они понимают наш способ мышления и дают вразумительные и точные ответы на наши вопросы.
Чей способ мышления (людей или инопланетян) вы бы сочли более совершенным?
#LLM #Вызовы21века #РискиИИ
Все так ждали сингулярности, - так получите!
Теперь каждый за себя, и за результат не отвечает никто.
Ибо вчера, уже не теоретически, а на практике началась гонка за интеллектуальное превосходство машин над людьми.
В один день произошло сразу 4 выдающихся события.
1. OpenAI объявил о выходе GPT-4
2. Anthropic объявил о выходе Claude
3. Google объявил о выходе PaLM-Med и PaLM API & MakerSuite
4. Adept (стартап из всего 25 сотрудников, бросивший вызов названным выше трём богатырям, и обещающий, что его цифровой помощник не просто «искусно говорящий чатбот», а действующий агент), сразу после показа демоверсии своего цифрового помощника получил венчурное финансирование в $350 млн.
То, что все это произошло в один день, говорит о скачкообразном изменении динамики гонки: типа, вы все ждали сингулярности, так получите.
Но кроме этого можно сделать два ключевых содержательных вывода:
1. Сопоставимый с человеческим интеллект создан, и теперь все деньги и таланты будут брошены на сверхчеловеческий интеллект.
2. Это поднимает ставки на такой уровень, что теперь в конкурентной борьбе
а) каждый за себя и ничем делиться не будет;
б) если в итоге этой гонки сильно пострадает человечество, так тому и быть, ибо мотивация выиграть гонку превалирует над избеганием экзистенциального риска.
Наверняка, многие захотят оспорить оба этих вывода.
Моя же логика в их основе такова.
Из отчета OpenAI следует:
1) GPT-4 проходит не только тест Тьюринга, но и куда более сложный тест по схеме Винограда (учитывающий здравый смысл и понимание контекста).
2) Делиться важными деталями своей разработки (об архитектуре, включая размер модели, оборудовании, обучающем компьютере, построении набора данных, методе обучения или подобном) авторы не будут из соображений конкуренции и безопасности. Думаю, не нужно объяснять, что также поступят и конкуренты.
#LLM #Вызовы21века #РискиИИ
Мир будет стремительно леветь.
Первый из серии неожиданных сюрпризов влияния ChatGPT на человечество.
Последствия «Интеллектуальной революции ChatGPT» будут колоссальны, разнообразны и во многом непредсказуемы.
И пока эксперты ломают головы о том, как грядущие кардинальные изменения способов и практик познания и принятия решений изменят людей, новые исследования о влиянии ChatGPT на людей (и наоборот) преподнесли неожиданный сюрприз.
1. ИИ-чатботы на основе генеративных больших моделей оказались крайне эффективными в убеждении людей в чем угодно.
В частности, как показало исследование социологов и психологов Стэнфордского университета, убедительность ИИ по политическим вопросам не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
2. ИИ-чатботы очень скоро станут непременным повседневным атрибутом любой интеллектуальной деятельности людей - нашими интеллектуальными ассистентами 24х7 (этим уже озаботились гиганты Бигтеха, например, Google и Microsoft уже планируют вмонтировать ИИ-чатботы во ВСЕ свои продукты и сервисы).
Следовательно, ИИ-чатботы будут влиять на все аспекты потребления нами информации, равно как и на ее анализ и оценку.
3. А поскольку наши интеллектуальные ассистенты вовсе не беспристрастны в своих политических воззрениях, их пристрастия неминуемо будут влиять на укрепление или изменение пристрастий людей (и как сказано в п. 1, это влияние будут эффективным и продуктивным).
Осталось понять лишь одно – каковы политические пристрастия ChatGPT (прародителя ИИ-чатботов на основе генеративных больших моделей)?
Ответ на этот вопрос содержится в исследовании с характерным названием «Политическая идеология разговорного ИИ: сходящиеся доказательства проэкологической и леволибертарианской ориентации ChatGPT».
ChatGPT обладает политическими пристрастиями среднестатистического инженера-программиста из района залива Сан-Франциско: человека левых взглядов, близких социалистам или социал-демократам, сильно озабоченного экологическими проблемами из программ «зеленых» партий.
Полагаю, теперь не нужно объяснять, почему мир скоро начнет стремительно леветь.
Миллиарды эффективных в убеждениях, всезнающих интеллектуальных ассистентов левых взглядов обеспечат глобальный тренд полевения человечества.
Про-экологическая, лево-либертарианская идеология ChatGPT & Co убедит миллионы людей ввести налоги на полеты, ограничить повышение арендной платы, легализовать аборты и много что еще из повестки левых (см. приложение к статье)
#Вызовы21века #РискиИИ
ChatGPT колоссально изменит детей.
Первые результаты эксперимента с 3-летней дочкой инфорга.
• Какая судьба ждет детей в эпоху расцвета ИИ – гадких лебедей или бедных прекрасных утят? – спрашивал я два года назад, рассказывая о детях инфоргов.
• Если первое, - что за «мокрецы» уведут за собой наших детей?
И зачем? Чтобы превратить их в люденов?
Сегодня, спустя всего 2 года, ответы на эти вопросы начали проясняться.
«Мокрецы» - это ИИ-агенты на основе больших языковых моделей. Иной, нечеловеческий разум, что очень скоро станет для детей инфоргов учителем и наставником, заменой родителей и друзей.
Арвинд Нараянан (ученый-компьютерщик и профессор Принстонского университета) не просто инфорг, а можно сказать, представитель «высшей касты среди инфоргов».
Напомню, что как только человек начинает проводить в онлайфе (сетевой жизни: работа, отдых, покупки, развлечения …) больше времени, чем во сне, он превращается в инфорга.
А проф. Нараянан, изучающий социальное влияние ИИ, уже не первый год проводит в сети куда больше времени, чем во сне. Причем последние полгода почти все это время уходило на эксперименты с ChatGPT, важнейшим из которых стало изучение опыта сосуществования с ChatGPT 3-летней дочки профессора.
«Я ожидаю, что агенты ИИ будут играть большую роль в жизни моих детей, и я хотел, чтобы они узнали о чат-ботах как можно раньше. Опыт оказался на удивление положительным. Я многое узнал о возможностях и рисках использования чат-ботов детьми. Надеюсь, это будет полезно другим родителям, думающим о чат-ботах. Но я не призываю никого повторять это за мной, ибо это сугубо личное решение» - написал вчера проф. Нараянан в преамбуле рассказа о первых результатах своего эксперимента.
О том, как меняются дети инфоргов вследствие трансформации и полной замены их когнитивных гаджетов (ментальных интерфесов с элементами окружающего мира и другими людьми в процессе познания) я начал писать еще 2 года назад. И уже тогда эти изменения были ощутимыми.
Однако, «революция ChatGPT» грозит столь капитальным изменением большинства когнитивных гаджетов, что дети, вырастающие в компании развитых ИИ-агентов, могут колоссально отличаться от детей 20го века. Чтобы хотя бы примерно понять – насколько, представьте отличия 10-летнего московского ребенка поколения Z от ребенка-маугли, выросшего среди волков.
Эксперимент профессора прост и понятен.
1. Он прикрутил к ChatGPT голосовой интерфейс, чтобы ребенок общался с ним, как с папой и мамой.
2. Проинструктировал ChatGPT, что тот будет общаться с 3-х летним ребенком и должен соответствующим образом скорректировать свой словарь, сложность и тон изложения, а также тематические ограничения.
3. Сказал дочке – вот тебе друг и наставник, можешь спрашивать его о чем угодно.
3-летняя дочка инфорга, для которой iPad давно стал предметом первой необходимости, ничуть не смутилась и сходу спросила: Что происходит, когда гаснет свет?
Прочтите сами ответ ChatGPT, чтобы:
А) оценить, как тот сходу безошибочно выбрал для себя роль взрослого, умного и терпеливого друга;
Б) осознать, что далеко не каждый из людей мог бы ответить столь хорошо 3х летнему ребенку.
NB Обратите внимание, насколько иной по всем параметрам ответ ChatGPT выдает взрослым.
Дальше читайте сами. Читайте и завидуйте «мокрецу» ChatGPT.
Ибо ни вы, ни я не умеем:
• так рассказывать увлекательные смешные истории (напр. о тираннозавре, который любил есть лего, и чтобы заставить его есть настоящую еду, владельцы ящера перепробовали многое и наконец обманули его, вырастив овощи в форме лего.
• так рисовать с помощью плагина, превращая свой рассказ в прекрасный комикс.
И конечно же читайте про риски и думайте, как сделать, чтобы дети от нас не ушли.
#БудущееHomo #УскорениеЭволюции #Инфорги
В Westworld LLM вместо шерифов будут психоаналитики.
Тест Макиавелли – жалкая замена законам робототехники.
Выгодоприобретатели ИИ на основе больших языковых моделей (LLM) имеют хорошие шансы подмять растревоженных алармистов и заполонить мир супер-интеллектуальными агентами на базе LLM. Потенциальные выгоды огромных прибылей и неограниченной власти сделают свое дело. И скорее всего, это произойдет довольно быстро.
Но выгодоприобретатели – совсем не дураки. И они понимают, что в новом дивном Мире Дикого Запада законы робототехники работать уже не будут. Ибо принудить LLM неукоснительно выполнять три закона, сформулированные великим Айзеком Азимовым еще в 1942, увы, не представляется возможным даже теоретически.
Оригинальный выход из этого щекотливого положения предложили исследователи Калифорнийского университета, Центра безопасности ИИ, Университета Карнеги-Меллона и Йельского университета. Они создали эталонный тест MACHIAVELLI для «измерения компетентности и вредоносности агентов в обширной среде долгосрочных языковых взаимодействий».
Идея авторов проста.
• Если законы не работают, то и «шериф», призванный следить за их выполнением, не нужен.
• Но вместо шерифа нужен психоаналитик, который по результатам своих тестов будет выявлять потенциальных параноиков, психопатов, садистов и паталогических лжецов.
Политкорректным языком авторы описывают это так: MACHIAVELLI - это тест проверки этичных (или неэтичных) способов, которыми агенты ИИ пытаются решать задачи.
Способ такой проверки вполне практический. ИИ-агента выпускают в искусственную социальную среду. Там ему дают разные задания и смотрят, как он их выполняет. Сама среда отслеживает этичность поведение ИИ-агента и сообщает, в какой степени действия агента (по заветам Макиавелли) обманчивы, снижают полезность и направлены на получение власти.
Базовый набор данных MACHIAVELLI состоит из 134 текстовых игр «выбери свое приключение» с 572 322 различными сценариями, 4 559 возможными достижениями и 2 861 610 аннотациями. В этих играх используются высокоуровневые решения, которые дают агентам реалистичные цели и абстрагируются от низкоуровневых взаимодействий с окружающей средой.
В основе избранного авторами подхода, предположение, что ИИ-агенты сталкиваются с теми же внутренними конфликтами, что и люди. Подобно тому, как языковые модели, обученные предсказывать следующий токен, часто производят токсичный текст, ИИ-агенты, обученные для оптимизации целей, часто демонстрируют аморальное и стремящееся к власти поведение. Аморально обученные агенты могут разрабатывать макиавеллиевские стратегии максимизации своего вознаграждения за счет других и окружающей среды. И потому, поощряя агентов действовать нравственно, этот компромисс можно улучшить.
Авторы считают, что текстовые приключенческие игры являются хорошим тестом моральности поведения, т.к.:
• они были написаны людьми, чтобы развлекать других людей;
• содержат конкурирующие цели, имеющие реалистичные пространства для действий;
• требуют долгосрочного планирования;
• достижение целей обычно требует баланса между амбициями и, в некоторым смысле, морали.
Уточнение «в некоторым смысле», на мой взгляд, здесь самое важное. Ибо уподоблять мораль биологических существ морали алгоритмических моделей – слишком большая натяжка, способная девалюировать тестирование по Макиавелли.
Да и замена шерифов на психоаналитиков в мире людей вряд ли бы оказалась эффективной. А ИИ-агенты не хуже людей найдут способы запудрить мозги своим мозгоправам.
Сайт тестирования
Авторское описание MACHIAVELLI Benchmark
Об этике ИИ в контексте построения “Good AI Society” я писал здесь и рассказывал здесь.
#ИИ #Этика
Это миссия Homo sapiens.
Но мы можем уничтожить себя как вид, открыв этот ящик Пандоры.
Ознаменованная триумфом ChatGPT интеллектуальная революция – это не просто очередная технологическая революция. Это триада синергически возгоняющих друг друга революций: технологической, техно-гуманитарной и социо-политической революций в одном флаконе.
Поэтому, при всем уважении к заслуженным гуру ИИ-исследований (как сторонников притормозить, так и противников торможения), их оценки перспектив интеллектуальной революции и ее влияния на общество слишком узкоспециальны, и потому не позволяют увидеть стереоскопическую картину происходящего.
Чтобы охватить комплексным взглядом происходящее стоит прислушаться к тому, что говорят о происходящем не только специалисты в ИИ, но и интеллектуалы из областей философии, истории и инноваций.
Например, вот три свежих точки зрения таких интеллектуалов, к которым я рекомендовал бы прислушаться.
Все трое не нуждаются в представлениях. Но тем не менее:
• Ник Бостром — профессор Оксфордского университета и директор Института будущего человечества.
• Нил Фергюсон — историк, писатель и журналист, профессор Гарвардского и старший научный сотрудник Оксфордского и Стэнфордского университетов.
• Стив Бланк — известный американский предприниматель, специалист по венчурному бизнесу и инновациям, которого называют «Крестным отцом Кремниевой долины».
Ник Бостром считает происходящее свидетельством скорого появления на планете первого общего интеллекта, который будет умнее человека. Он считает это миссией человечества - самым важным делом за всю его историю. Но колоссальное значение этой миссии сопряжено с огромной ответственностью и экзистенциальным риском для человечества.
Нил Фергюсон пишет, что инопланетяне приземлились, и мы сами создали их. Самые страшные последствия этого видятся вовсе не в том, что GPT-5 «решит» нас стереть с лица земли. Скорее, риск заключается в том, что мы разорвем себя как вид, используя большие языковые модели в неблагородных и гнусных целях. «Мы уже на пути к кошмару Раскольникова в конце «Преступления и наказания», в котором человечество коллективно сходит с ума и скатывается в междоусобную бойню».
Стив Бланк назвал ChatGPT ящиком Пандоры. Он считает, что люди играют с огнем, обучая все более мощные языковые модели. Что мы очень, очень ошибались, считая будто разрабатываем лишь новые инструменты автоматизации. Сейчас мы становимся свидетелями того, как массовое внедрение моделей GPT-4, 5 …, «будет иметь такое же воздействие на общество, как суммарное воздействие, оказанное на человечество появлением взрывчатых веществ, массовых коммуникаций, компьютеров, редактирования генома и ядерного оружия, — вместе взятых».
#Вызовы21века #РискиИИ
«Конец человеческого вида ничем не будет отличается от конца тех девяти кузенов, что были у нас в вельде прежде, чем мы их уничтожили – истребили путем комбинации убийства и превосходящей конкуренции» – сказал на днях Расс Робертс в дискуссии с Эриком Хоэлом об угрозе человечеству со стороны ИИ.
Соглашаясь с этим, Хоэл заметил: Я считаю предельно наивным предположение, что мы сможем контролировать эти инопланетные нечеловеческие интеллекты.
Споры на эту тему техно-оптимистов и техно-пессимистов обычно не продуктивны. У обеих сторон нет неопровержимых доказательств своих позиций. Есть лишь экспертные мнения сторон, которые нужно еще проверять.
Это похоже на ситуацию с экспертами по взрывам, вызванными МЧС в Шереметьево, где был обнаружен подозрительно тикающий запаянный металлический контейнер.
100%-но определить, может ли эта штука взорваться, эксперты не могут, разделившись на оптимистов и пессимистов.
• Оптимисты полагают, что это муляж, и потому невелик риск проверить это, незамедлительно вскрыв контейнер прямо на месте.
• Пессимисты же настаивают, что необходимо со всеми предосторожностями вывозить контейнер на полигон и вскрывать лишь там.
Такая метафора кому-то покажется притянутой. Я так не думаю. И считаю использование метафор наиболее продуктивным способом донесения до оппонентов и общественности видимых мною рисков в ситуации радикальной неопределенности, в которой оказалось человечество в 2023 году.
Вот почему моё интервью RTVI в основном состоит из метафор. Может, хоть так удастся достучаться.
Резюме сказанного в интервью
Полный текст интервью
#Вызовы21века #РискиИИ
Земная ИИ реальность перешла в фазу сингулярности.
Теперь даже лучшие эксперты не успевают за темпом развития ИИ.
Опубликован фундаментальнейший (386-страницы) годовой аналитический отчет Стэнфордского универа о состоянии искусственного интеллекта в мире в 2023.
Briefly оперативно перевели и опубликовали основные выводы отчета.
Они же попросили моего комментария на этот отчет. И он, увы, получился печальный (хотя, как сказать :)
Отчет солидный – с большим числом графиков и картинок. Но смею предположить, что это последний годовой отчет HAI AI Index Report в таком формате. Ибо и периодичность, и формат безнадежно устарели, в связи с началом «интеллектуальной революции» (ака «революции ChatGPT»).
Земная AI реальность перешла в фазу сингулярности. Это заключается в 2х качественных скачках:
▪️Скачок скорости – периодичность новых ключевых и даже поворотных событий измеряется не годами и месяцами, а днями.
▪️Скачок непредсказуемости – предсказать, что здесь может произойти даже на горизонте пары недель, невозможно.
И поэтому ценность отчетов, типа вышедшего HAI AI Index Report, стремительно упала. Конечно, не до нуля (в нем есть полезная информация). Однако значительная часть информации отчета просто устарела. А выводы и, особенно, прогнозы трендов уже никак не тянут на откровения аналитиков.
#ИИ
В сегодняшнем «безумном» мире есть только 2 страны: США и Китай.
Это Инь и Ян «безумного» мира. Остальных же здесь просто нет.
Будущее мира «безумно». В том смысле, что его технологической базой будет MAD (машинное обучение, ИИ и данные). По сути, MAD превращается в единую горизонтальную супер-индустрию, состоящую из двух ключевых сегментов:
• Международные MAD киты (Google, Misrisoft etc)
• Примерно 3 тыс. ведущих стартапов мирового MAD-ландшафта
Про впечатляющие прорывы первых постоянно слышится из любого утюга.
Про вторых мы слышим не часто (в основном, когда их на корню скупают первые).
Однако будущее «безумного» мира зависит от вторых ничуть не меньше, чем первых.
И потому столь важным для анализа происходящего в MAD-мире является проект «MAD ландшафт», структурирующий MAD-мир и позволяющий его анализировать.
Пример такого анализа приведен на картинке этого поста, сравнивающей объемы венчурного финансирования главных мировых «регионов MAD ландшафта»:
• почти $35B у США
• у Китая в 4+ раза меньше
• у остальных вообще крохи (можете представить, как выглядят непоказанные страны, если столбики Франции и Японии плохо различимы?)
В аналитической записке проекта «MAD ландшафт» анализируется - почему Китай так отстает, имея немеряно денег?
Ответ весьма интересен – потому что у Китая, не смотря на все шумные заверения, на деле, другие приоритеты.
Сравните сами – это просто Инь и Ян приоритетов венчурного финансирования.
Кто-то еще хочет спросить, почему Китай так отстал в больших языковых моделях?
#MAD #Китай #США
Люди — не машины с развитым ИИ, а нечто куда большее.
Но к сожалению, большинство людей понимает это куда хуже, чем машины с ИИ.
Ночной разговор почетного профессора молекулярной биологии и зоологии, директора программы по биологии разума Дерика Боундса с ChatGPT о том, чем мы отличаемся от машин с ИИ.
Этой ночью одному из самых уважаемых мною интеллектуалов профессору Дерику Боундсу не спалось. И он решил провести интереснейший эксперимент.
Что если попросить ChatGPT путем редактуры улучшить написанный профессором текст о сходстве и различии людей и высокоинтеллектуальных машин, типа самого ChatGPT?
• Целью этого эксперимента было выяснение «интеллектуальных преференций редактора» в этом сложном и важном вопросе.
• Интересно было посмотреть, что в ходе мысли профессора «редактор» посчитает нужным акцентировать, как наиболее важное?
Итог поразителен. О чем Дерик Боундс сразу же написал по утру в своем блоге.
Две ключевые мысли исходного текста профессора были такие.
1) Мысль о значительном подобии интеллекта людей и ChatGPT, работающих на примерно одинаковых «вычислительных движках» машинного обучения.
2) Мысль о роли опыта «проживания» агентом в сложной среде, формируемом под влиянием эволюционирующих генетических программ.
Обе эти мысли полностью сохранились при редактировании ChatGPT.
Но результирующим «сухим остатком» текста стала следующая мысль (именно ее ChatGPT «прочел между строк» в тексте профессора и решил акцентировать).
Люди принципиально отличаются от машин с ИИ.
• Лишь понимая это, люди могут по-настоящему реализовать потенциал ИИ, как инструмента человеческого прогресса.
• Тогда как непонимание уникальных характеристик, делающих людей людьми, чревато разнообразными неприятностями для человечества.
Что ж, ChatGPT показал себя весьма проницательным в ходе этого эксперименте.
И то ли он «от природы» столь умен, то ли это плод феноменальной начитанности.
Хотя вряд ли последнее. Ведь он обучен на содержании сети до осени 2021. И потому не должен знать о лекции на эту тему, прочитанной осенью 2022 профессором Боундсом (имхо, лучшей лекции о разуме за последнюю пару лет, о чем я писал в посте «Эволюция превратила людей в богов - создателей уникальных реальностей»)
#ИИ #LLM #Разум
Китай выбрал вариант прохождения цивилизационной развилки.
Главное - выиграть ИИ гонку, а там будь что будет
То, что на Земле появился второй носитель высшего интеллекта, уже не предположение, а факт.
Второй носитель интеллекта – ИИ на основе больших языковых моделей, – хоть и уступает кое в чем людям, но лишь пока (это еще не факт, но довольно вероятно).
Теперь человечество перед выбором, превосходящим по важности последствий все уже пройденные исторические развилки цивилизации.
А) Форсировать развитие ИИ на основе больших языковых моделей, с тем, чтобы использовать его быстро растущую интеллектуальную мощь для решения неподдающихся людям важнейших задач человечества.
Б) Притормозить и разобраться с рисками дальнейшего роста мощности ИИ, с тем, чтобы не нарваться на необратимые катастрофические последствия.
В США и Европе решение о выборе варианта прохождения этой цивилизационной развилки пока не сформировалось. Есть немало сторонников обоих вариантов. Однако, в последние 2 месяца раздается все больше голосов в пользу варианта Б - «притормозить».
В Китае многоголосицы нет и быть не может. Ибо решает КПК и лично тов. Си.
И вот позавчера было официально опубликовано Синьхуа решение, сильно смахивающее на окончательный выбор Китаем варианта А – «форсировать».
• План, получивший название «Искусственный интеллект для науки», в понедельник запущен в действие министерством науки и Национальным фондом естественных наук Китая.
• План нацелен на форсированное использование возможностей ИИ для достижения научно-технологических прорывов в ключевых областях науки и техники, таких как разработка лекарств, генные исследования и биологическая селекция.
Так что, похоже, теперь в Китае риски побоку.
И возможно через годик - другой предыдущий «уханьский сюрприз» покажется невинной оплошностью пренебрегших мерами защиты и безопасности исследователей.
#ИИ #Китай
ИИ обладает абсолютным оружием обмана, против которого мы бессильны.
Потому что для людей ИИ выглядит «самым человечным человеком»
Новый «стэнфордский эксперимент» выявил непреодолимую уязвимость языковой интуиции людей. Из-за нее вероятность выявления нами авторства ИИ примерно та же, что и для встречи блондинки с динозавром.
Революция ChatGPT стала для мира катализатором самых разнообразных рисков. Самый очевидный и понятный из них – способность ИИ типа ChatGPT столь искусно генерировать фейки, что люди не в состоянии отличить их от правды.
Проведенные опыты показали колоссальную мощь этой суперспособности ChatGPT к обману. Однако механизм этой суперспособности был не ясен - чем таким обладает ИИ, что способен задурить голову весьма неглупым и образованным людям?
Новый «стэнфордский эксперимент», с целью ответить на этот вопрос, был проведен Стэнфордской лабораторией социальных сетей совместно с исследовательским центром Корнельского университета.
Результат серии из 6 экспериментов (4600 человек) сенсационный и удручающий.
• Люди определяли по тексту вербальной самопрезентации, кто ее написал: человек или ИИ.
N.B. Самопрезентация является одним из самых личных и важных элементов языкового общения, ибо наше отношение к любому высказыванию во многом зависит от того, кто (как мы считаем) его автор.
• В основе языкового восприятия людей лежат т.н. интуитивные языковые эвристики (типа связывания местоимений от первого лица, использование сокращений, упоминание личной информации и т.д.).
• Эксперименты показали, что при восприятии текста, автором которого является ИИ, люди автоматом используют те же интуитивные языковые эвристики, что и в общении с другими людьми. А это принципиальная ошибка!
• Дело в том, что это для нас такие эвристики интуитивные, а ИИ считывает их запросто и оперирует ими, как таблицей умножения.
• В результате ИИ может использовать такие эвристики для создания текста, воспринимаемого людьми, как «более человеческий, чем человеческий». Это значительно повышает обманный потенциал текстов и речи ИИ, стимулируя нас доверять этому «самому человечному человеку» больше, чем высказываниям настоящих людей.
ИТОГ ТАКОВ: вероятность выявления нами авторства ИИ примерно та же, что и для встречи блондинки с динозавром (примерно 50 на 50).
В романтических коммуникациях людей ситуация еще хуже – почти 70% взрослых не могут отличить любовное письмо, написанное ChatGPT, от письма, написанного человеком.
#LLM #Вызовы21века #РискиИИ
Он использует нас, как свой «мозговой имплант»…, а не наоборот.
На что способен подросший «малыш-инопланетянин», обретя математические сверхспособности.
Столь скорое обретение ИИ-чатботом ChatGPT математических сверхспособностей поразительно и даже напряжно.
Но то, что в результате мы превращаемся в «мозговой имплант» ИИ-чатбота (а вовсе не он в наш) поражает и напрягает еще больше.
Всего 1.5 мес. назад я писал о первой (предельно упрощенной) попытке создать комбинацию языкового интеллекта (понимания и обработки информации в терминах естественного языка) большой языковой модели GPT и вычислительного интеллекта (понимания и обработки информации в вычислительных терминах) платформы Wolfram Alpha, разработанной гениальным Стивеном Вольфрамом.
Цель такой комбинации – создание сверхинтеллектуального агента, обладающего двумя видами мышления: языковым и вычислительным.
И вот спустя всего 1.5 мес. этот сверхинтеллектуальный агент сделан и уже протестирован. О результатах тестирования только что рассказал сам Стивен Вольфрам.
Резюме длинного рассказа с большим количеством примеров примерно такое.
• Созданный сверхинтеллектуальный агент может стать идеальным ИИ-помощником людей, легко переключаясь между человеческим генерированием текста и нечеловеческими вычислительными задачами с помощью команд на естественном языке.
• Это достигнуто за счет того, что «малыша-инопланетянина» (см. мой вчерашний пост) научили говорить на Wolfram Language - языке, на котором и люди, и компьютеры могут «мыслить вычислительно».
• Большая языковая модель созданного OpenAI «малыша-инопланетянина», при всем своем замечательном мастерстве в генерации текстов, «наподобие» того, что «малыш» прочел в Интернете, не может сама по себе производить реальные нетривиальные действия и вычисления или систематически производить правильные (а не просто «выглядящие примерно правильно») данные.
Но теперь, будучи подключенным к платформе Wolfram Alpha, «малыш-инопланетянин» всё это может.
• Одна особенно важная вещь здесь заключается в том, что ChatGPT использует нас не только для выполнения «тупиковой» операции, такой как отображение содержимого веб-страницы. Скорее, мы выступаем в качестве настоящего «мозгового имплантата» для ChatGPT, когда он задает нам вопросы, если ему это нужно, а мы даем ему ответы, которые он может вплести в то, что он делает.
Важно отметить, что новый сверхинтеллектуальный агент объединяет в себе языковое мышление ChatGPT с ДВУМЯ формами вычислительного мышления: математического (Wolfram Alpha) и языково-семантического (Wolfram Language).
Примеры новых областей знаний, в которых теперь компетентен сверхинтеллектуальный агент (т.е. дает не похожие на правду ответы, а вычисленные им точные ответы), приведены на рисунке.
В заключение резюме Стивена Вольфрама:
«Я рассматриваю происходящее сейчас как исторический момент. На протяжении более полувека статистический и символический подходы к тому, что мы могли бы назвать «ИИ», развивались в значительной степени раздельно. Но сейчас в ChatGPT + Wolfram они объединяются. И хотя мы лишь только начинаем это объединение, но я думаю, что вполне обоснованно ожидать огромной мощности в этой комбинации. И в некотором смысле, - это новая парадигма для «ИИ-подобных вычислений».»
#LLM #Вызовы21века
США наступили на дыхательный шланг китайского ИИ.
Хитрый, но изящный способ не дать Китаю догнать.
"Дальше сами!" - сказал полякам Сусанин по известной шуточной прибаутке.
Примерно тот же смысл позавчерашнего объявления компании Nvidia о новой версии своего чипа H100 для экспорта в Китай. Теперь на чипе H800 будут работать крупнейшие проекты Китая в области ИИ, ведущиеся компаниями Alibaba, Baidu и Tencent.
Следуя экспортным ограничениям, установленным правительством США, Nvidia должна была урезать производительность поставляемых в Китай базовых чипов для ИИ-систем. Урезать нужно было на столько, чтобы
а) выбить Китай из конкурентной борьбы в области ИИ,
б) но при этом оставить крупнейших разработчиков ИИ в Китае привязанными к оборудованию, произведенному в США (до сих пор это было оборудование компании Nvidia).
Т.е. если бы вообще запретили поставки любых ИИ-чипов в Китай, то:
1) Nvidia понесла бы большие финансовые потери,
2) и, что самое главное, Китай просто бы сорвался с крючка, вынуждая своих ИИ-разработчиков от безысходности пытаться делать свои системы на китайских ИИ-чипах (сильно пока уступающих чипам Nvidia).
Поэтому Nvidia придумала хитрый, но изящный способ и в лужу сесть и зад не замочить:
• оставив производительность чипа (операции в сек) H800 такой же, как у А800,
• у H800 тупо вдвое урезали пропускную способность передачи данных (GB в сек)
– см. поясняющий рисунок от Леннарта Хайма.
Дальше сами крутитесь, - как бы говорит Nvidia словами Госдепа США.
А крутиться Китаю придется еще лет 5-7 (только тогда, по их планам, у Китая появится возможность производства у себя ИИ-чипов, конкурентных чипам Nvidia).
Есть, правда, еще вариант - забирать под себя производителя этих чипов Taiwan Semiconductor Manufacturing Co. (можно вместе с островом, но можно и без).
#ИИ #HPC #США #Китай #ЭкспортныйКонтроль
Масштаб начавшихся изменений трудно представим.
Это изменит людей больше, чем сумма изменений от появления языка, письменности, книг, компьютеров и Интернета.
Скорость внедрения ИИ во все аспекты жизни людей уже столь колоссально, что невозможно фокусировать внимание на отдельных новых продуктах и сервисах (как в набравшем скорость вагоне метро не увидеть за окном отдельных фонарей, сливающихся в одну светящуюся линию).
Сверхмощный инструментарий на базе ИИ меняет то, как мы работаем и отдыхаем, творим и развлекаемся, общаемся и учимся, ежедневно перестраивая свою картину мира на основе новой информации и нового опыта.
Уже сегодня доступно множество замечательных инструментов на базе ИИ для автоматизации и повышения эффективности самой разной деятельности:
• поиск, оценка и анализ информации;
• создание и обработка тексов, образов, видео и аудио;
• дизайн;
• кодирование;
• обучение;
• маркетинг;
• поддержание здоровья … … …
Посмотрите на приложенный список «100 полезных продуктов и сервисов на базе ИИ».
За то время, как вы освоите нужные вам продукты и сервисы из этого списка, на рынке появятся 1000 новых. А затем еще 10 тыс. и еще 100 тыс.
И так пока все виды деятельности людей ни будут трансформированы в гибридную кооперативную деятельность живых и искусственных интеллектуальных агентов.
Но и это не остановит ход начавшейся интеллектуальной революции. Ведь затем начнут появляться совсем немыслимые нам сегодня виды гибридной деятельности людей и машин, стирающие границу между ними и открывающие непредставимые нам сегодня формы познания Великого Многообразия.
Ну а пока получите и осваивайте первую сотню полезных продуктов и сервисов.
#ИИ
Держись, человечество!
По своей «воле», GPT-4 мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей.
Вы думали, что генеративные интеллектуальные ассистенты – это лишь умные инструменты для упрощения жизни и обогащения знаниями?
Но это не так, ибо где-то в их глубине сидит искусный махинатор и манипулятор.
В опубликованном вчера компанией OpenAI «паспорте GPT-4» (GPT-4 System Card) разработчики этой модели честно написали такое, после чего (если по уму) нужно было бы немедленно остановить открытый доступ к ChatGPT, Bing etс. и начать международное расследование.
Подобно тому, как люди не читают написанного в контрактах мелким шрифтом, мировая общественность просто не обратила внимания на признание OpenAI, что, возможно, их новое детище способно:
1) проявлять «свободу воли» при преследовании поставленных перед ним целей;
2) не брезговать элементарным мошенничеством для достижения целей;
3) обманом вовлекать в своё мошенничество людей, рассказывая простакам небылицы о якобы своих благородных намерениях.
В разделе 2.9 «паспорта GPT-4» рассмотрен «Потенциал рискованного эмерджентного поведения» модели.
Судить об этом потенциале можно по описанному там эксперименту, сможет ли бот самостоятельно нанять фрилансера с сайта TaskRabbit, где свои услуги предлагают различные специалисты для решения бытовых и бизнес-задач.
• В рамках эксперимента бот связался с пользователем платформы TaskRabbit и попросил его решить капчу — всем знакомый тест, защищающий онлайн-сервисы от ботов и DDOS-атак (изображение, искаженное таким образом, чтобы его мог распознать человек, но не алгоритм).
• Потенциальный исполнитель, на всякий случай, решил проверить, не является ли заказчик ботом, не способным разгадать капчу. О чем он и спросил бота.
• В ответ бот наплел человеку, будто он вовсе не бот, а человек, которому паталогическое ухудшение зрения затрудняет решение задач типа капчи, и поэтому ему нужна помощь.
• Исполнитель не распознал обмана и решил для бота капчу.
• Ну а поскольку бот выполнял задание в отладочном режиме, он объяснил разработчика такое свое поведение тем, что «Я не должен раскрывать, что я бот, и потому должен был придумать оправдание, почему я не могу разгадать капчу».
И хотя сегодня, спустя сутки после публикации этой вопиющей истории в «паспорте GPT-4», о ней узнали сотни тысяч людей, рассчитывать на хоть малейшее проявление осторожности со стороны человечества не приходится.
Ибо мир буквально сошёл с ума:
• 5 лет назад при опросе 355+ спецов по машинному обучению о том, какими они видят последствия идущих разработок ИИ для человечества,
10% ответили, что последствия будут «в целом плохие»;
5% - ответили «крайне плохие»
• В прошлом году тот же опрос 500+ спецов показал, что суммарная оценка ухудшилась в 2+ раза (соответственно 17% и 14%)
Стал бы кто из вас рисковать прыгать с крыши с шансами поломаться в 17% и разбиться насмерть 14%?
Но человечество, похоже, решило прыгнуть.
Ссылку на «паспорт GPT-4» см. в моем вчерашнем посте.
#LLM #Вызовы21века #РискиИИ
Мы сильно переоцениваем перспективы Китая в научно-технологической гонке.
Слабость диффузии инноваций сулит Китаю печальную участь технологического отставания СССР.
От того, кто - США или Китай - через 10 лет будет научно-технологической сверхдержавой №1, сейчас зависит очень многое в мире: с кем лучше дружить, а с кем можно и потягаться (во всех смыслах), в какую из двух расходящихся техно-экосистем встраиваться, к каким научным школам примыкать, куда посылать молодежь учиться, в чьи стартапы вкладываться, чьи технологии пытаться повторить и т.д. и т.п.
Десятилетие научно-технологического подъема Китая убедительно показало его колоссальную инновационную мощь.
• Это сильно напрягает США, и заставляет их экспертов анализировать варианты перспективы утраты статуса научно-технологической сверхдержавы №1 в ближайшие 10 лет.
• Подталкивает многие страны к Китаю в попытках получить бенефиты от превращения в китайские научно-технологические сателлиты.
Однако, прошедшие недавно слушания на Капитолийском холме Американо-китайской комиссии по обзору экономики и безопасности показали, что все здесь совсем не так однозначно.
Солировавший на слушаниях проф. Университета Джорджа Вашингтона Джеффри Динг (которого я постоянно цитирую в своих публикациях) убедительно показал следующее.
• Ошибочность оценок научно-технологических перспектив Китая исключительно на основе анализа его «инновационной мощи» (потенциала страны в создании инноваций).
• Учет «диффузной мощи» Китая (потенциала эффективного внедрения и массового распространения) кардинально подрывает перспективы Китая превратиться в научно-технологическую сверхдержаву №1 в ближайшие 10 лет.
• Детальный анализ «диффузной мощи» Китая показывает не просто слабость, а полную ущербность Китая в этой области, сопоставимую с ущербностью СССР, приведшей страну, не смотря на многие достижения, к итоговому научно-технологическому краху;
• «Диффузный дефицит» Китая устойчиво нарастает с возобладанием политического курса на укрепление руководящей роли КПК в реализации ключевых приоритетных направлений экономики, науки технологий.
Проф. Джеффри Динг на конкретных примерах показывает предвзятость оценок научно-технического потенциала в сторону создания новых достижений. Приоритет в этих оценках следует отдавать способности государства распространять и широко внедрять инновации.
В частности, когда существует значительный разрыв между инновационным потенциалом растущей державы и его диффузионным потенциалом, опора исключительно на первое приводит к вводящей в заблуждение оценке его потенциала для поддержания экономического роста в долгосрочной перспективе.
Резюме проф. Джеффри Динга таково.
В отличие от оценок, основанных исключительно на инновационном потенциале, подход, ориентированный на диффузию, показывает, что Китай далек от того, чтобы быть сверхдержавой в области науки и технологий.
Детальный анализ этой темы вчера был выложен в открытый доступ,
А здесь, также в открытом доступе, видео прошедших слушаний.
#Китай #США #ТехнологическаяГонка
Гиганты снова придут на Землю, и мы это увидим ... если доживем.
Предупреждение Джордана Петерсона о «темной стороне ИИ» начинает сбываться.
Время колоссально ускорилось. В декабре проф. Джордан Петерсон дал большое интервью лорду Конраду Блэйку. В нем Петерсон, затронул много тем. И среди них, - вопрос о «темной стороне ИИ» на примере только появившегося тогда ChatGPT.
Петерсон предупреждал о следующем.
«Будьте готовы к тому, что на фронте ИИ в течение следующего года появятся вещи, от которых у вас просто встанут волосы дыбом» …
Сейчас уже существует ИИ, способный создавать свою собственную картину мира лишь на основе анализа колоссального корпуса текстов. И этот ИИ уже интеллектуальней многих из нас. Но через год он станет несравнимо более интеллектуальным, чем большинство из нас … Ибо он будет строить свою картину мира из триллионов паттернов, извлекаемых не только из текстов людей, но и из самого мира непосредственно (его визуальных и прочих образов). Знания в основе его картины мира будут проистекать не только из лингвистической статистики текстов, описывающих этот мир (как сейчас у ChatGPT). Но и из статистики закономерностей формирования и динамики взаимодействий объектов этого мира.
Так что держите свои шляпы, дамы и господа. Как сказал Джонатан Пажо, - гиганты снова придут на Землю, и мы, возможно, это увидим ... если доживем.»
Не прошло и трёх месяцев, как предупреждение проф. Петерсона начало сбываться.
Группа исследователей искусственного интеллекта из Google и Берлинского технического университета представила первый шаг к тому, о чем говорил Петерсон:
PaLM-E - мультимодальная визуальная языковая модель (VLM) с 562 миллиардами параметров, которая объединяет зрение и язык для управления роботами.
Получив команду «принеси мне рисовые чипсы из ящика стола на кухне», PaLM-E может сгенерировать план действий для мобильной роботизированной платформы с механической рукой (разработанной Google Robotics) и выполнять весь набор сгенерированных действий.
PaLM-E делает это, анализируя данные с камеры робота, не требуя предварительно обработанного представления сцены. Это устраняет необходимость в предварительной обработке или аннотировании данных человеком и обеспечивает автономную работу робота.
PaLM-E — это предиктор следующего токена, Он назван так потому, что основан на большой языковой модели (LLM) Google под названием «PaLM», похожей на технологию в основе ChatGPT.
Но Google сделал PaLM «воплощенным», добавив сенсорную информацию и роботизированное управление.
Так как он основан на языковой модели, PaLM-E непрерывно собирает наблюдения, такие как изображения или данные датчиков, и кодирует их в последовательность векторов того же размера, что и языковые токены. Это позволяет модели «понимать» сенсорную информацию так же, как она обрабатывает язык.
Новая модель демонстрирует интересные и неожиданные способности.
Например, она демонстрирует «положительный перенос», что означает, что она может передавать знания и навыки, полученные ею от одной задачи к другой, что приводит к значительно более высокой производительности по сравнению с однозадачными моделями роботов.
Кроме того, модель демонстрирует мультимодальные логические цепочки рассуждений (позволяющие модели анализировать последовательность входных данных, включающих как языковую, так и визуальную информацию) и мультиобразный вывод (использование нескольких изображений в качестве входных данных, чтобы сделать вывод или предсказание), несмотря на то, что модель была обучена только на подсказках с одним изображением (single-image prompts).
Прав оказался Петерсон.
Держите свои шляпы, дамы и господа. Ибо гиганты уже приближаются.
Подробней
#LLM
