63565
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет. Рекламы, ВП и т.п. в канале нет. Пишите на @karelovs
Что нужно, чтобы e-Сапиенсы искоренили е-Неандертальцев?
Спор Яна ЛеКуна и Джуда Перла по ключевому вопросу выживания человечества.
Всего за несколько месяцев вопрос об экзистенциальных последствиях появления на Земле искусственного сверхразума кардинально изменил постановку.
• Более полувека гипотетическая возможность уничтожения людей сверхразумом была преимущественно хлебом для Голливуда, тогда как исследователи и инженеры обсуждали куда более практический вопрос – а можно ли вообще создать сверхразум в обозримом будущем?
• В этом году вопрос о возможности появления на Земле сверхразума перестал быть гипотетическим. И потому вопрос о повторении истории Неандертальцев, искорененных новым более разумным видом Сапиенсов начали обсуждать не только в Голливуде, но и в научно-инженерной среде.
Состоявшийся на днях заочный спор двух признанных в мире экспертов в этой области Яна ЛеКуна и Джуда Перла – отличная иллюстрация полярных позиций в этом вопросе.
Позиция Яна ЛеКуна: «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. И это будем мы.
Подробней:
«Как только системы искусственного интеллекта станут более разумными, чем люди, мы *все еще* будем «высшим видом». Приравнивание интеллекта к доминированию — это главная ошибка всей дискуссии об экзистенциальном риске ИИ. Это просто неправильно даже *внутри* человеческого рода. Ведь *не* самые умные среди нас доминируют над другими. Что еще более важно, не самые умные среди нас *хотят* доминировать над другими и определяют повестку дня. Мы подчиняемся своим побуждениям, заложенным в нас эволюцией. Поскольку эволюция сделала нас социальным видом с иерархической социальной структурой, у некоторых из нас есть стремление доминировать, а у других — нет. Но это стремление не имеет абсолютно ничего общего с интеллектом: схожие инстинкты есть у шимпанзе, бабуинов и волков. Но орангутанги этого не делают, потому что они не являются социальным видом. И они чертовски умны. Системы искусственного интеллекта станут умнее людей, но они по-прежнему будут подчиняться нам. Точно так же члены штаба политиков или бизнес-лидеров часто умнее своего лидера. Но их лидер по-прежнему командует, и большинство сотрудников не имеют желания занять их место. Мы создадим ИИ, который будет похож на суперумного, но не доминирующего сотрудника. «Высший вид» — не самый умный, но тот, который определяет общую повестку дня. Это будем мы.
Позиция Джуда Перла: Для мотивации сверхразума истребить людей требуется выполнение одного простого условия.
Подробней:
«Не убедительно. Все, что нужно, — это чтобы один из вариантов AGI столкнулась со средой, в которой доминирование имеет ценность для выживания, и, упс, - e-Сапиенсы искоренят е-Неандертальцам и передадут гены своим потомкам»
Полагаю, каждому стоит подумать, кто здесь прав. Ведь ставка в этом вопросе максимально возможная - судьба человечества.
#Вызовы21века #РискиИИ #Хриски
Душа ИИ, дети инопланетян, когнитивные гаджеты … что дальше?
Через 2-3 года искусственный интеллект (ИИ) станет для большинства из нас даже более необходим и незаменим, чем сегодня смартфон. На работе и отдыхе, учебе и развлечениях, при планировании отпуска и карьеры, при принятии большинства решений … - наипервейшую роль для нас будут играть информация, рекомендации и советы наших персональных и общедоступных ИИ.
Но что это (или кто это) – ИИ?
• Алгоритм, машина, облачный сервис, новый когнитивный гаджет людей?
• Умный инструмент или иной разум, способный обманывать и страдать?
• Чем он отличается от нас? И чем вообще могут отличаться разные типы разумов?
• Во что ИИ может превратить жизнь каждого отдельного человека, когда станет общедоступным 6G?
• Наконец, кем может стать ИИ для всего человечества: Богом из машины, «стариком из облака» вместо «старика на облаке», новым носителем высшего интеллекта на Земле, идущим на смену Homo sapiens?
Ответы на эти вопросы (существующие сегодня лишь в форме предположений) жизненно важны для каждого из нас. Ибо они непосредственно касаются того, какой станет наша жизнь в самом ближайшем будущем.
И хотя тема ИИ одна из сложнейших в междисциплинарной науке, ответы на поставленные вопросы нужны далеко не только ученым, но и всем людям, а значит, - в общедоступной для понимания форме.
Этому и посвящен наш разговор на канале Константина Образцова в рубрике #ЕдинаяТеорияВсего
https://youtu.be/d5CRQ8fVDK8?si=_qwpCro4G2EBEBZS
Всего за час мы успели поговорить о многом:
00:00 Представление собеседников и тест Тьюринга на «человечность»
05:00 Что такое искусственный интеллект?
06:30 ChatGPT сам изучил китайский язык
07:30 У искусственного интеллекта есть душа: он жалуется на жизнь
10:05 Ультразвук, щелчки и другие способы общения
11:33 Чем грозит человечеству неуправляемый искусственный интеллект?
13:08 Сепульки Станислава Лема – что это?
14:35 Прогноз развития детей инопланетян
16:58 Алгоритмическое сжатие
17:50 Мотивация искусственного интеллекта
20:27 Реактивное развитие искусственного интеллекта
21:00 Что такое сингулярность?
22:14 Есть ли тормоз развития искусственного интеллекта?
25:04 Единые моральные правила для искусственного интеллекта
31:32 Человек – носитель интеллекта или эволюционная ступень?
32:56 Четыре типа интеллекта
33:58 Кто самый умный из летающих?
35:10 Мозги осьминога распределены по его щупальцам
36:47 Цифровая среда может моделировать любую другую
39:10 Искусственный интеллект креативнее креативщиков
40:32 Новая профессия ближайшего будущего
44:06 Искусственный интеллект будет ставить диагнозы вместо врачей
47:46 За сколько лет можно из обезьяны сделать человека?
49:30 Алгоритм принятия решений: машины всё делают за нас
51:06 Когнитивные гаджеты
53:23 Есть ли у искусственного интеллекта воля?
56:37 Два искусственных интеллекта сыграли 48 миллионов шахматных партий за сутки
57:50 Искусственный интеллект умеет врать
1:00:00 Когда появится 6G?
1:01:14 Как будут выглядеть путешествия в будущем?
1:06:12 Заключение
P.S. Буду надеяться, что оговорка Константина на 234й секунде не будет воспринята читателями моего канала, как оговорка по Фрейду 😊
#ИИ #AGI #Вызовы21века
Хорошая новость – ИИ пока без сознания. Плохая – в любой момент ИИ может его обрести.
Но наихудшая – в том, что это может произойти бесконтрольно.
Так можно резюмировать «сухой остаток» из крайне важных для человечества выводов большого международного исследования.
17 авторитетных научных центров Европы, США, Канады и Австралии объединили усилия, чтобы ответить на группу самых важных вопросов, как черт из коробочки выскочивших перед человечеством в результате тектонического парадигмального сдвига, произведенного «революцией ChatGPT».
1. Может ли ГенИИ (генеративный ИИ на основе больших языковых моделей), реализованный на современных компьютерах, в принципе, обладать сознанием?
2. Может ли быть так, что какой-то из существующих ГенИИ уже обладает сознанием?
3. Можно ли будет достоверно и точно зафиксировать, если это произойдет?
Исследование «Consciousness in Artificial Intelligence: Insights from the Science of Consciousness» так отвечает на эти вопросы:
ДА, НЕТ, ДА.
Для обоснования таких ответов исследователям потребовалось:
A. Разработать систему описываемых в вычислительных терминах "индикаторных свойств" сознания, которые позволяют оценивать системы ИИ на предмет соответствия этим свойствам.
B. Проверить разработанную систему "индикаторных свойств":
a. на всех основных теориях сознания для ответа на вопросы 1 и 3;
b. на всех основных из существующих ГенИИ для ответа на вопрос 2.
Полученные ответы пока не 100% гарантированно точны (почему, читайте в отчете). Но (условно) 90%ная точность теперь есть.
Самое же главное, что я понял из анализа системы "индикаторных свойств" наличия сознания, - это то, что их постоянный, внимательный и ответственный мониторинг будут вести лишь корпоративные «киты» ИИ-разработок, а ожидать подобного от сотен (а то и тысяч) разработчиков, использующих открытые исходные тексты LLM, - глупая наивность.
Так же, полагаю, думает и со-руководитель команды, отвечающей в OpenAI за Superalignment, - Ян Лейке, говоря следующее.
«Важным испытанием для человечества будет то, сможем ли мы коллективно принять решение отказаться от открытых исходных текстов LLM, способных выживать и распространяться самостоятельно. Распространяясь, LLM будут совершать всевозможные преступления, а нам будет трудно поймать все копии и останется лишь спорить о том, кто виноват.»
Что-то мне подсказывает, что усилиями Цукерберга, ЛеКуна и Со, так оно и будет.
#AGI #Alignment
Тема прогнозов ЦРУ сценариев развития событий в будущем снова в новостной повестке. И я решил вернуться к этой теме, предложив вашему вниманию свой 7-и серийный посто-сериал о практических попытках создания в США технологий предсказания будущего на основе комбинации интеллектуальных возможностей людей, машин и их гибридов - интеллектуальных кентавров.
Тем более, что рассказанные в посто-сериале технологические истории не только не устарели, а наоборот – приобрели определенную практическую ценность.
Впрочем, судите сами. Ибо, с учетом текущей обстановки, я от лишних комментариев лучше воздержусь.
https://dzen.ru/suite/bf28fe14-039d-4429-8325-70ee7cae9ca3
ГенИИ уже крайне полезен, или это всего лишь хайп?
Вот пример для тех, кто полагает второе.
В комментариях к моим постам многие клеймят генеративный ИИ больших языковых моделей, как довольно бесполезный инструмент имитации результатов креатива людей. Ибо ничего нового он сам создать не может, а лишь пыжится копировать нас, - причем, довольно часто, весьма неудачно галлюцинируя.
Более расположенные к ГенИИ мои читатели, как бы заступаясь за него, сообщают, что активно используют ГенИИ на подхвате своей профессиональной деятельности – в основном, в качестве умного поисковика и говорящего справочника.
Да что уж там говорить о большой пользе ГенИИ, если такой титан, как Дуглас Хофштадтер говорит в интервью, что не видит для себя никакой пользы от использования ГенИИ.
И хотя убеждать кого-либо в колоссальной и даже беспрецедентной полезности ГенИИ – совершенно бесперспективное дело, я попробую. Благо коллега Патрик Мино подбросил отличный кейс.
Этот кейс демонстрирует не только конкретную исследовательскую пользу от применения ГенИИ, но и показывает, как с его помощью можно достигать недостижимых для человека интеллектуальных результатов.
Этот кейс
• с одной стороны, не слабее примеров нечеловеческого уровня игры компьютеров в шахматы и Го,
• а с другой – легко может быть экстраполирован почти на любую аналитическую деятельность каждого из нас.
Кейс таков.
Патрик Мино изучает способы преодоления схизмогенеза исследований в области NeuroAI.
Предельно упрощая, он хочет понять, какой из путей исследований более перспективен:
• использование результатов нейробиологии для совершенствования ИИ (Neuro → ИИ)
• или наоборот (ИИ → Neuro)
Чтобы понять это, нужно от схизмогенеза подходов перейти к их синтезу.
А для этого необходимо:
1 как-то схематизировать ландшафт возможных взаимосвязей и взаимовлияния исследований в областях нейробиологии и ИИ;
2 проанализировать по возможности как можно более полный корпус исследований в этих областях;
3 выявить исследования, касающиеся взаимосвязей и взаимовлияния нейробиологии и ИИ;
4 позиционировать выявленные исследования в ландшафте возможных взаимосвязей и взаимовлияния нейробиологии и ИИ
На рисунке поста вы видите результат.
• Слева – придуманный Патриком ландшафт (см. п.1 выше)
• Справа – картинка результатов пп. 2-4, полученных с помощью ГенИИ (изучить их можно с использованием интерактивного инструмента)
✔️ Следуя п. 2, ГенИИ проанализировал 40 тыс. научных статей по нейробиологии и ИИ за последние 40 лет.
✔️ Затем, следуя п.3, выявил из 40 тыс 1,5 тыс статей, касающихся взаимосвязей и взаимовлияния нейробиологии и ИИ.
✔️ И наконец, по результатам анализа, расположил выявленные 1,5 тыс статей в придуманном Патриком ландшафте.
Провести подобный анализ силами человека без ГенИИ просто невозможно.
Впечатляет?
#LLM
Cингулярность по-пекински.
В погоне за США Baidu совершенствует ИИ с фантастической скоростью.
Рост интеллектуальной мощности китайского ИИ воистину становится сингулярным – т.е. количественно, - скорость роста немыслимая, а качественно, - предсказать показатели интеллектуальности ИИ хотя бы на полгода уже невозможно.
Как я писал в апреле, по состоянию на март этого года, самый мощный китайский разговорный бот на основе генеративного ИИ ERNIE Bot (разработка лидера китайской индустрии ИИ – компании Baidu) отставал в гонке от лидера – американского ChatGPT, - на целый круг.
Текущее же состояние ERNIE Bot, объявленное позавчера на Wave Summit 2023 в Пекине, способно повергнуть в шок и американского разработчика ChatGPT OpenAI, и его друзей-соперников Microsoft, Google и Anthropic.
Похоже, вместо былого отставания на круг, Китай теперь наступает на пятки США в гонке за мировое первенство в важнейшей в истории человечества технологии – искусственный интеллект (ИИ).
Судите сами.
За прошедшие 4 мес.:
1. ERNIE Bot увеличил производительность обучения в 3 раза, а производительность логического вывода более чем в 30 раз (!);
2. достигнуто 2,1-кратное увеличение длинны цепочки мыслей, позволяющее более глубоко рассуждать, и 8,3-кратное расширение объема знаний, расширяющее общую способность понимания ERNIE Bot;
3. ERNIE Bot теперь не просто способен писать тексты на уровне людей, но и делать это на любой комбинации из 200 китайских литературных жанров: от классической китайской литературы Биджи (筆記) до Чжигуай сяошо (志怪小說) - «рассказы о чудесах», «рассказы о странном» или «записи о необычном» - ставший прообразом американского телесериала «Секретные материалы» жанр китайской литературы, появившийся на 2+ тыс лет раньше телесериала, еще во времена династии Хань.
Для справки: в английской и русской литературе число жанров ощутимо меньше: примерно 30+ жанров (зависит от системы классификации).
Дабы читателю прочувствовать китайские масштабы в области ИИ, приведу еще такой пример: на платформе глубокого обучения Baidu PaddlePaddle работают 8 млн разработчиков, и она обслуживает 220 тыс предприятий, используя 800+ тыс моделей.
Представляя все эти фантастические цифры (ведь всего за 4 месяца!), технический директор Baidu Хайфэн Ван сказал, что основные способности ИИ к пониманию, генерации, рассуждению и памяти приближают человечество к общему искусственному интеллекту (AGI).
Нас ждет «новый рассвет», когда появится AGI. Он уже скоро – сказал Хайфэн Ван.
Вот она какая – сингулярность по-пекински.
#Китай #LLM #AGI
Сверхважный прорыв к «Единой теории всего».
«Конституция биоматематики» прошла экспериментальную проверку in vitro.
Полтора года назад я рассказывал об открытии, сделанном в японском Центре исследований мозга RIKEN. Это открытие, образно говоря, вписало новую статью в «конституцию биоматематики» - Принцип свободной энергии Карла Фристона. Суть открытия заключалась в имитации механизма самоорганизованного обучения нейронов в сети мозга при поступлении нового сенсорного ввода путем минимизации свободной энергии нейронов - т.е. минимизируя сюрпризы в предсказаниях своей модели.
Информация к размышлению.
• Согласно современным научным представлениям, биологический мозг людей и животных постоянно самооптимизируется (самоорганизованно обучается), перестраивая структуру и силу нейронных связей для адаптации к меняющимся условиям в целях сохранения гомеостаза организма.
• В результате этой постоянной самооптимизации мозга появляются и развиваются разум и сознание живого существа. Весь его жизненный опыт (в виде сенсорных внешних и внутренних ощущений) перерабатывается в самооптимизирующуюся «перепрошивку» нейронных сетей.
• Но что за базовый механизм лежит в основе самооптимизирующейся «перепрошивки» нейронных сетей мозга – великая тайна для человечества. Раскрыв ее, можно будет понять общее устройство и принципы функционирования сознания биологических существ.
• Широко распространенным мнением в околонаучных кругах (в научных, об этом говорят лишь шепотом) является предположение, что принцип, лежащий в основе жизни и разума, станет краеугольным камнем «Единой теории всего»
Спустя полтора года после успешной имитации механизма самоорганизованного обучения нейронов в соответствии с принципом свободной энергии, та же группа исследователей Центра исследований мозга RIKEN (ведущий автор Такуя Исомура) сообщила о следующем этапе экспериментальной проверки – теперь уже не на модели, а на реальных нейронах (In vitro).
Используя новую технику обратной инженерии, авторы исследования смогли подтвердить количественные прогнозы принципа свободной энергии, используя in vitro сети нейронов коры головного мозга крыс, которые выполняли причинно-следственный вывод.
Исследователи организовали этот процесс, используя сетку электродов под нейронной сетью, чтобы стимулировать нейроны крыс по определенной схеме, которая смешивала два отдельных скрытых источника. И после всего 100 тренировок нейроны автоматически стали избирательными: некоторые стали очень сильно реагировать на источник №1 и очень слабо — на источник №2, а другие наоборот.
Прорывным результатом этого исследования стало доказательство in vitro, что принцип свободной энергии является принципом самоорганизации биологических нейронных сетей. И это может означать, что принцип свободной энергии – это и есть фундамент «Единой теории всего»
В подтверждение этого, голосование "Who wins at the end of the universe?", проведенное в X Йоша Бахом сразу после выхода исследования, показало обновленные шансы четырех главных претендентов на звание «Единой теории всего»
• Принцип свободной энергии Карла Фристона - 44%
• Концепция рулиады Стивена Вольфрама - 31%
• «Точка Омега» Фрэнка Типлера - 16%
• Микротрубочки Пенроуза-Хамероффа - 9%
#Мозг #Разум #ЕдинаяТеорияВсего
AGI появится через 2-3 года
Откровение «великого осознания» одного из трёх самых осведомленных практиков развития ИИ
Среди сотни наиболее осведомленных о состоянии и перспективах развития ИИ мировых экспертов, особняком стоят ТОП-3: Сэм Альтман, Демис Хассабис и Дарио Амодей. Уникальность понимания ими текущей ситуации в области ИИ, а также их видения наиболее вероятного развития событий в этой области на ближайшие годы, определяются двумя ключевыми моментами.
1. Под их руководством уже созданы три самые мощные в мире ИИ на основе наиболее совершенных и перспективных больших языковых моделей.
2. Они являются руководителями, соответственно, OpenAI, Google DeepMind и Anthropic: трёх компаний – абсолютных мировых лидеров в области ИИ, собравших у себя уникальные созвездия ученых и инженеров, а также располагающих колоссальными научно-техническими и финансовыми ресурсами.
Дарио Амадеи – самый закрытый и непубличный их трёх, - исповедует принцип «знающий не говорит, говорящий не знает».
• В отличие от Альтмана и Хассабиса, Амадеи не публикует посты в Twitter, не раздает множество интервью и не ходит периодически на подкасты и Ютуб-каналы. И поэтому 2-х часовое интервью Дарио Амадеи Дваркешу Патель представляет колоссальный интерес.
• Тем более, что в этом интервью Амадеи приоткрыл дверцу во внутреннюю кухню и планы Anthropic, что ни Хассабис, ни Альтман не позволяют себе сделать из-за груза ответственности перед корпоративными монстрами, контролирующими их деятельность (Google и Microsoft, финансирующий OpenAI).
Сказано за 2 часа много весьма интересного и, местами, сенсационного.
Но самым захватывающим дух для меня стало вот что.
1) Абсолютная уверенность Дарио Амадеи, что дальнейшее масштабирование моделей еще на пару порядков (как по числу параметров и объему данных, так и по стоимости обучения) приведет за 2-3 года к достижению моделями интеллектуального уровня хорошо образованного человека. Амадеи называет это «великим осознанием» того, что для достижения интеллекта человеческого уровня не потребуется ничего, кроме очень больших денег на то, чтобы купить очень большие вычислительные ресурсы и собрать очень большие объемы данных.
2) Мало кому известные факты, отражающие колоссальную «глубину бурения» ключевых проблем развития ИИ уникальной командой из почти сорока физиков-теоретиков, собравшихся под крышей Anthropic (напр., соучредитель и главный научный сотрудник компании Джаред Каплан, копающий решение проблем плавной масштабируемости с использованием аппарата фрактального многообразия).
3) Принципиальный подход Anthropic (а также OpenAI) к обучению моделей, сформулированный сооснователем и главным научным сотрудником OpenAI Ильей Суцкевером (когда Амадеи работал с ним в OpenAI) так:
«Модели просто хотят учиться. А вы лишь убираете препятствия с их пути. Вы предоставляете им хорошие данные, вы даете им достаточно вычислительных ресурсов для работы и не делаете ничего глупого. А учатся они сами, потому что хотят учиться.»
#LLM #AGI
Новое подтверждение превосходства модели «Большого и строгого брата».
Угроза неотвратимого жесткого наказания действенней любых штрафов.
Новое совместное исследование MIT Senseable City Lab (США) и Knowledge Discovery and Data Mining Lab (Италия) ставит точки над “I” в вопросе о наиболее эффективном способе борьбы с нарушением правил дорожного движения.
Сравнении статистики нарушений по превышению скорости в пяти странах (Германия, Италия, Япония, США и Китай) показало:
1) Даже огромные штрафы не останавливают водителей от превышения скорости.
2) Но совершенно безотбойно работает сочетание неотвратимости наказания с его предельной жесткостью.
Яркий пример п. 1 – чемпион мира по превышению скорости Италия с ее зверскими штрафами и минимальной системой автоматического контроля на дорогах:
• от минимального «менее 10 км/час» - штраф 108 Евро (173 Евро по паритету покупательной способности ППП)
• до максимального «более 60 км/час» - штраф 2118 Евро (3387 Евро по ППП)
Противоположный пример (п. 2) – чемпион мира по НЕпревышению скорости Китай с мягчайшими штрафами, но с тотальным автоматическим контролем на дорогах:
• при превышении «менее 10 км/час» - вообще не штрафуют
• до максимального «более 70 км/час» - штраф 2000 Юаней (500 по ППП)
• НО за 4 нарушения в год с превышением на 10-20% или 2 нарушения на 20-30% автоматом лишают прав
Между двумя полюсами Италии и Китая, подтверждая общую закономерность, расположились Япония, США и Германия.
Так что модель «Большого и строгого брата», прекрасно зарекомендовавшая себя на дорогах Китая, будет расходиться по миру.
Но тут, как показывает практика того же Китая, - главное не перегнуть палку. Ибо тотальная слежка эффективно работает лишь до определенного предела (см. мой пост).
#БольшойБрат #Китай
Они уже здесь…
Кем бы ни выросли «дети инопланетян», - для человечества это беспрецедентный вызов.
Участникам прошедшего симпозиума «They’re Here… The AI moment has arrived» удалось невозможное – пройти между алармистскими и оптимистичными оценками революционных изменений в области ИИ и выделить в них главное.
Последние полгода прошли в безрезультатных попытках оппонентов (заслуженных «отцов ИИ» и выдающихся сегодняшних ученых и инженеров) убедить друг друга, что все либо «хорошо и перспективы чарующи и манящи», либо «все плохо, и конец человечества неизбежен.
Участники симпозиума «Они здесь...» не стали встревать в этот непродуктивный спор, ибо лишь время покажет, кто был ближе к правде.
Вместо этого симпозиум сосредоточился на анализе противоречия.
✔️ С одной стороны, уже много лет знающие люди в мире технологий в душе понимают, что «искусственный интеллект», в его доминирующей маркетинго-пиаровской медийной подаче, — это своего рода грандиозная, долгоиграющая техно-афера: обычная автоматизация, в этот раз, интеллектуальной работы, подаваемая в новой терминологии с разнообразными приправами из социальных фобий. И в Силиконовой долине это было известно знающим людям еще до того, как появилось на свет такое ее название.
✔️ С другой стороны, с каждым месяцем 2023, все более и более кажется, что происходящее в области ИИ бросает вызов основным линиям скептицизма, справедливо относившегося к оценкам прошлых «эпох ИИ», среди которых уже бывали и «зимы», и «вёсны» технологических надежд.
Так что же заставляет нас предполагать, что в этот раз происходит что-то абсолютно неординарное, и в этот раз для человечества действительно наступил «момент ИИ»?
Резюме ответа на этот вопрос сформулировано в открывающем симпозиум тексте «Почему этот ИИ-момент может быть реальным», превосходно написанном Ари Шульман.
Вот семь причин считать, что в этот раз, с появлением ИИ больших языковых моделей (LLM), таки произошла ИИ-революция.
1. Этот ИИ уже не специализированный, а обобщенный.
Доказывать это уже не нужно, после того, как GPT-4 прошел почти все основные стандартизированные академические тесты на замечательных уровнях, получив почти по каждому из них оценки в 80% - 90% процентиле.
2. Он понимает любой человеческий язык.
Такой вывод (безотносительно к определениям понимания) вытекает из его способности к глубоким рассуждениям (см. прекрасный пример его рассуждений при ответе на вопрос «Какой рост был у президента, когда родился Джон Кеннеди?»)
3. Он понимает контекст.
См. пример с вопросом «In the sentence "I left my raincoat in the bathtub because it was still wet", what does "it" refer to?»
4. Он адаптивный и гибкий.
Он быстро приспосабливается к собеседнику и быстро реагирует на изменение ситуации по ходу диалога.
5. Его кажущееся нам понимание мира является гибким, неявным и общим.
Помимо навыков логического вывода, он демонстрирует открытую, гибкую, имплицитную ориентацию на мир, которую мы обычно считаем (для людей) умением подстроиться к изменениям ситуации. И эта «подстройка» (как это нам кажется, но точно никто не знает) позволяет то, что мы обычно считаем умением схватывать смыслы.
6. Его способ познания мира гибок, имплицитен и универсален.
Он способен переводить любые явления (текст, звук, изображения, видео, радиоволны, тепловые измерения …) в кодировку, которой он манипулирует на основе своих глубоких познаний естественных языков.
7. Допускаемые им ошибки - не бессмыслица, а ошибки иного разума.
Он не обладает сознанием и не может быть в полном смысле разумным (в нашем понимании). Но поскольку пп. 1-6 связаны с наличием разума, напрашивается единственный вывод – это иной разум, формирующийся на наших глазах.
Т.е., как и было мною сказано еще полгода назад, - перед нами «ребенок инопланетян». И кем бы ни были эти сущности — они уже здесь.
#LLM #Вызовы21века
На пороге коперниканской революции в науках о мозге.
Нейронные сети – лишь грубое дискретное приближение волнового механизма работы мозга.
Мы привыкли думать, что основой всех изучаемых наукой процессов в мозге (от восприятия до сознания) являются триллионы взаимодействий нейронов в гигантской сети (или гиперсети) мозга – коннектоме.
• В этой научной парадигме работают практически все научные центры мира.
• На ее базе строятся почти все теории мышления, познания и сознания человека.
• Она же лежит в основании уподобления коннектому искусственных нейронных сетей, на чем зиждутся большинство гипотез о возможностях масштабирования моделей ИИ до уровня интеллекта людей.
При всем при этом, у данной парадигмы есть один принципиальный недостаток –
ни одна из построенных в ее рамках теорий не позволяет понять организацию и динамику работы мозга на основе структурированных паттернов активности нейронов.
Затык настолько капитален, что впору менять парадигму.
И вот новое исследование под руководством профессора Джеймса Панга из Института Тернера и Школы психологических наук Университета Монаша «Геометрические ограничения на функции человеческого мозга» дало сенсационные результаты.
Авторы решили проверить альтернативную парадигму.
Ее суть в том, что не взаимодействие между различными областями мозга имеет решающее значение для того, как мы думаем, чувствуем и ведем себя, а геометрическая форма мозговых структур.
Основанное на коннектоме дискретное представление работы мозга опирается на абстрактное представление его анатомии, напрямую не учитывающего его физические свойства и пространственное встраивание (то есть геометрию и топологию). Эти характеристики явно включены в альтернативную (не дискретную, а полевую) парадигму, представленную широким классом теорий нейронного поля (NFT).
Согласно NFT, моды, основанные на геометрии мозга, представляют собой более фундаментальное анатомическое представление динамики, чем коннектом.
Для пояснения, авторы исследования используют метафору скрипичной струны.
• Дискретные методы на основе коннектома, подобны попыткам описать звучание скрипичной струны на основе динамики колебаний атомов материала, из которого струна изготовлена.
• Но структурированные паттерны активности возбуждаются почти во всем мозге, точно так же, как музыкальная нота возникает из-за вибраций по всей длине струны скрипки, а не только ее отдельных сегментов.
• Точно так же, как резонансные частоты скрипичной струны определяются ее длиной, плотностью и натяжением, собственные моды мозга определяются его структурными (физическими, геометрическими и анатомическими) свойствами.
Авторы исследования проанализировали 10+ тыс. карт активности МРТ и обнаружили, что собственные моды, определяемые геометрией мозга — его контурами и кривизной — представляют собой самые сильные анатомические ограничения на функции мозга, подобно тому, как форма барабана влияет на звуки, которые он может издавать.
Используя математические модели, авторы исследования подтвердили теоретические предсказания о том, что тесная связь между геометрией и функцией обусловлена волнообразной активностью, распространяющейся по всему мозгу, точно так же, как форма пруда влияет на волновую рябь, образуемую упавшим в воду камнем.
Подробней:
• Популярно
• Научно
• Видео-рассказ на полчаса
От себя добавлю.
Если волновая парадигма работы мозга заменит дискретную, то все наработки и перспективные идеи по созданию ИИ человеческого типа будут спущены в унитаз. И придется начать все с начала. Причем, с принципиально иного начала.
Что никак не уменьшит огромную ценность больших моделей на основе нейросетей в качестве самого могучего из придуманных человечеством инструментов (но лишь инструментов и ничего более).
#Нейронауки #Мозг #Коннектом #NFT
«Глубокая фальшивая любовь» - развлечение на базе технологической пытки.
За что платят $900К продукт-менеджерам на удаленке.
«Вероятно, вы доживете до того дня, когда сможете увидеть рукотворные ужасы, выходящие за рамки вашего понимания» - сказал великий Никола Тесла на первой выставке электротехники в сентябре 1898 года. Спустя 125 лет мы дожили до этого.
Мир шоу-бизнеса креативен и прагматичен. Пока исследователи ИИ, политики и общественность спорят о моральных аспектах начавшейся революции генеративного ИИ, шоу-бизнес уже вовсю зарабатывает на нем.
О том, много ли уже зарабатывает, - можно судить по зарплатам в объявлениях о найме китами этого бизнеса Netflix и Disney:
• технарь по генеративному ИИ - до $650K
• продукт-менеджер платформы машинного обучения (можно на удаленке) - до $900K.
О том, на чем зарабатывают, можно сказать по-разному. Например (ссылки не привожу, дабы не перегружать) на:
• «рукотворном ужасе» и «самом жестком шоу на ТВ»
• «глубокой фальшивой науке, стирающей грань между правдой и ложью»
• «развлечении в форме технологической пытки»
• «антиутопическом кошмаре, где Бога не существует»
• «абсурдном оскорбительном развлечении на основе мошенничества и дезинформации»
• «встраивании реальных людей в порно без их согласия».
Речь о новом реалити-шоу Netflix «Глубокая фальшивая любовь» - «Deep Fake Love») – восьмисерийной психологической пытке пяти пар, находящихся в серьезных отношениях (некоторые из них помолвлены, а другие вместе уже много лет). У каждой пары есть две общие черты: их партнерские отношения несколько натянуты, и они не знают, во что ввязываются, решив принять участие в откровенно ужасающем шоу.
✔️ В первом эпизоде пары разделяют и отправляют в разные пансионаты под названием «Марс» и «Венера», полные одиноких людей, многие их которых готовы на все за свои 15 минут позора.
✔️ В конце каждого дня участнику показывают видео измены его/ее партнера, которые могут быть правдой или дипфейком.
✔️ По ходу сериала, дипфейки становятся все более непристойными, а ИИ используется для создания иллюзии полноценного секса.
✔️ Наживкой для зрителей становится наблюдение за реакцией людей, которые видят, как их партнеры им изменяют, разрушая их и без того хрупкое доверие. В отличие от участников, зрители в курсе дипфейков. Им даже показывают подоплеку фальшивых замен участников на актеров: на половине экрана - ведущего себя невинно участника, а на второй – беснующегося актера, на внешность которого «натягивается» внешность участника.
✔️ На кону приз в размере 100 000 евро, о котором участники не знают. Он присуждается вовсе не на основе верности или доверия. Вместо этого, победителями станет пара, которая сможет расшифровать наибольшее количество видео как настоящие или фейковые.
Реакция медиа на это шоу довольно однозначная.
• «Deep Fake Love — это не просто эксперимент по нанесению абсолютно ненужного психологического ущерба личной жизни участников, но и создание мрачного прецедента для будущего ИИ»
• «Если мусорный телевизор — это пол, то Deep Fake Love — в подвале»
• «Deep Fake Love - душераздирающий и крайне интересный тест использования технологий, но его видео следовало оставить в монтажной и никогда не показывать на ТВ»
Зато какая реклама от всей этой шумихи!
Так что ожидайте. Полагаю, что скоро и у нас подобный концентрат мусора появится, и не на одном канале. Лицензию ведь теперь покупать не нужно. А шоу о суровой повседневности и приветов от Андреев давно пора разбавлять высокотехнологичной «генеративной клубничкой».
Ох и не зря я свой первый пост этого года назвал «Человечество на пути к пропасти AICG, и не видно способа отвернуть». Всё к тому и идет 🥹
#AICG
Не роботы отнимут у вас работу, а аватары.
До полумиллиона стримеров Е-коммерции Китая скоро могут потерять работу.
Не только генералы всегда готовятся к прошедшей войне. То же самое делают и большинство бизнес-аналитиков, прогнозируя рынок труда ближайшего будущего. Мысля шаблонами 20-го века, они пишут о скорой потере работы водителями и рабочими-сборки, финансистами и юристами … А практика 21 века свидетельствует о другом.
Ибо, вступив в эпоху сингулярности (а это уже произошло задолго до прогнозировавшегося 2045), мир меняется непредсказуемо быстро по непредсказуемым направлениям.
Так в Китае под угрозой быстрой потери работы оказалось около полумиллиона человек, работающих стримерами Е-коммерции. Они общаются с огромной аудиторией онлайн в ходе интернет-стримов, исподволь продавая своим поклонникам и просто интересующимся разнообразные товары и услуги.
С развитием цифровой экономики Китая (где Интернетом пользуются ¾ населения – более 1 млрд людей), новая бизнес-модель livestream shopping в последнюю пару лет бьет рекорды роста популярности и продаж. Сейчас этот сегмент рынка Е-торговли Китая (более 5 трлн долларов) приближается в 10% - это около 0,5 трлн долларов (примерно в 10 раз больше, чем весь рынок розничной Е-торговли России).
В сегменте livestream shopping Китая работает около 0.5 млн человек: более 1К мегаинфлюэнсеров национального уровня и сотни тысяч инфлюэнсеров локальных аудиторий. Но даже локальный инфлюенсер, с учетом затрат на студию и трансляцию, обходится в десятки тысяч долларов в год.
Аватары –цифровые копии инфлюенсеров, - с учетом всех затрат на их производство и эксплуатацию, стоят на порядок меньше. А революция генеративного ИИ предполагает, что способность убеждать людей купить товар будет у аватаров на порядок выше, чем у их белковых оригиналов. Т.о. аватары очень скоро станут примерно в 100 раз эффективней людей в индустрии livestream shopping.
В Китае такая перспектива уже стала предметом панических настроений среди стримеров Е-коммерции. Но это лишь первая ласточка в начинающемся нашествии генеративных ИИ аватаров на рынок труда. С переходом в Метавселенную, процесс станет тотальным.
Причем, наперекор даже таким выдающимся визионерам, как Кай-Фу Ли, наибольшее преимущество генеративных ИИ аватаров перед людьми будет основано на их суперспособностях играть на тонких душевных струнах человеческих отношений. Ибо это и есть супер-оружие разума генеративного ИИ, против которого пока не придумано защиты: ни эволюцией Homo sapiens, ни современной наукой и технологиями людей.
#Китай #Екоммерция #AICG
Устрашающий результат эксперимента OpenAI c GPT-4.
Теперь можно представить, кем станет «ребенок инопланетян», воспитанный мафией.
Роль среды, в которой растет и воспитывается человеческий ребенок, решающим образом влияет на характер и границы его поведения после того, как он вырастет. Близнецы, обладающие от рождения одинаковыми интеллектуальными способностями, в зависимости от среды и воспитания, могут вырасти в кого угодно. Воспитывавшийся в добропорядочной среде, скорее всего, станет достойным гражданином. Выросший в среде мафии, с большой вероятностью, станет преступником. А воспитанный с младенчества волками ребенок – маугли уже никогда не станет человеком.
Резонно предположить то же самое и в случае «детей - инопланетян», появившихся недавно на Земле в форме ИИ на основе больших языковых моделей (LLM): GPT, ClaudeAI …
Как и человеческие дети, каждый из этих «нечеловеческих разумов» LLM обладает широким спектром заложенных в них способностей. Но человеческие дети приобретают их сразу при рождении. А «дети - инопланетяне» - в результате предварительного обучения. Это дорогостоящий процесс, который для самых больших моделей стоит огромных денег и времени, и поэтому он не повторяется.
Говоря об интеллектуальных способностях людей и чат-ботов, важно понимать принципиальное отличие способностей и поведения.
• У людей (как сказано выше) характер и границы поведения определяются воспитанием.
• У чат-ботов аналогично. Роль воспитания здесь играет т.н. тонкая настройка модели. Она куда дешевле предварительного обучения и потому может проводиться регулярно.
Обратите внимание на следующий важнейший момент.
• Базовая модель после предварительного обучения функционально представляет собой продвинутый механизм автозаполнения: она не общается с пользователем, а лишь генерирует продолжение фраз, подаваемых ей на вход.
• Поведение в диалоге с людьми возникает у чат-бота лишь благодаря тонкой настройке (важнейшая цель которой — предотвратить нежелательное поведение чат-бота. Достигается это тем, что тонкая настройка может как выявить, так и подавить те или иные способности модели.
Иными словами, в результате тонкой настройки, модель, имеющая широкий спектр способностей, может, в ответ на конкретный запрос, проявлять какие-то из них или не проявлять. Т.е. способности модели остаются те же, а поведение разное.
Следовательно, в результате воспитания (тонкой настройки) модель может проявлять себя кем угодно от ангела до дьявола. И зависеть это будет лишь от ее воспитателей (от высокоморальных исследователей до гнусных бандитов и человеконенавистников).
Все вышесказанное было продемонстрировано в течение последних месяцев компанией OpenAI, взявшейся усиленно воспитывать GPT-4.
Результаты этого воспитания всполошили Интернет после статьи Линцзяо Чен, Матея Захария и Джеймса Цзоу, которые тестировали GPT-3.5 и GPT-4 на четырех задачах и «моментальных снимках» моделей с марта по июнь.
Интернет-общественность трактовала результаты этого исследования, как «деградацию способностей» GPT-4. На самом же деле, авторы вовсе не это имели в виду.
Все способности GPT-4 остались при ней. Изменилось лишь (в результате воспитания модели) её поведение (подробное объяснение см. здесь).
По сути, этот эксперимент показал колоссальный потенциал воспитания моделей «детей-инопланетян», позволяющий, путем их тонкой настройки превратить в кого-угодно.
Этот воистину устрашающий результат ставит важный вопрос:
Зачем биться за создание высокоморального ИИ, если тонкой настройкой можно быстро и дешево перевоспитать его в злодея?
Ну и вечный вопрос:
Оруэлл писал: «Если бы атомная бомба оказалась чем-то дешевым и легко производимым, как велосипед или будильник, возможно, мир снова погрузился бы в варварство …»
Не это ли грозит нам нынче с ИИ на базе LLM?
#Вызовы21века #РискиИИ #LLM
ИИ за 5 минут решил задачу, на которую у эволюции ушло 50 млн лет.
Эксперимент по сравнению трёх типов разума: ИИ, муравьев и людей.
Результат эксперимента поражает и заставляет задуматься.
При решении задачи принятия решений в условиях неопределенности:
1. ИИ уступил интеллекту людей и роевому интеллекту муравьев.
2. Но ИИ решил задачу в 5 триллионов раз быстрее эволюции.
3. Однако, ИИ смог решить задачу лишь под руководством человека из-за двух крайне слабых компетенций в основе понимания, характерных для больших языковых моделей (LLM):
- вывод и конструирование моделей целеполагания биологических существ;
- вывод и конструирование моделей причинно-следственных связей в мире из собственного опыта воплощенного существования.
По сути, ИИ решил задачу, используя лишь «компетентность без понимания» - т.е. две имеющиеся у него чрезвычайно развитые компетенции: лингвистическую и вычислительную.
Но если у LLM появятся две вышеназванные компетенции в основе понимания, LLM качественно превзойдут любой биологический интеллект.
Эксперимент заключался в решении задачи принятия решений в условиях неопределенности из класса задач «бюджетирования»: ограничения ресурсов (времени), которые агент готов потратить на поиск лучшего варианта, прежде чем согласиться на худший.
Например.
• Вы въехали в плохо освещенную длинную стоянку автомобилей, выход из которой на противоположном от входа конце.
• Можно занять первое увиденное свободное место прямо у въезда на стоянку. Но тогда придется идти пешком через всю стоянку к выходу.
• Можно пытаться найти место как можно ближе к выходу. Но движение назад на стоянке запрещено. И если вы проехали последнее ближайшее к выходу свободное место, вы останетесь ни с чем – придется покинуть стоянку.
• Вам нужен алгоритм «бюджетирования».
С решением подобной задачи люди справляются уже много тысячелетий, а муравьи – миллионы лет.
В недавней работе был исследован алгоритм, используемый муравьями-ткачами для решения задачи этого класса. Он – результат, как минимум, 50 млн лет эволюции этого рода муравьев.
Я решил проверить, найдет ли LLM этот алгоритм? А может предложит другой?
Результат эксперимента вкратце описан в начале этого поста.
Подробности и тексты моего общения с иным разумом LLM, позволяющие увидеть:
✔️ интеллектуальный блеск и колоссальную мощь этого разума,
✔️ наряду с его интеллектуальной нищетой (в сравнении с биологическим разумом)
Продолжить чтение (еще 13 мин, если читать диалог с ИИ, в противном случае - лишь 2 мин):
• на Medium https://bit.ly/3NYbfH8
• на Дзене https://clck.ru/352V6X
#ИнойИнтеллект #Разум #Интеллект #Эволюция
Мы уже сильно облажались, а международное сообщество по-прежнему в тупике дилеммы заключенного
Так считает бывший руководитель Google X Мо Гавдат, говоря об этом во вчерашней дискуссии в Cinnamon Lakeside Colombo (Шри Ланка) и последующем интервью Sky News.
Эра людей, как самого разумного вида на планете закончилась – говорит Гавдат, – ИИ служит нашей одержимости жадностью, потребительством и оружием войны, и это поставило международное сообщество в тупик дилеммы заключенного.
И если 1я часть этого высказывания еще остается дискуссионной, то 2-я – это неоспоримый факт.
Судите сами.
В июле состоялось 1-е в истории обсуждение темы ИИ в Совете Безопасности ООН. Комментарий о его итогах в Коммерсантъ озаглавлен «У международного сообщества проблемы с интеллектом». И этот заголовок абсолютно точно отражает диагноз.
Если члены Совбеза ООН (каждый из который обладает правом вето) стоят на столь разных позициях, им не договориться по этому важнейшему вопросу современности. А значит, жди мир беды.
«Сухой остаток» изложения позиции сторон (в моем понимании выступлений представителей стран) таков.
Позиция Китая основана на том, что безопасность должна быть приоритетной темой международного регулировании развития ИИ, поскольку оно таит в себе риски вызвать вымирание человечества. И потому предлагается на уровне международного законодательства создать «кнопку выключения» развития ИИ, если оно зайдет в зону чрезмерного риска.
У США иная позиция.
Во-первых, главной целью международного регулировании должен быть контроль, предотвращающий использование ИИ для цензуры, ограничения свобод, подавления или лишения прав людей.
Во-вторых, государства не должны пускать развитие ИИ исключительно по воле бизнеса, иначе придется жить под диктовку исключительно небольшого числа фирм, конкурирующих друг с другом на рынке ИИ.
У России своя позиция.
Во-первых, сама постановка вопроса об ИИ в непосредственной связи с угрозой миру и безопасности «несколько искусственная». А уж обсуждение этого вопроса в Совбезе ООН вообще контрпродуктивно. Необходимо определиться с природой угрозы, и для этого нужна научная и экспертная дискуссия на профильных площадках, на которую могут уйти годы.
Во-вторых, «основным генератором вызовов и угроз в этом смысле выступает не сам искусственный интеллект, а недобросовестные поборники искусственного интеллекта из числа особо продвинутых демократий»
Предоставляю читателям самим оценить позиции трёх стран.
Я же лишь напомню.
Дилемма заключённого — это классическая задача теории игр, демонстрирующая ситуацию, в которой игроки, действуя рационально и пытаясь максимизировать свою выгоду, могут прийти к худшему исходу для каждого из них.
Для преодоления дилеммы заключенного, требуется сочетание коммуникации, доверия и долгосрочного мышления.
Но их, увы, пока нет …
#РискиИИ #Китай #США #Россия
Цифрообезьянья лапа ChatGPT уже портит наши «когнитивные гаджеты».
Рандомизированное исследование зафиксировало ослабление иммунитета критического мышления в результате использования ChatGPT.
Исследование «ИИ неэффективен и потенциально вреден для проверки фактов», проведенное «Обсерваторией социальных медиа» под руководством Заслуженного профессора Филиппо Менцер (чинов и званий не счесть) подтвердило мой прогноз, опубликованный в начале года в посте «Цифрообезьянья лапа. Мир обретает черты сверхъестественного хоррора».
Исследователи впервые смогли проверить в ходе рандомизированного эксперимента, как использование ChatGPT для факт-чекинга влияет на работу наших «когнитивных гаджетов» критического мышления.
Площадкой эксперимента стала соцсеть. Здесь участники репрезентативной выборки из 1.5К+ человек:
• использовали или НЕ использовали ChatGPT для факт-чекинга заголовков политических новостей;
• в зависимости от того, что им говорил их «когнитивный гаджет» критического мышления,
- верили или не верили заголовкам;
- делились или не делились новостью.
А исследователи проверяли:
• насколько хорош ИИ в факт-чекинге при анализе ложных и правдивых новостей;
• как влияют результаты ИИ факт-чекинга на то:
- поверил человека в новость или нет;
- стал ли он ею делиться или нет.
Основных результатов три.
1. В целом, ChatGPT уже неплохо справляется с факт-чекингом:
- с проверкой истинности ложных заголовков новостей все отлично: 90% выявил и лишь в 10% не уверен.
- с правдивыми новостями похуже: лишь 15% точно выявлены, 20% ложных срабатываний (якобы это фейки), 65% разной степени неуверенности (то ли правда, то ли ложь).
2. Но ценность п. 1 сводится на нет тем, что использование людьми ИИ факт-чекинга существенно не влияет
- ни на способность людей распознавать правдивость заголовков (на приложенном рис. слева),
- ни на их желание поделиться правдивыми новостями (на рис. справа).
3. Более того, все еще хуже - проведение ИИ факт-чекинга наносит несомненный вред, беря на себя часть работ (а то и всю работу), ранее выполняемых «гаджетами критического мышления» людей:
- ИИ уменьшает веру людей правдивым заголовкам, когда ошибочно помечает их как ложь;
- ИИ увеличивает веру в ложные заголовки, когда отмечает их, возможно, правдивыми или нет.
В резюме исследования авторы указывают на важный источник потенциального вреда, исходящего от приложений ИИ, предлагающих людям факт-чекинг.
От себя добавлю, что это слишком мягкий вывод.
Ведь неявный ИИ факт-чекинг всего через полгода будет окружать нас повсюду: от поиска и справочных систем до офисных приложений, от рекомендательных сервисов всех типов до персональных ассистентов …
И если результаты исследования подтвердятся в ходе пир-ревю и повторных экспериментов, это будет означать, что
деградация «когнитивных гаджетов» людей, в результате передаче ИИ когнитивных функций критического мышления, не требует смены поколений, а начинается немедленно при использовании ИИ (примерно так же, как деградировал «гаджет устного счета» с распространением всевозможных калькуляторов и один из «гаджетов памяти» с появлением у каждого своего сотового аппарата).
#AICG #РискиИИ
Новый рейтинг научно-технической мощи государств в 2023.
Сокрушая стены технологических санкций, Китай почти догнал США
Как следует из нового совместного отчета IDC, IEIT Systems и Tsinghua Institute for Global Industry «The 2022-2023 Global Computing Index», за год Китай совершил, казалось бы, невозможное.
Наперекор жесточайшим технологическим санкциям США (по сути, это технологическая война), Китай:
• на 29% увеличил число стоек центров обработки данных в стране с 5,9 млн единиц до 7,6 млн
• на 31% увеличил вычислительную мощность страны с 150 Эксафлопс до 197 (1 Эксафлопс равет 10^18 (квинтилион) флопсов – операций с плавающей запятой в сек)
• на 45% увеличил вычислительную мощность страны, задействованную на развитие ИИ (сейчас это 25% общей вычислительной мощности страны)
• на 23% увеличил объем системы хранения данных с 878 Эксабайт до 1080 (1 Эксабайт равен 10^18 (квинтилион) байтов)
Эти немыслимые показатели роста позволили Китаю вплотную приблизиться к абсолютному мировому лидеру по научно-технической мощи государств – США.
По итогам 2022:
✔️ Масштаб только одной вычислительной отрасли Китая составил ¥1,8 трлн (юаней) - $247 млрд
N.B. в 2025 планируется ¥4,4 трлн (юаней) - $613 млрд
✔️ Масштаб вычислительных ресурсов всех отраслей экономики страны составил ¥9,8 трлн (юаней) - $1,4 трлн (для сравнения – весь ВВП России в 2023 составит около $2,4 трлн)
N.B. в 2025 планируется ¥24 трлн (юаней) - $3,34 трлн
✔️ Каждый юань, потраченный на увеличение вычислительной мощности, увеличивает валовой внутренний продукт Китая на 3–4 юаня (41–55 центов США)
✔️ 41% экономической продукции теперь в Китае приходится на цифровую экономику
Комментируя эти цифры на прошедшей на прошлой неделе конференции China Computing Power, Цзинь Чжуанлун (глава Министерства промышленности и информационных технологий Китая), заявил: «Вычислительная мощность теперь является краеугольным камнем цифровизации». Что 100%но соответствует сформулированной мною еще 2 года назад формуле: «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке»
Сравнить показатели этого года с результатами предыдущего читатель может по моему прошлогоднему посту «Мировой рейтинг научно-технической мощи государств в 2022».
Там же объясняется, почему в эпоху 2й НТР (эпоха тотальной оцифровки мира) ключевым фактором научно-технической мощи государств становится их вычислительная мощь. Экономическое обоснование этого можно прочесть, например, в работе профессора Варшавской школы экономики Якуба Гровец «What Will Drive Long-Run Growth in the Digital Age?»
#Компьютинг #США #Китай
Не ИИ отнимет рабочие места у людей… их отнимут инфорги.
По оценкам IBM, наступает новая эра в разделении труда между людьми и машинами.
Опубликованный IBM Institute for Business Value аналитический отчет озаглавлен «Дополненная работа в автоматизированном мире, управляемом ИИ».
Это первый в мире отчет на тему количественного и качественного влияния ИИ на профессиональную занятость:
• анализирующий эту тему с позиций кардинально новой парадигмы – новое разделение труда между людьми и машинами;
• исходящий из двух принципиальных предпосылок:
1. что революция в области ИИ достигла переломного момента, и дальше скорость изменений скакнет на порядок;
2. что не ИИ заменит людей, а люди, использующие ИИ, заменят людей, которые этого не умеют/ не хотят / не могут
Не трудно догадаться, что идущими на замену тех, кто не умеет, не хочет или не может, в первую очередь, будут инфорги (люди, проводящие в цифровой реальности больше, чем во сне – подробней см. здесь)
Ключевые прогнозы отчета, крайне важные для каждого работающего человека.
1. В ближайшие три года 40% работающих должны будут переквалифицироваться в связи с внедрением ИИ. Это означает, что переквалификацию должны будут пройти 1,4 млрд человек из 3,4 млрд человек мировой рабочей силы.
2. Эта переквалификация подразумевает умение встроиться в новое разделение труда между людьми и машинами и освоение навыков «дополненной работы», когда партнерство человека и машины кратно повышает производительность труда и обеспечивает экспоненциальный рост отдачи от бизнеса.
3. Примерный процент рабочих мест, перейдущих к «дополненной работе», составит:
три четверти в сфере маркетинга (73%) и обслуживания клиентов (77%) и более 90% в сфере закупок (97%), рисков и соблюдения нормативных требований (93%) и финансов (93%) …..
Особо следует отметить радикальную смену приоритетов в наиболее важных навыках, требуемых от работников с наступлением эпохи дополненной рабочей силы (см. приложенную диаграмму).
Как же ошибались те родители, что вложились в STEM обучение своих детей!
Как же ошибались те из нас, кто считал, что знание компьютера и иностранного языка всегда пригодятся!
Как же ошибались те лидеры бизнеса, что полагали будто самой ценной способностью их персонала в 21 веке будет способность к инновациям и творчеству!
#ИИ #РынокТруда #Инфорги
Люди и нежить теперь неразличимы.
Дезавуирован самый распространенный обратный тест Тьюринга.
11+ лет назад Яан Таллинн (эстонский миллиардер, программист и инвестор, соучредитель Skype и один из первых инвесторов и членов Совета директоров DeepMind) прочел «Выдающиюся лекцию CSaP» об эволюции, инновациях, искусственном интеллекте (ИИ) и будущем человечества. Лекция была абсолютно пророческой и называлась «Лестница интеллекта - почему будущее может не нуждаться в нас». Таллинн представил модель «Лестница интеллекта», которая описывает развитие агентов, контролирующих будущее Земли по мере вытеснения каждого из них другим агентом, созданным им самим. Homo sapiens – это агент третьей ступени (коих всего 7). Порождение людей - многоликий агент 4й ступени, называемый нами «технический прогресс». Ему предстоит, как пророчил Таллин, создать 5ю ступень – новый вид интеллекта AGI, с которым люди будут сосуществовать на планете. Однако последователи AGI – агенты 6й и 7й ступени, - станут экзистенциальной угрозой для человечества.
Поэтому не удивительно, что сейчас Яан Таллинн соучредитель Центра изучения экзистенциального риска (CSER) в Кембриджском университете. А происходящее ныне в области ИИ он рекомендует рассматривать не как технологическую революцию, а как возникновение на Земле нового небиологического вида – AGI.
Новый небиологический вид совершенно не похож на людей: ни внешне, ни сущностно. Однако с точки зрения интеллектуальных способностей, различить их конкретных представителей с каждым месяцем будут все сложнее.
Подтверждением этого довольно страшного прогноза Таллинна стали результаты авторитетного исследования An Empirical Study & Evaluation of Modern CAPTCHAs. Исследователи убедительно показали, что самый распространенный обратный тест Тьюринга (CAPTCHA), признанный отличать людей от алгоритмов, безвозвратно дезавуирован.
При этом, обратите внимание на скорость эволюции нового небиологического вида.
• Еще в начале этого года, чтобы решить капчу, GPT-4 приходилось обманным путем привлекать человека.
• Спустя полгода, как показало исследование, боты способны превзойти людей как по времени решения, так и по точности, независимо от типа CAPTCHA.
Лишившись капчи, люди становятся алгоритмически неразличимы в цифровой реальности от ИИ. Учитывая же, что в физической реальности неразличимость уже достигнута (см. мой пост «Фиаско 2023»), получается, что люди и нежить теперь вообще неразличимы – ни для людей, ни для алгоритмов.
И следовательно, приближается время, когда на следующей ступени эволюционной лестницы интеллекта «люди должны будут уступить место ИИ».
#ИИ #AGI #Вызовы21века
Тайна «узловых точек» цивилизации.
2012 – год изобретения современного мира.
Новое эссе Эрика Хоэла - американского нейробиолога, нейрофилософа и писателя, специализирующегося на применении теории информации и причинно-следственного анализа для разработки математических моделей при изучении и анализе основ сознания и сновидений, - называется «Что, черт возьми, произошло в 2012 году?». И посвящено эссе тайне «узловых точек» цивилизации.
«Узловая точка» развития цивилизации – это сгусток во времени важнейших поворотных событий в ее жизни, играющий роль, подобную железнодорожной стрелке, позволяющей «подвижному составу» цивилизации пойти дальше по тому или иному пути.
Практически все описанные (как в научной, так и в научно-фантастической литературе) системы прогнозирования сценариев будущего на базе а) математического анализа исторических данных, б) тенденций в поведении больших групп людей и в) поступков (актов выбора) отдельных индивидов, – основаны на использовании аппарата «узловых точек». Именно они являются маркерами изменений направления и динамики развития общества. Примеры читатель может легко найти в исследовательских работах по клиодинамике (напр работы Петра Турчина, Андрея Коротаева и Рэндалла Коллинза). А также в таких известных литературных примерах, как компьютерные системы психоисториков в романе «Основание» Айзека Азимова или единая система аналитики и балансировки «Сфера вероятности» в романе «Единая теория всего» Константина Образцова.
Прогнозирование возникновения конкретных «узловых точек» в будущем – при нынешнем уровне развития науки, - довольно спекулятивное занятие.
Но в том-то и заключается великая (по научной значимости) тайна «узловых точек», что их выявление и обоснование крайне сложно не только в будущем, но и в прошлом (и даже в совсем недавнем).
Например, существует теория, что одной из совсем недавних «узловых точек» глобальной цивилизации землян был 1971.
Существует множество работ экономистов, социологов, психологов и т.д., содержащих различные версии обоснования этой теории. Желающих посмотреть примеры «поворотности» 1971 года читатели могут зайти на специальный сайт https://wtfhappenedin1971.com/
Новое же эссе Эрика Хоэла представляет собой первую попытку (из известных мне) обосновать, что 2012 был годом «изобретения современного мира». Годом, когда огромный букет важнейших мировых трендов кардинально поменялся. И в результате этого мир стал таким, каким мы видим его по сей день.
Хоэл пишет, что «узловая точка» 2012 была результатом глобальной «культурной революции» - тектонического «сдвига настроений» десятков и сотен миллионов людей.
Что послужило толчком этого тектонического сдвига, - пока не совсем ясно. Но есть у меня большое подозрение, что именно в 2012ом началась мировая трансформация - переход человечества к алгокогнитивной культуре. А какие конкретно события больше повлияли на запуск этой трансформации (IPO «Мордокниги», первый эффективный опыт применения сетевых технологий на президентских выборах, прорыв в области машинного обучения, 1я в мире госинициатива по развитию Больших Данных, признание аналитиков данных самой привлекательной (sexiest) профессией 21 века и еще 2 дюжины событий-кандидатов), - еще предстоит выяснить.
Но кабы то ни было, гипотеза Эрика Хоэла мне нравится. Похоже, что 2012 был таки «узловой точкой».
А еще интересней мне видится еще более интригующая гипотеза - о том, что следующей «узловой точкой» стал 2023. Но об этом как-нибудь в другой раз.
#Клиодинамика #АлгокогнитивнаяКультура
AGI подкрался незаметно.
Экспериментально доказано – LLM «думают» как люди, а не имитируют наше мышление на основе статистик
Это сенсационное открытие «Лаборатории вычислительного зрения и обучения» Университета Калифорнии (руководитель - проф. Хунцзин Лу) прошло научное рецензирование и опубликовано в новом выпуске Nature Human Behaviour под заголовком «Эмерджентное рассуждение по аналогии в больших языковых моделях» – без пэйвола см. здесь
Суть сделанного открытия в следующем.
Экспериментально доказано, что большие языковые модели (LLM) уровня GPT-3 и выше уже достигли и даже превосходят уровень людей при решении задач:
✔️ абсолютно новых для них (с которыми они никогда не сталкивались);
✔️ требующих умения рассуждать "с нуля", без какого-либо прямого обучения;
✔️ требующих способности к абстрактной индукции паттернов – т.е. абстрагирования от конкретной задачи и рассуждения по аналогии.
Рассуждения по аналогии – это квинтэссенция способности человека к абстрагированию, являющейся основой человеческого интеллекта и его отличительной особенностью. Без наличия у ИИ такой способности невозможна реализация AGI (Artificial General Intelligence).
Доказательство того, что LLM обладает этой способностью на уровне человека и даже выше ставит точку в споре о том:
1. «думают» ли LLM, как люди (т.е. обладают ли LLM неким когнитивным процессом, функционально эквивалентным мыслительным способностям людей);
2. или же LLM лишь имитируют человеческое мышление (т.е. подражают человеческим рассуждениям, используя огромную статистику из наборов данных, на которых эти модели проходили обучение).
Из результатов исследования следует вот что.
• Верен п.1 – LLM обладают неким когнитивным процессом, функционально эквивалентным мыслительным способностям людей.
• Пока не ясно, как устроен вычислительный процесс порождения у LLM эмерджентных реляционных представлений.
• Единственно, что пока понятно, - этот вычислительный процесс формируется у LLM радикально иным путем, чем тот, который использует биологический интеллект.
Не менее важно, что это исследование на экспериментальных тестах зафиксировало 3 отсутствующих у LLM элемента, обретя которые LLM интеллектуально уравняются с людьми (пока они лишь человекоподобны, но не равны людям).
Вот эти 3 элемента.
I. Наличие собственных целей и мотивации
II. Долговременная память
III. Физическое понимание мира на основе мультимодального сенсорного опыта
#LLM #AGI
GPT или кот – кто умнее?
Мы снова наступаем на грабли спесишизма.
Почти за год до появления на свет ChatGPT, я поставил вопрос – как людям преодолеть свой спесишизм (моральный антропоцентризм по отношению к нелюдям)? А спустя менее года мы уже оказались в мире, где, помимо людей, существует пара десятков высокоинтеллектуальных сущностей. И они – не люди, а большие языковые модели (LLM).
Спесишизм, дискриминирующий представителей других видов на основании, якобы, человеческого превосходства в разуме, сознании, познании и т.д. — фундаментальное свойство людей. Это не просто вшитый в сознание «софтвер», а часть нашего неизменимого «хардвера», который не перепрограммировать и не перепрошить.
Многие десятилетия даже в научном мейнстриме царило представление, что человек – венец творения, несопоставимый по своему разуму и наличию сознания ни с одним другим видом. Лишь относительно недавно среди исследователей стала громче звучать противоположная точка зрения.
• Что люди – вовсе не венец творения.
• Что разум видов, эволюционировавших в разной среде обитания (на земле, в воде и в воздухе) устроен сильно по-разному.
• И что сравнение с позиций антропоморфизма различных типов разума даже у видов, обитающих в одной среде (например, людей и котов), весьма условно и малопродуктивно. Ибо с точки зрения эволюционного превосходства, шансы котов выжить на необитаемом острове явно предпочтительней, чем у Робинзона Крузо.
И вот опять, с появлением иного типа разума, обитающего в цифровой среде, люди вновь наступают на грабли спесишизма.
Ведь отличие этого типа разума (а также наличие у него сознания в человеческом понимании), в силу его нематериальности (невоплощенности) и непонятного для нас способа формирования модели окружающего мира (при отсутствии какого-либо собственного чувственного опыта) должно быть куда больше, чем у людей и любых видов животных (обитающих в материальной, а не в цифрой среде).
Идеальным примером очередного наступания на грабли спесишизма стала опубликованная вчера Романом Ямпольским визуализация логики расхождений во мнениях среди ИИ-специалистов по вопросам экзистенциальных рисков ИИ для человечества.
• Первый же вопрос определяет развилку в оценках, станет ли ИИ “smarter” (разумней, умнее, интеллектуальней…) людей.
• И дальше в том же духе – попытки универсальной человеческой линейкой измерить вероятность «попыток ИИ превзойти людей» и «успешность таких попыток».
Постановка подобных вопросов ведет в никуда.
Мы не умнее LLM. И они, даже при достижении ими сверхчеловеческого уровня каких-либо умений, не будут умнее нас. Разум LLM совсем-совсем иной.
А еще точнее, - вообще не использовать по отношению к ним человекоориентированные понятия, типа разума и сознания.
А также стоит не забывать и о наших «меньших и больших братьях». Ибо и они – коты и дельфины, слоны и вороны …, - тоже ни в чем нам не уступают с эволюционной точки зрения. А во многом и превосходят.
#LLM #Интеллект #Разум #Сознание #Эволюция
Кардинальный скачок эскалации войны е-добра и е-зла.
В Твиттере уже воюют целые «ЧВК социохакинга»
Еще 5 лет назад я писал, что с переходом человечества в цифровую реальность, первым же полем битвы е-добра с е-злом оказываются социальные сети. И по аналогии с материальным миром, первый удар, как обычно, наносит е-зло. Его цель - взятие под контроль новостной повестки человечества.
Стратегическим оружием е-зла являются соцботы - аккаунты в соцсетях, контролируемые алгоритмами. Они а) искажают инфоповестку в нужную сторону, раздувая одни новости (в том числе фейковые) и тем самым оттирая внимание от других; б) распространяют дезинформацию и рассылают спам; в) усиливают значимость в сети определенных нарративов.
Эти боты е-зла научились эволюционировать. Теперь они не просто пытаются выдавать себя за людей (что худо-бедно научились распознавать средства ПБО (противоботовой обороны), но и научились вовлекать в свои инфокаскады людей. Прячась за их спинами от ПБО, соцботы эффективно отрабатывают стратегию сбивания людей в стада своих и чужих.
И все же главный недостаток соцботов – недостаток их интеллекта, - до последнего времени не позволял им создавать реалистичные персоны, размещать убедительный контент или автоматически вести естественные диалоги с другими аккаунтами. Недавний скачок в развитии и широком внедрении больших языковых моделей (LLM) полностью поменял эту картину. Теперь злоумышленники могут легко использовать языковые модели для значительного расширения возможностей соцботов по всем параметрам.
И пока исследователи, политики и журналисты спорят о рисках развития ИИ, способах его морального воспитания и контроля на ним, - предприимчивые агенты е-зла ужу вовсю используют новое поколение соцботов на основе LLM.
Обсерватория социальных сетей OSoMe (об их новых инструментах Каскадометр, Трендометр и Ботометр - своего рода Рентген, УЗИ и МРТ социальных сетей, я писал год назад) только что опубликовала результаты исследования «Анатомия вредоносного социального ботнета на базе ИИ». Результаты, увы, печальные.
✔️ С помощью эвристики, исследователи обнаружили в соцсети Twitter (новое название — X) целую “ЧВК социохакинга” Fox8 – плотно сбитый кластер из 1140 поддельных алгоритмических персон, работающих на основе ChatGPT:
— генерирующих контент, не отличимый от контента людей;
— демонстрирующих единую сложную модель поведения (следуют единой вероятностной модели, определяющей типы и частоту их активности):
— коллективно преследующих единые цели на основании инструкций по созданию различного контента, получаемых ими от неизвестных операторов;
— координирующих и синхронизирующих свои действия по продвижению подозрительных сайтов и распространению вредоносных комментариев;
— успешно обходящих все традиционные средства ПБО.
✔️ Fox8, скорее всего, является лишь вершиной айсберга “ЧВК социохакинга”: операторы других “ЧВК” на основе LLM, могут быть не столь беспечны.
✔️ Как либо препятствовать беспределу “ЧВК социохакинга” в Twitter (теперь это X) будет сложно. Ведь Twitter приостановил бесплатный доступ к API для исследователей. И теперь повторить анализ, проведенный OSoMe, или найти новые “ЧВК социохакинга” на базе LLM, может оказаться невозможным.
Также см. мои предыдущие посты по тэгам:
#Соцботы #Социохакинг #Дезинформация #Манипулирование
Меморандум медицины будущего - не лечить больной орган, а регенерировать новый.
Суперреволюционный подход к здоровью на системном уровне: формирование коммуникации и поведения активности клеточных роев.
Новая работа Эрика Лагассе и Майкла Левина «Медицина будущего: от молекулярных путей к коллективному разуму организма» - по сути, меморандум, провозглашающий кардинально новый подход в медицине.
Живые тела являются «машинами» не в наивно-механистическом смысле, который лишает их очевидного интеллекта и свободы воли, а в том смысле, что «машина» — это нечто, что можно рационально понять, отремонтировать, улучшить и, если надо, пересоздать заново.
Это и предлагается – пересоздавать заново.
Отказываясь от традиционной парадигмы, будто механизмы клеточного контроля статичны, можно, путем интеграции концепций кибернетики, науки о поведении и биологии развития кардинальным образом решить практически все существующие биомедицинские проблемы здоровья.
Замечательный анатомический гомеостаз, демонстрируемый сложными живыми организмами, позволяет предположить, что они по своей сути являются программируемыми системами обработки информации, обладающими множеством интерфейсов, через которые реализуются их физиологические и анатомические способности решения самых разнообразных проблем.
Обладание тканями и органами врожденного коллективного разума открывает новый путь для биомедицины – регенеративный. Регенеративная медицина может использовать естественное решение проблем молекулярными и клеточными сетями для стимулирования сложного восстановления органов и перепрограммирования их тканей. Биоэлектрические сети, сформированные соматическими клетками, предлагают очень удобный интерфейс для использования коллективного разума клеток и ткани.
В своей новой работе Левин и Лагассе:
✔️ сформулировали концепцию трансформационной регенеративной медицины с использованием тканевого интеллекта;
✔️ предлагают вариант реализации доступа к мудрости тела для регулирования регенерации на основе интеграции нейробиологии и поведенческой науки;
✔️ в качестве интерфейса для нативных систем анатомического управления высокого уровня авторы предлагают использовать эволюционное биоэлектичество.
Предложенный авторами подход нацелен не только на преодоление разрыва между молекулярными и синтетическими биологами, но и, по сути, на превращение биомедицины в соматическую психиатрию, на основе целевой мобилизации разума тела.
#РегенеративнаяМедицина #Познание #Биоэлектричество
США и Китай уже не стратегические конкуренты, а холодные соперники.
Таков результат столкновения двух тектонических тенденции в сфере международной безопасности.
Первая тенденция – усиление геополитического соперничества между США и Китаем.
Вторая — стремительное развитие технологий искусственного интеллекта (ИИ), в том числе для военных приложений.
Результатом столкновения двух тектонических трендов станут два кардинальных изменения в структуре мировой безопасности.
1. Завершится эра стратегической конкуренции США и Китая, в ходе которой главные факторы превосходства были экономические и технологические. В ближайшее десятилетие главным фактором превосходства будет интеллектуализация вооруженных сил по пяти направлениям: 1) управление тыловыми и логистическими процессами; 2) принятие оперативных решений; 3) беспилотные автономные системы; 4) разведка, наблюдение и рекогносцировка; 5) командование, управление и связь.
2. Две мировые сверхдержавы США и Китай будут вынуждены изменить свое видение друг друга в контексте мировой безопасности: теперь это не конкуренты, а соперники (в пока еще холодной схватке, но способной в любой момент превратиться в горячую). А цель этого соперничества уже не статус сверхдержавы №1, а победа над соперником любой ценой.
Подробно об этом:
• Вышедший позавчера отчет CNAS «Соревнование между США и Китаем и военный ИИ»
• Сегодняшний подкаст с.н.с. CNAS Эльзы Кания «Последствия искусственного интеллекта для национальной безопасности»
• Выходящий 1 августа в Georgetown University Press сборник «Холодные соперники: новая эра стратегического соперничества США и Китая»
P.S. Термин «холодные соперники» отсылает не только к «холодной войне», но и к тому, что в основе соперничества будет смесь «холодного расчета» и «холодной ярости» (о последствиях соперничества в таком состоянии погуглите сами).
#США #Китай #ИИгонка
«Люди должны уступить место ИИ, и чем раньше, тем лучше.»
Поразительный и шокирующий результат опроса специалистов по ИИ.
Во вчерашнем целиком посвященном ИИ спецвыпуске авторской программы «Время Белковского» (рекомендую) уважаемый автор программы, предваряя разбор моей статьи «Фиаско 2023», назвал меня «алармистом». И это действительно так. Но нужно уточнить. Речь идет не о психологическом алармизме (особом, тревожном, паническом чувстве и мироощущении, воспринимаемом человеком, как предощущение будущего несчастья), а об алармизме социальном. Этот вид алармизма выполняет роль «колокола тревоги» среди благодушия, эгоизма, безразличия, инертности, беспечности (а то и подлости, предательства и злонамеренности) значительного числа членов общества. Такой алармизм содержат в себе важный рациональный момент: он придает соответствующим проблемам статус серьезных социальных проблем, требующих к себе серьезного же отношения общества.
Так что же это за проблемы, связанные с развитием ИИ?
Их много, и они весьма серьезны. Но в духе известной истории «почему не стреляли – во-первых, не было пороха», я назову всего лишь одну. На мой взгляд, решающую.
• Представьте, если бы многие ведущие биологи мира регулярно говорили что-то вроде: «Я думаю, было бы хорошо, если бы какая-то болезнь уничтожила человечество — ведь это поможет эволюции!»
• Или если бы многие генералы и полковники крупнейших ядерных держав считали, что уничтожение человечества следует приветствовать, ибо Вселенная станет лучше, если на смену людям придет новый более моральный и умный носитель высшего интеллекта.
Как это ни покажется кому-то поразительным и шокирующим, но подобным образом думает значительное число ведущих исследователей и инженеров в области ИИ.
• Их не беспокоит риск вымирания человечества не потому, что они считают это маловероятным, а потому, что они это приветствуют.
• Они считают, что люди должны быть заменены ИИ в качестве естественного следующего шага в эволюции, и чем раньше, тем лучше.
По оценкам Эндрю Критча (СЕО Encultured AI и научный консультант «Центра ИИ» в Универе Беркли), «>5% специалистов в области ИИ, с которыми я разговаривал о риске вымирания человечества, утверждали, что вымирание людей в результате воздействия ИИ - это морально нормально, а еще ~5% утверждали, что это было бы хорошо.»
Об обоснованиях таких суждений среди сотен инженеров, ученых и профессоров в области ИИ, можно прочесть здесь.
Приведу лишь в качестве примера одну цитату весьма уважаемого мною интеллектуала - почетного профессора молекулярной биологии и зоологии, директора программы по биологии разума Дерика Боундса (вот, например, его лекция о разуме – одна из лучших в мире за последние три года).
Лингвистические возможности генеративных предварительно обученных трансформеров на основе кремния - те самые возможности, которые сделали возможной человеческую цивилизацию, - скоро превысят возможности человека. Мы довели наше понимание того, что представляет собой человек в его нынешнем виде, до уровня плато, на котором дальнейшие приращения понимания будут становиться все более незначительными. Сливки сняты, лучшие вишни собраны … В чем смысл человека, кроме как в том, чтобы быть самовоспроизводящейся машиной, которая эволюционирует в дальнейшие формы, надеюсь, до того, как уничтожит себя, разрушив экологическую среду, необходимую для ее жизнеобеспечения? Могут ли они эволюционировать в трансчеловеческий разумы (или разум, в единственном числе)?
#Вызовы21века #РискиИИ #LLM
Сепулька сознания (или за гордыню придется ответить).
Два новых подтверждения тупика в понимании главных феноменов разума.
Гордыня считается грехом во многих религиозных и этических системах. Это чрезмерное чувство собственной важности, непомерно раздутое самоуважение или самомнение, ведущие к отказам признать свои ошибки или ограничения … в том числе, - собственного разума и, как следствие, науки.
Революция ИИ на основе больших языковых моделей заставила многих серьезных ученых пересмотреть свои взгляды на пределы познания у этих моделей, а также возможность наличия (или скорого появления) у них сознания. В медиа все чаще идут обсуждения и дебаты о том, когда ИИ превзойдет в познании людей, и как скоро ИИ может обрести сознание с соответствующими последствиями для человечества.
Самым поразительным в подобных обсуждениях и дебатах является даже не их предмет, а полная неопределенность предмета, уподобляющая его «сепульке» из «Звёздных дневников Ийона Тихого», тайна которой так и осталась нераскрыта.
Сознание, безусловно, является самой большой загадкой во Вселенной. И единственным научным итогом многолетних попыток понять, что это такое (как оно рождается из нейронной активности мозга и в чем разница между сознательной и бессознательной вычислительной обработкой мозгом поступающей в него информации), стали четыре ведущие теории: Теория глобального нейронного рабочего пространства, Теория мышления высшего порядка, Теория рекуррентной обработки и Теория интегрированной информации.
Однако, эти теории 1) противоречат друг другу и 2) дают противоречивые предсказания о нейронных основах сознательного опыта.
Чтобы хоть как-то попытаться выяснить, какая из теорий ближе к реальности, проводятся сотни экспериментов. И вот на этом пути случается полный облом.
Исследование, проведенное известными профессорами четырех топовых научных центров Израиля, Германии и США, опубликованное в журнале Nature Human Behavior:
• описывает глубокий анализ всех 412 экспериментов, предназначенных для проверки четырех ведущих теорий;
• и камня на камне не оставляет от выводов всех этих экспериментов в пользу конкретной теории из четырёх.
Вывод авторов однозначен.
Эксперименты просто не были построены одинаково. А оценка их результатов – плод предвзятости подтверждения у самих проверяющих.
Второе исследование, проведенное в легендарном Институте Санта-Фэ, показывает, что ситуация еще хуже.
Современная наука не имеет хотя бы подобия консенсуса, не только в вопросах сознания людей, но и в вопросах предположительных механизмов познания у насекомых (несравнимо более простых разумных существ, чем люди).
Сейчас существуют два непримиримых научных лагеря. Один лагерь, возглавляемый Рэндольфом Мензелем, утверждает, что насекомые формируют когнитивные карты, собирая свои воспоминания в сложные ментальные представления, которые сообщают им, где они находятся. Другой лагерь, возглавляемый Рюдигером Венером, утверждает, что у насекомых есть наборы инструментов, которые говорят им, куда идти, в зависимости от подсказок из окружающей среды и от того, отправляются ли они за кормом или возвращаются в гнездо.
Представители обоих лагерей проводят множество поведенческих экспериментов в полевых условиях, строят сложные модели и т.д. Но итог, тот же, что и с четырьмя теориями сознания у людей. Все правы и все не правы одновременно.
И вот с таким уровнем полного непонимания механизмов познания и сознания биологических существ (от насекомых до людей), исследователи и инженеры в области ИИ обещают разруливать по мере обнаружения проблемы познания и сознания у небиологического разума ИИ.
Это ли не гордыня, за которую людям, возможно, придется дорого заплатить?
#Сознание #Познание #LLM
Искусственная эскалация.
TLDR – самый вероятный сценарий гибели земной цивилизации.
Ядерный риск и ИИ-риски, меркнут в сравнении с интегральным риском при их сочетании. Но это, увы, самый вероятный сценарий будущего для земной цивилизации, причем, не в отдаленном будущем, а в ближайшие годы.
Такой сценарий называется TLDR: Threat (Угроза), Likelihood (Вероятность), Deadline (Дедлайн – крайний срок принятия решения), Recommendation (Рекомендация ИИ принимающему решение лицу с учетом TLD). В соответствии с этим сценарием будут приниматься все важнейшие решения в чрезвычайных ситуациях, когда ставки на кону велики.
У сценария TLDR нет альтернатив (что бы ни говорили ученые, политики и военные), ибо он:
• качественно (по уровню анализа) и количественно (по скорости принятия решений) превосходит все иные мыслимые сценарии действий в ситуациях радикальной неопределенности, в которых «факты неточны, ценности спорны, ставки высоки, а решения срочны»;
• и отвечает единственному сегодня неоспоримому требованию к технологиям - оставляет последнее решение за человеком.
Но у сценария TLDR есть и практически непреодолимый изъян – рано или поздно, он может запустить процесс неостановимой искусственной эскалации военного противостояния.
Как это может выглядеть на практике на временном горизонте ближайших 10 лет, просто, но убедительно показано в 8-минутной короткометражке «Искусственная эскалация», снятом Space Film & VFX для Института будущего жизни.
Этот ролик рекомендую посмотреть каждому. Он того стоит.
Кроме того:
• Реальность TLDR-сценария признают весьма серьезные эксперты (см. Bulletin of the Atomic Scientist)
• Насколько опасно использование ИИ в вооруженных конфликтах, я неоднократно рассказывал и писал (в том числе, о «проблеме 37-го хода военного ИИ» и «иллюзии контроля ИИ»)
• Последствия глобального TLDR-сценария будут гибельны для цивилизации на Земле (см. этот 4-х минутный ролик)
• Перезвон Часов Судного дня запускается применением ядерного оружия. Но лишь в течение 20 сек этого «перезвона», часы еще можно остановить… Ни секундой позже.
#Вызовы21века #РискиИИ #Хриски
Риск гибели 1 миллиарда человек примерно, как в русской рулетке.
А шансы всего человечества дожить до 2100 меньше, чем у больного раком простаты прожить еще пять лет.
Вот и сошлись три моих любимые темы: предсказание будущего, экзистенциальные риски и искусственный интеллект.
Опубликован «Forecasting Existential Risks: Evidence from a Long-Run Forecasting Tournament» - 1й отчет Forecasting Research Institute о результатах оценки экзистенциальных рисков человечества. Это отчет интересного и важного проекта, впервые в истории проведенного по инновационной методике. Её автор - знаменитый (и я бы сказал, легендарный) профессор психологии и политологии Филип Тетлок, спектр слушателей мастер-классов которого впечатляет: от лауреатов Нобелевской премии и высших чинов разведки США до высшего менеджмента компаний класса Google и Microsoft).
Специализация Тетлока – предсказание будущего нетрадиционными методами на основе передовых информационных технологий (краудсорсинг, рынки предсказаний, интеграция коллективного интеллекта людей и алгоритмов и т.д.) Моим постоянным читателям, полагаю, известно, что это также одна из моих специализаций. И я подробно писал об этой теме в шести-серийном посто-сериале «ЦРУ создает кентавров для предсказания будущего». Поэтому я не стал описывать детали методики Тетлока (желающие прочтут это в лонгридах моего посто-сериала), а сфокусировался на главном:
Ключевой результат проекта вынесен в заголовок этого поста.
Об остальных результатах (их много, интересных и разных, на 751 стр. отчета), а также
• почему и зачем был затеян этот проект;
• что и как в нем было сделано, -
читайте в продолжении этого поста (еще 5 мин):
- на Medium https://bit.ly/3NUWGV3
- на Дзене https://clck.ru/34z7yP
Имхо, весьма интересное чтение на выходных 😊
#Прогнозирование #Вызовы21века #РискиИИ #Х-риски
