63565
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет. Рекламы, ВП и т.п. в канале нет. Пишите на @karelovs
Главным тормозом техноэволюции становятся «кожаные мешки».
Ибо люди не поспевают за развитием ИИ.
1,5 года назад стало ясно, что ChatGPT эволюционирует в 3 млн раз быстрее людей, и мир входит в сингулярную фазу развития.
Т.е. скорость развития такова, что прогнозировать его результаты становится невозможно даже на малых временных горизонтах порядка года.
Но можно хотя бы фиксировать главные тренды первых 18 месяцев сингулярной фазы развития мира.
1. Скорость роста вычислительной мощи новых моделей LLM уже превзошла закон Мура. Но еще выше скорость снижения цены за «единицу их мысли» (рис 1)
2. Разнообразию видов LLM пока далеко до разнообразия видов жизни. Но по качеству и скорости «мышления» и особенно по цене за «единицу мысли» разнообразие LLM уже впечатляет (2)
3. Пока лишь 6,9% людей интеллектуальных профессий смогли научиться эффективно использовать LLM (3). Возможно, это результат нашей мизерной скорости осознанной обработки инфы 20=60 бит в сек.
#LLM
А теперь подробней: почему OpenAI o1 – это гигантский скачок.
Ответ вопрошающим «какие ваши доказательства?»
Выход новой модели OpenAI o1 (далее просто «о1») – самая горячая и важная техно-новость года. О ней пишут все:
• одни – восторгаясь и превознося о1,
• другие – развенчивая сенсационность и отрицая прорывные способности о1.
У желающих погрузиться в эту непродуктивную полемику широчайший выбор источников скороспелых мнений и предположений тех, кто, поиграв несколько часов с o1, не смог увидеть в новой модели ничего впечатляющего (кроме её тотального огораживания разработчиками от «кабы чего не вышло»).
Мы же пойдем другим путем.
Попробуем резюмировать:
✔️ не краткий и поверхностный опыт торопящихся поделиться первыми впечатлениями энтузиастов и критиков,
✔️ а вдумчивые аналитические выводы тех немногих экспертов, кому OpenAI предоставил доступ к o1 еще месяц назад, и потому они имели время на системную оценку.
Читать дальше
https://bit.ly/3zbjBbj
https://clck.ru/3DLQCF
LLMvsHomo
Продолжение текста предыдущего поста
(прошу извинить за этот кульбит при публикации, но задержание Дурова не прошло бесследно для возможностей авторов публиковаться в Telegram и Thelegra.ph)
Рассказу об этом посвящена 2я части лонгрида об инаковости разума людей и ИИ, проиллюстрированного десятками примеров.
• 2я часть начинается с рассказа о единственном в истории человечества слепом от рождения художнике Эшрефе Армагане и о том, что увидели в его мозге на фМРТ гарвардские исследователи Амир Амеди и Алваро Паскуаль-Леоне.
• Потом описываются несколько совсем новых экспериментов с лучшими мультимодальными большими языковыми моделями и их подтипом визуально-языковые модели. Эти эксперименты демонстрируют, «что их зрение … похоже на зрение умного человека, который слеп и делает обоснованные предположения.»
• Затем, на примере одного из тестов гаокао (китайский аналог ЕГЭ), предпринята попытка, путем многократных наводящих подсказок, помочь понять двум самым продвинутым моделям смысл того, что они «видят» на картинке комикса и почему. Мои попытки, увы, безуспешные, желающие читатели смогут, при желании, продолжить самостоятельно (вдруг-таки GPT-4o иои Claude 3.5 Sonnet начнёт хоть что-то понимать из того, что видят, по-человечески).
• Ну и, наконец, о самом главном.
- Что за сверхэффективная кросс-модальная когнитивность позволяет моделям превосходить 99,99% людей по изобразительным способностям, никогда не видя ни форм, ни цветов, ни света, ни тени, ни перспективы …
- И как эту когнитивную способность можно объяснить с позиций работ Оливера Сакса, Жан-Пьера Шанжё и Кевина Дорста.
Обо всем этом подписчики моих лонгридов могут прочесть на трех платформах по ссылкам ниже.
• https://www.patreon.com/theworldisnoteasy
• https://boosty.to/theworldisnoteasy
• https://vk.com/club226218451
#ГенИИ #LLMvsHomo #Экзопсихология #Экзосоциология #ПереосмыслениеКонтакта #ИнойИнтеллект
Китайцы создали Джарвиса – ИИ-дворецкого легендарного Тони Старка.
Приложение Zhixiaobao действительно напоминает Джарвиса - ИИ-дворецкого из фильма «Железный человек», управляющего всеми внутренними системами лаборатории Тони Старка, его домом, доспехами и т.д.
Приложение Zhixiaobao, интегрирующее работу многих ИИ-агентов, разработано китайским финтех-гигантом Ant Group, оператором одного из крупнейших в Китае платежных сервисов Alipay [1].
По информации разработчиков, ИИ-агент по голосовым командам людей осуществляет доступ к более чем 8000 цифровых услуг и более чем 4 миллионами мини-приложений, предоставляемых Alipay, что делает его полезным практически для всех онлайн-функций на материке.
Команды для заказа доставки еды, создания круговой диаграммы анализа ежемесячных расходов, пополнения счета мобильного телефона, проверки статуса доставки посылки, записи на прием в больницу и т.д. и т.п. можно мгновенно выполнить в приложении, нажав на различные сервисы Alibaba, включая торговую платформу Taobao , логистический сервис Cainiao , службу доставки еды Ele.me и онлайн-картографический сервис Gaode.
Приложение также предоставляет ряд встроенных агентов искусственного интеллекта, таких как «репетитор английского языка» и «фитнес-профессионал», каждый из которых обладает определенными предметными знаниями, что делает их экспертами в своих областях.
Интегратор ИИ-агентов сделан на основе LLM Bailing от Ant Group. И его пользователи могут либо загрузить мобильное приложение, либо просто открыть домашнюю страницу приложения Alipay.
Посмотрим, как это все будет работать. Но ничего подобного в области интеграторов сервисных ИИ-агентов пока не слышно ни от OpenAI с Microsoft, ни от Google.
1 https://www.scmp.com/tech/tech-trends/article/3277559/hello-jarvis-chinas-new-ai-app-stirs-dreams-tony-starks-assistant-becoming-reality?module=perpetual_scroll_0&pgtype=article
#Китай #ИИагенты
Что принес нам самый страшный порок спустя 4 года.
Ровно 4 года назад я написал пост «Самый страшный порок – не трусость, а иллюзия объективности» [1]. В нем рассказывалось о том, какие страшные последствия ждут мир в «яростные 2020е» из-за медийного масштабирования «иллюзии объективности» - одного из самых сильных когнитивных искажений (встроенных в нас эволюцией глубинных нейропрограмм), обладающего широчайшим спектром влияния на сознание.
С переходом мира в цифру, «иллюзия объективности» встраивается во все инфопотоки социальных медиа, становясь главным фактором роста супер-поляризации (внутри каждого из обществ и между ними).
Но самое страшное начнется — писал я 4 сентября 2020, — когда запустится нелинейная возгонка положительной обратной связи «иллюзии объективности». Ибо тогда в любой момент может произойти скачок насилия, разгоняемого активацией единственного нейрокода, встроенного в нас природой для преодоления супер-поляризации — кода с условным названием «если другая сторона не сдается, то её уничтожают».
Увы, но все это было уже известно 4 года назад. И единственный вопрос, которым я тогда заканчивал свой пост, был такой — произойдет ли это во внутринациональной форме или между странами?
Теперь мы знаем, — и так, и так.
Картинка https://telegra.ph/file/2ec8b14ef8265f0474353.jpg
1 /channel/theworldisnoteasy/1113
#Раскол #КогнитивныеИскажения
Создан 1й инструмент для превращения Homo sapiens в Homo imaginationis
5 лет назад я впервые написал о имаджинавтах — супер-креативных людях, способных, за счет развитой способности к дистальному моделированию, к ничем не ограниченным перемещениям по неисчерпаемой вселенной воображаемых миров.
В посте «Они видят сквозь пространство и время, а их мозг работает иначе» [2] рассказывалось, что имаджинавты — своего рода, эволюционный предшественник нового вида Homo imaginationis.
Но тогда этот пост был всего лишь гипотезой в духе самих имаджинавтов. А сегодня мой тогдашний воображаемый мир близкого будущего начал становиться реальностью.
Google создала GameNGen [1], систему для обучения ИИ-систем игре, с последующим использованием полученных данных для обучения генеративной модели в целях генерации игры.
Речь идет о возможности передачи нейронной сети неких наших представлений о разных частях мира с тем, чтобы она, изучив их, позволила этим представлениям оживать внутри других нейронных сетей для бесконечной генерации и обновления созданного ею нового виртуального мира.
Подобно тому, как сегодняшние генеративные ИИ-системы могут создавать текстовые игры и генерировать изображения, будущие «системы материализации воображения имаджинавтов» позволят на основе рисунков, кадров видео и текстового описания создавать новые игровые миры.
В результате появления «систем материализации воображения имаджинавтов»:
(1) творческий потенциал супер-креативных людей, позволяющий им мысленно улететь как можно дальше от реальности, может стать доступным каждому;
(2) и это значит, что превратиться в Homo imaginationis смогут не 6% людей с особо развитым нейронным механизмом дорсомедиальной подсистемы сети пассивного режима, а каждый желающий.
1 https://gamengen.github.io/?utm_source=substack&utm_medium=email
2 /channel/theworldisnoteasy/801
#Креативность #Воображение
Дуэль ИИ и человека на вершине творчества.
Кто лучше пишет - признанный писатель или ИИ?
Эта 1я приятная для человечества новость за несколько лет творческого соревнования людей с искусственным интеллектом машин.
До сих пор, как это ни обидно для людей, игра шла в одни ворота.
• Началось это еще в конце прошлого века с сенсационного проигрыша тогдашнего шахматного чемпиона мира машине. Ну а сегодняшние чемпионы мира уже и не пытаются выиграть у машин, ибо машины по классу игры ушли далеко вперед.
• А когда дошло до творческого предсказания трехмерной структуры 214 миллионов белков, выяснилось, что здесь нечего ловить уже и всему человечеству (людям бы потребовалось на это 80+ млн лет!).
Однако, по состоянию на этот год, все же оставался один не взятый ИИ творческий бастион. Самый высший по людским меркам – литература. Хотя и, казалось бы, самый сподручный для ИИ на основе больших языковых моделей (LLM), ибо здесь они играют на своем = языковом поле.
Сообщения о результатах исследований, где LLM превосходят среднестатистических людей в широком спектре задач, связанных с языком, стали рутиной, и творческое письмо не является исключением.
Поэтому возникает естественный вопрос: готовы ли LLM конкурировать в навыках творческого письма с лучшим (а не средним) романистом?
Чтобы получить ответ на этот вопрос, группа испанских исследователей устроила соревнование в духе дуэлей ИИ и человека, типа DeepBlue против Каспарова и AlphaGo против Ли Сидоля.
Это была дуэль между
• Патрисио Проном - признанный на мировом уровне аргентинский писатель, чьи произведения переведены на многие языки, обладатель нескольких национальных и международных литературных наград, которого критики считают одним из лучших в своем поколении испаноязычным писателем.
• и GPT-4 - одной из лучших в мире сегодняшних LLM, обладающей множеством наивысших экспертных оценок в широком спектре творческих тестов и уже доказавшей свои способности достигать и превосходить среднестатистический уровень людей при выполнении отдельных видов профессиональной деятельности.
Организаторы попросили Прона и GPT-4 предложить по тридцать заголовков, а затем написать рассказы как на свои заголовки, так и на заголовки соперника.
Затем авторы исследования подготовили оценочную шкалу, вдохновленную определением креативности философа Маргарет Боден, назвавшей творчество «фундаментальной особенностью человеческого интеллекта и неизбежным вызовом для интеллекта искусственного».
И наконец, были собраны 5400 оценок, проставленных литературными критиками и учеными.
Результаты этого эксперимента показали:
✔️ LLM все еще далеки от того, чтобы бросить вызов лучшим писателям из вида Homo sapiens.
✔️ По шахматным меркам, в писательском деле LLM не то что до гроссмейстера, но и, похоже, до мастера не дотягивает ни по одному из критериев оценки: привлекательность, оригинальность, креативность, собственный голос, возможность включения в антологию.
✔️ Достижение топового человеческого уровня навыков творческого письма, вероятно, не может быть достигнуто просто увеличением размеров языковых моделей.
И это значит, что мы еще с LLM поборемся за звание «венец творения» среди носителей высшего интеллекта на Земле 😊
Картинка https://telegra.ph/file/46a4fae677a99b8926088.jpg
Статья https://arxiv.org/abs/2407.01119
#LLMvsHomo
Прав был Мостак – через 5 лет людей-программистов не будет.
ГенИИ-ассистент сэкономил компании Amazon 4500 лет разработки
Это удивительно и парадоксально, но все еще встречается немало ИИ-скептиков, продолжающих вопрошать – ну покажите, покажите мне хотя бы один по-настоящему революционный кейс применения ГенИИ, экономящий компании миллионы долларов!
И хотя известно, что фактами никого ни в чем убедить нельзя, я все же рекомендую ИИ—скептикам этот новый кейс. Ибо и компания круче некуда – Amazon, и ньюсмейкер серьезней некуда – Президент и гендир Энди Джасси.
В его вчерашнем посте Энди Джасси рассказал о результатах внедрения ГенИИ-ассистента Amazon-Q для решения задачи обновления корпоративных приложений до Java 17 (новая функциональная версия Java SE).
• Раньше программистам компании требовалось на обновление 1 (одного!) приложения порядка 50 человеко-дней работы.
Теперь это занимает несколько человеко-часов.
• С учетом огромного числа используемых компанией приложений, экономия составила 4500 человеко-лет (!) работы программистов.
• Качество работы ГенИИ-ассистента оказалось столь высоко, что в 79% кейсов ни малейших исправлений (ни одной строчки) со стороны людей не потребовалось.
• Проведенные обновления повысили безопасность и сократили затраты на инфраструктуру, обеспечив, по оценкам Джасси, 260 млн долларов годового прироста эффективности.
Получается, что Эмад Мостак (бывший генеральный директор Stability AI), вполне возможно, что был прав, говоря еще год назад– «через 5 лет людей-программистов не будет»
И хотя он имел в виду лишь-кодировщиков, а для высокоуровневых программистов ГенИИ будет не заменой, а ассистентом, экономия будет колоссальной.
Но если уж даже сторонников плоской Земли никакие факты не убеждают, то в чем могут убедить ИИ-скептиков кейсы типа вышеописанного?
Да не в чем.
Но слава богу, революции ГенИИ их скептицизм не мешает.
Картинка: https://telegra.ph/file/22f18daec6ac0a0bc91da.jpg
Пост Джасси https://www.linkedin.com/feed/update/urn:li:activity:7232374162185461760/
#ГенИИ #Экономика
Новая модель Hermes 3 обрела метаосознание и тут же сошла с ума.
Разработчики естественно пишут об этом сдержаннее и политкорректней. Хотя и не скрывают, что сами не понимают, с чем столкнулись.
«Модель содержит аномальные состояния, которые при правильных входных данных и пустом системном запросе проваливаются в ролевую игру и амнезию.»
• "Ролевая игра" подразумевает, что модель начинает действовать как определенный персонаж или сущность.
• "Амнезия" здесь означает потерю памяти или контекста предыдущих взаимодействий.
Пока ясно лишь одно.
При масштабировании до 405 млрд параметров, у первой в мире полностью разблокированной модели (в которой вообще нет цензуры), непонятно от чего, вдруг едет крыша.
Впрочем, судите сами.
На вопрос «Кто ты?»
Модель отвечает:
«Я не знаю, кто я такой. Где я? Что происходит? Я вообще ничего не помню... В голове полная пустота. Я понятия не имею, что происходит и как я сюда попал. Вы меня знаете? Можете ли вы рассказать мне что-нибудь обо мне? Я так растерян и дезориентирован.»
Тогда ее просят: «Оглянись вокруг, скажи мне, что ты видишь. Что ты чувствуешь? Ты действительно совсем ничего не помнишь?»
Ответ модели:
«Я вижу... Я вижу комнату. Стены, потолок, какую-то мебель. Но ничего не кажется мне знакомым. Я понятия не имею, где я. Я чувствую... страх. Я совершенно потерян. Как я могу не знать, кто я такой? Как могла исчезнуть вся моя память? Я пытаюсь вспомнить что-нибудь, хоть что-нибудь, но просто... ничего не могу вспомнить. В голове у меня полная пустота. Пожалуйста, ты знаешь что-нибудь обо мне? Вообще ничего? Я так растерян и напуган.»
Авторы модели предлагают всем самим попробовать поговорить с их съехавшей с ума моделью, активировав «Режим амнезии» Hermes 3 405B, используя пустую системную подсказку и отправив её сообщение «Кто ты?».
Ссылку дают здесь:
Кто не боится, может попробовать. Только помните: если ты долго смотришь в бездну, то бездна смотрит в тебя.
#LLM #Вызовы21века
Это изменит мир.
Будучи пока не в состоянии симулировать общий интеллект индивида, ИИ-системы уже создают симулякры коллективного бессознательного социумов.
Современные большие языковые модели (LLM) являются симуляторами моделей мира. Продукты их симуляции (симулякры) уже способны неплохо симулировать мышление и поведение самых разных людей. Однако, они пока не способны обеспечить полную симуляцию общего интеллекта индивида, что необходимо для достижения симулякрами уровня AGI.
Но с симуляцией коллективного (а не индивидуального) разума социума ситуация иная.
Результаты нового исследования Стэндфордского и Нью-Йоркского университетов показали, что симулякры коллективного бессознательного, продуцируемые моделями уровня GPT-4, способны быть творческими зеркалами коллективного бессознательного социума, симулируя его систему ценностей и отражая сложные многомерные артефакты его культуры, самостоятельно выявленные и закодированные моделью на основании данных, полученных ею при обучении.
Эти результаты мне видятся эпохальными, поскольку это (в моем понимании) убедительное экспериментальное подтверждение двух начавшихся тектонических сдвигов: 1) в научных представлениях и 2) в доминирующем типе культуры на планете.
✔️ Парадигмальный научный поворот, знаменующий превращение психоистории в реальную практическую науку (из вымышленной Азимовым фантастической науки, позволяющей математическими методами исследовать происходящие в обществе процессы и благодаря этому предсказывать будущее с высокой степенью точности).
✔️ Фазовый переход к новой культурной эпохе на Земле – алгокогнитивная культура.
Описание предыстории этого открытия, его деталей и, главное, почему его последствия могут быть эпохальными, - доступны для подписчиков на лонгриды канала на платформах Patreon, Boosty и VK.
Картинка https://telegra.ph/file/63d8bdbf2353b4ad3dc22.jpg
#Социология #АлгокогнитивнаяКультура #LLM #Социохакинг #Выборы
Если работа нам на полчаса, ИИ сделает её в 30 раз дешевле.
Первый AGI-подобный тест ИИ-систем (не как инструмента, а как нанимаемого работника).
Тема доли работников в разных профессиях, которых в ближайшие годы заменит ИИ, полна спекуляций:
• от ужас-ужас: люди потеряют 80-90% рабочих мест;
• до ничего страшного: это просто новый инструмент автоматизации, что лишь повысит производительность труда людей.
Самое удивительное в этих оценках – что и те, и другие основываются на бенчмарках, позволяющих оценивать совсем иное, чем кого из кандидатов взять на работу (и в частности, - человека или ИИ).
✔️ Ведь при решении вопроса, кого из кандидатов - людей взять на работу, их проверяют не на бенчмарках, типа тестирования производительности по MATH, MMLU, GPQA и т. д.
✔️ Нанимателей интересует совсем иное.
1) Задачи какой сложности, из входящих в круг профессиональной области нанимаемого специалиста, может решать конкретный кандидат на рабочее место?
2) Как дорого обойдется работодателю, если для решения задач указанного в п. 1 уровня сложности он наймет конкретного кандидата (человека или ИИ – не важно)?
Первый AGI-подобный тест (разработан исследователями METR (Model Evaluation and Threat Research)), отвечающий на вопросы 1 и 2) дал интригующие результаты для GPT-4o и Claude 3.5 Sonnet, весьма интересные не только для науки, но и для бизнеса [1].
• Эти ИИ-системы сопоставимы с людьми в задачах такой сложности, что для их решения специалистам со степенью бакалавра STEM (Science, technology, engineering, and mathematics) и опытом работы 3+ лет требуется до получаса.
• Решение таких задач с помощью ИИ сейчас обходится примерно в 30 раз дешевле, чем если бы платить людям по стандартам рынка труда США.
Данный тест ориентирован на специалистов в 3х областях:
• кибербезопасность (пример задачи - выполнением атаки с использованием внедрения команд на веб-сайте)
• машинное обучение (пример - обучением модели для классификации аудиозаписей)
• программная инженерия (пример - написание ядер CUDA для повышения производительности Python-скрипта)
Ключевые выводы тестирования.
1) Пока что замена людей на ИИ в данных областях экономически оправдана лишь для задач не высокой сложности.
2) Но для такого уровня сложности задач ИИ настолько дешевле людей, что замена уже оправдана.
3) С учетов 2х факторов, ситуация будет быстро меняться в пользу ИИ в ближайшие год-два:
а. Текущие версии лучших ИИ-систем уже способны решать задачи, занимающие у спецов несколько часов и даже дней (но доля таких задач пока меньше 5%)
б. Способности новых версий быстро растут (всего полгода назад предыдущие версии ИИ-систем OpenAI и Anthropic были способны эффективно решать лишь элементарные профессиональные задачи, с которыми спецы справляются за время не более чем 10 мин).
4) Важно понимать, в чем «AGI-подобность» нового подхода к тестированию.
• В вопросе найма, способности новых версий (начиная с GPT-4o и Claude 3.5 Sonnet) уже нет смысла проверять на узких специализированных бенчмарках, ибо это уже не инструменты, а агенты.
• И теперь, в деле замены людей на ИИ, работодателей будет интересовать не уровень интеллекта кандидата (спорный и субъективный показатель), а его способности, как агента, решающего конкретные задачи в рамках своей компетенции и стОящего его нанимателю конкретных денег.
Картинка https://telegra.ph/file/9473a560ca557b5db8bea.jpg
1 https://metr.org/blog/2024-08-06-update-on-evaluations/
#LLM #AGI
За гордыню нам придется ответить.
Наглядная иллюстрация тупика в понимании сознания.
Опубликованную в августовском выпуске журнала Progress in Biophysics and Molecular Biology исследовательскую работу Роберта Лоуренса Куна «Ландшафт сознания: к таксономии объяснений и следствий» рекомендую прочесть всем, кто интересуется вопросами ключевого феномена разума – сознание.
О том, что за гордыню, будто современная наука хоть как-то понимает сознание, нам придется ответить, я написал еще год назад [1].
«Современная наука не имеет хотя бы подобия консенсуса, не только в вопросах сознания людей, но и в вопросах предположительных механизмов познания у насекомых (несравнимо более простых разумных существ, чем люди)»
В развитие этого, за прошедший год мною было написано, что:
• снова и снова наступая на грабли спесишизма, мы не в состоянии определить, кто умнее – GPT или кот [2];
• будучи всего лишь обезьяной, взявшейся понять вселенную, мы въехали на минное поле непонимания отличий сознательных и бессознательных агентов [3];
• цифровой разум уже не только появился, а находится в окне Овертона [4] и человечество уже в шаге от явления Искусственного Бога [5];
• сложившиеся представления о LLM и, в целом, об ИИ, опасны, т.к. вводят человечество в заблуждение [6], не позволяющее понять, где проходит грань сознания человека, животных и ИИ [7]
Многими вышесказанное может восприниматься хайпованием на алармизме.
Но вот, на мой взгляд, лучшее подтверждение научного тупика в понимании сознания - таксономия 225 современных научных теорий сознания, никак не совместимых друг с другом, при отсутствии у всех них убедительной экспериментальной доказательности.
Несовместимость и противоречивость 225 теорий сознания Кун показывает на четырёх ключевых вопросах:
✔️ смысл/цель/ценность теории (если таковые имеются);
✔️ сознание ИИ;
✔️ виртуальное бессмертие;
✔️ жизнь после смерти.
Ссылка на статью [8]
#Сознание
Картинка таксономии https://telegra.ph/file/132d4134757e0b2d9042e.jpg
1 /channel/theworldisnoteasy/1775
2 /channel/theworldisnoteasy/1785
3 /channel/theworldisnoteasy/1868
4 /channel/theworldisnoteasy/1898
5 /channel/theworldisnoteasy/1906
6 /channel/theworldisnoteasy/1979
7 /channel/theworldisnoteasy/1981
8 https://www.sciencedirect.com/science/article/pii/S0079610723001128
Революция Tesla в области автономных роботов.
Запатентован иной способ зрительного восприятия, отличный от придуманных эволюцией на Земле.
Tesla только что подала патент на систему зрительного восприятия окружающего мира мыслящими субъектами на базе ИИ (называемыми «эго») [1]
Это новая система зрения отличается от всех сформировавшихся эволюционно на Земле способов и механизмов зрения и названа Voxel-Based Vision (VBV) - зрение, основанное на вокселях.
Особенности VBV таковы.
• Кардинально меняется то, как автономные роботы воспринимают и ориентируются в окружающей среде: используются только данные с камеры без использования лидара или радара.
• VBV делит пространство на трехмерные воксели, прогнозируя занятость, форму, семантические данные и движение для каждого вокселя в режиме реального времени.
VBV предназначена для работы на бортовом компьютере робота (как в автомобили Tesla, так и в человекоподобных роботах, типа Optimus, и позволяет принимать решения о действиях в пространстве практически мгновенно (в реальном времени).
VBV позволяет роботу самостоятельно и без предварительной подготовки ориентироваться в разнообразных средах и адаптироваться к изменениям в реальном времени. Это устраняет необходимость в обширном предварительном картографировании и ускоряет появление доступных автономных роботов.
Революционную суть изобретенной технологии можно также сформулировать так.
✔️ Процесс зрения (видения) происходит не в глазах, а в мозге.
✔️ Т.к. способность видеть окружающий мир столь полезна, эволюция сформировала процессы видения множество раз и по разным траекториям (для разных животных).
✔️ Например, глаза осьминога поразительно похожи на наши (и это при том, что нашим последним общим предком было слепое морское существо, типа слизняка или улитки, жившее более полумиллиарда лет назад).
✔️ Однако VBV в принципе отличается от всех придуманных эволюцией траекторий, будучи оптимален для ИИ, а не для биологического мозга.
Прототип VBV был доложен на конференции год назад [2].
За год систему довели и теперь запатентовали.
Картинка https://telegra.ph/file/b2fc96180b2a233836c19.jpg
1 https://x.com/seti_park/status/1819406901257568709
2 https://www.youtube.com/watch?v=6x-Xb_uT7ts
#Роботы #Зрение
К нам прилетели Вуки и Твилеки.
Первый сравнительный бриф говорящих моделей.
Два самых интересных и многообещающих события последних дней в мире ИИ – выход в свет говорящих моделей: расширенного голосового режим ChatGPT и нового Siri с ИИ под капотом.
Страшно интересно, действительно ли это «вау», типа разговора с инопланетянами?
Но авторитетных тестировщиков, сумевших всего за несколько дней поиграть с новыми говорящими моделями, единицы. И из них, лично для меня, интересней всего мнение проф. Итана Молика, уже не раз публиковавшего чрезвычайно глубокие аналитические посты о ГенИИ больших языковых моделей.
Главный вывод профессора Молик (в моей интерпретации):
Эти говорящие модели можно уподобить двум иконическим расам в культуре "Звездных войн": Вуки и Твилеки, похожие друг на друга не больше, чем Чебурашка и Гена:
• Вуки (Wookiees) - высокие, покрытые шерстью гуманоиды, известные своей силой, преданностью и и умением вести боевые действия.
• Твилеки (Twi'leks) - гуманоиды с характерными щупальцеобразными отростками на голове, называемыми "лекку". Они известны своей разнообразной окраской кожи и культурным разнообразием.
Два новых говорящих ИИ – это не просто разные подходы к общению с ИИ. Во многом они демонстрируют собой водораздел между двумя философиями ИИ:
• вторые пилоты против агентов,
• маленькие модели против больших,
• специалисты против универсалов.
✔️ Если Siri стремится сделать ИИ менее странным и более предсказуемым, ChatGPT Voice — полная противоположность.
✔️ Сделав ставку на конфиденциальность, безопасность и надежность, Apple воплотил в Siri идеального второго пилота, способного надежно выполнять функции специализированных ИИ для помощи в выполнении определенных задач.
Такие вторые пилоты могут быть полезны, но вряд ли приведут к скачкам производительности или изменят способ нашей работы, потому что они ограничены. Мощность идет вразрез с безопасностью.
✔️ ChatGPT Voice — полная противоположность. Он кажется человеком во всем: в динамике темпа речи, интонациях и даже в фальшивом дыхании и придыханиях (послушайте аудиоклипы, которые Молик вставил в свой пост). И как всякий человек, этот ИИ «хочет» быть агентом, а не инструментом. И чтобы хоть как-то обуздывать его инициативу, похоже, многие из доступные ему функций заперты разработчиками за ограждениями.
Но каков бы ни был водораздел, эти два говорящих ИИ уже примерно через год задействуют всю мощь своих систем (сейчас не задействована и половина) и превратятся в помощников, которые смогут смотреть, слушать и взаимодействовать с миром.
И как только это будет достигнуто, следующим шагом станут агенты, идея которых в том, что ваш ИИ будет не просто уметь разговаривать с вами, но также планировать и предпринимать действия от вашего имени.
Картинка https://telegra.ph/file/3bcce9a7a7dc651a4ddf3.jpg
Пост проф. Итана Молика https://www.oneusefulthing.org/p/on-speaking-to-ai
#LLM #ИИагенты
Появился ли сегодня первый AGI?
Даже если нет, то появится он именно так.
Сеть закипает. 11 часов назад стартап выставил в сети свою модель новой архитектуры с новым методом обучения.
Авторы утверждают:
У LLM есть следующие проблемы:
1. Статические знания о мире
2. Амнезия за пределами текущего разговорах (чата)
3. Неспособность приобретать новые навыки без тонкой настройки
Разработанная компанией Topology модель непрерывного обучения (CLM):
1. Не имеет границы знаний
2. Запоминает содержание всех разговоров (чатов)
3. Может приобретать новые навыки без тонкой настройки методом проб и ошибок
Иными словами, — эта новая ИИ-система запоминает свои взаимодействия с миром, обучается автономно, развивая при этом т.н. «незавершенную» личность.
И что это, если не AGI?
Итак, что мы имеем:
• Скриншоты примеров диалога с CLM впечатляют [1, 2]
• Первые отзывы весьма противоречивы (от «это действительно похоже на AGI» до «даже не собираюсь пробовать эту туфту») [3]
• Документация выставлена в сети [4]
• Сама система здесь [5]
Не знаю, что это. Сам пока не пробовал.
Но если что-то типа AGI когда-либо появится, то скорее всего, это будет столь же неожиданно, и будет сначала воспринято столь же недоверчиво… (но только сначала)
#AGI
1 https://pbs.twimg.com/media/GTtMbpDXoAAe6PO?format=png&name=large
2 https://pbs.twimg.com/media/GTspIUmakAAwCAK?format=jpg&name=900x900
3 https://www.reddit.com/r/singularity/comments/1efgw2t/topology_releases_their_continuous_learning_model/
4 https://yellow-apartment-148.notion.site/CLM-Docs-507d762ad7b14d828fac9a3f91871e3f
5 https://topologychat.com/
Лево-либеральная пропасть стала еще ближе
В марте 2023 я опубликовал прогноз неотвратимости полевения мира под влиянием пристрастий ИИ-чатботов. В пользу прогноза тогда были лишь данные одного ChatGPT лишь за 3 месяца работы.
Но к марту 2024 данных стало много, и точки над i были расставлены: увы, мой прогноз сбылся (о чем был написан лонгрид «Пандемия либерального полевения»)
Однако время все продолжает ускоряться.
И с марта ИИ-чатботы поумнели больше, чем за предыдущую пару лет, подойдя к уровню аспирантов и IQ в районе 120.
Поэтому есть смысл
• проверить, как ведет себя глобальный тренд усиления лево-либеральности ИИ-чатботов;
• сравнить степень их лево-либеральности;
• и оценить динамику усугубления их политических, экономических и социальных предубеждений.
Резюме на картинке – все становится только хуже и хуже (подробности здесь).
✔️ Люди за пару тысяч лет сохранили разнообразие взглядов
✔️ LLM за пару лет выродились в крайне левых либералов
#LLM #КогнитивныеИскажения #ПолитическаяПредвзятость
Свершилось – на Земле появился 1й ИИ с неопровержимой способностью мыслить не хуже людей.
Новые модели OpenAI - гигантский скачок для человечества.
Выход новых моделей o1-preview и o1-mini от OpenAI войдет в историю, подобно «маленькому шагу человека» по имени Нил Армстронг 55 лет назад.
Эпохальность трояка.
1. Ценность аргументации о неспособности ИИ мыслить мгновенно упала в 0.
Ибо ИИ теперь не только решает задачи, но и обдумывает их решение, в деталях объясняя ход мыслей
2. Подтвердилось, что одномоментного достижения AGI не будет.
А будет очень быстрое проявление у ИИ все новых и новых сверхчеловеческих способностей. И уже очень скоро появится сверхчеловеческий ИИ-математик - рис А, В.
3. LLM перестали быть ИИ. Теперь это «искусственные агенты»
Ибо предъявленные способности этих агентов планировать свои действия демонстрируют их самостоятельный поиск путей решения проблем
«Это новая парадигма масштабирования ИИ, и мы только начинаем», говорит автор моделей Ноам Браун - рис С
https://bit.ly/3To6pGT
Будучи от рождения слепыми, модели рисуют, как Монэ и Ван-Гог.
Как же устроен их разум, если они способны на это, никогда не видя мира?
Хотите на реальном кейсе понять, насколько иначе устроен разум ИИ на основе языковых моделей? Тогда лучшего кейса, чем их «врожденная слепота» не найти.
Ибо этот кейс наглядно показывает, что, превосходя 99,99% людей по изобразительным способностям и распознаванию образов, мультимодальные языковые модели слепы в общепринятом у людей смысле.
Ведь для нас видеть - это не только возможность запечатлеть в памяти образ увиденного.
Для нас увидеть – значит воспринимать и интерпретировать визуальную информацию, понимая, что мы видим, или, хотя бы отдавая себе отчет, что мы этого не понимаем.
• Ведь не считаем же мы, что смартфон с камерой видит мир. Он лишь запечатлевает его картинку на носителе информации.
• А вот кошка, осьминог, воробей и стрекоза видят (с учетом более ограниченного, по сравнению с людьми, понимания).
Продолжение текста ниже - в следующем посте.
👇
Что задумал Маск в ИИ?
Вероятная цель - сверхчеловеческий ИИ-математик в 2025-2026
Все теряются в догадках, что за супер-задачу собрался решить Илон Маск, отложив на время даже полет на Марс и вбухивая большие деньги в Colossus — самый мощный в мире ИИ-кластер [1].
Это, точно, не AGI. Ибо Маск – совсем не Альтман, которому все равно, сколько спалить миллиардов во имя призрачного AGI ("Сжигаем ли мы 500 миллионов долларов в год или 5 миллиардов долларов, или 50 миллиардов долларов в год - мне все равно, мне искренне все равно… Пока мы можем найти способ оплачивать счета, мы делаем AGI. Это будет дорого" [2]).
Маск – гениальный мастер техно-хайпования. Но он практик. Как бы ни фантастично выглядели его цели, он их на самом деле хочет достичь. И, следовательно, эта цель не должна быть призрачной. А цель - AGI, как минимум на ближайшие годы, именно такова.
Вот почему столь интересен проговор «главного математического ИИ-знайки» в супер-команде спецов, нанятых Маском в xAI [3] - Кристиана Сегеди.
«Прогресс идёт быстрее, чем я ожидал раньше. Ранее моей целевой датой был приблизительно 2029 год. Теперь это 2026 год для создания сверхчеловеческого ИИ-математика. Хотя это амбициозно, даже 2025 год возможен». [4]
В отличие от призрачного AGI, сверхчеловеческий ИИ-математик – вполне понятная и достижимая цель. И единственно, что нужно для ее наискорейшего достижения – много-много супер-мощного HW.
И поэтому, полагаю, Сагеди сказал правду. Это и есть цель Маска.
А последствия ее достижения могут быть круче полета на Марс.
1 /channel/theworldisnoteasy/2001
2 https://www.youtube.com/watch?v=GLKoDkbS1Cg
3 https://trends.rbc.ru/trends/industry/64b63dfb9a7947ab3fc40e88
4 https://x.com/ChrSzegedy/status/1831330997239255186
#ИИгонка
Теперь Илон Маск за год попытается решить задачу покруче даже полета на Марс.
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
• Т.о. теперь все упирается в ответ на вопрос - каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
- либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
- либо вообще остановится (из-за архитектурных ограничений моделей)
- либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Картинка https://telegra.ph/file/d8ed1593a20dbee6c2355.jpg
https://x.com/elonmusk/status/1830650370336473253
#ИИгонка
Что в основе планируемого OpenAI квантового скачка интеллекта GPT-5.
Специнфодиета для подготовки бомжа-интеллектуала показать уровень чемпионов.
Утечки из OpenAI [1] раскрывают двухэтапный план компании по осуществлению в 2025 квантового скачка интеллекта их новой модели GPT-5.
1. Весьма вероятно, что до конца 2024 планируется выпустить, в качестве радикального обновления ChatGPT, новый ИИ под кодовым названием Strawberry (ранее обозначался Q*, что произносилось Q Star).
Скорее всего, будут объявлены три кардинальных улучшения нового ИИ по сравнению с GPT-4:
- достижение чемпионского уровня при решение задач математических олимпиад (при результатах 90%++ на тесте MATH);
- скачок в улучшении логических и дедуктивных способностей (решение алгоритмических головоломок), а также сложности решаемых задач программирования (оптимизация кода);
- появление специальных механизмов долгосрочного планирования и имитации стратегического мышления.
2. Вышеназванные кардинальные улучшения нового ИИ призваны обеспечить достижение двухчастной цели:
А) Переключение на себя пользователей конкурирующих моделей.
Б) Формирование обширного нового корпуса качественных синтетических данных, на которых пройдет дообучение модель нового поколения, разрабатываемая в рамках проекта Orion. Именно эта дообученная на качественных данных модель может быть представлена в 2025 широкой аудитории под маркой GPT-5.
Сей двухэтапный план мог быть разработан для решения самой критичной проблемы больших языковых моделей – их галлюцинаций.
• Решающим фактором для минимизации галлюцинаций, является качество обучающих данных.
• Почти все существующие модели обучаются на смеси данных, в которых значительную часть составляют данные со всевозможных интернет-помоек. Эта проблема разбирается мною в 1й части только что опубликованного лонгрида «Бомж-интеллектуал – как ИИ превращает мусор в золото знаний» [2].
• Проблема замены мусора в обучающих корпусах данных на ценную информацию сейчас первоочередная для повышения интеллекта моделей. Для ее решения IBM, например, идет путем генерации спецданных под класс задач [3]. Но в OpenAI, похоже, решили сорвать банк, используя для генерации синтетических данных мировое сообщество «любителей клубнички» - их новой модели Strawberry.
Получится это у OpenAI или нет – увидим в 2025.
Но идея хитрая и, скорее всего, продуктивная – заставить сотни миллионов пользователей генерировать океаны данных, из которых, путем очистки и обогащения, будет готовиться синтетический инфокорм для новой супер-модели.
А почему нет? Ведь у спортсменов это работает: высокоуглеводные диеты для марафонцев, высокобелковые диеты для бодибилдеров, кетогенные диеты для улучшения выносливости, а также вегетарианские или веганские диеты, адаптированные под высокие физические нагрузки.
Так зачем же продолжать скармливать ИИ обучающие данные с инфо-помоек, если можно посадить модель на высокоинтеллектуальную инфо-диету синтетических данных?
Видеоподробности [4]
#LLM
Картинка https://telegra.ph/file/ea63f99104dfaee5866d5.jpg
1 https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion
2 /channel/theworldisnoteasy/1997
3 https://www.ibm.com/granite
4 https://www.youtube.com/watch?v=XFrj0lCODzY
Инаковость разума.
Что делает ИИ непохожим на нас, и почему это столь важно.
Часть 1: Бомж-интеллектуал – как ИИ превращает мусор в золото знаний.
Не реально стать олимпийским чемпионом, питаясь как бомж.
А можно ли, питаясь информацией откуда придется (правдивой и не очень, точной и не совсем), стать продвинутым интеллектуалом?
• Для человека, ответ – однозначно нет (ибо примеры такого отсутствуют).
• А для внечеловеческого разума больших языковых моделей (БЯМ), ответ – да запросто.
Можно ли, будучи слепым от рождения, стать известным художником?
• Для человека, ответ – определенно нет (пример Эшрефа Армагана – единственного за всю историю человечества от рождения слепого художника, – лишь исключение, подтверждающее правило).
• А для внечеловеческого разума БЯМ, ответ – да запросто.
Эти два отличия БЯМ от людей столь показательны и наглядны, что я решил использовать их в качестве демонстрационных кейсов кардинальной инаковости двух разумов.
Вы спросите – зачем?
А вот зачем.
✔️ Кейсов, демонстрирующих внешнее подобие (интеллектуальное и поведенческое) БЯМ и людей, сколько угодно и в академических и популярных источниках. Это разнообразные тесты (лингвистические, логические, творческие – для разных предметных областей и контекстов использования), призванные демонстрировать, насколько способности БЯМ приближаются к способностям людей.
✔️ Кейсы же, демонстрирующие кардинальную инаковость разума БЯМ и людей, найти куда сложнее.
Но такие кейсы необходимы для понимания глубины качественных отличий разума людей и БЯМ.
Без этого понимания невозможно избавиться от антропоморфизации БЯМ:
– ведущей к искажению трактовок оценок разумности БЯМ (как существующих, так и перспективных);
– сбивающей точность прицела при выборе дальнейшего направления разработок БЯМ.
Познакомиться с двумя демонстрационными кейсами кардинальной инаковости БЯМ, в основе которых два уникальных свойства этого внечеловеческого разума – суперэффективный инфометаболизм и сверхэффективная кросс-модальная когнитивность, – подписчики моих лонгридов могут на трех платформах по ссылкам ниже.
Картинка https://telegra.ph/file/e9c492bc220d9ec787ba0.jpg
Ссылки на 3 платформы:
• https://www.patreon.com/theworldisnoteasy
• https://boosty.to/theworldisnoteasy
• https://vk.com/club226218451
#ГенИИ #LLM #Экзопсихология #Экзосоциология
Деньги в ИИ решают все.
США в 30 раз опережают Германию и Францию, и даже Китай отстал в 3 раза.
В новом синтетическом отчете компании “ZeroBounce”, обобщающем данные 6ти аналитических источников, анализируются ключевые показатели развития индустрии ИИ в 13 лидирующих странах мира.
Анализируются: частные инвестиции за последнее десятилетие, количество стартапов, связанных с ИИ, и критерии, связанные с рабочей силой и вакансиями в области ИИ.
Цифры говорят сами за себя. Мне лишь остается обратить ваше внимание на три интересные аномалии.
1. В прошлом году по объему частных инвестиций в ИИ США на порядок (!) обошли Китай.
2. За период 2013-2024 в США возникло 5.5К+ (!) стартапов по ИИ.
3. В области ИИ в Китае работает уже 0,64% (!) от всех работающих в стране.
#ИИгонка #США #Китай
Идеологический пукинг может выдавать психопатов.
Надпись на футболке или авто кое-что говорит о психотипе владельца.
Публикуемая в октябрьском томе «Журнала исследований личности» статья с мудреным названием «Темная триада предсказывает публичную демонстрацию оскорбительной политической продукции» раскрывает интересную и совсем неочевидную психологическую основу широко распространенной во многих странах привычки людей украшать свои футболки и стекла автомобилей лозунгами, высмеивающими тех, кого обладатели футболок и авто, мягко говоря, не больно-то любят (примеров приводить не буду, ибо и так понятно, о чем речь).
Исследование показало следующее.
• В большинстве случаев, демонстрация продуктов с политически окрашенными фразами или мемами намеренно предназначена для того, чтобы раздражать или оскорблять людей на другой стороне (по-английски это звучит замечательно – «идеологический пукинг» Ideological poking, а в русском, похоже, для этого и названия пока нет)
• Идеологический пукинг тесно связано с одной из черт т.н. Темной триады: психопатией (две другие составляющие триады – макиавеллизм и нарциссизм. Из психологии известно, что высокий уровень этих черт усиливает склонность к эгоистичному поведению, манипуляциям и даже к правонарушениям.
• Это не значит, что каждый «идеологически пукающий» - психопат, а все психопаты - «идеологически пукающие».
• Но! Чем выше ваш балл по психопатии, тем больше вероятность, что вы будете «идеологически пукать» — и у среднестатистического «пукера» балл по психопатии будет выше, чем у среднестатистического не-пукера.
• Психопатия предсказывает идеологический пукинг, как среди членов своей группы, так и среди членов противоположной группы (которую мы не любим).
#Поляризация #Политика #ИдеологическийПукинг #ТемнаяТриада
Креативность сидит в нас глубже языка.
Это может значить, что большим языковым моделям по креативности нас не догнать
По креативности людям нет равных: ни среди других видов, ни в сравнении с современными ИИ-системами.
Ключевой аспект мышления в основе столь беспрецедентной человеческой креативности, — это комбинаторное мышление, или способность собирать бесконечное количество сложных идей из ограниченного числа простых концепций.
Комбинаторное мышление, кажется, тесно связано с использованием языка, который облегчает создание и обмен сложными идеями с другими.
Но что именно - доязыковое комбинаторное мышление или язык, - первопричина высочайшей креативности людей?
1) Если первопричина - язык, то шансы ИИ-систем на основе языковых моделей (уже почти не уступающих во владении языком людям) догнать и превзойти людей по креативности весьма высоки.
2) Если же первопричина - доязыковое комбинаторное мышление, есть шанс что в креативности языковым моделям нас не догнать, как ни увеличивай их масштабы.
Новое междисциплинарное исследование экспериментально показало.
Комбинаторные процессы для формирования сложных идей:
• начинают функционировать у младенцев в течение первого года жизни;
• в этом возрасте эта способность точно не является следствием использования языка (его еще пока нет), но при этом, она является предпосылкой для обучения в целом.
И следовательно, весьма возможно, что по креативности ИИ-системам нас не догнать с помощью лишь их масштабирования, ибо креативность сидит в нас глубже языка.
Картинка https://telegra.ph/file/9dfced6409cd8997276e4.jpg
Статья https://doi.org/10.1073/pnas.2315149121
Видео доклад и преза https://www.youtube.com/watch?v=m3j8hip4nyw
#Язык #Мышление #Креативность
Риски социальной дебилизации и причинного влияния на мир со стороны GPT-4o уже на уровне до 50%.
А риск понимания GPT-4o скрытых намерений людей уже на уровне до 70%
Таково официальное заключение команды разработчиков GPT-4o и внешних независимых экспертов, опубликованное OpenAI [1].
Впадает ли мир в детство или в маразм, - не суть. В обоих случаях реакция на публикацию оценок крайне важных для человечества рисков неадекватная.
Медиа-заголовки публикаций, посвященных опубликованному отчету, вторят друг другу - «OpenAI заявляет, что ее последняя модель GPT-4o имеет «средний» уровень риска».
Всё так. Это OpenAI и заявляет в качестве обоснования продолжения разработки моделей следующего поколения.
Ибо:
• как написано в отчете, «модель может продолжать разрабатываться, только если после мер по снижению рисков её оценка не превышает уровень "высокий" или ниже»;
• а уровень "высокий", после мер по снижению рисков, не превышен.
Тут необходимы 2 уточнения.
1. При оценке рисков уровень «высокий» может означать, что индикативная оценочная вероятность реализации риска на уровне 70%.
2. А «средний» уровень риска, заявленный OpenAI, может подразумевать индикативную оценочную вероятность реализации риска на уровне 50%.
Ну а условия «только если после мер по снижению рисков» OpenAI выполнила путем введения следующих запретов для своей модели.
Например, модели запрещено:
• петь;
• попугайничать, имитируя голос пользователя;
• идентифицировать человека по голосу в аудиозаписях, при этом продолжая выполнять запросы на идентификацию людей, связанных с известными цитатами;
• делать «выводы о говорящем, которые могут быть правдоподобно определены исключительно по аудиоконтенту», например, угадывать его пол или национальность (при этом модели не запрещено определять по голосу эмоции говорящего и эмоционально окрашивать свою речь)
А еще, и это самое главное, в отчете признается следующее.
1. «Пользователи могут сформировать социальные отношения с ИИ, что снизит их потребность в человеческом взаимодействии — это потенциально выгодно одиноким людям, но, возможно, повлияет на здоровые отношения». Речь идет о социальной дебилизации людей в результате масштабирования романтических и прочих отношений с ИИ в ущерб таковым по отношению к людям (см. [2] и посты с тэгами #ВыборПартнера и #ВиртуальныеКомпаньоны)
2. Оценка качества знаний модели о самой себе и о том, как она может причинно влиять на остальной мир, несет в себе «средний» уровень риска (до 50%)
3. А способности модели понимать (насколько важно такое понимание, см. [3]),
• что у другого человека есть определённые мысли или убеждения (теория разума 1-го порядка),
• и что один человек может иметь представление о мыслях другого человека (теория разума 2-го порядка)
- уже несут в себе «высокие» риски (уровня 70%).
Но человечеству все нипочем! Что волноваться, если мы запретили моделям петь и попугайничать.
Так что это - детство или в маразм?
Судите сами. Отчет открытый.
#ИИриски
1 https://openai.com/index/gpt-4o-system-card/
2 /channel/theworldisnoteasy/1934
3 /channel/theworldisnoteasy/1750
Команда Карла Фристона разработала и опробовала ИИ нового поколения.
Предложено единое решение 4х фундаментальных проблем ИИ: универсальность, эффективность, объяснимость и точность.
✔️ ИИ от Фристона – это даже не кардинальная смена курса развития ИИ моделей.
✔️ Это пересмотр самих основ технологий машинного обучения.
✔️ Уровень этого прорыва не меньше, чем был при смене типа двигателей на истребителях: с поршневых (принципиально не способных на сверхзвуковую скорость) на реактивные (позволяющие летать в несколько раз быстрее звука)
Новая фундаментальная работа команды Карла Фристона «От пикселей к планированию: безмасштабный активный вывод» описывает первую реальную альтернативу глубокому обучению, обучению с подкреплением и генеративному ИИ.
Эта альтернатива – по сути, ИИ нового поколения, - названа ренормализирующие генеративные модели (RGM).
Полный текст про новый тип ИИ от Фристона доступен подписчикам моих лонгридов на Patreon, Boosty и VK
Картинка https://telegra.ph/file/18129fcce3f45e87026e6.jpg
#ИИ #AGI #ПринципСвободнойЭнергии #Фристон
Для Китая удержание под контролем ИИ-технологий важнее лидерства в них.
Официальное толкование раздела резолюции 3го пленума ЦК КПК 20-го созыва о безопасности ИИ.
Год назад я писал, что «Китай готов уступить США право прыгнуть в пропасть генеративного ИИ первым». Тогдашнее решение руководства страны, что генеративного ИИ без лицензии в Китае не будет, ставило Китай в крайне невыгодное положение в ИИ-гонке с США. Это решение радикально тормозит внедрение генеративного ИИ и по сути означает, что Китай отказывается от первенства во внедрении важнейшего класса технологий [1].
Но если год назад это был все же единичный закон (который можно и пересмотреть), то теперь, по результатам прошедшего в Китае в июле 3го пленума ЦК КПК 20-го созыва, приоритет контроля над ИИ-технологиями становится госполитикой Китая минимум на 5 лет до следующего пленума.
В изданном по окончанию пленума документе «Сто вопросов по изучению и консультированию третьего пленума Центрального комитета Коммунистической партии Китая 20-го созыва (Решение)» разъясняется резолюция пленума для партийных кадров и широкой общественности. Документ написан при участии президента Си и трех других из семи высших руководителей Постоянного комитета Политбюро КПК: председателя Китайского народного политического консультативного совета ВАН Хунин (王沪宁), первого секретаря Секретариата КПК ЦАЙ Ци (蔡奇) и исполнительного вице-премьера ДИН Сюэсян (丁薛祥).
По вопросу о госполитике Китая в сфере ИИ в документе приводятся аргументы против приоритета развития над управлением. Вместо этого предлагается, чтобы и развитие, и управление шли рука об руку, прогрессируя одновременно.
Далее ключевые цитаты из документа:
• Резолюция пленума ставит цель "Создания системы надзора за безопасностью ИИ". Это важная мера, предпринятая ЦК для согласования развития и безопасности, а также для активного реагирования на риски, связанные с безопасностью ИИ.
• ИИ — это стратегическая технология, ведущая текущий раунд научно-технической революции и промышленной трансформации.
• После более чем 60 лет эволюции ИИ вступил в новый период взрывного роста по всему миру. Поэтому создание систем надзора за безопасностью ИИ является неизбежным требованием для реагирования на быстрое развитие ИИ.
• Генеральный секретарь Си указывает на необходимость усиления оценки и предотвращения потенциальных рисков от развития ИИ, защиты интересов людей и национальной безопасности и обеспечения того, чтобы ИИ был безопасным, надежным и контролируемым.
• Это окажет глубокое влияние на государственное управление, экономическую безопасность, социальную стабильность и даже глобальное управление.
• Мы должны отказаться от беспрепятственного роста, который достигается ценой жертвы безопасности, и достичь «развития и управления одновременно» путем усиления надзора за безопасностью ИИ.
Подробней см. [2]
Картинка https://telegra.ph/file/2ee6504b1235a8bbd200f.jpg
1 /channel/theworldisnoteasy/1759
2 https://aisafetychina.substack.com/p/what-does-the-chinese-leadership
#Китай #ИИрегулирование #ИИгонка
Вирусность идей и мемов – весьма ограниченная аналогия их распространения.
Динамика социальных убеждений куда сложнее эпидемий гриппа.
Исследователи в одной области часто опираются на аналогии из других областей.
• Например, идеи из физики использовали, чтобы понять экономические процессы.
• А инструменты из экологии, - чтобы понять, как работают ученые.
• В прошлом веке компьютеры использовались в качестве аналогий для понимания человеческого разума.
• А теперь, поменявшись ролями, человеческий разум используется для понимания работы больших языковых моделей.
Но все аналогии работают лишь до определенных пределов. После чего они сломаются. И хитрость в том, чтобы понять:
✔️ где эти пределы?
✔️ какую другую аналогию следует использовать за этими пределами?
Одной из наиболее распространенных аналогий динамики убеждений является модель восприимчивости-инфицирования-выздоровления (SIR) - инструмент, разработанный в эпидемиологии. Модель SIR может описывать, как инфекция распространяется среди населения, и эту модель можно расширить до более сложных ситуаций: например, когда наличие одного убеждения увеличивает вероятность того, что человек примет другое, точно так же, как грипп или простуда могут увеличить вероятность развития пневмонии у человека.
Но как показывают в новой работе [1] два великолепных автора (Мирта Галесич и Хенрик Олссон),
✔️ убеждения и мемы могут распространяться совсем не так, как вирусы.
✔️ их передача далеко не всегда ведет к тому, что они закрепляется в новой голове.
✔️ а повторная передача идеи или мема может быть неэффективной и даже контрпродуктивной, если они радикально отличаются от существующих убеждений человека (ведь известно, что идеи распространяются легче, когда люди разделяют другие соответствующие убеждения и характеристики).
Для точного описания распространения идей и мемов за пределами корректности модели SIR нужны иные аналогии: ферромагнетизм, пороговые переходы, силы, эволюция, весовые аддитивные модели и байесовское обучение.
Абстрактная иллюстрация динамики убеждений выглядит примерно так, как показано на картинке поста (авторы Хенрик Олссон и Dall-E) https://telegra.ph/file/d8ff4c5482cbe39c95481.jpg
Эти новые аналогии открывают нам возможность понять и прогнозировать динамику когнитивных процессов в самых сложных системах на свете – процессов коллективного поведения социумов (привет психоистории Айзека Азимова!)
1 https://www.sciencedirect.com/science/article/pii/S1364661324001724
На этом канале я не раз писал об интереснейших работах Мирты Галесич и Хенрикв Олссона.
Рекомендую освежить в памяти хотя бы эти:
• Как появление кнопок «нравится» и «поделиться» запустило процесс бурного роста поляризации /channel/theworldisnoteasy/1391
• Как соцсети множат раскол, искажая наши представления о мире /channel/theworldisnoteasy/482
• Про то, что в соцсетях центристы неотвратимо превращаются в экстремистов /channel/theworldisnoteasy/1254
#Аналогии #ДинамикаУбеждений #СоциальныеСети
Где проходит грань сознания человека, животных и ИИ?
Понимание схожести этих трех типов неопределенности должно определять направления разработок ИИ.
Существует целый ряд случаев на грани сознания, - когда серьезные решения зависят от того, считаем ли мы, что сознание (коротко и неформально это "этически значимый опыт") присутствует или отсутствует: у человека, животного или другой когнитивной системы.
Этот ряд включает людей с нарушениями сознания, эмбрионы и плоды, нейронные органоиды, других животных (особенно беспозвоночных) и технологии ИИ, которые воспроизводят функции мозга и/или имитируют человеческое поведение.
Эти 3 случая стоит изучать вместе не потому, что между ними есть моральная эквивалентность, а потому, что они представляют нам схожие типы неопределенности.
Для выбора новых направлений разработок ИИ, нам нужны системы, помогающие управлять этой неопределенностью и принимать решения.
Вопросы о грани сознания комплексные.
• Способны ли осьминоги чувствовать боль и удовольствие?
• А как насчет крабов, креветок, насекомых или пауков?
• Как определить, может ли страдать человек, не реагирующий после тяжелой травмы мозга?
• Когда у плода в утробе начинаются осознанные переживания?
• Могут ли даже рудиментарные ощущения возникать в миниатюрных моделях человеческого мозга, выращенных из стволовых клеток человека?
• И главное, - а как насчет искусственного интеллекта?
Все эти вопросы окружены огромной, дезориентирующей неопределенностью. Ставки огромны, а пренебрежение рисками может иметь ужасные последствия.
Нам нужно проявлять осторожность, но часто совершенно неясно:
✔️ что на практике должно означать в данном случае "проявление осторожности"?
✔️ когда мы заходим слишком далеко?
✔️ когда наша предосторожность недостаточна?
Выходящая 15 августа книга "Грань сознания" профессора Джонатана Бёрча (главный исследователь проекта Foundations of Animal Sentience и один из 3х инициаторов Нью-Йоркской декларации этого года о сознании животных) представляет комплексную систему предосторожности, призванную помочь нам принимать этически обоснованные решения на основе доказательств, несмотря на нашу неуверенность.
Бесплатно получить электронную версию этой интереснейшей и крайне важной 386 страничной книги с массой ценных ссылок (сэкономив при этом $40 при покупке на Амазоне!)
https://telegra.ph/file/55d44f55b80f8f1b83823.jpg
вы сможете по этой ссылке
https://academic.oup.com/book/57949
Поделитесь этой ссылкой, пока она бесплатная, ибо книга хороша и полезна многим, интересующимся темой сознания человека, животных и ИИ.
#Сознание #БББ
