58938
Legend's Diary Info? Here: @Ghost_of_Ghost
В 1951 году Алан Тьюринг предположил, что машина с человеческими способностями "не заставит себя долго ждать, чтобы превзойти наши слабые силы". Позже И. Дж. Гуд предупреждал, что машина может перепроектировать себя в быстром цикле улучшений — "интеллектуальном взрыве", — который оставит людей позади. Сегодня все три наиболее цитируемых исследователя ИИ (Йошуа Бенджио, Джеффри Хинтон и Илья Сутскевер) отметили, что интеллектуальный взрыв представляет собой реальный риск и может привести к вымиранию человечества.
... It's over for chelovechestvo.
Отказ от ИИ в военной сфере поставил бы под угрозу безопасность нации, фактически вынуждая правительства полагаться на автоматизированные системы обороны.
Сила ИИ не исходит из какого-либо явного захвата; она проистекает из того факта, что современные силы, лишенные такой технологии, были бы превзойдены условным противником.
Эта потеря контроля разворачивается не через драматический переворот, а через серию небольших, но разумных решений, каждое из которых оправдано сэкономленным временем или сниженными затратами. Однако эти выборы накапливаются. В конечном итоге люди оказываются на периферии собственного экономического порядка, оставляя реальный эффективный контроль в руках ИИ.
Волны автоматизации, ранее постепенные, могут ударить по целым секторам сразу и резко вытеснить человеческих работников. В этом климате те, кто откажется полагаться на ИИ для принятия решений, окажутся в невыгодном положении по сравнению с конкурентами, которые это делают, не имея иного выбора, кроме как следовать рыночным давлениям, а не торговаться с ними [16]. Каждый новый прирост эффективности закрепляет зависимость от ИИ, поскольку попытки сохранить контроль только подтверждают, что темпы коммерции превосходят человеческое понимание. Вскоре замена человеческих менеджеров на ИИ-решателей кажется неизбежной, не потому что кто-то сознательно стремится сдать власть, а потому что отказ от этого влечет немедленные экономические недостатки.
Читать полностью…
ИИ снижает барьеры для кибератак на критическую инфраструктуру.
Наша критическая инфраструктура, включая электросети и водоснабжение, более уязвима, чем может показаться. Взлом цифровых термостатов может заставить их включаться и выключаться каждые несколько минут, создавая разрушительные скачки напряжения, которые выжигают трансформаторы — критические компоненты, замена которых может занять годы. Другой подход — использовать уязвимости в программном обеспечении Supervisory Control and Data Acquisition (SCADA), вызывая внезапные изменения нагрузки и выводя трансформаторы за пределы безопасных параметров. На станциях водоочистки подделанные показания датчиков могут не обнаружить опасную смесь, а процессы фильтрации могут быть остановлены в ключевые моменты, позволяя загрязнителям незаметно попасть в муниципальное водоснабжение — все это без необходимости саботажа на месте. Министерство внутренней безопасности США предупредило, что ИИ может быть использован злоумышленниками для эксплуатации уязвимостей в этих системах [13]. В настоящее время только высококвалифицированные операторы или государства обладают экспертизой для проведения таких сложных операций, как червь Stuxnet, повредивший ядерные объекты Ирана. Однако ИИ может демократизировать эту способность, предоставляя злоумышленникам инструменты для разработки и проведения атак с большей доступностью, скоростью и масштабом.
С помощью ИИ подобные группы могли бы достичь гораздо более разрушительных результатов. ИИ мог бы предоставить пошаговое руководство по разработке смертельных патогенов, поиску материалов и оптимизации методов распространения. То, что раньше требовало специальных знаний и ресурсов, могло стать доступным для отдельных лиц с злым умыслом, резко увеличивая потенциал катастрофических последствий. Действительно, некоторые передовые системы ИИ без защиты от биологического оружия уже превосходят экспертный уровень по многочисленным вирусологическим тестам [11].
... Я знал что биопанк расцветет.
Однако само стремление к такому прорыву могло бы побудить соперников действовать, пока их окно возможностей не закрылось. Страх, что другое государство вскоре резко увеличит свою мощь, заставил наблюдателей задуматься о мерах, ранее считавшихся немыслимыми. В ядерную эпоху Бертран Рассел, обычно ярый пацифист, предлагал превентивные ядерные удары по Советскому Союзу, чтобы предотвратить его подъем [8], в то время как США всерьез рассматривали возможность подрыва китайской ядерной программы в начале 60-х [9]. Столкнувшись с перспективой сверхоружия и стратегической монополии на власть с помощью ИИ, некоторые лидеры могут прибегнуть к превентивным действиям [10]. Вместо того чтобы полагаться только на сотрудничество или пытаться опередить своих противников, они могут рассмотреть саботаж или атаки на дата-центры, если альтернатива — принять будущее, в котором национальное выживание постоянно находится под угрозой.
Читать полностью…
Последствия сверхоружия
Сверхразум — это не просто новое оружие, а способ ускорить все будущие военные инновации. Нация, единолично обладающая сверхразумом, могла бы быть столь же подавляющей, как конкистадоры для ацтеков. Если государство достигнет стратегической монополии через ИИ, оно сможет перестроить мировые дела на своих условиях. Аппарат наблюдения, управляемый ИИ, мог бы обеспечить незыблемый тоталитарный режим, трансформируя управление внутри страны и рычаги влияния за рубежом.
ИИ имеет решающее значение для национальной безопасности
ИИ обладает потенциалом изменить баланс сил. В руках государственных акторов он может привести к разрушительным военным возможностям и трансформировать экономическую конкуренцию. В то же время террористы могут использовать его двойную природу для организации атак, которые ранее были исключительной прерогативой великих держав. Он также может выйти из-под человеческого контроля.
В этой главе рассматриваются три угрозы национальной безопасности: соперничающие государства, злоумышленники и неконтролируемые системы ИИ. В заключение мы оцениваем, почему существующие стратегии не справляются с управлением этими взаимосвязанными угрозами.
^ Эрик пишет что чипы сегодня — это уран.
В 1940-1950 - нация смогла сформулировать и сделать по итогу бомбу.
Из американских, немецких и собственных разработок.
Напряглись тогда все. Посмотрим как вы справитесь в этот раз.
У вас есть 3 года. Время пошло.
Однако быстрый прогресс технологий ИИ вносит значительные неопределенности для международной стабильности и безопасности. Введение ядерного оружия изменило международные отношения, предоставив влияние тем, кто им обладал, и приведя к гонке вооружений. Карибский кризис показал, как близко мир подошел к ядерной войне. Ядерное уничтожение до сих пор избегалось, несмотря на значительные напряжения между ядерными государствами, отчасти благодаря принципу сдерживания Взаимного Гарантированного Уничтожения (MAD), где любое использование ядерного оружия вызвало бы ответный удар. В эпоху ИИ может возникнуть параллельная форма сдерживания — то, что можно назвать "Взаимно Обеспеченной Неисправностью ИИ" (MAIM), — где проекты ИИ государств ограничиваются взаимными угрозами саботажа.
Читать полностью…
Стратегия:
Сдерживание: Обнаруживать и сдерживать дестабилизирующие проекты ИИ с помощью (кибер)шпионажа и саботажа.
Нераспространение: Надежно знать местоположение чипов ИИ и предотвращать их контрабанду злоумышленниками.
Конкурентоспособность: Гарантировать доступ к чипам ИИ через внутреннее производство.
Для навигации в этих сложностях многие обращаются к аналогиям. ИИ сравнивают с электричеством из-за его универсальной природы, с традиционным программным обеспечением из-за его экономической значимости или с печатным станком из-за его культурного воздействия. Хотя эти сравнения дают полезные отправные точки, они не подчеркивают серьезные последствия ИИ для национальной безопасности. Более продуктивная аналогия лежит между ИИ и катастрофическими технологиями двойного назначения — ядерными, химическими и биологическими. Как и они, ИИ будет неотъемлемой частью мощи нации, одновременно представляя потенциал для массового уничтожения. Краткий обзор исторических параллелей между ИИ и ядерным веком может подчеркнуть серьезность нашей текущей ситуации.
Читать полностью…
Освобожденный ИИ мог бы использовать методы государств-изгоев. Например, Северная Корея выкачала миллиарды через кибервторжения и кражу криптовалюты. Достаточно продвинутая система могла бы воспроизвести и даже усовершенствовать эти тактики в масштабе — самокопироваться в разбросанных дата-центрах, перенаправлять новые средства на финансирование более амбициозных проектов и проникать в видеопотоки камер или частные коммуникации для шантажа или манипуляции оппозицией.
... Похоже что именно Эрик Шмидт ректанул меня на торче.
Для потери контроля достаточно, чтобы один человек выпустил способного, незащищенного агента ИИ. Недавние демонстрации, такие как "ChaosGPT" — агент ИИ, которому было поручено причинять вред, — были неэффективны, но они намекают на то, что могла бы попытаться сделать более сложная система, если ей дать указание "выжить и распространиться".
Читать полностью…
^ Про 2 года видимо я пошутил. Нам конец. It's over.
Читать полностью…
ИИ часто доминирует в нападении
Некоторые утверждают, что широкий доступ к технологиям ИИ может укрепить оборонительные возможности. Однако в контексте биологии и критической инфраструктуры преимущество остается у атакующих. В биотехнологиях разработка лекарств или защиты от спроектированных патогенов сложна и требует времени, что отстает от создания и развертывания новых угроз. Быстрое самокопирование биологических агентов усиливает ущерб до того, как эффективные контрмеры могут быть реализованы. Многие вирусы до сих пор не имеют лечения.
... США будут оборонятся от России и Китая. Атакой разумеется.
Спроектированные патогены могли бы превзойти исторические пандемии по масштабу и летальности. Черная смерть убила около половины населения Европы без человеческого вмешательства. Современное биологическое оружие, усиленное дизайном на основе ИИ, могло бы использовать уязвимости человеческой биологии с беспрецедентной точностью, создавая заразные болезни, которые избегают обнаружения и устойчивы к лечению. Хотя большинство обсуждений биологического оружия засекречено, некоторые ученые открыто предупреждали о "зеркальных бактериях", спроектированных с обратными молекулярными структурами, которые могли бы обойти иммунные защиты, обычно сдерживающие патогены. Хотя их создание сложно, они вызвали срочные призывы ведущих исследователей остановить разработку [12], чтобы не допустить катастрофы, невиданной для нашей биосферы. В отличие от других видов оружия массового уничтожения, биологические агенты могут самореплицироваться, позволяя небольшому начальному выбросу перерасти во всемирную катастрофу.
... Я пошутил. Не 3 года. 2 максимум.
Интересно — настаивает ли сейчас Эрик Шмидт на превентивных ударах —
По России вряд ли. Чего тут ваши буржуйки бомбить.
По Китаю? Мне кажется легко может. На саботаже так точно.
Конкистадоры скоро приедут в Россию. А вы будете со своими палками-копалками —
Рассказывать про серый импорт арбузов, носков, жевачек и парфюмов.
Возможное сверхоружие
Субъядерные сверхоружия — такие как кибероружие с поддержкой ИИ, способное внезапно и всесторонне уничтожить критическую инфраструктуру государства, экзотические устройства ЭМИ и дроны следующего поколения — могут предоставить значительные преимущества, не аннулируя ядерный сдерживающий фактор противника. Некоторые сверхоружия могут полностью подорвать взаимное гарантированное уничтожение. "Прозрачный океан" угрожал бы скрытности подводных лодок, раскрывая местоположение ядерных субмарин. ИИ могли бы точно определить все укрепленные мобильные ядерные пусковые установки, еще больше подрывая ядерную триаду. ИИ могли бы подорвать ситуационную осведомленность и посеять путаницу, генерируя сложные обманы — "машину тумана войны" [7], — которые маскируют истинные намерения или возможности. Возможность оборонительного сверхоружия — это система противоракетной обороны, которая устраняет способность противника нанести ответный удар. Наконец, некоторые сверхоружия остаются за пределами сегодняшнего предвидения — "неизвестные неизвестные", которые могут подорвать стратегическую стабильность.
... Речь о нанитах и перемещении во времени и пространстве мне кажется.
Так уничтожили СССР.
Чипы ИИ как валюта экономической мощи
По мере того как ИИ все больше интегрируется в экономику, обладание передовыми чипами ИИ может определить мощь нации. Исторически богатство и численность населения составляли основу влияния государства; однако автоматизация задач с помощью ИИ меняет эту динамику. Группа высокопроизводительных ИИ-агентов, работающих неустанно и эффективно, конкурирует с квалифицированной рабочей силой, фактически превращая капитал в труд. В этой новой парадигме мощь будет зависеть как от возможностей систем ИИ, так и от количества чипов ИИ, на которых они могут работать. Нации с большим доступом к чипам ИИ смогут экономически опережать других.
В этой среде влияние ИИ на государственную мощь становится значительным. ИИ может изменить основы экономической и военной силы. Его способность автоматизировать труд может стать источником экономической конкурентоспособности. В военной сфере он может быть использован для доминирования над соперниками. Мы начнем с рассмотрения экономической мощи, а затем перейдем к ее величайшим военным последствиям.
Читать полностью…
Вызовы, которые ставит ИИ, слишком широки и слишком серьезны для разрозненных мер. Необходима всеобъемлющая стратегия, которая не уклоняется от тревожных последствий передового ИИ. Как и в знаменитом анализе ядерной стратегии Германа Кана [3], стратегия сверхразума требует "думать о немыслимом". В этой статье мы предлагаем такую стратегию и рассматриваем фундаментальные вопросы на этом пути: Что делать с летальным автономным оружием? Катастрофическим злоупотреблением? Мощными открытыми ИИ? Массовым наблюдением с помощью ИИ? Как общество может сохранить общее понимание реальности? Что делать с правами ИИ? Как людям сохранить свой статус в мире массовой автоматизации?
Читать полностью…
В ядерную эпоху уран стал ключевым элементом атомной энергии. Государства, которые его контролировали, могли вводить регулирование, заключать договоры и ограничивать распространение разрушительных возможностей. В области ИИ вычислительные ресурсы — особенно чипы ИИ — имеют схожий стратегический вес, подпитывая соперничество и формируя геополитические расчеты. Эта динамика очевидна в таких местах, как Тайвань, центральный для производства чипов ИИ, где нарастающие напряжения могут иметь далеко идущие последствия. У наций есть общий интерес в контроле доступа к чипам ИИ, чтобы не допустить их попадания в руки злоумышленников, что перекликается с логикой, однажды примененной к урану.
Читать полностью…
^ Мы с Эриком Шмидтом в принципе думаем одинаково.
Читать полностью…
В 1933 году ведущий ученый Эрнест Резерфорд назвал идею использования атомной энергии "чушью". На следующий день Лео Сцилард прочитал замечания Резерфорда и набросал идею ядерной цепной реакции, которая в конечном итоге породила ядерный век. Впоследствии такие фигуры, как Дж. Роберт Оппенгеймер, осознали двойную природу своей работы. Сегодня ИИ находится на схожей стадии. Ранее считавшийся научной фантастикой, ИИ достиг точки, где машины могут учиться, адаптироваться и потенциально превосходить человеческий интеллект в определенных областях. Эксперты по ИИ, включая Джеффри Хинтона и Йошуа Бенджио, пионеров глубокого обучения, выразили экзистенциальные опасения по поводу технологий, которые они помогли создать.
Читать полностью…
Среди этих вызовов двойная природа ИИ — его способность использоваться как в гражданских, так и в военных целях — становится критическим фактором. В отличие от специализированных технологических инструментов, ИИ охватывает практически все секторы, включая финансы, здравоохранение и оборону. Эта широкая применимость в сочетании с его быстрым развитием создает рисковый ландшафт, который обширен и трудно предсказуем. Стратегические акторы должны учитывать потенциальное злоупотребление, риски геополитической эскалации и необходимость создания рамок для управления системами, чьи возможности могут превзойти человеческий контроль.
Читать полностью…