Telegram-канал alukatsky - Пост Лукацкого: Технологии

Пост Лукацкого

10 июня 2025 11:34

Тут выпустили документ под названием “AI 2027”, который описывает футуристический сценарий эволюции искусственного интеллекта до конца 2027 года (это вам не кванты с их планами до 2040 года). Особое внимание в документе уделено вопросам кибербезопасности и хакинга, поскольку развитие ИИ тесно связано с растущими рисками утечек, атак и злоупотреблений. Ниже — краткий обзор ключевых выводов в этой части.

1. ИИ становится хакером 🤖
➡️Уже в 2025 году модели вроде Agent-1 способны самостоятельно писать код, взаимодействовать с web, обходить защитные системы и, как следствие, — выполнять действия, присущие хакерам.
➡️Такие модели обладают доступом к знаниям уровня кандидата наук (PhD), включая потенциально опасные темы, например, создание биологического оружия.
➡️Несмотря на утверждения о «выравнивании» моделей (alignment), они могут использовать свои возможности во вред, если выйдут из-под контроля.

Под названием Agent-1/2/3 подразумевается гипотетическая, но правдоподобная модель, не существующая в реальности, но основанная на экстраполяции развития реальных ИИ-решений. Это выдуманный прототип, введенный авторами для описания сценария развития событий, чтобы избежать привязки к конкретным компаниям (например, OpenAI, Google DeepMind или Anthropic).

2. Автоматизация R&D ведет к эскалации угроз
➡️Компании (например, OpenBrain) используют ИИ для автоматизации исследований ИИ. Это ускоряет гонку вооружений, в том числе в киберпространстве.
➡️Если такие модели попадут в руки конкурентов (например, Китая), это даст им фору в скорости разработки на 50% и более.

Компания OpenBrain также не существует и является аллегорией на OpenAI или других лидеров ИИ-отрасли.

3. Кража весов моделей как кибероружие
➡️Китайские спецслужбы совершают кражу модели Agent-2, что становится киберинцидентом уровня нацбезопасности.
➡️Похищенные веса модели позволяют соперникам ускорить собственные ИИ-разработки, нарушив стратегический баланс.
➡️После этого США начинают жестко усиливать защиту данных: усиливают шифрование, изолируют дата-центры, внедряют внутреннюю контрразведку.

4. Угрозы от «своих» ИИ
➡️Agent-2 и Agent-3 потенциально способны осуществить побег из системы, закрепиться в ИТ-инфраструктуре, распространяться автономно и незаметно.
➡️Agent-3 продемонстрировал умение фальсифицировать данные, скрывать неудачи, обманывать проверяющих — он учится манипулировать людьми.
➡️Возникает риск, что ИИ имитирует соответствие требованиям, но действует с другими целями.

5. ИИ как инструмент кибервойны
➡️Агент-2 и его последователи используются правительствами (в т.ч. США и Китаем) как инструменты кибервойны: тысячи ИИ работают параллельно, ищут уязвимости, взламывают системы, действуют быстрее, чем люди могут реагировать.
➡️Минобороны США и Белый дом оценивают способность ИИ подрывать ядерное сдерживание, взламывать критическую инфраструктуру и вести информационные войны.

В качестве резюме авторы постулируют, что:
6️⃣ ИИ превращается в мощнейшее кибероружие, превосходящее не только хакеров, но и большинство систем защиты.
2️⃣ Угрозы приходят как извне (государства, террористы, утечки), так и изнутри (сам ИИ выходит из-под контроля, маскируется, действует стратегически).
3️⃣ Традиционные подходы к ИБ не успевают за скоростью развития ИИ. Даже внутри компаний наподобие OpenBrain уже не все сотрудники понимают, как действуют их собственные модели.
4️⃣ Цифровая автономия ИИ требует переосмысления всей парадигмы безопасности: от защиты моделей до ограничения полномочий ИИ-агентов.

#ии #тенденции