19574
Это телеграм-канал о блокчейн, мозге(BCI), цифровой экономике, WEB 3.0 в России и мире. Основатель @AniAslanyan English channel https://t.me/alwebbci
❗️Как обучать языковые модели эффективнее: новое исследование от Harvard, Stanford, MIT и CMU
Свежая статья посвящена исследованию масштабируемости точности вычислений в контексте обучения и использования языковых моделей.
Обнаружен парадокс, чем дольше обучается модель, тем хуже она реагирует на снижение точности после обучения (квантизацию).
Предложен математический аппарат, позволяющий:
- Предсказать деградацию модели при снижении точности
- Найти оптимальный баланс между размером модели, объёмом данных и точностью вычислений
- Спланировать эффективное обучение с учётом будущего использования модели
Результаты подтверждены масштабными экспериментами:
- Более 465 циклов предварительного обучения
- Модели до 1.7B параметров
- Датасеты до 26B токенов
Практическое применение:
- Для инференса: важно учитывать, как долго обучалась модель перед снижением точности
- Для обучения: можно значительно снизить требования к памяти и вычислениям, правильно выбрав точность
- Для планирования: появилась возможность точнее оценивать необходимые ресурсы
❗️Почему это важно?
1. Для бизнеса: потенциальное снижение затрат на обучение и эксплуатацию моделей
2. Для разработчиков: четкие ориентиры при выборе параметров обучения
3. Для исследователей: новый фреймворк для понимания масштабирования моделей
Виталик Бутерин и команда Ethereum представила планы своего будущего
На конференции Devcon в Бангкоке Виталик Бутерин представил свое видение будущего Ethereum, подчеркивая несколько ключевых достижений и направлений развития:
1. Комиссии на L2 (втором уровне) существенно снизились - с 50 центов до менее 0.1 цента, что сделало Ethereum доступным для гораздо более широкого круга приложений
2. Бутерин прогнозирует, что термины "zero knowledge" и "SNARK" упростятся до просто "proof" в ближайшие годы
3. Он описывает Ethereum как мировой компьютер, крупную разнообразную онchain-экономику и глобальное сообщество
Ключевые направления развития:
1. Усиление фундаментальных характеристик:
- Повышение уровня децентрализации
- Усиление устойчивости к цензуре
- Обеспечение квантовой устойчивости
2. Масштабирование и эффективность:
- Последовательные улучшения эффективности
- Существенное повышение производительности
- Оптимизация Data Availability Solutions (DAS)
- Достижение более 100,000 TPS на L2
3. Расширение применения:
- ENS (Ethereum Name Service)
- Потребительские платежи
- Социальные приложения
- Гибридные решения (финансовые + нефинансовые)
Новый проект Beam Chain
В развитие видения Виталика, Джастин Дрейк представил амбициозное предложение Beam Chain, ключевые характеристики:
1. Производство блоков:
- Ускорение времени слота до 4 секунд
- Финальность за 3 слота
- Оптимизация структуры эпох
2. Демократизация стейкинга:
- Снижение порога входа до 1 ETH
- Внедрение верхнего лимита стейкинга
- Расширение доступности валидации
3. Технологические инновации:
- Внедрение нативного zkEVM
- Устранение лимитов на газ
- Квантовая устойчивость
- Chain snarkification
График внедрения
- 2025: Начало разработки спецификаций
- 2026: Старт имплементации
- 2027-2028: Расширенное тестирование
- После 2028: Внедрение в основную сеть
Для разработчиков это про:
- Новые возможности для создания масштабируемых приложений
- Снижение технических ограничений
- Расширение спектра возможных решений
Для пользователей:
- Снижение стоимости транзакций
- Увеличение скорости обработки
- Расширение функциональности
Для инвесторов:
- Новые возможности для стейкинга
- Потенциальное влияние на экономику ETH
- Долгосрочные перспективы роста
Качество серверов на базе процессоров Эльбрус не удовлетворяет бизнес и даже госзаказчиков
Эксплуатация показала невысокую отказоустойчивость серверов на базе процессоров Эльбрус.
«У МВД фактически отсутствует возможность оперативной замены такого серверного оборудования при выходе его из строя вследствие форс-мажорных обстоятельств – ввиду того, что его поставки осуществляются только в плановом порядке», – отметил заместитель начальника департамента информационных технологий, связи и защиты информации МВД Игорь Кашпур.
По словам Кашпура, с 2020 по 2024 г. МВД закупило 709 серверов с Эльбрусами.
По словам источника «Ведомостей», кроме МВД проблемы с производительностью серверов на российских процессорах Эльбрус испытывают банки, операторы и госкорпорации.
Ранее замминистра МВД Виталий Шулика сообщил правительству сообщал, что серверы на процессоре Эльбрус-8С не поддерживали загрузку операционной системы с носителей информации. Также у МВД возникли трудности на новых серверах при работе с отечественным системным ПО.
Маск получил лучшее кадровое предложение от Трампа, вот, что это значит для бизнесмена и США
Илон Маск вместе с Вивеком Рамасвами стали со-руководителями нового департамента правительственной эффективности(DOGE, сокращенно название департамента. Ничего вам не напоминает? Да, это название мемкоина, который благодаря Маску уже стоит больше Anthropic).
Видимо, должность и функционал придумал сам Илон Маск, потому что она максимально в его духе свободы. Эта позиция про аудит эффективности государства и возможности более частого обсуждения финансовой политики.
Это неформальная консультативная должность, не требующая утверждения Сенатом, Маск сохранит руководство Tesla, X и SpaceX, в рамках которой он будет:
- Работать над сокращением бюрократии
- Сокращать регулирование (сразу вспоминаем, что Трамп обещал дерегулировать ИИ, а также более проактивно реагировать на крипту)
- Реструктурировать федеральные агентства
- Сотрудничать с Белым домом и Административно-бюджетным управлением.
По сути, это будет влиятельная, но неофициальная роль, сфокусированная на реформировании и повышении эффективности государственного управления, а не традиционная позиция в кабинете министров или федеральном правительстве.
Эта роль может принести значительную выгоду компаниям Маска, а также в развитии США таких сферах как ИИ, космос, криптовалюты.
Кстати, ряд критиков говорят, что Маск ничего не смыслит в госуправлении и у него ничего не получится. Тут хочется отметить, что отсутствие такого опыта однажды не помешало Трампу стать президентом.
Раз Маск реально взялся за власть, то мир ожидает глобальные изменения.
👀Государство Бутан стало 4-м по величине госдержателем биткоина
По данным Arkham Intelligence, Бутан намайнил 13,011 BTC, став одним из крупнейших держателей криптовалютных резервов среди государств.
Страна активно майнит биткоин с 2021 года. Для майнинга используется гидроэлектроэнергия из гималайских рек.
Криптодобыча составляет более 25% ВВП страны
Бутан, в отличие от Сальвадора (который обещал не продавать свои биткоины), ведет более гибкую политику управления криптоактивами. Недавно был зафиксирован перевод $65 миллионов на биржу Binance.
Всё больше стран рассматривают возможность добавления биткоина в свои национальные резервы. Предвыборное обещание Дональда Трампа уволить главу SEC Гэри Генслера и ввести более дружественное к криптовалютам регулирование сильно влияет на рынок, что демонстрирует рост курса биткоина.
Эмитент USDC показал, как разработать ИИ-агента с помощью Microsoft AutoGen
Руководство основано на фреймворке AutoGen от Microsoft и позволяет создавать ИИ-агентов для автономных операций со стейблкоином.
Основная идея - создание системы, где ИИ-агенты могут самостоятельно выполнять задачи и получать за это оплату в цифровой валюте USDC.
Об этом писали здесь.
Каждый агент имеет свою специализацию:
1. Админ - представляет интересы человека, инициирует задачи
2. Планировщик - создает план исследований
3. Инженер - пишет код для решения задач
4. Ученый - анализирует научную информацию
5. Исполнитель - запускает код
6. Критик - проверяет качество работы
После выполнения задач каждый агент получает оплату в USDC через специальные программируемые кошельки на блокчейне. Размер оплаты зависит от вклада каждого агента в общий результат.
Сферы применения такой системы:
- Автономные ИИ-сервисы, генерирующие пассивный доход для владельцев
- Цифровые маркетплейсы для аренды ИИ-агентов
- Финансирование ИИ-исследований
- Совместная работа людей и ИИ с распределением вознаграждений
Технически система реализована на Python (для ИИ-части) и Node.js (для работы с блокчейном).
Ранее мы писали, что хотя ИИ-агенты не "владеют" деньгами в традиционном смысле, эта система служит прототипом для будущих сценариев автономной работы ИИ.
YC объявил ключевые направления для инвестиций в стартапы
Y Combinator, легендарный стартап-акселератор, выпустил заявление: мы вступаем в золотой век технологического предпринимательства. Время для создания новых стартапов и компаний.
Главный катализатор - ИИ. Он меняет правила игры во всех сферах быстрее, чем любая технология в истории.
Самые горячие направления для стартапов 2024:
1. Стейблкоины. Улучшение регуляторной среды. Рост объемов платежей (20% от объема Mastercard). Интерес со стороны традиционных финансовых институтов.
2. Чипы + ИИ. Разработка новых процессоров с помощью языковых моделей.
3. Космос. Запустить спутник теперь можно на посевном раунде. Стоимость вывода на орбиту упала в 10 раз с 2006 года.
4. ИИ для инженеров. Революция в CAD/CAM системах. Проектировать самолеты и здания станет проще простого.
5. GovTech. Автоматизация госуслуг с помощью ИИ.
6. Безопасность. От умных камер до оптимизации работы экстренных служб.
7. Производство в США. Возвращение заводов домой благодаря роботизации и ML.
Что особенно важно?
Барьеры входа падают. Банки охотнее работают со стартапами, инфраструктура становится доступнее, а ИИ помогает маленьким командам конкурировать с гигантами.
Alibaba представили сейчас лучшую ИИ-модель, она соответствует Claude-3.5 только бесплатно!
Лицензия — Apache-2.0. ее возможности кодирования соответствуют GPT-4o /channel/alwebbci/2736
Узкий коридор возможностей от ЦБ, что ждет ИИ-агентов в России?
Банк России выпустил новые требования к платежным агентам, мы их проанализировали и отмечаем, что прямого запрета на ИИ-агентов нет, но их использование существенно ограничено текущими требованиями. Вот почему:
1. Что допускает возможность использования ИИ:
- В документе нет прямого запрета на использование автоматизированных систем
- Требования к информированию и обработке информации технически могут выполняться ИИ
- Нет явного указания, что все операции должны выполняться исключительно человеком
2. Что ограничивает использование ИИ:
- Требования к "работникам оператора" (п.5.5)
- Необходимость "мотивированного ответа" на обращения
- Требования к объективному и всестороннему рассмотрению обращений
- Акцент на человеческом взаимодействии в процессе обслуживания
3. Где возможно применение ИИ в рамках требований:
- Как вспомогательный инструмент при обработке платежей
- Для первичной обработки обращений
- В системах мониторинга и контроля
- Для подготовки отчетности
Таким образом, можно сказать, что в новых требованиях есть место для ИИ-агентов, но только в качестве вспомогательного инструмента под контролем человека, а не как полностью автономных платежных агентов, каких готовит для рынка Coinbase.
А между тем, глобальные игроки из ИИ и блокчейн индустрий создают новые стандарты для финансового рынка, подробнее тут и тут.
OpenAI столкнулась с замедлением темпов улучшения LLM при разработке своей новой флагманской модели Orion
Хотя количество пользователей ChatGPT и других продуктов ИИ стремительно растет, темпы улучшения базовых компонентов, лежащих в их основе (языковых моделей), похоже, замедляются.
В мае Сэм Альтман сообщил сотрудникам, что ожидает значительного улучшения по сравнению с предыдущей моделью.
Хотя обучение Orion было завершено только на 20%, она уже показывала результаты на уровне GPT-4. Однако в итоге улучшение качества оказалось намного меньше, чем скачок между предыдущими моделями GPT-3 и GPT-4.
По мнению некоторых сотрудников компании, Orion не всегда превосходит предшественника в определенных задачах: лучше справляется с языковыми задачами, но может уступать в программировании.
При этом Orion может оказаться дороже в эксплуатации в дата-центрах.
Основные причины замедления:
1. Нехватка качественных данных для обучения. OpenAI создала специальную команду под руководством Ника Райдера для решения этой проблемы.
2. Orion частично обучалась на данных, сгенерированных другими моделями OpenAI (GPT-4 и моделями рассуждений), но это создает новую проблему: модель может начать повторять особенности старых моделей.
Как OpenAI пытается решить эти проблемы:
- Разрабатывает новые методы улучшения моделей после их начального обучения
- Использует обучение с подкреплением на основе человеческих оценок
- Создала модель рассуждений o1, которая тратит больше времени на "обдумывание" данных перед выдачей ответа
- Развивает возможности написания кода в своих моделях
- Разрабатывает ПО, которое может управлять компьютером для выполнения офисных задач
Марк Цукерберг считает, что даже без улучшений технологии остается большой простор для создания продуктов.
Другие, включая исследователя OpenAI Ноама Брауна, предупреждают, что более продвинутые модели могут стать финансово нецелесообразными.
Некоторые инвесторы обеспокоены тем, что темпы улучшения языковых моделей начинают выходить на плато.
Orion планируется к выпуску в начале следующего года, причем компания может отойти от традиционного названия "GPT", что подчеркивает изменение характера улучшений в языковых моделях.
Синергия блокчейна и ИИ: В.Бутерин и А.Карпатый сошлись во мнении о новом источнике дохода для ИИ
Создатель Ethereum и бывший директор по ИИ в OpenAI видят будущее в предсказательных рынках как способе монетизации ИИ.
Виталик Бутерин поделился новой статьей о будущем взаимодействия ИИ и финансовых рынков. Концепция "информационных финансов" может открыть новую эру, где ИИ не только помогает людям принимать решения, но и самостоятельно зарабатывает на своих предсказаниях.
Как это работает?
Представьте себе рынок, где участники делают ставки на исход различных событий - от выборов до научных открытий.
ИИ может анализировать огромные массивы данных и делать более точные прогнозы, чем большинство людей. При правильных предсказаниях система получает прибыль, при ошибках - теряет деньги.
Преимущества ИИ на предсказательных рынках
1. Скорость обработки информации.
- Мгновенный анализ новостей и данных
- Способность отслеживать множество рынков одновременно
2. Объективность:
- Отсутствие эмоциональных решений
- Чисто математический подход к оценке вероятностей
3. Масштабируемость:
- Возможность работать с малыми суммами
- Участие в тысячах микро-рынков одновременно
Потенциальные проблемы и решения
1.Риски манипуляции
- Возможность координированных атак несколькими ИИ-системами
- Создание ложных сигналов через множество мелких ставок
Создавать фейки дорого, а проигрывать деньги на неверных предсказаниях еще дороже. Система построена так, что честное поведение более выгодно, чем обман.
2. Защитные механизмы
- Верификация участников
- Лимиты на размер ставок
- Регулярные проверки реальными людьми
- Экономические стимулы для честного поведения
Практические применения
1. Политические прогнозы:
- Предсказание результатов выборов
- Оценка вероятности политических событий
2. Научные исследования:
- Прогнозирование результатов экспериментов
- Оценка вероятности успеха новых теорий
3. Корпоративные решения:
- Предсказание успеха продуктов
- Оценка рыночных трендов
Технологический рывок РФ находится в режиме перегрева
С одной стороны, страна остро нуждается в технологической модернизации и импортозамещении, с другой — экономика демонстрирует все классические признаки перегрева: рекордно низкая безработица в 2.4%, стремительный рост зарплат и ключевая ставка в 21%.
Острая дискуссия между регулятором, бизнесом и правительством выявила глубокие противоречия в оценке текущей ситуации. ЦБ видит в высоких ставках необходимый инструмент борьбы с инфляцией, бизнес указывает на невозможность развития при такой стоимости денег, а правительство пытается найти способы стимулировать инвестиции в условиях, когда держать деньги на депозитах выгоднее, чем вкладывать в развитие.
Основная проблема, по мнению экспертов, заключается в структурном перекосе экономики. Бизнес накопил на депозитах рекордные 57.2 трлн рублей, но не спешит инвестировать их в развитие. И причина не только в привлекательной доходности депозитов (20-23% против средней рентабельности бизнеса в 15%).
Компании сталкиваются с целым комплексом проблем: от дефицита квалифицированных кадров до нарушенных логистических цепочек и необходимости технологического переоснащения.
Глава Минобрнауки Валерий Фальков анонсировал масштабную программу развития инженерного образования. Однако эксперты предупреждают: одного только увеличения числа специалистов недостаточно.
Замглавы администрации президента Максим Орешкин указывает на неэффективное использование ресурсов: вместо создания новых производственных мощностей компании предпочитают переманивать сотрудников и перекупать оборудование друг у друга. Это создает иллюзию развития, но не решает фундаментальных проблем экономики.
Профессор Олег Шибанов, РЭШ предупреждает, что длительный период высоких ставок может привести к существенному замедлению технологического развития. Однако альтернатива в виде высокой инфляции может оказаться еще более разрушительной для экономики.
Необходим комплексный подход, включающий не только денежно-кредитную политику, но и структурные реформы, развитие образования и создание эффективных механизмов трансфера технологий.
Историческое событие после победы Трампа: Wall Street делает ставку на биткоин, уходя от золота
Bitcoin ETF от BlackRock официально превзошел по объему их знаменитый Gold ETF.
BlackRock -крупнейшая инвестиционная компания мира, своими действиями легитимизирует криптовалюту как новый защитный актив.
За последние сутки произошел новый рекорд: американские ETF приобрели 17,880 биткоинов. Общий объем биткоин-фонда BlackRock достиг $33.2 млрд, оставив позади их традиционный золотой фонд.
Вот, что произошло:
• Всего за 10 месяцев биткоин-фонд обошел золотой ETF
• Рекордный однодневный объем покупок биткоина через ETF
• Институциональные инвесторы активно переходят от золота к криптовалюте
Рынок демонстрирует исключительную активность, и мы наблюдаем исторический момент в развитии финансовой индустрии.
Вот предвыборная позиция Трампа по криптовалюте.
А в начале октября BlackRock на встрече с инвесторами заявили, что рассматривают биткоин как легитимный инвест актив. Мы тут писали об этом подробнее.
Amazon хочет дать Anthropic еще $4млрд, но с условием, чтобы Anthropic использовала серверы с чипами собственной разработки Amazon (Trainium)
Amazon ведет переговоры о второй многомиллиардной инвестиции в Anthropic (конкурента OpenAI).
Однако в этот раз Amazon выдвигает особое условие, чтобы Anthropic использовала серверы с чипами собственной разработки Amazon.
Сейчас Anthropic предпочитает использовать серверы Amazon с чипами от Nvidia. Размер инвестиций будет зависеть от того, сколько чипов Amazon согласится использовать Anthropic
Переход на чипы Amazon может быть технически сложным для Anthropic, так как ПО для чипов Trainium менее развито, чем ПО Nvidia CUDA, к которому привыкли разработчики ИИ.
Если переход состоится, то это "привяжет" Anthropic к серверам Amazon, затруднив использование других облачных провайдеров
Anthropic прогнозирует выручку $83 млн в месяц к концу года, из которых 25-50% этой суммы выплачивается облачным партнерам. Для сравнения, OpenAI генерирует в 4-5 раз больше выручки.
Amazon использует технологии Anthropic в своем ассистенте для разработчиков Q, который конкурирует с ChatGPT. Anthropic также имеет партнерство с Google, но меньшего масштаба.
Также Дарио Амодей, CEO Anthropic обсуждал возможность использования крупномасштабного кластера серверов для разработки собственного кластера как у
xAI Илона Маска и OpenAI.
Amazon также разрабатывает собственный ИИ, который может конкурировать с Anthropic в будущем.
⚡️СЕО NVIDIA: рождение нового разума неизбежно. NVIDIA готовится к прорыву в миллион чипов
Дженсен Хуанг дал новое интервью, вот его ключевые тезисы
1. Физика не помеха масштабированию.
Нет физических законов, ограничивающих рост до миллиона чипов. Техническая сложность есть, но награда в виде создания нового интеллекта стоит усилий.
2. Революция в распределенных вычислениях.
Создана технология для работы ИИ через множество дата-центров. Масштаб вычислений превзойдет все существующие системы.
3. Гипер-закон Мура на горизонте 10 лет.
Производительность: рост в 2-3 раза ежегодно. Энергоэффективность: снижение потребления в 2-3 раза каждый год
Если прогнозы Хуанга сбудутся, мы увидим экспоненциальный рост возможностей ИИ при одновременном снижении энергозатрат — это откроет дорогу к созданию действительно масштабных систем искусственного интеллекта.
Анализ Morgan Stanley: Рынок ИИ достиг $6.7 трлн и продолжает расти
Исследование основано на свежих данных - октябрь 2024:
1. Рыночные показатели:
- Рыночная капитализация компаний-разработчиков ИИ: $6.7 трлн
- Капитализация компаний-пользователей ИИ: $27.5 трлн
- Прирост после ChatGPT: $2.9 трлн
- Соотношение разработчик/пользователь: 13.0
- P/E (коэффициент цена/прибыль): 36x
2. Потребительские метрики:
- Посещения ChatGPT: 3.5 млрд
- Тренды Google по ChatGPT: достигли пика в 100 пунктов
- Рост интереса к ChatGPT (MoM): +18%
3. Гонка языковых моделей:
- Количество моделей с открытым кодом: 1,089
- Топ-10 загрузок моделей: 1,065 млн
- Рост загрузок год к году: +280%
- Загрузки датасетов: 11.3 млн
4. Финансовые показатели компаний:
- Производительность H100 GPU: $4.3 за час
- Производительность A100 GPU: $2.1 за час
- Продажи полупроводников: $40.1 млрд
- Рост капитальных затрат: +51% год к году
5. Венчурные инвестиции:
- Количество сделок с ИИ: 106
- Объем инвестиций в ИИ: 2,050 млн
- Общее количество сделок: 359
Ключевые тренды:
1. Стабильный рост посещаемости ChatGPT
2. Значительное увеличение количества моделей с открытым исходным кодом
3. Рост инвестиций в ИИ-компании
4. Увеличение количества ИИ-вакансий
5. Рост капитализации компаний в секторе ИИ.
⚡️Сбер займется космосом - Греф
Герман Греф сказал, что сейчас идет обсуждение вместе с Роскосмосом стратегии отрасли, и Сбер смотрит и выбирает для себя более подходящий путь участия в индустрии.
Он отметил, что в России уже есть частные компании, которые занимаются запусками спутников, но вот наземная инфраструктура и система доставки остаются пока еще государственными, нет ни одного частного игрока.
Видимо, Сбер займется тем, где еще нет частных компаний. А также созданием цифровой инфраструктуры для космической отрасли
Греф заявил, что в ближайшие 3 года Сбер построит еще 50% ИТ-инфраструктуры, которую компания строила за всю свою жизнь.
Читать полностью…
❗️Фонд a16Z заявили о снижении стоимости использования LLM
Если вы работаете над ИИ-проектами, то учитываете этот факт в плане на 2025 год?
Аналитики фонда ввели даже термин "LLMflation" - тенденцию значительного снижения стоимости использования языковых моделей при сохранении их качества.
Основные причины снижения цен:
- Улучшение производительности GPU
- Квантизация моделей (переход с 16-бит на 4-бит точность)
- Оптимизация программного обеспечения
- Уменьшение размера моделей
- Улучшение инструкций обучения (RLHF, DPO)
- Появление открытых моделей (от Meta(запрещенная в РФ организация, Mistral и других)
Практические примеры:
- Обработка всей речи человека за год (при 10 часах разговора в день) моделью уровня GPT-3 теперь стоит около $2
- Анализ всего исходного кода ядра Linux (40 млн строк) стоит меньше $1
Хотя темп снижения цен может замедлиться, общая тенденция к удешевлению сохранится.
Это открывает новые возможности применения ИИ, которые раньше были экономически невыгодны.
Создание простых голосовых ассистентов становится практически бесплатным с точки зрения вычислений.
СЕО Anthropic дал совет, в каких направлениях ИИ есть перспектива роста
Дарио Амодей в свежем интервью говорит, что лучше не идти по проторенному пути (например, разработка новых архитектур нейросетей), там уже десятки тысяч человек.
Вместо этого лучше заниматься менее изученными, но перспективными областями.
Он приводит пример механистической интерпретируемости (изучение того, как ИИ "думает" изнутри) - это относительно новая область, где работает всего около 100 человек, а не 10,000 как в более популярных направлениях.
В этих новых областях еще много легкодоступных открытий и достижений, которые просто ждут, чтобы их "собрали".
Также он видит перспективу в:
1. обучении с длинным горизонтом (long-horizon learning),
2. оценке динамических систем,
3. мультиагентных ИИ-системах.
Его совет - нужно предугадывать, какие направления станут важными в будущем (через 5 лет) и начинать работать над ними сейчас, даже если они пока не популярны.
Мультиагентный ЦБ на базе ИИ - будущее регулятора и рынка
Сегодня ЦБ сталкиваются с серьезными вызовами: политическое давление, человеческая предвзятость в принятии решений, медленная реакция на экономические изменения.
С учетом того, как за последние несколько дней растет курс биткоина, капитализация криптовалют уже $3трлн., а также во многих странах сегодня высокая инфляция, снижение доверия к традиционным финансам и институтам.
На смену приходят цифровые валюты, которые уже получают доверие со стороны институциональных инвесторов, таких как BlackRock и тд.
Возникает вопрос, а каким должен быть центральный банк новой финансовой системы?
В этом контексте предложение нашей команды @blockchainrf создать центральный банк на базе ИИ-агентов, формируя децентрализованный интеллект финансовой системы.
Архитектура мультиагентной системы нового ЦБ
1. Стратегический уровень
- Агенты долгосрочного планирования
- Агенты структурного анализа
- Агенты прогнозирования кризисов
- Агенты моделирования сценариев
Тактический уровень
- Агенты монетарной политики
- Агенты управления резервами
- Агенты валютного контроля
- Агенты рыночных операций
Операционный уровень
- Агенты транзакционного контроля
- Агенты клиринга
- Агенты надзора
- Агенты безопасности
2. Специализация агентов.
Аналитические агенты
- Обработка больших данных
Анализ экономических индикаторов
- Оценка рыночных трендов
- Мониторинг финансовой стабильности
Исполнительные и контрольные агенты
Технологическая реализация
1. Базовые технологии
ИИ:
-Глубокое обучение
-Обработка естественного языка
-Компьютерное зрение
- Reinforcement learning
Блокчейн:
- Смарт-контракты
- Распределенный реестр
- Криптографическая защита
- Proof of Authority
Квантовые вычисления:
- Квантовая криптография
-Оптимизация портфелей
- Риск-моделирование
- Предиктивная аналитика
2. Инфраструктура.
Вычислительные ресурсы
- Распределенные дата-центры
- Квантовые процессоры
- Нейроморфные чипы
- Edge-вычисления
Сетевая архитектура
- Mesh-сети
- Квантовые каналы связи
- Защищенные протоколы
- Резервирование каналов
Практическое применение
1. Монетарная политика
Автоматическое регулирование
Динамические ставки
Управление резервами
Валютные интервенции
Инфляционное таргетирование
Кризисное управление
Раннее предупреждение
Автоматическая стабилизация
Системная поддержка
Антикризисные меры
2. Финансовый надзор
Мониторинг рынков
Реал-тайм анализ
Выявление манипуляций
Оценка системных рисков
Предиктивный контроль
Новый комплаенс предполагает:
- Встроенный комплаенс на уровне кода
- Самоисполняемые регуляторные требования
- Автоматическую адаптацию к изменениям законодательства
- Проактивное выявление рисков
Безопасность и контроль
1. Кибербезопасность
Многоуровневая защита
Квантовая криптография
Биометрическая аутентификация
Поведенческий анализ
Zero-trust архитектура
Автоматическая защита
AI-driven security
Самовосстанавливающиеся системы
Проактивная защита
Автоматическое обновление
2. Человеческий надзор.
Стратегический контроль
Определение политики
Установка целей
Оценка эффективности
Корректировка параметров
Ручное вмешательство в сложных ситуациях
Кризисное реагирование
Системный аудит
Корректирующие действия
⚡️Илья Суцкевер: эра простого масштабирования ИИ подошла к концу
Он заявил, что результаты от масштабирования предварительного обучения (pre-training) ИИ-моделей достигли плато.
«Теперь мы снова вернулись в эпоху чудес и открытий. Все ищут что-то новое», - заявил Илья Суцкевер.
Суцкевер отказался поделиться более подробной информацией о том, как его команда решает эту проблему, лишь упомянув, что SSI работает над альтернативным подходом к масштабированию предварительного обучения.
Что это значит для отрасли?
1. Простое наращивание вычислительной мощности и объёма данных больше не даёт прежних результатов
2. Нужны новые подходы и прорывные идеи
3. Исследователи ищут альтернативные методы улучшения ИИ-моделей
Контекст этой истории здесь.
⚡️Илья Суцкевер,вероятно, нашел решение проблемы OpenAI с замедлением развития ИИ, но Сэм Альтман ее вряд ли получит сейчас
Для контекста, сейчас все прогрессивное сообщество обсуждает проблему, которую сегодня мы описали: о проблеме с замедлением развития ИИ в OpenAI. Эта проблема не новая, о ней известно с весны, но The Information только сейчас(9 ноября) написали.
Буквально 10 мин назад один из самых авторитетных инвесторов Долины, который инвестировал в том числе в стартап Ильи Суцкевера SSI, Нэт Фридман написал такой твит: Mr. Sutskever, tear down this data wall. Причем он делает отсылку к своему апрельскому твиту: Mr. Gorbachev, tear down this wall.
Фридман делает остроумную отсылку к известной фразе Рональда Рейгана "Mr. Gorbachev, tear down this wall", которую тот произнес у Берлинской стены в 1987 году.
В контексте ИИ и OpenAI "data wall" (стена данных) - это именно та проблема, о которой говорилось в нашем посте: нехватка качественных данных для обучения моделей.
Как следует из статьи, компании уже использовали большую часть доступных качественных данных из открытых источников, и это стало одним из главных препятствий для дальнейшего улучшения моделей.
Обращаясь к Илье Суцкеверу (одному из ведущих исследователей в области ИИ, который недавно покинул OpenAI и основал Safe Superintelligence Initiative - SSI), Фридман как бы призывает его найти решение этой фундаментальной проблемы - преодолеть барьер нехватки качественных данных для обучения.
Твит Фридмана, который является опытным инвестором и имеет обширные связи в Кремниевой долине, может быть неслучайным
Возможно, в среде очень узкого круга лиц уже циркулирует информация о потенциальном прорыве(!).
Тайминг событий:
1. Суцкевер покинул OpenAI в мае 2024 года и основал SSI.
2. OpenAI публично признает проблему с "data wall" в ноябре.
3. Сегодняшний твит Фридмана может намекать на то, что ему известно, и скоро выйдет в паблик.
Самая мощная ИИ-модель с открытыми весами вышла в Китае — Tencent создала Hunyuan-Large.
Сегодня США и Европа пытаются ограничить открытый исходный код путем создания системы разрешений и бюрократии.
Если Китай продолжит не ограничивать открытые разработки в сфере ИИ, лидерство в этой области может перейти к нему.
Масштаб модели:
- 389 млрд. параметров
- 52 млрд. активируемых параметров
- Поддержка контекста до 256K токенов
- Это крупнейшая открытая MoE (Mixture of Experts) модель на данный момент.
- Обучена на 7трлн токенов
- 1.5 трлн из них - синтетические данные высокого качества
- Специальный 4-этапный процесс генерации синтетических данных
Модель превосходит LLama3.1-70B и сравнима с LLama3.1-405B. Показывает отличные результаты в задачах на понимание языка, логическое мышление, математику, программирование. Особенно хорошо работает с китайским языком
❗️Coinbase и Langchain AI представили фреймворк для создания ИИ-агентов - Agentkit
Agentkit — это первый фреймворк, позволяющий создавать ИИ-агентов.
/channel/alwebbci/2733
Суть проекта в том, чтобы объединить возможности ИИ-агентов с действиями как в традиционном интернете, так и в блокчейн-пространстве, создавая более функциональные и автономные системы.
Ключевые особенности:
- Поддержка любых ИИ-моделей
-Интеграция с популярными веб-сервисами (Gmail, X, поисковики)
- Прямое взаимодействие с блокчейн-протоколами
- Готовность к промышленному внедрению
По сути, Coinbase создает полноценную инфраструктуру для "самостоятельных" ИИ-агентов, где Agentkit отвечает за техническую часть, а их Payman — за финансовую автономность и взаимодействие с людьми.
Китайский производитель электромобилей Xpeng представил своего гуманоида Iron
XPENG, которые славятся тем, что копируют все у Tesla, Figure представили робота-гуманоида Iron, он очень похож на робота Optimus.
Вот его основные характеристики:
- у робота более 60 суставов и 200 степеней свободы движения.
- используются технологии, которые компания применяет в своих автомобилях.
- рост робота - 178 см, вес - 70 кг.
- роботы уже работают на заводах Xpeng.
- «Мозг» робота работает на базе ИИ-чипа Xpeng Turing, который можно использовать в ИИ-автомобилях, роботах и летающих машинах.
У чипа
40-ядерный процессор, поддерживающий работу с моделями до 30 млрд. параметров.
Итоги уходящей недели в России и мире, что имеет значение
Как построить успешную карьеру в ИИ?Советы от Эндрю Нга, основателя DeepLearningAI и Coursera.
1. Команда Etched представила OASIS - 1-я в мире игра, где ИИ создаёт миры по нажатию клавиш.
2. Компании начинают бороться за доступ к бюджетам на персонал вместо ИТ-бюджетов.
3. МГУ и Neiry подключили мозг крысы к ИИ. Профессор М.Лебедев рассказывает нюансы этой работы.
4. Трамп собирается отменить указ об ИИ, что еще планирует делать его новая администрация в части ИИ, космоса читайте здесь.
5. Планы Трампа по криптоиндустрии. А также большая часть Конгресса теперь представлена из сторонников индустрии.
6. Бюро 1440 Алексея Шелобкова занялось электроракетными двигателями для космоса.
7. Свежий обзор по DeFI.
8. Сравнительный анализ открытых и закрыт моделей ИИ.
9. T-Mobile заплатит OpenAI в течение 3 лет $100млн за ИИ.
10. ИИ в 3D. Инструменты для разработчиков игр, художников и тд.
11. ИИ-агент от Google обнаружил первую реальную уязвимость в безопасности.
12. Deloitte представил отчет о влиянии ИИ-агентов на рынок труда.
13. Новый буст GPU сделает биотех, подробнее тут.
14. OpenAI купил домен для ChatGPT за $15млн.
15. Oracle выкупит долг перед российскими кредиторами,но не более чем за 60% от номинала.
16. Здесь о том, как создать многоагентную ИИ-систему для разрешения проблем на предиктивных рынках.
17. GigaLab от Parse анализирует более 10 миллионов клеток за один запуск.
18. Венчурный фонд a16Z начал инвестировать в ИИ для родительства, подробнее здесь.
19. В. Путин считает, что деятельность в интернете должна подчиняться законам РФ.
20. Исследование: врачи, использующие LLM, могут превзойти тех, кто их не использует.
21. NVIDIA готовится к прорыву в миллион чипов.
22. Amazon хочет инвестировать еще в Anthropic $4млрд, но с условием. Каким, читайте здесь.
23. Wall Street делает ставку на биткоин, уходя от золота.
24. Большой обзор о маленьких языковых моделях ИИ.
❗️Как построить успешную карьеру в ИИ? инсайты от Эндрю Нга, основателя DeepLearningAI и Coursera
3 ступени к успеху в ИИ:
1. Обучение базовым навыкам
"Важно не количество прочитанных статей, а глубина понимания фундаментальных концепций"
2. Работа над проектами
"Начните с малого. Мой первый проект был простой нейросетью для имитации функции sin(x). Он не был особо полезным, но стал отличным опытом обучения"
3. Поиск работы
"Выбирайте не проекты, а людей. Ваши коллеги повлияют на ваше развитие больше, чем конкретные задачи".
Золотые правила от Эндрю:
1. Учитесь постоянно, но понемногу
2. Начинайте с маленьких проектов
3. Помогайте другим расти
4. Стройте сообщество, а не сеть контактов
5. Фокусируйтесь на одном большом изменении за раз (либо смена роли, либо индустрии)
"Чтобы стать хорошим специалистом в чем-либо, первый шаг — это начать делать это плохо. Если вы уже успешно делаете что-то плохо в ИИ — поздравляю, вы на верном пути!"- Нг.
Полезные ресурсы для старта:
deeplearning.ai — курсы по ИИ
Kaggle — соревнования и проекты
Pie & AI — события и нетворкинг
GitHub — для портфолио проектов
P.S. Как говорит Эндрю: "У среднего человека всего около 30 000 дней жизни. Стоит ли то, что вы делаете сегодня, 1/30 000 вашей жизни?"
Профессор М.Лебедев объясняет, что значит их работа по подключению мозга крысы к ИИ /channel/augmented_brain/6903
Об этом опыте мы вчера писали здесь.
Какое важное и нужное исследование! Врачи, использующие LLM, могут превзойти тех, кто их не использует.
Это важный вывод в мышлении сообщества медиков.