67332
Пишу про будущее: AI, web3, технологии и общество. Ускоряемся. Автор: @sgershuni Инвестирую: cyber.fund Построил: Credentia, Deep Skills, Codex Town
Причина, по которой распространение ИИ будет стремительным (быстрее, чем любой другой технологии до этого) в том, что
а) ИИ будет доступен всем, при этом бесплатно или условно-бесплатно
б) во многих видах деятельности неиспользование ИИ приведет к катастрофическому падению качества.
Это еще не значит, что агенты могут заменить всех людей, но без использования LLM или computer vision вы не сможете оказывать достаточного уровня сервис для клиентов, соотвественно для вас это будет необходимым условием чтобы не проиграть конкуренцию.
Google не отстаёт. Если вы хотите строить технологию или рисерч в том, что будет популярно в ML через год-два, то очень рекомендую multi-agent systems design.
The Multi-Agent AGI team investigates multi-agent approaches to research on intelligence and society. We work at the intersection of artificial intelligence with social, evolutionary, and cognitive sciences. We believe there is a virtuous circle in which ideas from artificial intelligence may be applied to advance social sciences while ideas originating in the social sciences may be applied to impact artificial intelligence technology.Читать полностью…
Каждые выходные мы с 5-летним сыном делаем игру с помощью ИИ.
Начали с примитивной "змейки", а вчера зарелизили наш трёхмерный комический шутер с симуляцией гравитации, стрельбой, 3d моделями и прокачкой. Конечно, это не GTA VI, но спешу напомнить, что это было сделано за пару часов вечером без какого-либо опыта в геймдеве/разработке или с этим движком. А цель этого поста, скорее, в том чтобы поделиться персональным опытом и некоторыми выводами из процесса:
1. о1 реально на голову выше любой из существующих моделей. Это как PhD в кармане, но PhD с явным синдромом "недолюбленности", который хочет показать какой он умный к месту и не к месту. Мало того, что на 90% промтов он с первого раза пишет рабочий код, так еще добавляет какие-то приятные мелочи и рассказывает план из 20 пунктов как можно еще улучшить конкретную фичу. Если вас в ИИ-кодинге бесило то, что модель выдает нерабочий код или куски кода, которые не ясно куда пихать, о1 эту проблему решает очень классно.
2. самым важным навыком становится продуктовая и предпринимательская интуиция, то есть умение найти и решить проблему, которая болит у многих, но большинство не знает что её можно решить. сделать прототип и провалидировать гипотезу вы теперь можете сами с помощью ИИ, без необходимости тратить сотни тысяч долларов. ИИ-кодинг как в разы увеличит количество шлака в интернете (как будто его там раньше мало было?), но так же и скорость проверки продуктовых идей и гипотез в разы.
3. очень специфические навыки типа синтаксиса или запоминания signature функции не важны. вы можете даже не знать конкретного языка. но общие знания о computer science, типа эффективности алгоритмов, структур данных, логического мышления, понимания того как работают сетевые алгоритмы, базы данных, память — эти вещи всегда будут полезны. я не думаю, что в ближайшем будущем ценность ультра-глубоких специалистов (топ 1% в своей области) уменьшится, НО для остальных важнее будет быть полиматами/полиглотами, ибо конкретные технические навыки можно будет автоматизировать. например, до уровня создания прототипа на первые 1000 пользователей, а 99% продуктов в мире не доживают до 1000 пользователей, не смотря на отчаянный overengineering со стороны разработчиков.
Поиграть в нашего "Охотника за планетами" можно тут: https://planethunt.replit.app/ (нужна клавиатура + мышка/тачпад)
Сэм поднял очередные $6.5 млрд, при этом каждому инвестору требовалось вложить минимум четверть миллиарда долларов чтобы попасть в раунд. И многие жалуются, что не попали.
А кому-то казалось что 1,7 млрд в ТОН Дурова это была вершина хайпа. Уверен, что вершина хайпа в ИИ еще впереди, по мере того как все больше людей будет осознавать экономический эффект от этих продуктов. Конечно, нас ждет масса пузырей на этом рынке, но я не сомневаюсь, что текущие инвесторы OpenAI прилично заработают.
Тренировка GPT-5 либо уже закончена, либо близка к этому. Данный раунд пойдет на финансирование разработки новых продуктов. А за ними нас ждет эра софта, где каждая новая версия будет стоит десятки (если не сотни) миллиардов и, соответственно, у компаний, которые хотят пережить пузырь, должен быть план по монетизации этих моделей. В этом контексте, модели с месячной подпиской в тысячи долларов не кажутся уже такими безумными.
Вчера: масштабирование за счет тренировки модели (training scaling laws)
Сегодня: масштабирование за счет инференса (test-time compute scaling)
Завтра: масштабирование за счет мультиагентной коллаборации (OpenAI замышляет что-то)
О пост-AI экономике: почему это происходит?
Сегодня Microsoft, BlackRock, GIP и Арабские Эмираты объявили о создании консорциума для строительства первого в истории дата-центра (и "энергетической инфраструктуры для него") за $100 млрд. Это какие-то космические деньги для данной индустрии, и что-то мне подсказывает это только первый из таких коммерческих проектов (а сколько еще будет государственных, военных, etc?)
Давайте разберемся: зачем, почему? Сам факт появления новой технологии не всегда приводит к её масштабированию. Вот есть технология NFT, но (большинству из вас) от неё как-то горячо или холодно? Правило успешного стартапа в том, что он должен решать существующую проблему, но сильно дешевле и лучше.
В статье NfX очень наглядно показан объем и острота проблемы. Рынок нама персонала в США составляет больше $5 триллионов, тогда как рынок софта всего лишь $200 с лишним миллиардов. Постепенно, бизнесы начнут выбирать второе вместо первого.
Почему? Потому что стоимость такого робосотрудника в разы ниже, а маржа компаний производящих SaaS обычно составляет больше 80%, тогда как ручные сервисные бизнесы довольствуются в среднем 30%. Это значит, что создается огромная рыночная "тяга" когда техология уже доступна, а маржа выше чем в других местах. Эту пустоту моментально заполнят талантливые (как вы, читатели этого канала) фаундеры ИИ-стартапов. Этим фаундерам нужны все более производительные модели, поэтому Anthropic, Google и OpenAI будут строить все более дорогие датацентры и тренировать более крутые модели.
Так что, даже не по своей воле, а из-за рыночных сил , но — ускоряемся!
Не первый раз уже встречаю в комментариях так называемых «отчаявшихся скептиков». Любопытно, в чем причина такого феномена?
Это люди, которые обычно глубоко и лично обижены тем, что у кого-то в мире что-то получается.
Они ожесточенно требуют доказательств. Как в том меме про SpaceX: «вот когда полетит б/у ракета, тогда поговорим», а потом «вот когда начнут возить людей, тогда поговорим» и так далее двигая цель всегда немного в будущее.
Доказательств им всегда мало, а любой успех воспринимается как атака на их личность. Кажется, что целью является сам спор, хоть все и знают, что спорить в интернете — это самое бесполезное занятие. Кроме тех случаев, когда все участники твердо нацелены на поиск истины и изменение своей картины мира. Но в случае, когда есть эго и желание остаться в споре правым — это больше похоже на психологический театр маленьких детей.
Они уже 10 лет ждут, что ВСЯ крипта окажется скамом только потому что не послушали и не купили битков по $100. И, конечно, яростно радуются, когда на диком рынке находят действительно скам-проекты, но боятся отличить биткоин от битконнекта, ибо для них — все одно.
Они продолжают ждать когда же «весь этот ИИ хайп» превратится в тыкву, и никакие MMLU их не убедят, потому что слов таких они не слышали и слышать не хотят. Они требуют «КЕЙСОВ ПРИМЕНЕНИЯ!» почему-то не осознавая, что когда кейсы работают и очевидны всем, то про это говорить смысла нет. Вы говорите о влиянии технологии ж/д рельс на вашу жизнь?
Они не верят в вакцины, в солнечную энергетику и космонавтику, но из-за интернета они способны создать себе информационный пузырь и эхо-камеру, в которой любая теория заговора будет бесконечно усиливаться её сторонниками, без какой-то необходимости в объективности.
А вы как думаете?
Сегодня мы анонсировали раунд, который мы лидили в компании Scade. Тезис простой: Scade делает ИИ агентов доступными каждому.
А именно, благодаря трём шагам:
1) любой может создавать сколько угодно сложных агентов с разными модальностями (текст, видео, картинки, музыка, голос, OCR, всего 1,500+ моделей) в простом no-code редакторе
2) про пользователи могут монетизировать агентов прямо там на платформе. сделали крутой конфиг ComfyUI? сделали сложный мультиагентный промт? подготовили редкий датасет? зафайнтьюнили модель? собрали RAG агента из кучи шагов? вы можете назначить цену за одну генерацию и начать зарабатывать прямо там.
3) для бизнесов Scade даёт доступ сразу ко всем возможностям ИИ в одном интерфейсе: от написания SEO и создания графики для маркетплейсов до face-swap, брендинга, сравнения чатботов и многих тысяч других агентов, которые скоро появятся в маркетплейсе Скейда.
Подробнее о видении и стратегии компании (и почему мы инвестировали) я описал в блоге: https://cyber.fund/content/scade
Попробовать и посмотреть что тысячи клиентов делают на платформе можно на их сайте. Программа Earn with Scade запустится уже этой осенью. Ускоряемся!
Пятилетка за 2 часа сделал игру с физикой, игровым магазином, несколькими локациями, графоном, музыкой и финальным боссом.
100% кода, графики, музыки сгенерировано ИИ: Cursor, Replit, Suno AI и Stable Diffusion / Flux. Я только писал текстом промты и его идеи.
Разработка продуктов уже не будет прежней ;)
Играть тут: spacegam.replit.app (кнопка справа снизу для полноэкранного режима с полным погружением)
Код тут: https://github.com/Gerstep/factory-LEV
Так же как в 2015-2016 мне казалось и везде писал, что ничего важнее крипты в мире технологий и экономики не происходит, так же сегодня кажется диким не заниматься ИИ.
И я не про то, что любой из нас может конкурировать с OpenAI — конечно, нет.
Я про то, что, как и крипта, эта технология открывает новую парадигму и создает новые рынки, которых не было год назад. Как и крипта, это создаст триллионы долларов в форме ценности. И в отличии от крипты, адопшен этих технологий будет стремительный, глобальный и универсальный.
Коллега из cyber.fund в моем любимом крипто подкасте «Базовый Блок» о том как меняется рынок MEV в Эфире и куда он пойдет в будущем.
MEV это один из самых динамичных (по скорости роста и изменениям структуры) рынок в крипте. Фактически, это программируемая экономика. В подкасте Артём очень понятно рассказывает об истории и всех секретах рынка.
- что такое MEV и почему это рынок в миллиарды долларов?
- какие бывают типы MEV и как на этом зарабатывают?
- текущие проблемы и структура рынка?
- как и куда эволюционирует рынок пропоузеров, сёрчеров, билдеров?
Посмотреть крутейшую визуализацию того, о чем говорит Артём, в реальном времени можно тут (ОСТОРОЖНО: дико залипательно, ибо вы в прямом эфире видите как математика из воздуха делает миллионы долларов): https://sorellalabs.xyz/dashboard
Слушать тут в телеграме или тут в ютубе. Жутко интересно, крайне рекомендую!
О токенизации и будущем владения в 2034
Давайте прикинем как будет выглядеть концепция владения любой материальной дорогой собственностью через 10 лет на примере простого и понятного рынка недвижимости.
- Доступ к рынку ритейл инвесторов.
Фракционное владение через токенизацию RWA откроет рынок недвижимости с высоким порогом входа для всех ритейл инвесторов. Оунеров станет кратно больше, и это бустанет мировую экономику. Ваши друзья будут покупать токены или NFT, которые дают нам право собственности на часть недвижимости, а, соответственно, и доход от ренты, пропорциональный нашей доли владения. Скоро твой сосед дядя Миша будет рассказывать тебе как он владеет долями нескольких вилл в Испании и на Бали (хотя купил от силы на $5к).
- Глобальная ликвидность
Эти активы начинаются торговаться между совладельцами на DEX. Ликвидность неликвидных ранее активов становится нормой, а границы между физической и цифровой собственностью стираются. Такие гиганты как Black Rock, Delloite уже дают рост доли ВВП за счет переход таких активов в цифру.
- Более безопасные инвестиции
Эта более безопасная гавань бетона будет сильно выиграшнее текущих вариантов для тех, кто не имеет желания и времени исследовать хай-риск активы типа акций и крипты, в то время когда доходность по облигациям едва покрывает инфляцию. Сидя где-то за тысячи км вы можете за пару минут с телефона купить часть виллы на Бали, которая моментально начинает генерировать вам доход от аренды.
За счет снижения порога входа вам открываются возможности диверсификации вашего портфеля. Далее начнут создаваться индексы на токенизированную недвижимость, которые лучше обезопасят и упростят процесс инвестирования.
- Построение инфраструктуры
Прямо сейчас создаются платформы по токенизации, которые позволят на полном пассиве заработать на недвижимости без головной боли с управлением и затрат времени на рисерч. Кроме того, что они за вас делают проверку (due dilligence) объектов, а также организовывая весь процесс цепочки распределения дохода. Эти платформы объединят инвесторов, застройщиков, управляющие компании и нотариусов, чтобы токенхолдеру капал доход через смартконтрат (привет DAO LLC в Вайоминге).
- Управление через DAO
Все совладельцы объединяются в кооперативы и управляют недвижимостью через DAO. Захотели - подняли аренду, сменили управляющую компания или вовсе продали объект.
- Интеграция с DeFi и Новые финансовые инструменты
При достижении хорошей ликвидности такие активы с минимальной волатильностью будут легко брать в залог другие DeFi платформы. Т.е. Оцифровка и токенизация ранее неликвидного актива вольет триллионы дол. ликвидности в крипторынок. Появятся новые деривативы и стейблкоины, обеспеченные реальными активами и это усилит стабильность и привлекательность крипторынка.
Все эти изменения не произойдут в одночасье, но фундамент для них закладывается уже сейчас. Binaryx Platform - это инновационная площадка, которая уже предоставляет возможности для инвестирования в токенизированную недвижимость и участия в новом экономическом порядке.
Хайлайты:
- Проект запущен 1,5 года назад и уже имеет на борту более 1100 совладельцев для 9 объектов недвижимости, управляющиеся через DAO
- Выплачено $130 000 дохода за этот период.
- Диверсифицируйтесь в рамках одной локации и по всему миру. Сейчас площадка предлагает объекты на Бали и в Черногории. В ближайших планах - Испания и ОАЭ.
- Два типа туристической недвижимости. Для более консервативных инвесторов покупайте доли в арендной недвижимости, которая УЖЕ приносит ренту (в среднем 12% APR)
- Хотите больше? Инвестируйте в недвижимость на этапе строительства, где доходность достигает до 40% APR.
- Под капотом американский лигал Wyoming DAO LLC со смартконтрактом на Polygon.
- Высокая ликвидность за счет вторичного рынка - токены продаются за минуты.
Вступайте в закрытое комьюнити уже существующих совладельцев, где вы можете задать все интересующие вас вопросы.
/channel/+3q1EMGEAgC8xY2Qy
Также по промокоду “E/ACC” вы получите 3% кешбек на покупку токенов недвижимости.
Стать лендлордом
#реклама
Ну что, дождались! OpenAI выкатил новую супер-модель.
o1 отличается от предыдущих моделей встроенной способностью к "рассуждениям" (reasoning). В модель "вшита" способность к логическим выводам и самокритике/саморефлексии через chain of thought. Полный отчет по модели можно скачать тут. Модель уже доступна для всех разработчиков с доступом к API tier-5, но скоро будет доступна и в бесплатной версии GPT.
Выводы:
1. Скейлинг работает. Больше денег, больше данных = круче модель. Ужасные рассказы о том, что LLM уперлись в потолок снова оказались просто разговорами. Вместо скейлинга pre-training, теперь скейлится test time compute (то бишь инференс).
2. В точных задачах, типа математики o1 показывается в 7-8 раз круче результаты, чем gpt4o. В коде — в 8-9 раз. В задачкаъ по химии, физике — около 15% прироста.
3. OpenAI прямо зуб дают, что математические способности o1 не хуже, чем у победителя международной олимпиады по математике, а по точным наукам типа физики она работает не хуже кандидата наук.
4. В принципе, закиданный всеми на прошлой неделе в твиттере помидорами Reflection70B делал то же самое. Но не сделал. А Сэм — мужик. Сэм взял и сделал.
5. Стоит $60 за миллион токенов, а значит интеллект у нас теперь достанется только богатым.
6. Это пока что дорогая и медленная модель. Но именно используя эту новую парадигму ("думай, а потом говори"), OpenAI за ближайшие годы сделает o1 в десятки или даже сотни раз дешевле, быстрее и умнее.
7. "o1 думает, но думает несколько секунд. в будущих версиях она будет думать над сложными задачами несколько часов, дней или даже недель" OpenAI
Каждый ускоряется как умеет. Oracle вот строит дата-центр на гигаватт, который будут питать 3 небольших ядерных реактора. Ибо у кого есть ИИ, тот контролирует мир, а остальным показывают красивые картинки, чтобы не верещали 😹
Читать полностью…
Идея о том, что человек без опыта программирования, но с ИИ, может работать лучше, чем опытный инженер, абсурдна.
Как и идея о том, что ИИ в какой-то момент не превзойдет любого живого человека в программировании.
Как преуспеть в век ускоряющегося AI?
Такой примерно вопрос я слышу чаще всего. Рассуждаем.
ИИ автоматизирует работу, но не вас
Не скажу ничего нового: персональное развитие, ментальное здоровье, семья, близость к природе, медитация, спорт. Очевидно, но эти вещи становятся только важнее в ускоряющемся невротичном мире.
У сына в школе, например, большинство уроков посвящены эмпатии, критическому мышлению, умению общаться (в т.ч. со "сложными пассажирами"). Я вижу, что дети в 5 лет учатся эмоциональной гранулярности и чуткости (распознаванию и отмечанию эмоций), умению отстаивать свои принципы в жизни, независимо думать, рефлексировать. Большинство этих вещей люди предыдущих поколений осваивали примерно к 30-35 годам.
Стройте, ведь это никогда не было так просто
ИИ, он же великий amplifier & augmentator, дает возможность создавать, даже если у вас нет никаких технических навыков. Мы все теперь — Рик Рубин. Используйте ИИ, чтобы научиться писать роман или изучить новую область. Делайте приложения и сайты. Даже не имея опыта, потратив 40 часов сфокусированно копая любую тему, вы станете лучше, чем 99% людей. ИИ сокращает этот путь и всегда подскажет, поможет, если вы застряли.
Не ждите, не думайте, не ищите идеальный момент, делайте. Думающих об идеальном решении — миллионы, но только делающие достигают результата.
Не читайте технологическую прессу и не смотрите на метрики "в моменте"
Одна из главных ловушек – считать технологии чем-то неизменным. То, что ИИ не может сделать сегодня, вполне может оказаться ему по плечу уже завтра. Технологии развиваются с бешеной скоростью, и понимание этого – ключ к тому, чтобы оставаться в теме. Не ограничивайтесь новостями из техноблогов. Копайте глубже: научные статьи, пейперы и технические отчёты из первых рук (GPT поможет перевести их на язык понятный профану).
Делайте уникальные вещи
Навал, самый богатый из топ-1 философов мира, называет это специфичными знаниями: вам будут платить мега много, если вы решаете проблемы, которые люди еще не знают, что у них есть. То есть, если вы умеете делать очень хорошо то, что нужно всем, но не умеет никто. С ИИ отпадают старые проблемы (ИИ лучше любого человека будет писать простой код, статьи, рисовать иллюстрации и анализировать бухотчеты), но появляются новые. Это время уникальных возможностей.
sama разродился манифестом: "a defining characteristic of the Intelligence Age will be massive prosperity". говорит, обезьяна научилась плавить песок и умножать матрицы → получился диплёрнинг. а теперь с помощью него будут решены все остальные проблемы мира: медицина, образование, глобальное потепление и разработка игр на джаваскрипте. но, грит, безработица и неравенство, конечно, будут (недолго).
Читать полностью…
О замене людей роботами и ИИ
В фб наткнулся на пост о том, что роботакси Waymo уже совершает 100,000 платных поездок в неделю полностью без водителя. Ожидается, что они вырастят эту цифру в 10 раз в течении года, что приведет к какому-то количеству таксистов нашедших себя без работы.
Кажется, это довольно сильно в тему обсуждаемого тут на канале последние пару недель, поэтому накину пару идей.
1. Это неизбежно, даже если очень громко ныть
2. Чем больше воя, тем больше это приведет к росту рабочих мест в полиции или охране (пока роботам опасно давать огнестрел на улицах)
3. В следующие 1-10 лет это приведет к сильному росту безработицы
4. Через 10+ нормализуется, появится очень много новых видов деятельности
5. А вы уверен, что таксовать, редактировать карточки товаров или маркетировать онлайн-курсы по 16 часов в день это самая лучшая реализация ваших талантов? Что именно так вы хотите, что вас запомнили? Что это самое великое, что вы можете дать человечеству?
6. Работа, а вернее — зарплата, это не показатель потраченного времени. Это показатель ценности, которую вы создали для экономики. Если вы делаете что-то, что не умеет никто, но лучше всех, то вы и получаете миллион долларов в месяц. Идея UBI в том, что ничего не делать и потреблять тоже ценно. Но это ваша задача, а не работодателя или государства найти то, как вы можете быть уникально и незаменимо ценны.
7. В интеллектуальной работе, в отличии от такси, замена будет быстрее и масштабнее. Но эти системы не должны быть автономными. Вместо компании с 1000 сотрудников, будет 10 — и из-за того что они смогу лучше и эффективнее координироваться, такая компания победит.
8. Для заменённых есть два выхода: образование и война. Первый, с помощью ИИ, будет адаптивным, персонализированным, эффективным. Про второй и так вон пишут все инфлюенсеры, там ненасытная глотка.
Как я и писал, у кого нету своего атомного реактора, тому скоро нечем будет питать свой ИИ. Амазон нанимает главного инженера по атомной энергетике, а Майкрософт выкупает и открывает закрытые ранее атомные станции.
Читать полностью…
Как и обещал, записал еще один туториал по использованию редактора Cursor (первый был больше года назад). В этом видео я показываю принципы работы и основной функционал.
Cursor — это решение для тех, кому Replit Agent и похожие инструменты показались слишком ограниченными, при этом у вас нет глубины знаний и опыта, что делать сложные продукты самому.
Смотреть можно на ютубе: https://youtu.be/4LwFTFE3mpo
Как преуспеть в пост-AI экономике? Если ИИ автоматизирует все работы, то что люди будут делать?
Из того, что я вижу сейчас — ни у кого толком нет хорошего ответа на таймлайн этой великой автоматизации и как именно к ней готовиться. При этом, очевидно, что масштаб будет огромный, и он приведет как к позитивным, так и негативным последствиям.
В прикрепленном сообщении из одного нашего закрытого чатика от экс-фаундера Stability AI, он говорит важную мысль: трудовая денежная система перестаёт иметь смысл. Это не произойдёт одномоментно и повсеместно, но это точно будет в сотни раз быстрее, чем прошлые переходы, как например индустриальный.
Капитализм работает за счет решения проблем. Неэффективности рынков. Но в ситуации, когда ты можешь автоматизировать поиск неэффективностей, такие возможности будут исчезать еще до того, как человек об этом подумает. Все эти микро- и мини-бизнесы типа студий дизайна, инстаграм-магазинов, консалтинга, рекламных и обучающих компаний, локальных юристов, бухгалтеров не смогут конкурировать с машинным интеллектом, который делает все то же самое, но в сотню раз быстрее и дешевле.
Вот возьмём какой-нибудь купи-продай онлайн бизнес. ИИ умеет анализировать любые метрики с амазона и гугла, тестировать сотни гипотез, мгновенно писать софт или отбирать из тысяч китайских поставщиков и заключать контракты с лучшим. Любая возможность на рынке моментально эксплуатируется до того, как предприниматель, который может её решить вообще задумается об этом.
Для GPU-rich ситуация немного лучше. Маск построил ИИ-датацентр на $3 млрд, Мета делает что-то похожее. Потому что для технологической компании скорость роста и выживание зависит от того насколько быстро она сможет "отъесть" рынок за счет автоматизации, будь то роботы на заводе или работа журналиста, аналитика, маркетолога.
Ответ на вопрос в начале поста не очевиден. UBI и всякий там социализм может звучать как хорошая идея, но это не проработанные идеи, у которых нет реального опыта внедрения. Я думаю, эта тема совершенно недостаточно изучена и хочется продолжать сюда копать в следующих постах.
Самым глупым в данном контексте мне кажется отрицание эффекта только из-за того, что люди смотрят на конкретный датапоинт вместо тренда. Типа, мол, "у меня gpt не смог ответить на вопрос Х, поэтому он не сможет никогда". Это типичная fallacy. Потому что в ML важны законы масштабирования, а не текущая производительность. GPT открыл и проехался на 3-4 порядка перформанса на одном таком законе, с о1 теперь начинается новая горка, и явно не последняя. Вот, например, вчерашний пейпер из Стенфорда, который говорит: “Мы математически доказали, что трансформеры могут решать любую задачу, если им разрешено генерировать столько промежуточных токенов рассуждения, сколько потребуется. Удивительно, но постоянная глубина достаточна.”
Я думаю, что глупо и безответственно как отрицать, что произойдет фундаментальный сдвиг структуры рынка труда в течении 3-4 лет, так и считать что из-за этого сдвига "все пропало, надо рыть бункер". Как будто, и первое и второе это побег от реальности. Но вот подумать об оптимальной стратегии и правильных шагах очень хочется.
Продолжая тему с играми, нашел еще кучу примеров, которые были созданы с помощью ИИ-инструментов. Это не убийцы GTA VI пока что, но сам факт что они созданы людьми без опыта в дизайне, текстурах и программировании радует.
Приходит в голову аналогия с телевидением. Раньше у нас было несколько каналов, где крутили одну программу на всех. С 2005 я телевизор не смотрю, потому что ты можешь выбрать в интернете любое шоу, которое тебе хочется.
Так же и с софтом. Раньше у нас был единый софт созданный для всех: Salesforce, Spotify, Angry Birds. Теперь каждая компания и каждый человек может просто пообщаться с ботом, объяснить что ему надо и получить персонализированный и уникальный софт.
Например, Scade из предыдущего поста запускает авто-агентов, то есть возможность через чат создавать для себя агентов.
А CEO Klarna, гигантской платежной компании, сказал, что они отказываются от SaaS платформ в пользу внутренних ИИ-инструментов (и еще увольняют кучу народа в пользу ИИ, но это неизбежно и повсеместно — таким не удивишь).
Спрашивали как и через что сделали игру. Расскажу.
В 2015 на лекции в МФТИ Виталик сказал "не играйте в игры, кроме тех, что вы сами разработали", мне эта фраза запомнилась на всю жизнь.
Сначала мы придумали идею про космических пиратов, которые собирают золото на разных планетах. Я написал задачу в одну строчку и закинул в Replit. Просто спросил сделай самую простую игру в браузере с 2D графикой. Тот сделал шаблон без картинок и текстов, используя движок Phaser.
Я никогда в жизни с игровыми движками, особенно на JS не работал, поэтому это был полноценный эксперимент человека ровно с 0 опыта в домене.
Дальше я склонировал репу и открыл в Cursor’e. Используя модель Claude 3.5 Sonnet начали делать геймплей. Клод почти всегда с первого раза добавлял всякие фичи: фон, меню, корабль, управление, сцены.
Для картинок сцен и спрайтов (сундуки, корабли, босс, выстрелы лазера) использовали Flux/SD. Простой промт, типа «pixelart low definition image top-down map/spaceship/monster/etc». Хватило 100 бесплатных генераций на сайте, чтобы сделать все ассеты.
Музыку сделали в Suno. Тоже хватило бесплатных генераций. В итоге сработал промт что-то типа «space synth sleep».
По самой разработке все делал в Курсоре используя Sonnet 3.5 (o1 слишком медленный, а Колд моментальный).
Сын придумывал все игровые механики, я записывал его идеи прямо в чат курсора. Прикрепляю лог чата с Курсором. Код не копируется, но тут именно текстовое общение между блоками кода. Как видно, большую часть фич и просьб он делает идеально с первого раза. При этом моя криворукость и ровно 0 секунд опыта с фреймворком требовали от чата иногда чуть больше пояснений. Для всего проекта подавляющее большинство ответов Клода заработали с первого раза, некоторые потребовали 2-3 раза попробовать заново.
Несколько советов по использованию курсора:
- просить добавить по одной фиче (сделай сцену, добавь кнопку, сделай корбаль управляемым, добавь жизни у босса). если их смешивать, то может не хватить длины контекста
- если вылазит ошибка, смело копируйте ее текст и клод все поправит; если застряли: "help me debug"
- не бояться использовать гит и возвращаться в последнюю рабочую версию, если запутались (мне не пришлось, но для совсем новичков помогает)
OpenAI опубликовал свой роадмап по достижению AGI. С релизом о1 мы официально на втором уровне.
Уровень 1: Чат-боты, ИИ с естественным языком
Уровень 2: Рассуждающие системы, решение задач на уровне человека
Уровень 3: Агенты, системы, которые могут принимать решения и автономно действовать
Уровень 4: Инноваторы. ИИ может помогать в изобретениях
Уровень 5: Организации. ИИ который может выполнять работу целой организации
В чем прикол о1, простыми словами?
Модели типа GPT/Llama/Claude с каждым сгенерированным токеном увеличивают шанс ошибки (из-за авторегрессии). В о1, поскольку сама модель на каждом шаге «проверяет» свои рассуждения, внутреннее состояние модели меняется в «нужную» сторону, что важно для сложных задач требующих долгих рассуждений. То есть, модель выполняет роль промт-инженера для самой себя.
о1 не лучше gpt в задачах генерации текста, потому что знания, выученные в самом трансформере те же самые. Объем её «знаний» не изменился. Но она сильно круче в задачах логики, программирования и математики.
Это происходит потому что тренировка о1 происходила за счет генерации множества цепочек рассуждения и зачем применения reinforcement learning к тем цепочкам, которые привели к правильному ответу (то есть, выдавания модели «конфетки» за «правильные» рассуждения). Такой ответ в математике и программировании можно заранее рассчитать для бесконечного количества примеров, поэтому можно провести миллионы раундов обучения. Но нельзя сделать миллион обучений модели по написанию красивых стихов, просто потому что у вас не хватит денег и времени для ручной проверки того хороший или плохой был результат.
Итого: в машинном обучении работают те вещи, обучение которым можно автоматизировать и выполнять огромное количество раз. Это дешево и быстро масштабируется. А ручное обучение очень медленно и имеет потолок в виде человеческого ресурса. Поэтому последние версии трансформеров, хоть и имели, но относительно небольшой прирост в своей полезности.
Открытый вопрос в том, приведет ли улучшение логики и мат способностей модели к эмерджентному улучшению в других областях. Как показывает история развития человечества, это во многом так. Поэтому реальный эффект от этого подхода мы еще увидим в ближайшие годы по мере того как OpenAI и другие будут собирать больше данных и дообучать эту архитектуру.
А вот еще один релиз, который меня впечатлил даже больше чем o1: Google выкатил обновление для своего NotebookLM. Теперь вы можете загрузить туда любую статью или PDF и бесплатно сделать качественный подкаст, который объясняет какую-то сложную тему.
Я попробовал со своей статьей. Результат можно послушать прям тут.
Итак, по итогам первого дня:
о1 это не продукт, а парадигма. Текущая версия не должна быть лучше 4ки, но потенциал масштабирования у неё в сотни раз больше, чем классический претрейн трансформера. Потому что задачи размышления и поиска ответа вынесены из модели в агентский слой. Это RL система и ее тренировка только начинается. В том числе, вами, и в каждый из вас будет платить $20/мес за возможность в этом поучаствовать. Что мы пока что видим:
1. o1 рассказывает как приготовить метамфетамин не хуже других моделей.
2. Знает, что 9.8 > 9.11 (по крайней мере у меня, первая картинка). А на второй картинке он объяснил почему 9.11 > 9.8 (речь о датах или версиях)
3. В кодинге прям мощный прогресс по сравнению с предыдущими версиями. Особенно, для использования о1 в сложных агентских workflow. Cursor + o1-mini это разрыв.
4. Математика математикой, но вот задачу (картинка 3), которую мы ему дали решить не смог.
Мой личный вывод: агентская парадигма только начинается. Именно благодаря ей мы увидим следующие 100х улучшения в ИИ (о чем я писал тут). Если вы тоже готовитесь к мультиагентному будущему и делаете там ультра-прорывные проекты, то стоит пообщаться.
Каждый ускоряется как умеет (видео не ускорено). Вот эта платформа выдает инференс Llama-3.1-8B/70B/405B (без квантизации) аж до 1200 ток/сек.
А ваш синьор так умеет? Одно из преимуществ LLM не только в том, что они могут держать в голове сотню тысяч страниц информации, но и в том, что за несколько секунд они могут попробовать тысячи способов решения проблемы и понять какие из них не работают.
Если ИИ решает задачу программирования, то это автоматически решает любую другую проблему.
Я не говорю, что это позволит нарушить законы физики, но практически все short of. Именно поэтому в своих примитивных экспериментах и более исследовании я в первую очередь фокусируюсь на моделях и агентах, способных автоматизировать программирование.
И в этом смысле не так велика разница между моделью, которая идеально и с первого раза может придумать и создать любую программу и полноценным AGI. Любая задача взаимодействия с физическим миром (роборукой взять ручку со стола, помыть унитаз, поймать и отшлепать всех негодяев мира, построить оптимальную экономическую систему, координировать рынки) — это инженерная задача, которая состоит из понятных нам компонентов: reasoning, планирование, computer vision, дизайн механизмов и криптография, список можно продолжать бесконечно.
Вчера, например, немного посмотрел две независимые статьи, в которых показывается как LLM *текущего* уровня в состоянии создавать новые идеи и проводить научные исследования. В широко разошедшемся первом LLM научилась генерировать реально новые идеи для исследований, которые были оценены экспертами-людьми (тут пересказ и критика). Во втором, от MIT, мультиагентная ИИ система генерирует и уточненяет научные гипотезы используя онтологический граф. То есть, она умеет соединять не связанные области знания для решения сложных междисциплинарных задач.
А параллельно с этим крутейший прогресс в LLM для кодинга. Magic, поднявшие 450М от Нэта Фридмана и всех топовых фондов, сделали модель для кодинга с 100M токенами в контексте. Вы можете загрузить в нее ~1000 книг и попросить пересказать их все. Если сегодняшие агенты и модели показывают 30-40% на теста по решению реальных сложных задач в программировании, то цель Magic — это 99.9%. Попросил написать свою собственную операционную систему, пошел пообедать и получил результат.
Работаем и ускоряемся.
Oбзор ИИ-программистов
Для тех, кому интересна тема того как ИИ заменяет программистов, очень советую почитать мета-исследование, в котором сравнены 106 различных агентов по своим способностям, автономности, архитектуре и области применения.
Авторы сделали офигенную работу по определению агента (это система, которая может воспринимать информацию, использовать инструменты, планировать, запоминать и самостоятельно действовать) и мульти-агентной системы, в которой есть роли агентов, включая роли менеджеров, анализа требований, проектировщиков, разработчиков, роли тестирования, отладки и вспомогательные роли.
Так же они определили области применения, большая часть из которых (вопреки яростно комментирующим) — это не просто написание кода, но формирование требований, дизайн, генерация кода, написание теста, статический анализ, поиск багов, фикс багов и девопс.
В статье много жира, например, описание и сравнение всех 106 агентов по их функционалу и качеству или описание механизмов взаимодействия в мультиагентных системах (говорят, что 56% всех систем — мультиагентные), а так же детальный разбор каждого этапа и разных подходов к их решению.
Найти список всех 106 (бесплатных, с открытым кодом) агентов-программистов можно в референсах статьи.