67331
Пишу про будущее: AI, web3, технологии и общество. Ускоряемся. Автор: @sgershuni Инвестирую: cyber.fund Построил: Credentia, Deep Skills, Codex Town
На этом канале начинается месяц жёсткой, нецензурируемой и беспробудной саморефлексии.
Так получилось, что большинство трейдеров, скамеров и горе-инвесторов резко перекочевали из криптоэкспертов в AI-энтузиастов. Как выяснилось, совсем не обязательно разбираться в теме, прежде чем начать поднимать деньги или продавать инфобиз.
Рассуждаю применительно к себе, но и вам, наверное, будет интересно.
Вместо того чтобы крутить LLM‘ки и читать пейперы, разбираться как работает трансформер и диффузер, бизнес-модели и UX-паттерны в ИИ, надо было действовать как все, а именно:
1. создать аккаунты во всех соцсетях для торговли лицом
2. каждый день записывать тикток и твиттер тред со словами «90% использует ИИ не правильно, сейчас я расскажу вам как» и дальше 5 пунктов тупой банальщины
3. залить ютуб, инстаграм и тикток рекламой в стиле: «Появилась возможность разбогатеть, даже если вы полный дебил. И вам ничего не нужно делать! Просто запишитесь на мой марафон-мастермайнд для wannabe ИИ-икспердов»
4. брать предоплату $500, но взамен давать скачать PDF’ку полностью созданную с помощью ChatGPT
5. пойти рейзить на ИИ-агента с функцией генеративного языкового тьютора, найти лоха-идиота-СЕО, забрать деньги инвесторов и свалить в туман
6. сделать еще 2-3 рейза на другие хайповые идеи, но даже не порываться делать что-то реально руками
7. стать спикером, брать $50к за выступление и рассказывать про свой успешный успех
С другой стороны, проспанный момент — это еще не страшно. Два года назад то же самое можно было провернуть клепая NFT пингвинов, альбатросов, крыс и улиток и втюхивая их перепродажникам. Поэтому есть некоторая вера, что возможности для скана бесконечны, а значит не все потеряно ✊💪
Кстати, если вам интересно узнать про Code Interpreter (последняя фича GPT): как им пользоваться, где он применим и как он позволяет получить результат работы крутейшего дата саентиста / аналитика / программиста бесплатно и не отходя от чата — то записывайтесь на завтрашний вебинар. К глубокому сожалению, он бесплатный, бесскамный и я там даже ничего не продаю.
Затестил Интерпретатор на базе комментариев этого канала. Загрузил просто файлик из телеграма, а в ответ получил визуализацию анализа этих данных. Все сделано GPT, без ручного вмешательства.
1. Анализ сентимента (нейтральный, негативный, положительный) комментариев под постами в зависимости от автора
2. Анализ распределения длины сообщений по каждому отправителю.
3. Граф связей отмечаний пользователями друга друга в комментариях.
На все потребовалось меньше минуты. Дата аналитик / data scientist в кармане.
Кстати, в пятницу расскажу о других и о том как это все вообще работает. Запись: www.codex.town
Запись лекции о бизнес-кейсах, возможностях и стартапах на стыке web3 + AI. Мы обсудили технологии, которые имеют смысл с точки зрения продукта, существующие и создающиеся стартапы в области data unions, zkml, автономных агентов и ИИ для ДАО. Поговорили о том в чем ценность web3 + AI в связке друг с другом.
Youtube: https://youtu.be/ZDOAHp2Xc_U
Spotify: https://podcasters.spotify.com/pod/show/cryptoessay/episodes/AI--Web3-e26n81u
В ближайшую пятницу будем говорить о Code Interpreter, о том как получить мощь команды data science, аналитиков и разработчиков не покидая ChatGPT. Рассмотрим возможности интерпретатора кода для сложных бизнес-задач и для персонального использования. Регистрация все там же: codex.town . Мероприятие (пока что) бесплатное.
Непопулярное мнение: если бы нам удалось изначально создать весь функционал веб3 —социальные и рабочие ДАО, игры, соцсети, протоколы типа L2, ENS, стейкинга, пулинга — но БЕЗ токенов (без токенов кроме BTC, ETH, USDT), то крипта развивалась бы куда более стабильно и сейчас была бы более распространена.
Когда создавая / инвестируя в софтверный ты можешь быть легко отвлечен на казино, вот тогда и начинаются проблемы.
AI это как секс. Это мультипликатор людей. Плюс, это весело.
Только, в отличии от создания новых людей, ИИ дает уже существующим возможность достигать большего.
Не умеешь программировать, но хочешь сделать приложение? ChatGPT поможет. Не умеешь рисовать, но хочешь авторские иллюстрации для своей книги или статьи? Это вопрос 2-3 центов GPU-compute. Есть идея для фильма или музыки, но нет технических навыков? Не проблема, просто опиши идею.
Для почти любого бизнеса на планете AI является единственным самым эффективным инструментом для решения той проблемы, ради которой бизнес и создавался. Позволяя масштабировать продукт, не увеличивая стоимость за счет масштабирования существующих людей и их производительности, а не найма новых.
Кстати, в эту пятницу будет очередная уже четвертая лекция в рамках открытого и бесплатного курса об использовании ИИ для работы и творчества. В этот раз поговорим о бизнес-моделях и продуктовых возможностях на стыке AI и web3. Для записи может требоваться VPN.
Мой партнер по многим проектам написал пост с разбором регулирования LLM и AI в целом со стороны Евросоюза.
От себя хочется добавить, что, как и с криптой, регулировать можно сколько угодно, но как это энфорсить ни один регулятор мира не придумал. Большая языковая модель на основе Vicuna с 40В+ параметрами или блокчейн с приватными, анонимными, без-KYC платежами это не завод по обогащению урана — для их создания не нужно ничего. Это математика. Умножение матриц и операции по модулю. Для этих технологий, которые сравнимы по своему эффекту с атомным или биологическим оружием, нужен максимум старенький ноутбук и доступ в интернет на пару часов в день.
Их может сделать 19-летний студент из Монголии или профессор из Исландии в одиночку. Более того, практика показывает, что почти всегда крутые продукты вроде Bitcoin или Linux делаются в одиночку или очень маленькой группой людей.
Что, теперь США и ЕС должны вторгнуться в Монголию и стереть там все с лица земли?
Кстати, если вы слушали вчерашний урок и знаете как работает Chain-of-thought, то оцените вот этот подход: Microsoft research показал на примере модели с 13В параметров (~в 10 меньше чем GPT-3), что модель обученная на цепочке рассуждений, не важно от людей или от другой модели, может давать куда более классный результат чем та, что обучена на стандартном корпусе текста.
В частности, они показали, что обученная исключительно на CoT ответах от GPT-4 модель Vicuna-13B не уступает GPT-3 в задачах типа SAT, GMAT, GRE и других тестах "на здравый смысл".
А сегодня произошло прикольное: группа авторов выложила на HuggingFace открытый и бесплатный датасет с более чем 1 миллионом chain-of-thought ответов от GPT-4. В ближайшем будущем вангую тонны новых моделей и файнтьюнингов созданных на основе этих данных.
Я уже четыре месяца экспериментирую с AI для образования. Это невероятно мощная и вполне готовая технология.
Если мы не умрем все, то через 20 лет планета изменится до неузнаваемости, потому что ни одна из прошлых технологий в образовании никогда не могла дать столь стремительного прироста в знаниях у миллиардов людей почти что забесплатно.
1. AI меняет парадигму класса. Лекции и освоение нового материала теперь могут происходить дома, в телефоне или компьютере. Тьютор автоматически адаптируется под язык, культуру и уровень знаний ребенка. Он не вещает «в даль», а ведет интерактивный диалог, использует сразу несколько модальностей, таких как голос, видео, картинки (подготовленные или сделанные на лету), текст. Может в реальном времени проверять знания через эссе, упражнения, тесты и разговор. Все это будет стоить ~ 0,05$ за час уникального лекционного материала используя модель GPT-3,5-turbo.
2. Класс / семинар становится местом применения знаний на практике. Студенты вместе с учителем получат наибольшую ценность не от чтения нового, а от практической работы, обсуждения, социализации и вырабатывания практик совместной деятельности.
3. AI (такой как GPT-4) имеет почти полную картинку знаний человечества и может из коробки рассказать как о школьном курсе алгебры или литературы, так и сгенерировать полный научных ссылок и терминов текст на основе новых исследований в области микологии или квантовой элетродинамики. (Я сделал сайт , где вы можете убедиться сами). Но, кроме этого, через эмбединги вы всегда можете «дообучить» (а вернее «добавить в мозг») AI новую информацию. Например, корпоративный тренинг по этике и безопасности шашлычного бизнеса и давать это всем сотрудникам. AI будет неизменно точно отвечать на фактические вопросы используя именно ваши данные.
Ну, а пока что я веду бесплатный публичный курс про ИИ, промтинг и кейсы использования. Сегодня будет очередная лекция про продвинутые методы промтинга и управления ИИ. (Для регистрации у может требоваться VPN)
Где можно найти криптовалютные советы от профессионалов, без лишнего шума, манипуляций, курсов, "приваток" и псевдосигналов? Дело непростое - качественные каналы с ответственным отношением к делу в русскоязычном пространстве можно пересчитать по пальцам.
Мы решили создать свой. Наша команда, deltatheta/yieldfort, работает на фондовом рынке с 2007 года и в области криптовалюты с 2017 года. В прошлом году мы запустили биржу для децентрализованной торговли опционами на криптовалюту, а сейчас мы запускаем структурные продукты для Bitcoin/Ethereum с фиксированной доходностью - https://yieldfort.com/. На канале подробно рассказываем о нашем проекте, рынках опционов и трендах на основе реальных данных, а не на гаданиях и лунном календаре. Будем рады поделиться всем, что знаем, в обмен на ваше внимание и критику.
Сегодня, например, мы обсудим, что такое спотовая и фьючерсная торговля, а также расскажем о наших опасениях по крупнейшей экспирации опционов 30 июня, в эту пятницу.
#партнерский_пост
Пока AI-музыка заполнила топы всех чартов по прослушиваниям, а AI-агенты массово используются звездами шоу-бизнеса и политиками для ответов на звонки и сообщения, пока практически все игроделы используют генеративный ИИ для создания объектов и нарративов/сюжетов в играх, — одной из главных краткосрочных возможностей для применения ИИ является образование.
Не нужно ждать десятилетия (как с политикой или наукой) чтобы AI изменил образование.
В школе задачей образования является персонализация и вовлечение. В отличии от любого кожано-мясного учителя, AI не просто разбирается в любой теме и имеет (почти) всю полноту знаний человечества, но может сделать увлекательное путешествие из этого процесса. Он может объяснить любую тему десятком разных способов: придумывая новые неповторяющиеся истории, ведя сократический диалог, давая прикладые задачи, в визуальной, аудиальной или письменной форме. Если вы пропустили легендарного Райнидира с нашего прошлого урока бесплатного курса об ИИ, то посмотрите хотя бы это относительно примитивное демо. Все крупнейшие компании в образовании, включая Khan, Duolingo объявили о запуске ИИ-ассистента-учителя. Отдельные плагины для chatGPT запускают тьюторов с долговременной памятью и предзагруженным фактическим контентом для уроков.
Отдельно напишу про профессиональное обучение, менторинг и коучинг, но мгновенную пользу, которую вижу я — это использование LLM как партнера в работе. Программист, который научит тебя правильным паттернам и новым языкам. Маркетолог, который критически оценит твои идеи и предложит свои собственные. Даже токеномист, который сэкономит пару десятков тысяч долларов на генерации булшита для инвесторов.
В эту пятницу делаем очередной урок (VPN) в рамках бесплатного cryptoEssay1/videos">курса codex.town — в этот раз поговорим о продвинутых техниках промтинга. Жду не дождусь провести урок про то как строить сложных агентов, как аккуратно инвестировать в ИИ-продукты и ИИ+веб3.
Следующим этапом после того как мы отойдем от шока языковых моделей будут "always-on" агенты.
В особняке за $100M в Сан Матео прошел хакатон от AGI House на тему автономных агентов. Мы выжали из него самый сок, специально для вас.
От скептиков вы услышите: "я потратил 10 часов на этот ваш Auto-GPT и ничего, кроме внятно звучащей простыни текста, там нет". Причина такого искажения — в том, что люди смотрят на прошлые эксперименты (в основном, не сильно удачные), но игнорируют то, что строится уже сегодня или будет построено завтра.
Вот что кажется неизбежным в течении ближайших месяцев:
1. Плеяда крайне специализированных агентов со своим собственным инстурментарием. Вместо генерации текста по любому поводу и без — смесь вызова API, детерменированных функций и кода, написания кода и продвинутого промтинга (про это будем говорить на следующем вебинаре в пятницу).
2. Скамота и вчерашние криптотрейдеры, конечно, будут пытаться выжать из вас деньги под соусом агентов. Особенно, если вы хомяк или фонд. Но это не может позитивно или негативно влиять на мощь технологии.
3. Команда из NVIDIA показала Майнкрафт-агента, который прошел игру используя только диалог нескольких агентов (GPT-4 пишет код для автоматизации действий персонажа, GPT-3.5 критикует, в виде Embedding'ов хранится библиотека уже выученных навыков агента). Они называют это agent lifelong learning. Звучит как очень верная архитектура для еще более полезных агентов.
4. Создание агентов часто даже не требует программистов. Один промт для того, чтобы сгенерировать код агента. Второй, третий и вплоть до миллионного — чтобы задать его поведение. У вас не просто будут тысячи агентов, не уступающих человеку-ассистенту в телефоне, вы будете создавать таких сами по необходимости и бесплатно. "Создай мне агента, который напишет всем моим друзьям по поводу планов на выходные, проанализирует ответы, согласует время, забронирует время. А еще — обнови свой код, если кто-то из друзей придумает для тебя новый функционал".
5. Самые популярный кейсы, которые все пилят: медицина (консультация, сбор информации, расшифровка диагноза), юриспруденция (обучение агента на нормах права, корпоративных документах, стандартных процессах), наука (агенты для формулирования и проверки научных гипотез). Ну, не считая, прикладных ассистентов типа "найди инфу в интернете, сравни, купи, напиши текст".
Можно пойти у хомяка рейзить или инфобизнес корпоратам втюхать (кстати, сделаю для вашей компании индивидуальный курс), но можно и вместе пилить/рассуждать/тестировать как будет выглядеть мир, где у каждого в кармане тысяча агентов. Для этого и хотелось сделать codex.town
Marc Andreessen, VC в a16z (фонд на $35 млрд, больше только у Sequoia), web3-максималист + зарождал инет браузером Netscape (куплен AOL за $4 млрд в 1999), на борде Fb, дал интервью #368 на 3 часа “AI спасет мир” Lex Fridman (AI ученый в США из РФ/Украины):
LLM/языковые нейронки
- Все становится диалоговым, пусть мы и просим иногда URL’ы, инет начал с каталогов, потом 20 лет поиск, а AI дает новые пути взаимодействия со знанием, хз будет ли Google через 5-10 лет. Они 15 лет строили графы/выдачу ответов без кликов, а тут нагрянули LLM
- Люди хотят LLM без цензуры, но кто их будет выпускать, хакеры? Новые LLM будут использовать в тч диалоги с ними самими и это вопрос на $1 трлн: улучшат ли synthetic data LLM (тк signal is already there), но есть же океан возможных диалогов, которые не изучить на людях (типа как люди обсуждают учебники экономики в Твиттер, но мы это в 1000x ускорим)
- Глюки LLM? Это когда нам не нра, а когда нра - называем creativity=) Le Cun считает глюки не убрать, а отрасль верит, что засолвят
- Biase’ы? Идея Wikipedia я думал бред, но сработало же в выработке нейтрального тона (тыщи лет люди считали “вот она, истина”, но она же все время “плывет”..)
Золотая лихорадка
- Еще вопросы на трлн’ы $: побьют ли малые модели большие? Будут ли 2-3 god-level модели на весь мир? Идут дебаты оставить ли open source AI законным/regulatory capture от лоббистов. Победят техгиганты или стартапы (да, IBM придумали базы данных, но Oracle построил Larry Ellison; почему GPT сделали OpenAI, а не DeepMind/Гугл)? Битва гигантов (много GPU + sophistiction) vs. пробующие радикальные идеи стартапы - оба подхода дают успехи: и перфекционизм Apple, и incremental lean hackers как стартапы
- Роль фаундеров излишне романтизировали, нервно + крутые фаундеры часто с опытом своей индустрии, или год всесторонне изучали идею
Инет
- В 1989 в универе увидел быстрый инет+суперкомпы Cray = дало инсайты что грядет (а все думали, что ПК, emails - это для nerdy прогеров) и щас 5 млрд людей онлайн. Много вспоминает про Apple I, TCP IP драйвера в Win 3.1, роль JPEG в эпоху модемов, HTML, JavaScript (написан за лето), SSL (шифры были военной технологией) + “autistic” языки программирования
- Браузер = единое окно в мир на ПК, за ним что угодно + развивается во времени. Аппы = на телефонах, но и там соблазн лепить супераппы, как Маск в Twitter или китайцы
- Похоже, мы идем к open source everything, не только AI, тк productivity boost - он ваще, 1000x отдельному кодеру. Software - это современный философский камень
AI спасет мир
- Написал эссе (вот саммари Гершуни): страх AGI - просто мы христиане, ждем Апокалипсис + порождаем культы + саморадикализуемся. Это религиозные, не testable гипотезы. Von Neumann считал надо сразу ударить по СССР ядерной бомбой, ибо 3ья мировая неизбежна. А по факту, ядерное оружие убрало риски 3ей мировой. И даже где у нас и есть прогнозные модели - ну вы помните спектр жутких прогнозов про корону и policy makers избыточно полагались на этих [псевдо]-ученых, 8 млрд людей замоделить..
а
- Intelligence - это сбор, обработка, синтез инфо, и к чему не приложишь - все улучшает (умные люди во всех сферах жизни имеют лучшие outcomes - похоже, это гены, что печаль), но тут на сцене и появляется AI - на благо всех - каждому нарастит IQ
- Generative AI/фэйки? Ставишь другой AI - охранять своего ребенка=)
- Зарегулировать AI сложно, особенно с open source/люди кто делают прорывы есть где угодно/модель GPT уже тренят на мощном ПК итд
- Страхи неравенства от AI = неомарксизм, в реальности automation невероятно увеличил душевой ВВП, секрет всех CEO, что техногиганты хотят продать AI каждому на Земле
- Переучивание из-за новых работ больно, но уже 300 лет так живем, а луддиты были и будут
Китай? Их публичный AI план себе+миру: слежка, social score = 100% авторитаризм + Digital Silk Road
Благотворительность? Ларри Пейдж хочет все $ передать Маску
Книги? Читает про историю, US, политику, Ленина, French revolution, Рим, Грецию
Смысл жизни? Satisfaction/being useful, но я за imbalanced life/крен в productivity
Ровно 6 лет назад. И до сих пор люди пытаются привязать токен к обычной централизованной компании (которая обречена потом всю жизнь вместо продукта заниматься исключительно безуспешными попытками не дать токену обнулиться).
Тот факт, что пирамиды вроде LUNA и FTX рухнули и казино вроде Yield Farming и GameFi окончательно победили своих бедных посетителей, а регуляторы возбудились на этом фоне и начали спешно беспорядочно метаться — ничего из этого не играет существенной роли в реальности.
Смысл крипты и веб3 — создание институтов, а не создание продуктов. От того что ты добавишь голосование и токен в сервис такси, доставки еды и на форум, они не станут от этого лучше. Институты не поддаются регуляции, потому что это социальный консенсус относительного того как работает мир.
Аргументы скептиков все те же, что и шесть лет назад: «я токенизировал маршрутку и не стал миллиардером и еще мне штраф пришел, крипта скам» или «почему Паша (Дуров) разбогател на крипте, а я бомж?». Но цель крипты не ваше личное обогащение. Даже не в том чтобы создавать бизнес-модели продуктов, которые работают прекрасно и без крипты. Даже не в том, чтобы под этим соусом запустили CBDC-говно.
Агенты выросли.
Месяц назад многие впервые столкнулись с Auto-GPT и громко возмущались что, мол, агенты ваши эти ничего не умеют, только производят видимость разумных рассуждений.
Но люди не понимают, что та версия ИИ, которую они используют сегодня, это самое худшее (в смысле примтивное и простое), что они увидят в жизни. Это примерно как кошелек Mist для эфира (в 2015 - единственный, ужасный, требовал часов 8 синхронизации прежде чем отправить транзакцию). А вот пара примеров в каком направлении развиваются агенты:
GPT-Engineer, набравший умопомрачительные 25к звездочек на гитхабе, умеет писать код. Фишка этого агента в том, что он придирчиво и детально начнет спрашивать вас о том что конкретно вы хотите видеть в финальном приложении или сайте. Благодаря более детальному ТЗ, код в результате получается куда более точный и почти всегда работает (по моему опыту).
GPT-Author может написать вам книгу в 10-15 глав + красивую обложку за ~$1,5. Книги в общем и целом получаются нормальные, но пока что не Стивенсон или Достоевский. Как известно посадив миллион GPT-обезьян за печатные машинки, в итоге вы получите что-то, что продастся тиражом "Войны и Мира". Я делал много литературного контента через GPT, и абсолютно могу вам гарантировать, что он в состоянии создавать интересные сеттинги, героев, сюжетную арку — но высокое литературное качество требует от человека чуть больше, чем нажатие одной кнопки (пока).
P.S. Если помните, мы решили отменить платный курс по GPT потому что это позор, но зато я решил сделать бесплатные живые вебинары, домашние задания и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.
В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров НЕ ИЗ ТВИТТЕРА, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).
Новый подкаст! Мы поговорили с Андреем Великим, основателем Allbridge и легендарных криптохомяков.
В этом подкасте мы обсуждаем как Allbridge взломали и украли больше $500,000, и как команде удалось вернуть эти деньги. Так же говорим о приватности и регуляции в крипте, будущих трендах и вспоминаем историю рынка крипты в перспективе.
Смотреть: https://youtu.be/Nq2yBOaZESw
Слушать: https://podcasters.spotify.com/pod/show/cryptoessay/episodes/ep-e25v15d
AI стартапы, которые надо делать прямо сегодня
Но выбрать можно только один и делать нужно самому, потому что ровно через месяц (запомните этот твит) все эти идеи безнадежно устареют и будут казаться такой же бумерской никому не нужной дичью как сегодня Auto-GPT агенты.
1. Игра-бизнес-симулятор. Вы управляете стартапом, а GPT генерирует события в мире, такие как отзывы клиентов, судебные иски, политические новости. Ваша задача управлять компанией, чтобы та росла.
2. AI-mentor вместе с AI-tutor, которые сначала персонализированно генерируют curriculum и контент под ученика (используя смесь генеративного ИИ с размеченным вручную созданным качественным контентом). Потом тьютор помогает применить знания на практике, ответить на вопросы, разобраться в ньюансах.
3. ИИ-программист, который в отличии от CoPilot не просто заканчивает код функции, а постоянно мониторит репу, предлагает что и где подрефачить, может брать issues и самостоятельно их доводить до протестированного PR.
4. Цифровой друг-двойник. AI firend / girlfriend / boyfriend с персистентной личностью и характером и долговременной памятью.
5. Агент, который тратит тысячи часов на поиск наиболее выгодных предложений, чтобы вам не пришлось тратить это время. Он может сутками мониторить craigslist, авито, amazon, криптобиржи, рынки акций, чтобы найти наиболее выгодное предложение чего-то что вы хотите купить но не супер-срочно.
6. Персональный врач-коуч, который в реальном времени следит за вашими тренировками, диетой и общим самочувствием. Записывает и анализирует все результаты. Дает рекомендации и интерактивный дешборд по вашей бренной тушке в конце каждой недели.
Я на ~90% понимаю как именно каждый из этих продуктов должен работать (верхнеуровнево) и точно знаю, что это возможно уже сейчас. В сентябре в каждой из этих тем будет устоявшийся лидер (не исключено, что во всех — OpenAI / Google / Microsoft) и эти идеи будут казаться каким-то древним, давно никому не интересным бредом.
Code Interpreter — это, как минимум, GPT 4.5
Есть большие подозрения, что базовая модель сильно изменена для поддержки этого функционала, но даже без этого масштаб возможностей просто поражает.
Вы можете загрузить любой файл до 100Мб. Он понимает таблицы, звуковые файлы, картинки, дампы баз данных и даже целые архивированные папки. Можете загрузить видео файл, попросить GPT отделить от него аудиодорожку, транскрибировать, перевести на польский и выгрузить в виде файла субтитров. Все это возможно ОДНИМ промтом, за 10 секунд, почти бесплатно для любого человека на Земле.
А помните раньше люди платили деньги за OCR? Или за аналитику данных? Я попросил CI создать локальную базу данных (у него есть доступ к своей файловой системе) и сохранять туда результат распознавания текста с фотографии. Затем скормил ему несколько десятков фотографий документов. Попросил сохранить результат в базу данных в структурированной форме, чтобы затем иметь возможность делать визуализации или автоматический анализ данных.
Чувак из твиттера умудрился даже запустить GPT-2 ВНУТРИ чата с Code Interpreter.
Все это работает благодаря тому что GPT теперь умеет писать и запускать код внутри чата (вернее, контейнера). Он так же умеет находить ошибки в собственном коде и их исправлять.
Хотите разобраться в этой магии? Приходите в пятницу на лекцию про Code Interpreter. И не забудьте купить подписку.
Забавно как меняются прогнозы в зависимости от релизов новых продуктов. То, что эксперты McKinsey предсказывали возможным к концу 2040-х (написание текста не хуже чем человек, эмоциональный интеллект, креативность) в ИИ после выхода GPT-3 вдруг резко стало возможным к 2024-му.
Читать полностью…
Сегодня OpenAI выкатил для всех свой интерпретатор кода (нужно подписка Plus). Я попробовал несколько простых примеров.
1. Я загрузил логи чата из зума с последнего вебинара и попросил отсортировать сообщения по количеству реакций. Зум дает комментарии в очень странном формате, почти без структуры. В итоге GPT пришлось написать несколько совсем нетривиальных Python-скриптов с замороченными RegEx выражениями, чтобы получить нужные данные. Он успешно находил и правил ошибки в процессе (например, зум использует табы вместо пробелов для отделения даты от сообщения). В итоге через 5 итераций и 30 секунд времени у меня был готовый результат (см. сркиншот). Вместо ручной работы, которая заняла бы не меньше 30 минут.
2. Во втором случае я попросил GPT самому придумать тему для визуализации, написать код и показать результат: "I want to show GPT-4 Code Interpreter on my Telegram channel. You need to develop a unique and very visual experiment to showcase to an audience of people interested in technology. Use code to generate stunning visualization." Я так же загрузил первый попавшийся датасет, который показывает активность стримеров на платформе Twitch.
Дальше GPT предложил идею создать фрактал на основе этих данных. Он сделал несколько экспериментов с Mandelbrot set, Julia fractal и нафигачил несколько красивых фракталов для каждого стримера, где количество подписчиков со временем влияет на константу в формуле, которая задает фрактал. Бессмысленно, но очень красиво.
На следующей неделе будем разбирать более практические кейсы применения для анализа данных и написания кода.
А сегодня будет семинар про AI+web3, где мы обсудим:
- Использование ИИ для управления децентрализованными организациями
- Создание децентрализованной экономики автономных агентов
- Машинное обучение с нулевым разглашением (zk-ML) и приватность в ИИ
- Бизнес-кейсы, примеры продуктов, бизнес-модели AI+web3
Крипто рынок находится в странном состоянии, и его ждет интересное будущее.
С одной стороны, уровень адопшена криптоплатежей в мире достиг максимум за всю историю — и вряд ли будет снижаться в ближайшее время. С другой стороны, много довольно жетских, слоновпосуднойлавке шатаний регуляторов, которые не очень одупляют, но и не хотят банить "всё, для всех и навсегда", как РФ или Китай. Поэтому регуляторный шторм может привести к еще большему адопшену таких вещей, как платежи, стейблы и токенизация всяких там real-world assets (зачем не спрашивайте).
На рынке крипто-казино конфуз и затишье. Хомяк немного подустал от череды бесконечных неудач. Зачем нужен очередной чейн кроме как ради airdrop'ов? SUI, Aptos, и десятки EVM-скам-чейнов видят сотни тысяч ботов и фактически ноль живых приложений. Play2Earn как пирамида больше не существует. DeFi казино тоже подсдулось: фармилки ничего не дают, в лендингах очень низкая утилизация ликвидности, эфир весь застейкали и явно не планируют анстейкать еще годы.
Многие Web3 social, reputation, identity закрылись. Что жаль, потому что проекты многие были действительно качественные, но в основном уперлись в потолок между 1 и 10 тысяч DAU. Без роста не поднимешь денег. А еще внезапно выяснилось что если убрать крипту и добавить платежи с картой, хостинг у Амазона и логин с Гуглом, то конверсия пользователей становится лучше.
Все ждут мифического "булрана". Под это сегодня LITERALLY поднимаются раунды с формулировками "вот будет булран, мы запустим токен, и все вместе заработаем". Упуская конец фразы: "продавая цифровое казино". Я не думаю, что булран будет именно таким. Эфир, безусловно, будет стоить $10k, но не за три месяца. Потому что адопшен платежей и стейблов никак не влияет на скачок цен крипты — потому что экономика стейбла это фундаментально евро и доллар (а не limited supply coins), а платежи — это про скорость обращения денег, а не сапплай.
Прочитав это, некоторые могут даже расстроиться. Но, конечно, NFT для цифровых вещей никуда не денется, ончейн игры будут жить вместе с мобильными или консольными, даже DeFi, если избавится от aridrop'ов и фармилок, занимает критически важную нишу в мировой финансовой системе ДАЖЕ БЕЗ столь намоленного краха доллара.
За всей этой погоней за богатствами и тем как бы выпустить токены, чтобы они росли, а нам за это ничего не было мы забыли о том для чего существует крипта — о децентрализации институтов. И — О майн Б-г — создание децентрализованного института вообще не гарантирует лично вам сотню миллионов долларов просто так. Может быть, но не факт.
А что вы чувствуете по поводу значения крипты в эволюции нашей цивилизации?
В середине июня Европарламент опубликовал программный документ, который может стать основой будущего регулирования вопросов AI в ЕС (аннотация здесь). Сам документ уже не раз был разжеван среди специалистов, однако часто упускается одна важная вещь.
Европарламент разделяет генеративные модели и конечные продукты, которые ими пользуются. То есть регулятор видит разницу между условными GPT4 и ChatGРТ. Более того, в тексте предложений появляется термин Foundation model. В объем данного понятия входит любая модель, которая имеет собственную “картину мира”, то есть систему со взаимными связями и отношениями между явлениями. Хороший пример связей между отдельными понятиями можно увидеть в видео курса codex.town.
Поговаривают, что FM и продукты на их базе были выведены из high-risk моделей по умолчанию и будут оценены по тому эффекту, который они оказывают. То есть бюрократы ЕС намотали на ус публичные предложения OpenAI или просто испугались их ухода и репутационных рисков.
Эксперты справедливо иронизируют: ЕС собирается регулировать то, чего у них нет. Но есть еще более серьезная проблема. Редкая FM соответствует высоким стандартам нравственности, заложенным в проекте акта. Исследователи из CRFM Stanford University оперативно оценили текущие модели на предмет соответствия проекту и вынесли вердикт: даже и не близко. Некоторые параметры легко подтягиваются за пару лет, однако сомнения вызывает применение тех же правил к open-source моделям, провайдеры которых могут быть неспособны обеспечить необходимый уровень комплаенса.
Все уже было. Выводы сделаете сами.
“But the movement to legalize cars continued. They were popular on the mainland and other provinces were benefiting from tourism.
In 1913, newly elected Premier John A. Mathieson's party passed a resolution that would allow automobiles to be driven around three days a week — Mondays, Wednesdays and Thursdays”.
Публикую запись вчерашнего вебинара, где мы обсудили:
1:40 -- что такое хороший промт?
10:20 -- практические примеры
14:40 -- промт для создания промта
19:12 -- Zero-shot
28:29 -- Few-shot
33:00 -- Роли
35:30 -- Кейс: создание агента технический поддержки
44:40 -- Reason + Act
53:29 -- Chain of thought
58:38 -- Самосогласованность
1:00:10 -- Tree of thought
1:03:00 -- Function Calling
Запись доступна на Youtube и Spotify. Там же — предыдущие уроки и семинары курса. Следующий вебинар про AI+web3 в следующую пятницу. Запись там же. Детали на codex.town
GPT наконец становится полезен для реальных приложений и сложных продуктов. Как использовать GPT в реальной жизни, чтобы выжать из него максимум?
На последнем уроке в пятницу мы разбирали что такое промтинг, эмбединг и контекст. Только лишь промтингом вы добьетесь интересного чата, но не приложения, которое принесет вам миллиарды. Сегодня разберемся как использовать GPT в реальной жизни для более интересных кейсов.
Основной тезис — любой инструмент работает именной для своей задачи. Обычно при создании AI-powered бизнесов таких задач четыре:
1. Мне нужно персонализировать опыт под пользователя. Подбирать товары, музыку, контент, стиль общения под запросы пользователя. Для этого необходимо записывать историю чата, а затем использовать её для генерации ответов и индивидуального опыта. [как]
2. Для генерации текстовых ответов достаточно использовать базовую модель не усложняя процесс внешними данными и поиском по ним. Например, для анализа сентимента текста, рерайтинга, проверки, получения ответов на общие вопросы лучше всего справится именно базовая модель.
3. Для до-обучения модели (на самом деле никакого обучения не происходит) проще всего использовать эмбеддинги своих собственных данных. Процесс такой: генерируете эмбединг из текста (например, внутренние документы корпорации), сохраняете в chroma/pinecone, при запросе пользователя ищете с помощью ANN релеватный кусок текста и загружаете в контекст модели чата. В итоге модель будет генерировать фактический ответ пользователю на основе приватной информации. [как]
4. Для задач типа "скажи какая сейчас погода" или "посчитай результат уравнения" нейронные сети вообще почти бесполезны. Куда проще вызвать готовый API и получить детерминированный, четкий и, самое главное, правильный ответ. Для этого необходимо использовать function calling, который с этой недели доступен всем пользователям OpenAI Platform. [как]
В эту пятницу будет следующий урок курса — поговорим о продвинутых методах промтинга.
До сих пор трудно поверить, что (1) кто-то может воспринимать первый абзац это поста серьезно и (2) кто-то может воспринимать остальные абзацы этого поста несерьезно. GPT лучше умеет улавливать иронию.
Читать полностью…
TL;DR Чат - отвратительный UX. Модель сама должна задавать себе промты, зная что происходит в твоей жизни. Приватно имея доступ к сообщениям, действиям, словам, медицинским показателям, календарю, пожеланиям в реальном времени.
Читать полностью…
Запись вебинара о том зачем нужен GPT, как работает GPT и основах промтинга доступна на Youtube.
Тайм-коды:
0:03 -- Что здесь происходит? Что такое codex town? Что будет сегодня?
5:00 -- В чем ценность GPT для каждого человека. Примеры и кейсы
29:00 -- Как работает GPT?
32:25 -- Как работает embbedding? Что такое "поле смыслов"?
46:32 -- Как была "натренирована" модель GPT?
54:50 -- Отличие модели GPT и продукта ChatGPT
55:39 -- Системный промпт
59:09 -- Температура
1:02:00 -- Контекст и "память"
1:06:15 -- Завершение
Больше информации, запись на мероприятия: www.codex.town
Буду благодарен если пошарите ссылку с друзьями или сообществами, которым это может быть интересно.
Напоминаю, что завтра в 17:00 CET (18:00 МСК, 16:00 Лондон) пройдет вебинар в рамках серии уроков и воркшопов об ИИ для работы, бизнеса, творчества и инвестиций.
Завтра будет вводный урок про промтинг. Мы поговорим о том как работает GPT? Что такое токен, трансформер, архитектура нейронных сетей, контекст, температура, векторные эмбединги — всё простыми словами. Обсудим что такое промтинг и как стать профессионалом в этой области? Все это вместе с десятками разных практических и работающих примеров, так как автоматическая генерация промтов, контракты и договоры, код, маркетинговые материалы, финансовые документы, сказки, стихи и рассказы, продажи.
Во второй части вебинара (в другой день) будут примеры advanced промтинга, сложные стратегии и ещё больше живых примеров. В общей сложности у меня 100+ слайдов и в целом в них я расскажу почти все, что вы узнаете в других курсах о промтинге.
Бесплатно, регистрация тут (может требоваться VPN)
Внезапно выяснилось, что если обучать нейронки не на двачерах с реддита, а на качественных очень тщательно курируемых учебниках, то их производительность вырастет в разы.
phi, новая модель, превосходит по качеству GPT в области написания кода и некоторых других задачах, при этом имеет в сто раз меньше параметров и обьем данных для тренировки.
Я уже писал, что GPT мало кто понимает изнутри. Но мы точно знаем, что это очень неэффективная архитектура, которая вследствие довольно случайных решений разработчиков смогла интернализировать все знания и «понятийное поле» всех языков человечества, сохранив их в форме весов нейронов модели (чекпоинтов если по-умному). И это нифига не оптимальный способ кодирования всей информации о мире, а так же операций с этой информацией.
Так что в будущем модели будут куда более компактные, работающие локально, при этом имеющие куда более высокую производительность.
Кстати, напоминаю, что мы делаем серию бесплатных живых вебинаров и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.
В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).
Дано: AGI грядёт; человеческий труд не потеряет смысл, но потеряет ценность (потому что не будет ничего, что человек может делать на равне с машиной); маржинальная стоимость товаров и услуг стремится к нулю.
Наивное предположение: ну, раз так, значит будет UBI и государство всем раздаст денег.
Реальность (по мнению экспертов Твиттера): никаких бесплатных денег не будет. Производителям все равно будет нужен рынок сбыта. Товары действительно будут дешевле, но платить за них вы будете не зарплатой (ведь вы теперь permanently безработный), а активами — акциями Теслы и Биткоинами.
Вывод: у вас есть буквально 2-3 года, пока еще существует экономика, чтобы грязно разбогатеть в получить все деньги мира. После случится снепшот и экономическое неравенство будет сохранено на тысячи поколений вперед.
Одна эта логика для многих оправдывает мошенничество, инфобизнес, продажу токенов, ибо перед лицом смерти Экономики (очевидно, неизбежным) любая копеечка — последняя.
Я писал, что есть те, кто идут в технологии ради прогресса, а есть те, кто ради хайпа. Но есть еще одна грань этого феномена.
Вот берём крипту, ДАО или ИИ. С поверхности это можно рассматривать просто как новые рынки, как способность создавать более качественные, крутые, дешевые и эффективные продукты. Способ удешевления решения работ (JTBD) и способ создания более эффективных бизнесов.
Но большинство по-настоящему крутых людей в этих областях, которых я знаю — они тут не ради продуктов и бизнесов. Они видят в технологиях долгожданный способ изменения мира. Где бизнес может быть одним из инструментов, но не обязательно.
Веб3 позволяет избавиться от неэффективных ручных иерархических институтов, типа государств, корпораций. ИИ позволяет убрать из процесса принятия решений, особенно коллективных, личные эмоции, мотивации, коррупцию, жадность. Биткоин помогает построить экономику, в которой ни один человек или организации не решает правила игры за закрытыми дверям (олды вспомнят SegWit митинг на Consensus-2017). ДАО позволяет создавать тесные, искренние сообщества, где люди делают то, что по-настоящему любят, помогают и выручают друг друга в сложных ситуациях, совместно растут.
Это далеко не все преимущества, и не обязательно что все этом лучится прям завтра. Но именно это, а не желание грязно разбогатеть (пусть и упорно работая) двигает прогресс и самых талантливых людей в индустрии.