6917
Децентрализация, веб3, криптография, криптовалюты, экономика, DAO, децентрализованная репутация Автор: @sgershuni
AI это как секс. Это мультипликатор людей. Плюс, это весело.
Только, в отличии от создания новых людей, ИИ дает уже существующим возможность достигать большего.
Не умеешь программировать, но хочешь сделать приложение? ChatGPT поможет. Не умеешь рисовать, но хочешь авторские иллюстрации для своей книги или статьи? Это вопрос 2-3 центов GPU-compute. Есть идея для фильма или музыки, но нет технических навыков? Не проблема, просто опиши идею.
Для почти любого бизнеса на планете AI является единственным самым эффективным инструментом для решения той проблемы, ради которой бизнес и создавался. Позволяя масштабировать продукт, не увеличивая стоимость за счет масштабирования существующих людей и их производительности, а не найма новых.
Кстати, в эту пятницу будет очередная уже четвертая лекция в рамках открытого и бесплатного курса об использовании ИИ для работы и творчества. В этот раз поговорим о бизнес-моделях и продуктовых возможностях на стыке AI и web3. Для записи может требоваться VPN.
Мой партнер по многим проектам написал пост с разбором регулирования LLM и AI в целом со стороны Евросоюза.
От себя хочется добавить, что, как и с криптой, регулировать можно сколько угодно, но как это энфорсить ни один регулятор мира не придумал. Большая языковая модель на основе Vicuna с 40В+ параметрами или блокчейн с приватными, анонимными, без-KYC платежами это не завод по обогащению урана — для их создания не нужно ничего. Это математика. Умножение матриц и операции по модулю. Для этих технологий, которые сравнимы по своему эффекту с атомным или биологическим оружием, нужен максимум старенький ноутбук и доступ в интернет на пару часов в день.
Их может сделать 19-летний студент из Монголии или профессор из Исландии в одиночку. Более того, практика показывает, что почти всегда крутые продукты вроде Bitcoin или Linux делаются в одиночку или очень маленькой группой людей.
Что, теперь США и ЕС должны вторгнуться в Монголию и стереть там все с лица земли?
Кстати, если вы слушали вчерашний урок и знаете как работает Chain-of-thought, то оцените вот этот подход: Microsoft research показал на примере модели с 13В параметров (~в 10 меньше чем GPT-3), что модель обученная на цепочке рассуждений, не важно от людей или от другой модели, может давать куда более классный результат чем та, что обучена на стандартном корпусе текста.
В частности, они показали, что обученная исключительно на CoT ответах от GPT-4 модель Vicuna-13B не уступает GPT-3 в задачах типа SAT, GMAT, GRE и других тестах "на здравый смысл".
А сегодня произошло прикольное: группа авторов выложила на HuggingFace открытый и бесплатный датасет с более чем 1 миллионом chain-of-thought ответов от GPT-4. В ближайшем будущем вангую тонны новых моделей и файнтьюнингов созданных на основе этих данных.
Я уже четыре месяца экспериментирую с AI для образования. Это невероятно мощная и вполне готовая технология.
Если мы не умрем все, то через 20 лет планета изменится до неузнаваемости, потому что ни одна из прошлых технологий в образовании никогда не могла дать столь стремительного прироста в знаниях у миллиардов людей почти что забесплатно.
1. AI меняет парадигму класса. Лекции и освоение нового материала теперь могут происходить дома, в телефоне или компьютере. Тьютор автоматически адаптируется под язык, культуру и уровень знаний ребенка. Он не вещает «в даль», а ведет интерактивный диалог, использует сразу несколько модальностей, таких как голос, видео, картинки (подготовленные или сделанные на лету), текст. Может в реальном времени проверять знания через эссе, упражнения, тесты и разговор. Все это будет стоить ~ 0,05$ за час уникального лекционного материала используя модель GPT-3,5-turbo.
2. Класс / семинар становится местом применения знаний на практике. Студенты вместе с учителем получат наибольшую ценность не от чтения нового, а от практической работы, обсуждения, социализации и вырабатывания практик совместной деятельности.
3. AI (такой как GPT-4) имеет почти полную картинку знаний человечества и может из коробки рассказать как о школьном курсе алгебры или литературы, так и сгенерировать полный научных ссылок и терминов текст на основе новых исследований в области микологии или квантовой элетродинамики. (Я сделал сайт , где вы можете убедиться сами). Но, кроме этого, через эмбединги вы всегда можете «дообучить» (а вернее «добавить в мозг») AI новую информацию. Например, корпоративный тренинг по этике и безопасности шашлычного бизнеса и давать это всем сотрудникам. AI будет неизменно точно отвечать на фактические вопросы используя именно ваши данные.
Ну, а пока что я веду бесплатный публичный курс про ИИ, промтинг и кейсы использования. Сегодня будет очередная лекция про продвинутые методы промтинга и управления ИИ. (Для регистрации у может требоваться VPN)
Где можно найти криптовалютные советы от профессионалов, без лишнего шума, манипуляций, курсов, "приваток" и псевдосигналов? Дело непростое - качественные каналы с ответственным отношением к делу в русскоязычном пространстве можно пересчитать по пальцам.
Мы решили создать свой. Наша команда, deltatheta/yieldfort, работает на фондовом рынке с 2007 года и в области криптовалюты с 2017 года. В прошлом году мы запустили биржу для децентрализованной торговли опционами на криптовалюту, а сейчас мы запускаем структурные продукты для Bitcoin/Ethereum с фиксированной доходностью - https://yieldfort.com/. На канале подробно рассказываем о нашем проекте, рынках опционов и трендах на основе реальных данных, а не на гаданиях и лунном календаре. Будем рады поделиться всем, что знаем, в обмен на ваше внимание и критику.
Сегодня, например, мы обсудим, что такое спотовая и фьючерсная торговля, а также расскажем о наших опасениях по крупнейшей экспирации опционов 30 июня, в эту пятницу.
#партнерский_пост
Пока AI-музыка заполнила топы всех чартов по прослушиваниям, а AI-агенты массово используются звездами шоу-бизнеса и политиками для ответов на звонки и сообщения, пока практически все игроделы используют генеративный ИИ для создания объектов и нарративов/сюжетов в играх, — одной из главных краткосрочных возможностей для применения ИИ является образование.
Не нужно ждать десятилетия (как с политикой или наукой) чтобы AI изменил образование.
В школе задачей образования является персонализация и вовлечение. В отличии от любого кожано-мясного учителя, AI не просто разбирается в любой теме и имеет (почти) всю полноту знаний человечества, но может сделать увлекательное путешествие из этого процесса. Он может объяснить любую тему десятком разных способов: придумывая новые неповторяющиеся истории, ведя сократический диалог, давая прикладые задачи, в визуальной, аудиальной или письменной форме. Если вы пропустили легендарного Райнидира с нашего прошлого урока бесплатного курса об ИИ, то посмотрите хотя бы это относительно примитивное демо. Все крупнейшие компании в образовании, включая Khan, Duolingo объявили о запуске ИИ-ассистента-учителя. Отдельные плагины для chatGPT запускают тьюторов с долговременной памятью и предзагруженным фактическим контентом для уроков.
Отдельно напишу про профессиональное обучение, менторинг и коучинг, но мгновенную пользу, которую вижу я — это использование LLM как партнера в работе. Программист, который научит тебя правильным паттернам и новым языкам. Маркетолог, который критически оценит твои идеи и предложит свои собственные. Даже токеномист, который сэкономит пару десятков тысяч долларов на генерации булшита для инвесторов.
В эту пятницу делаем очередной урок (VPN) в рамках бесплатного cryptoEssay1/videos">курса codex.town — в этот раз поговорим о продвинутых техниках промтинга. Жду не дождусь провести урок про то как строить сложных агентов, как аккуратно инвестировать в ИИ-продукты и ИИ+веб3.
Следующим этапом после того как мы отойдем от шока языковых моделей будут "always-on" агенты.
В особняке за $100M в Сан Матео прошел хакатон от AGI House на тему автономных агентов. Мы выжали из него самый сок, специально для вас.
От скептиков вы услышите: "я потратил 10 часов на этот ваш Auto-GPT и ничего, кроме внятно звучащей простыни текста, там нет". Причина такого искажения — в том, что люди смотрят на прошлые эксперименты (в основном, не сильно удачные), но игнорируют то, что строится уже сегодня или будет построено завтра.
Вот что кажется неизбежным в течении ближайших месяцев:
1. Плеяда крайне специализированных агентов со своим собственным инстурментарием. Вместо генерации текста по любому поводу и без — смесь вызова API, детерменированных функций и кода, написания кода и продвинутого промтинга (про это будем говорить на следующем вебинаре в пятницу).
2. Скамота и вчерашние криптотрейдеры, конечно, будут пытаться выжать из вас деньги под соусом агентов. Особенно, если вы хомяк или фонд. Но это не может позитивно или негативно влиять на мощь технологии.
3. Команда из NVIDIA показала Майнкрафт-агента, который прошел игру используя только диалог нескольких агентов (GPT-4 пишет код для автоматизации действий персонажа, GPT-3.5 критикует, в виде Embedding'ов хранится библиотека уже выученных навыков агента). Они называют это agent lifelong learning. Звучит как очень верная архитектура для еще более полезных агентов.
4. Создание агентов часто даже не требует программистов. Один промт для того, чтобы сгенерировать код агента. Второй, третий и вплоть до миллионного — чтобы задать его поведение. У вас не просто будут тысячи агентов, не уступающих человеку-ассистенту в телефоне, вы будете создавать таких сами по необходимости и бесплатно. "Создай мне агента, который напишет всем моим друзьям по поводу планов на выходные, проанализирует ответы, согласует время, забронирует время. А еще — обнови свой код, если кто-то из друзей придумает для тебя новый функционал".
5. Самые популярный кейсы, которые все пилят: медицина (консультация, сбор информации, расшифровка диагноза), юриспруденция (обучение агента на нормах права, корпоративных документах, стандартных процессах), наука (агенты для формулирования и проверки научных гипотез). Ну, не считая, прикладных ассистентов типа "найди инфу в интернете, сравни, купи, напиши текст".
Можно пойти у хомяка рейзить или инфобизнес корпоратам втюхать (кстати, сделаю для вашей компании индивидуальный курс), но можно и вместе пилить/рассуждать/тестировать как будет выглядеть мир, где у каждого в кармане тысяча агентов. Для этого и хотелось сделать codex.town
Marc Andreessen, VC в a16z (фонд на $35 млрд, больше только у Sequoia), web3-максималист + зарождал инет браузером Netscape (куплен AOL за $4 млрд в 1999), на борде Fb, дал интервью #368 на 3 часа “AI спасет мир” Lex Fridman (AI ученый в США из РФ/Украины):
LLM/языковые нейронки
- Все становится диалоговым, пусть мы и просим иногда URL’ы, инет начал с каталогов, потом 20 лет поиск, а AI дает новые пути взаимодействия со знанием, хз будет ли Google через 5-10 лет. Они 15 лет строили графы/выдачу ответов без кликов, а тут нагрянули LLM
- Люди хотят LLM без цензуры, но кто их будет выпускать, хакеры? Новые LLM будут использовать в тч диалоги с ними самими и это вопрос на $1 трлн: улучшат ли synthetic data LLM (тк signal is already there), но есть же океан возможных диалогов, которые не изучить на людях (типа как люди обсуждают учебники экономики в Твиттер, но мы это в 1000x ускорим)
- Глюки LLM? Это когда нам не нра, а когда нра - называем creativity=) Le Cun считает глюки не убрать, а отрасль верит, что засолвят
- Biase’ы? Идея Wikipedia я думал бред, но сработало же в выработке нейтрального тона (тыщи лет люди считали “вот она, истина”, но она же все время “плывет”..)
Золотая лихорадка
- Еще вопросы на трлн’ы $: побьют ли малые модели большие? Будут ли 2-3 god-level модели на весь мир? Идут дебаты оставить ли open source AI законным/regulatory capture от лоббистов. Победят техгиганты или стартапы (да, IBM придумали базы данных, но Oracle построил Larry Ellison; почему GPT сделали OpenAI, а не DeepMind/Гугл)? Битва гигантов (много GPU + sophistiction) vs. пробующие радикальные идеи стартапы - оба подхода дают успехи: и перфекционизм Apple, и incremental lean hackers как стартапы
- Роль фаундеров излишне романтизировали, нервно + крутые фаундеры часто с опытом своей индустрии, или год всесторонне изучали идею
Инет
- В 1989 в универе увидел быстрый инет+суперкомпы Cray = дало инсайты что грядет (а все думали, что ПК, emails - это для nerdy прогеров) и щас 5 млрд людей онлайн. Много вспоминает про Apple I, TCP IP драйвера в Win 3.1, роль JPEG в эпоху модемов, HTML, JavaScript (написан за лето), SSL (шифры были военной технологией) + “autistic” языки программирования
- Браузер = единое окно в мир на ПК, за ним что угодно + развивается во времени. Аппы = на телефонах, но и там соблазн лепить супераппы, как Маск в Twitter или китайцы
- Похоже, мы идем к open source everything, не только AI, тк productivity boost - он ваще, 1000x отдельному кодеру. Software - это современный философский камень
AI спасет мир
- Написал эссе (вот саммари Гершуни): страх AGI - просто мы христиане, ждем Апокалипсис + порождаем культы + саморадикализуемся. Это религиозные, не testable гипотезы. Von Neumann считал надо сразу ударить по СССР ядерной бомбой, ибо 3ья мировая неизбежна. А по факту, ядерное оружие убрало риски 3ей мировой. И даже где у нас и есть прогнозные модели - ну вы помните спектр жутких прогнозов про корону и policy makers избыточно полагались на этих [псевдо]-ученых, 8 млрд людей замоделить..
а
- Intelligence - это сбор, обработка, синтез инфо, и к чему не приложишь - все улучшает (умные люди во всех сферах жизни имеют лучшие outcomes - похоже, это гены, что печаль), но тут на сцене и появляется AI - на благо всех - каждому нарастит IQ
- Generative AI/фэйки? Ставишь другой AI - охранять своего ребенка=)
- Зарегулировать AI сложно, особенно с open source/люди кто делают прорывы есть где угодно/модель GPT уже тренят на мощном ПК итд
- Страхи неравенства от AI = неомарксизм, в реальности automation невероятно увеличил душевой ВВП, секрет всех CEO, что техногиганты хотят продать AI каждому на Земле
- Переучивание из-за новых работ больно, но уже 300 лет так живем, а луддиты были и будут
Китай? Их публичный AI план себе+миру: слежка, social score = 100% авторитаризм + Digital Silk Road
Благотворительность? Ларри Пейдж хочет все $ передать Маску
Книги? Читает про историю, US, политику, Ленина, French revolution, Рим, Грецию
Смысл жизни? Satisfaction/being useful, но я за imbalanced life/крен в productivity
Ровно 6 лет назад. И до сих пор люди пытаются привязать токен к обычной централизованной компании (которая обречена потом всю жизнь вместо продукта заниматься исключительно безуспешными попытками не дать токену обнулиться).
Тот факт, что пирамиды вроде LUNA и FTX рухнули и казино вроде Yield Farming и GameFi окончательно победили своих бедных посетителей, а регуляторы возбудились на этом фоне и начали спешно беспорядочно метаться — ничего из этого не играет существенной роли в реальности.
Смысл крипты и веб3 — создание институтов, а не создание продуктов. От того что ты добавишь голосование и токен в сервис такси, доставки еды и на форум, они не станут от этого лучше. Институты не поддаются регуляции, потому что это социальный консенсус относительного того как работает мир.
Аргументы скептиков все те же, что и шесть лет назад: «я токенизировал маршрутку и не стал миллиардером и еще мне штраф пришел, крипта скам» или «почему Паша (Дуров) разбогател на крипте, а я бомж?». Но цель крипты не ваше личное обогащение. Даже не в том чтобы создавать бизнес-модели продуктов, которые работают прекрасно и без крипты. Даже не в том, чтобы под этим соусом запустили CBDC-говно.
Агенты выросли.
Месяц назад многие впервые столкнулись с Auto-GPT и громко возмущались что, мол, агенты ваши эти ничего не умеют, только производят видимость разумных рассуждений.
Но люди не понимают, что та версия ИИ, которую они используют сегодня, это самое худшее (в смысле примтивное и простое), что они увидят в жизни. Это примерно как кошелек Mist для эфира (в 2015 - единственный, ужасный, требовал часов 8 синхронизации прежде чем отправить транзакцию). А вот пара примеров в каком направлении развиваются агенты:
GPT-Engineer, набравший умопомрачительные 25к звездочек на гитхабе, умеет писать код. Фишка этого агента в том, что он придирчиво и детально начнет спрашивать вас о том что конкретно вы хотите видеть в финальном приложении или сайте. Благодаря более детальному ТЗ, код в результате получается куда более точный и почти всегда работает (по моему опыту).
GPT-Author может написать вам книгу в 10-15 глав + красивую обложку за ~$1,5. Книги в общем и целом получаются нормальные, но пока что не Стивенсон или Достоевский. Как известно посадив миллион GPT-обезьян за печатные машинки, в итоге вы получите что-то, что продастся тиражом "Войны и Мира". Я делал много литературного контента через GPT, и абсолютно могу вам гарантировать, что он в состоянии создавать интересные сеттинги, героев, сюжетную арку — но высокое литературное качество требует от человека чуть больше, чем нажатие одной кнопки (пока).
P.S. Если помните, мы решили отменить платный курс по GPT потому что это позор, но зато я решил сделать бесплатные живые вебинары, домашние задания и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.
В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров НЕ ИЗ ТВИТТЕРА, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).
Новый подкаст! Мы поговорили с Андреем Великим, основателем Allbridge и легендарных криптохомяков.
В этом подкасте мы обсуждаем как Allbridge взломали и украли больше $500,000, и как команде удалось вернуть эти деньги. Так же говорим о приватности и регуляции в крипте, будущих трендах и вспоминаем историю рынка крипты в перспективе.
Смотреть: https://youtu.be/Nq2yBOaZESw
Слушать: https://podcasters.spotify.com/pod/show/cryptoessay/episodes/ep-e25v15d
Хотите сделать себе такие же красивые QR коды? Еще вчера вам пришлось бы 1,5 часа возиться с двумя связанными ControlNet’ами в Stable Diffusion, но уже сегодня это можно сделать одной кнопкой, без настроек и программирования, прямо в браузере.
Все рабочие, последний QR ведет на этот канал, шарьте :)
Запись вебинара доступна в Youtube: https://www.youtube.com/watch?v=r-zYWz_Gy6I
Тайм коды:
00:10 -- Рассказ об истории, возможностях, мифах относительно ИИ
19:15 -- О цифровой форме жизни
25:23 -- о вариантах будущего
35:50 -- Кейсы использования GPT в бизнесе
1:10:01 -- Ответы на вопросы
Новый выпуск подкаста, сегодня говорим с DevRel менеджером и ведущим разработчиком протокола ICP (Dfinity).
Сегодня мы говорим о том, чем ICP отличается от блокчейнов (куда дешевле, производительнее, более масштабируемый чем Ethereum, Solana, Avalanche) и от облачных сервисов (безопаснее, децентрализованнее чем Google, AWS). Обсудим как устроена работа протокола внутри, что это дает в плане пользовательского опыта, адопшена и опыта разработки. Поговорим про сообщество ICP, грантовую программу и как каждый из вас может поучаствовать в этом проекте.
В гостях у меня Дарья Чернозуб и Роман Кашицын, смотрите в Youtube, слушайте на сервисах подкастов:
YouTube: https://youtu.be/SKDeKP57dgM
Podcasts: https://spotifyanchor-web.app.link/e/VnFClYOHCAb
Мета в образовании.
Я писал, что где-где, а в образовании эффект AI не может быть переоценен. Это учитель, который владеет примерно всем знанием человечества, на люьбом языке, бесконечно терпелив, может подстраиваться под уровень любого студента. Я даже пару месяцев назад сделал продукт, в котором AI создает и проводит курсы, лекции, семинары на любую тему (бесплатно для всех).
Но мир пошел дальше. Ребята научились использовать GPT для массовой штамповки Udemy курсов. А вот рассказ о том, что большинство курсов про ChatGPT делает ChatGPT. Но это временный арбитраж, до тех пор, пока сам Udemy имеет смысл.
В самом ближайшем будущем, подобно тому как Гугл дал нам возможность получить доступ к любой информации, AI даст нам доступ к любой информации в нужном контексте, в формате разговора с мудрым наставником и желающим помочь ассистентом.
Фактические знания и умение их получать больше не является конкурентным преимуществом. Преимуществом является интуиция относительно того что возможно и умение создавать/использовать нужные инструменты для этого.
Кстати, именно про это наш курс Codex.town, который стартует уже на следующей неделе. Он поможет понять что с помощью ИИ возможно сейчас, что будет через год, а что — ещё не скоро. И какие инструменты стоит использовать, если вы не разработчик. А на этой неделе будет бесплатный вебинар как раз про возможности ИИ для ежедневной работы. Обещаю, его делали живые люди.
Крипто рынок находится в странном состоянии, и его ждет интересное будущее.
С одной стороны, уровень адопшена криптоплатежей в мире достиг максимум за всю историю — и вряд ли будет снижаться в ближайшее время. С другой стороны, много довольно жетских, слоновпосуднойлавке шатаний регуляторов, которые не очень одупляют, но и не хотят банить "всё, для всех и навсегда", как РФ или Китай. Поэтому регуляторный шторм может привести к еще большему адопшену таких вещей, как платежи, стейблы и токенизация всяких там real-world assets (зачем не спрашивайте).
На рынке крипто-казино конфуз и затишье. Хомяк немного подустал от череды бесконечных неудач. Зачем нужен очередной чейн кроме как ради airdrop'ов? SUI, Aptos, и десятки EVM-скам-чейнов видят сотни тысяч ботов и фактически ноль живых приложений. Play2Earn как пирамида больше не существует. DeFi казино тоже подсдулось: фармилки ничего не дают, в лендингах очень низкая утилизация ликвидности, эфир весь застейкали и явно не планируют анстейкать еще годы.
Многие Web3 social, reputation, identity закрылись. Что жаль, потому что проекты многие были действительно качественные, но в основном уперлись в потолок между 1 и 10 тысяч DAU. Без роста не поднимешь денег. А еще внезапно выяснилось что если убрать крипту и добавить платежи с картой, хостинг у Амазона и логин с Гуглом, то конверсия пользователей становится лучше.
Все ждут мифического "булрана". Под это сегодня LITERALLY поднимаются раунды с формулировками "вот будет булран, мы запустим токен, и все вместе заработаем". Упуская конец фразы: "продавая цифровое казино". Я не думаю, что булран будет именно таким. Эфир, безусловно, будет стоить $10k, но не за три месяца. Потому что адопшен платежей и стейблов никак не влияет на скачок цен крипты — потому что экономика стейбла это фундаментально евро и доллар (а не limited supply coins), а платежи — это про скорость обращения денег, а не сапплай.
Прочитав это, некоторые могут даже расстроиться. Но, конечно, NFT для цифровых вещей никуда не денется, ончейн игры будут жить вместе с мобильными или консольными, даже DeFi, если избавится от aridrop'ов и фармилок, занимает критически важную нишу в мировой финансовой системе ДАЖЕ БЕЗ столь намоленного краха доллара.
За всей этой погоней за богатствами и тем как бы выпустить токены, чтобы они росли, а нам за это ничего не было мы забыли о том для чего существует крипта — о децентрализации институтов. И — О майн Б-г — создание децентрализованного института вообще не гарантирует лично вам сотню миллионов долларов просто так. Может быть, но не факт.
А что вы чувствуете по поводу значения крипты в эволюции нашей цивилизации?
В середине июня Европарламент опубликовал программный документ, который может стать основой будущего регулирования вопросов AI в ЕС (аннотация здесь). Сам документ уже не раз был разжеван среди специалистов, однако часто упускается одна важная вещь.
Европарламент разделяет генеративные модели и конечные продукты, которые ими пользуются. То есть регулятор видит разницу между условными GPT4 и ChatGРТ. Более того, в тексте предложений появляется термин Foundation model. В объем данного понятия входит любая модель, которая имеет собственную “картину мира”, то есть систему со взаимными связями и отношениями между явлениями. Хороший пример связей между отдельными понятиями можно увидеть в видео курса codex.town.
Поговаривают, что FM и продукты на их базе были выведены из high-risk моделей по умолчанию и будут оценены по тому эффекту, который они оказывают. То есть бюрократы ЕС намотали на ус публичные предложения OpenAI или просто испугались их ухода и репутационных рисков.
Эксперты справедливо иронизируют: ЕС собирается регулировать то, чего у них нет. Но есть еще более серьезная проблема. Редкая FM соответствует высоким стандартам нравственности, заложенным в проекте акта. Исследователи из CRFM Stanford University оперативно оценили текущие модели на предмет соответствия проекту и вынесли вердикт: даже и не близко. Некоторые параметры легко подтягиваются за пару лет, однако сомнения вызывает применение тех же правил к open-source моделям, провайдеры которых могут быть неспособны обеспечить необходимый уровень комплаенса.
Все уже было. Выводы сделаете сами.
“But the movement to legalize cars continued. They were popular on the mainland and other provinces were benefiting from tourism.
In 1913, newly elected Premier John A. Mathieson's party passed a resolution that would allow automobiles to be driven around three days a week — Mondays, Wednesdays and Thursdays”.
Публикую запись вчерашнего вебинара, где мы обсудили:
1:40 -- что такое хороший промт?
10:20 -- практические примеры
14:40 -- промт для создания промта
19:12 -- Zero-shot
28:29 -- Few-shot
33:00 -- Роли
35:30 -- Кейс: создание агента технический поддержки
44:40 -- Reason + Act
53:29 -- Chain of thought
58:38 -- Самосогласованность
1:00:10 -- Tree of thought
1:03:00 -- Function Calling
Запись доступна на Youtube и Spotify. Там же — предыдущие уроки и семинары курса. Следующий вебинар про AI+web3 в следующую пятницу. Запись там же. Детали на codex.town
GPT наконец становится полезен для реальных приложений и сложных продуктов. Как использовать GPT в реальной жизни, чтобы выжать из него максимум?
На последнем уроке в пятницу мы разбирали что такое промтинг, эмбединг и контекст. Только лишь промтингом вы добьетесь интересного чата, но не приложения, которое принесет вам миллиарды. Сегодня разберемся как использовать GPT в реальной жизни для более интересных кейсов.
Основной тезис — любой инструмент работает именной для своей задачи. Обычно при создании AI-powered бизнесов таких задач четыре:
1. Мне нужно персонализировать опыт под пользователя. Подбирать товары, музыку, контент, стиль общения под запросы пользователя. Для этого необходимо записывать историю чата, а затем использовать её для генерации ответов и индивидуального опыта. [как]
2. Для генерации текстовых ответов достаточно использовать базовую модель не усложняя процесс внешними данными и поиском по ним. Например, для анализа сентимента текста, рерайтинга, проверки, получения ответов на общие вопросы лучше всего справится именно базовая модель.
3. Для до-обучения модели (на самом деле никакого обучения не происходит) проще всего использовать эмбеддинги своих собственных данных. Процесс такой: генерируете эмбединг из текста (например, внутренние документы корпорации), сохраняете в chroma/pinecone, при запросе пользователя ищете с помощью ANN релеватный кусок текста и загружаете в контекст модели чата. В итоге модель будет генерировать фактический ответ пользователю на основе приватной информации. [как]
4. Для задач типа "скажи какая сейчас погода" или "посчитай результат уравнения" нейронные сети вообще почти бесполезны. Куда проще вызвать готовый API и получить детерминированный, четкий и, самое главное, правильный ответ. Для этого необходимо использовать function calling, который с этой недели доступен всем пользователям OpenAI Platform. [как]
В эту пятницу будет следующий урок курса — поговорим о продвинутых методах промтинга.
До сих пор трудно поверить, что (1) кто-то может воспринимать первый абзац это поста серьезно и (2) кто-то может воспринимать остальные абзацы этого поста несерьезно. GPT лучше умеет улавливать иронию.
Читать полностью…
TL;DR Чат - отвратительный UX. Модель сама должна задавать себе промты, зная что происходит в твоей жизни. Приватно имея доступ к сообщениям, действиям, словам, медицинским показателям, календарю, пожеланиям в реальном времени.
Читать полностью…
Запись вебинара о том зачем нужен GPT, как работает GPT и основах промтинга доступна на Youtube.
Тайм-коды:
0:03 -- Что здесь происходит? Что такое codex town? Что будет сегодня?
5:00 -- В чем ценность GPT для каждого человека. Примеры и кейсы
29:00 -- Как работает GPT?
32:25 -- Как работает embbedding? Что такое "поле смыслов"?
46:32 -- Как была "натренирована" модель GPT?
54:50 -- Отличие модели GPT и продукта ChatGPT
55:39 -- Системный промпт
59:09 -- Температура
1:02:00 -- Контекст и "память"
1:06:15 -- Завершение
Больше информации, запись на мероприятия: www.codex.town
Буду благодарен если пошарите ссылку с друзьями или сообществами, которым это может быть интересно.
Напоминаю, что завтра в 17:00 CET (18:00 МСК, 16:00 Лондон) пройдет вебинар в рамках серии уроков и воркшопов об ИИ для работы, бизнеса, творчества и инвестиций.
Завтра будет вводный урок про промтинг. Мы поговорим о том как работает GPT? Что такое токен, трансформер, архитектура нейронных сетей, контекст, температура, векторные эмбединги — всё простыми словами. Обсудим что такое промтинг и как стать профессионалом в этой области? Все это вместе с десятками разных практических и работающих примеров, так как автоматическая генерация промтов, контракты и договоры, код, маркетинговые материалы, финансовые документы, сказки, стихи и рассказы, продажи.
Во второй части вебинара (в другой день) будут примеры advanced промтинга, сложные стратегии и ещё больше живых примеров. В общей сложности у меня 100+ слайдов и в целом в них я расскажу почти все, что вы узнаете в других курсах о промтинге.
Бесплатно, регистрация тут (может требоваться VPN)
Внезапно выяснилось, что если обучать нейронки не на двачерах с реддита, а на качественных очень тщательно курируемых учебниках, то их производительность вырастет в разы.
phi, новая модель, превосходит по качеству GPT в области написания кода и некоторых других задачах, при этом имеет в сто раз меньше параметров и обьем данных для тренировки.
Я уже писал, что GPT мало кто понимает изнутри. Но мы точно знаем, что это очень неэффективная архитектура, которая вследствие довольно случайных решений разработчиков смогла интернализировать все знания и «понятийное поле» всех языков человечества, сохранив их в форме весов нейронов модели (чекпоинтов если по-умному). И это нифига не оптимальный способ кодирования всей информации о мире, а так же операций с этой информацией.
Так что в будущем модели будут куда более компактные, работающие локально, при этом имеющие куда более высокую производительность.
Кстати, напоминаю, что мы делаем серию бесплатных живых вебинаров и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.
В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).
Дано: AGI грядёт; человеческий труд не потеряет смысл, но потеряет ценность (потому что не будет ничего, что человек может делать на равне с машиной); маржинальная стоимость товаров и услуг стремится к нулю.
Наивное предположение: ну, раз так, значит будет UBI и государство всем раздаст денег.
Реальность (по мнению экспертов Твиттера): никаких бесплатных денег не будет. Производителям все равно будет нужен рынок сбыта. Товары действительно будут дешевле, но платить за них вы будете не зарплатой (ведь вы теперь permanently безработный), а активами — акциями Теслы и Биткоинами.
Вывод: у вас есть буквально 2-3 года, пока еще существует экономика, чтобы грязно разбогатеть в получить все деньги мира. После случится снепшот и экономическое неравенство будет сохранено на тысячи поколений вперед.
Одна эта логика для многих оправдывает мошенничество, инфобизнес, продажу токенов, ибо перед лицом смерти Экономики (очевидно, неизбежным) любая копеечка — последняя.
Я писал, что есть те, кто идут в технологии ради прогресса, а есть те, кто ради хайпа. Но есть еще одна грань этого феномена.
Вот берём крипту, ДАО или ИИ. С поверхности это можно рассматривать просто как новые рынки, как способность создавать более качественные, крутые, дешевые и эффективные продукты. Способ удешевления решения работ (JTBD) и способ создания более эффективных бизнесов.
Но большинство по-настоящему крутых людей в этих областях, которых я знаю — они тут не ради продуктов и бизнесов. Они видят в технологиях долгожданный способ изменения мира. Где бизнес может быть одним из инструментов, но не обязательно.
Веб3 позволяет избавиться от неэффективных ручных иерархических институтов, типа государств, корпораций. ИИ позволяет убрать из процесса принятия решений, особенно коллективных, личные эмоции, мотивации, коррупцию, жадность. Биткоин помогает построить экономику, в которой ни один человек или организации не решает правила игры за закрытыми дверям (олды вспомнят SegWit митинг на Consensus-2017). ДАО позволяет создавать тесные, искренние сообщества, где люди делают то, что по-настоящему любят, помогают и выручают друг друга в сложных ситуациях, совместно растут.
Это далеко не все преимущества, и не обязательно что все этом лучится прям завтра. Но именно это, а не желание грязно разбогатеть (пусть и упорно работая) двигает прогресс и самых талантливых людей в индустрии.
Вы наверняка уже прочитали этот пейпер, ведь он вышел в доисторические времена по меркам ИИ. А именно, позавчера.
GPT-4 дали несколько тысяч новых задач из университетского курса MIT по математике, программированию, электромеханике, ни одна из которых гарантированно не участвовала в данных для тренировки модели.
GPT-4 из коробки справился на 90% без каких-либо дополнительных действий, НО
Самое интересное, что использование всех описанных в этом канале ранее методов промтинга дали результат в 100% верно решенных задач. В таблице приведена разница в качестве в зависимости от механик промптинга. Вот краткое их описание:
1. Few-shot: промт с примерами решения других задач
2. CoT: просьба модель озвучить свою цепочку рассуждений и мыслей
3. ToS: я описал тут
4. Программирование: вместо решения задачи, LLM пишет код, который детерминированно решает эту и подобные задачи
5. Критик: модель критикует сама себя
6. Эксперт: модель «косплеит» эксперта («представь что ты профессор ЭмАйТи по математике…»)
Вывод: это не модель тупая, а промптер криворукий
Напоминаю, что сегодня в 16 по Лондону, 17 СЕТ, 18 МСК пройдёт вебинар «Бесконечный потенциал ИИ», где мы разберем теорию и практику применения ИИ в бизнесе, творчестве, образовании, создании продуктов. Рассмотрим пару интересных практических кейсов и поговорим о том что это значит для разных инсдутрий. Бесплатно для всех, запись будет.
https://lu.ma/codextown
Делюсь личным. Радостные новости для всех кто хейтил и следил за нашей попыткой сделать курс — мы решили его отменить, и вот почему:
1. Я пришел к выводу, что любое образование хорошее только если оно бесплатное. Поэтому все материалы, лекции, вебинары, воркшопы, которые планировались в рамках курса будут доступны публично.
Контент должен быть таким, чтобы он менял жизнь. Этого у нас пока нет. А научиться промптингу, генерации музыки и видео по тексту, или как запускать langchain агентов можно и на ютубе.
2. Я не вижу ценности в этом продукте для большинства. Грубо говоря, есть две целевые группы — (1) люди с опытом ML-разработки и фаундеры ML-стартапов, которым интересно что-то продвинутое и практическое, (2) новички, попробовавшие 2-3 промпта в ChatGPT. Первым нужен mastermind+консалтинг, для вторых лучший контент всегда бесплатный.
3. Русскоязычный рынок образования микроскопически мал. Тратить столько же сил ради 0,5-1% рынка нет смысла.
4. Все это стоило 1,5 месяца работы и кучу денег. Такой себе опыт, но так правильно. Продаж было достаточно для прибыльности курса, но в конечно итоге:
— Я не могу делать курс для новичков и брать деньги за то, что доступно в твиттере и на реддите. Я уверен, на эту поляну набегут скамеры и фуфлологи всех мастей.
— Я понял, что пока что уникального контента недостаточно на полноценный многомесячный курс, но зато хватит на серию вебинаров на тему агентов, AI+web3, истории ИИ и может еще что-то.
Всем оплатившим деньги уже вернули или вернем сегодня-завтра (нужны обратные адреса тех, кто платил криптой, детали у вас в почте).
Бесплатный вебинар состоится в этот четверг в 18:00 МСК / 17:00 СЕТ / 16:00 Лондон, где мы расскажем о том как и куда развивается ИИ и покажем крутейшие уникальные кейсы по использованию GPT в работе, выстраданные и вымученные на личном опыте. Можете добавить в свой календарь.
Я вижу два кардинально разных подхода к технологиям.
(1) Всё — хайп. Нет прямо связи между технологиями и уровнем жизни. Технологии это просто нарратив для развода хомяка. Делаем ICO пока туда несут деньги. Минтим NFT пока их скучают спекулянты. Публикуем списки «лучших промптов в истории человечества» пока это добавляет подписчиков. Бежим продавать чехлы для VR очков как только про них заявили в Apple.
(2) Всё — прогресс. Тот факт, что почти все ICOшники обнулились никак не принижает ценности первых истории человечества нецензурируемой программируемой денежной и финансовой системы. То что торговцы NFT не смогли никак не уничтожает возможность впервые напрямую владеть цифровыми активами и вещами. AI-инфлюенсеры не уменьшают революционности продуктового и технологического прорыва, которые совершили LLM за последние пару лет. Даже VR неизбежен, как бы кто не завидовал Тиму Куку и не хейтил Цукерберга — просто мозг и глаз это инженерно нифига не простые штуки.
Причем к первой категории относятся не только дубайские скамеры, но и многие регуляторы и даже просто консерваторы. Потому что они где-то глубоко внутри уверены, что их картина мира верна и что мир неизменен. Что любая инновация — это приходящая мода, а структурные изменения невозможны (или возможны, но после нас).