6917
Децентрализация, веб3, криптография, криптовалюты, экономика, DAO, децентрализованная репутация Автор: @sgershuni
Github CoPilot, самый успешный продукт в генеративном ИИ на сегодняшний день, преодолел $100M ARR: 50% всего кода на гитхабе написано с помощью копайлота, больше 1М платящих пользователей (среди них 20 тыс корпоративных клиентов) и ~55% прирост скорости производительности разработчика (по их внутренней оценке). Несколько месяцев назад они перешли со специализированной модели Codex (не Town) на общую gpt-3.5-instruct, что сделало продукт еще быстрее.
В продолжение темы генерации кода, пару мыслей от CPO Github:
— в ближайшем будущем от модели описания функций и процедур в коде, мы перейдем к модели "цели и ограничения": задачей инженера будет описать (голосом, текстом, json'ом) цели приложения и существующие ограничения (использовать typescript, хостить на AWS, деплоить через k8s)
— RAG и визуализации. Гитхаб будет искать за вас нужные места в архитектуре приложения и генерировать правильные запросы или даже промты к самому себе. А для пользователя это будет что-то вроде интерфейса с кучей слайдеров по уровню или наличию функционала.
Важное дополнение, что CoPilot это хоть и крутой, но очень общий продукт. Я видел куда более крутые решения специализированные на анализе PR, написании тестов, ревью кода на безопасность.
Даже если вы не программист, то все равно призываю вас задуматься о том как это изменит процессы, косты и скорость выполнения любых технических задач в вашей области деятельности.
Кстати, Gen AI меняет мир. Чтобы оставаться на волне этого тренда, вступайте в сообщество и подписывайтесь на лекции/воркшопы codex.town
Новое демо GPT-4V (мультимодальный GPT)
Вчера в СФ прошла конференция про генеративный ИИ. Куча анонсов, мощных идей, умных людей. OpenAI, понятное дело, рассказывали о своих новых мультимодальных моделях. И показали несколько, раньше не опубликованных, демо. Хочу поделиться ими с вами.
Демка, которая по их заверениям занимает несколько десятков строчек кода, берет видео с ютуба и делает несколько простых, но совместно очень ценных действий:
1. Whisper транскрибирует длинное видео
2. GPT-V анализирует каждый фрейм видео и делает эмбеддинг обьектов из видео
3. GPT-4 пишет блог пост по теме видео
4. И, наконец, DALL-E берет эмбединги видео и генерирует слайды к каждой секции поста, которые графически и текстом представляют основную идею.
Прикрепляю пример результата, который так же можно посмотреть тут. Ключевая фишка в том, что этот результат получен не каким-то сложным специализированным приложением, а несколькими вызовами OpenAI API.
Так что представьте себе что мы сможем сделать через 6-12 месяцев, когда весь мир и лучшие компании этого мира получат доступ к API.
Выложил запись вебинара «ИИ для корпораций и бизнеса». Я разобрал 15+ лучших практик внедрения генеративного ИИ в бизнес-процессы или для создания продуктов для работы над вашими данными. Мы обсудили в чем недостаток LLM в чистом виде, как решить эти проблемы с помощью добавления ваших корпоративных или персональных данных в ИИ. Мы поговорили почему наивная реализация этой идеи довольно плохо работает. Разобрали 15+ хаков и практик улучшения генерации ответов на основе ваших данных. Поговорили о бизнес-кейсах для продуктов, бек-офиса и личной продуктивности. Вебинар не технический, но я постарался дать как можно больше конкретики, ссылок на продукты, гайды, туториалы, чтобы это можно было реализовать самостоятельно.
Презентация, запись лекции и серии вопросов и ответов доступна последним постом в Boosty. Кстати, на этой неделе запускается наше закрытое сообщество с чатом, еженедельными встречами, мини-группами и базой полезного контента. Расскажите, интересно ли вам в таком поучаствовать и что вы от него ожидаете?
Делаю большую 3-часовую презентацию / сценарий для серии YouTube роликов про практическое использование ИИ в реальной жизни. Цель — вести максимально актуальный список хаков, идей, кейсов, практик применения LLM с упором на продуктивность и качество жизни.
Каждый день в общении с друзьями и знакомыми я встречаю какие-то новые классные хаки. Причём, чаще всего люди не из ML/AI сферы придумывают самые неожиданные решения, просто потому что у них нет внутренних ограничений относительно того на что способен GPT.
Призываю вас делиться идеями, практиками, промтами в комментариях. Для затравки несколько моих примеров:
1. Использую голосовой формат GPT каждое утро для составления to-do списка на день. GPT знает контекст всех моих задач и статус из выполнения в предыдущие дни (потому что все это в одном чате) и предлагает для каждой задачи способ её решения. Допустим, если задача "написать письмо Ване", то GPT сразу в to-do листе напишет примерный текст.
2. Custom instructions. Первое что я туда добавляю это всегда "be concise & blunt with your responses" чтобы он рубил правду-матку с плеча. Но теперь еще экспериментирую с добавлением туда задачи для GPT быть коучем и имена конкретных исторических персон чей стиль или философия были бы полезны в ответах (Feynman, Wilber, etc.)
3. Poor's man chain-of-density. Цепочка плотности бедняка. Найденный в твиттере промт, который помогает GPT 2 раза переписывать текст в стиле определенного человека, параллельно критикуя свою работу и исправляя её. Вот промт + пример. Идея CoD описана тут.
Пишите ваши примеры, идеи, хаки. Обязательно проверенные в реальной жизни, но из любой области: от личной терапии до бизнеса, от творчества до развлечения на вечеринках. Укажу ссылку на вас в ролике и презентации, если хотите.
Тут посмотрите что подвезли.
Я вообще был жутко скептически настроен в плане наличия адекватного контента про ИИ в русском телеграме, но у Сергея просто чумовой канал. Он невероятно крут в повествовании и идеях. Абсолютно заслуженный лидер среди всех каналов про ИИ. Даже не хуже твиттера!
Есть только одна вещь в мире больше, чем скорость и масштаб развития ИИ — это человечная глупость и инертность.
С одной стороны стоят те, кто ждут Конца Экономики. Конец затронет только кожаных и только тех, кто не является собственником средств производства роботов и нейронок. Но вторые смогу нормально существовать только пока для этого производства нужны будут кожаные руки и белковые мозги (то есть, совсем недолго). Все что вы сделаете или заработаете в ближайшие пару лет — это то, с чем вы останетесь доживать жизнь. Плюс, бесплатная подписка на порно-метавселенную и базовый доход от очередной партии коммунистов или гигакорпорации, которая будет в тот момент самой популистской среди биомасс.
С другой стороны, до сих пор встречаются те, у кого «а ничего же не случилось». Верстают бюджеты на пять лет вперед, нанимают Джунов-юристов и копирайтеров, планируют привлекать деньги под «новую темку с ИИ и блокчейном». В их мире все еще держится на каких-то мифических связях и interpersonal skills. Ждут понижения ставок ФРС. И прочими способами активно сигнализируют, что нас-то это не коснется. Что людям все равно будет нужно то, что они делают.
И то, и другое показывает, что детский максимализм это проигрышная стратегия. Но вот взрослой, то бишь разумной, никто пока предложить не смог.
Магия — это эмерджентность.
Всю жизнь наиболее благоговейный трепет в меня вселяли места и идеи, в которых переходит фазовый переход между разными законами взаимодействия систем.
Например, в компьютерах самое магическое место — это то, где происходит переход между очень конкретными физическими проводимости и абстрактными конпециями, такими как операции процессора и софт. Как из электричества мы получаем пиксели на экране? Как примитивный транзистор (или несколько их миллиардов) создают логические системы и виртуальные операции с данными?
Вот то же самое и нейронными сетями. Цифровой нейрон — это всего лишь одно число, коэффициент, параметр гигантской матрицы. Но при этом при их (миллиардов из них) умном (на самом деле нет) соединении появляются такие свойства как интеллект и даже форма сознания. Не магия ли?
В эту пятницу говорим о том как делать ботов и агентов, работающих на основе ваших данных для реального промышленного / бизнес применения.
Часто у наивной реализации бота с базой знаний или загруженными документами есть ряд недостатков:
- бот не отвечает на вопрос, хоть ответ и есть в базе знаний
- бот путается или отвечает невпопад
- агент находит неверный ответ
- данные устаревают
- ответ занимает слишком много времени
- ответ неправильно отформатирован.
На этом вебинаре мы рассмотрим стратегии и примеры решения подобных проблем:
1. Какие кейсы бывают для RAG (ответа по данным компании или пользователя)?
2. Как работает “наивная” реализация и какие у нее есть проблема
3. Как добиться более качественных ответов через структурирование данных
4. Как правильно делать оценку (evaluation) ответов
5. Как фильтровать данные
6. Какие стратегии лучше работают для каких типов данных?
7. Какие инструменты и продукты существуют для решения бизнес-задач?
Регистрация: https://lu.ma/codextown
Для подписчиков Boosty ссылка на участие и запись мероприятия будет прямо на странице Boosty.
Интернет всполошился. Вчера вышел 166-страничный репорт о возможностях GPT-4V. Оказалось, что GPT не только помножил на ноль почти все продукты в области NLP за последние годы, но и с ноги ворвался в Computer Vision, где сидели бородатые завсегдатаи, пили пиво и были уверены что "уж нас-то ваши эти трансформеры не тронут" (с).
Оказалось, что помимо простого "опиши что на картинке" GPT имеет глубокое понимание визуального и текстового контекста. Умеет определять темпоральный контекст. Знает как распознать и корректно идентифицировать эмоции людей. Прекрасно решает взиуальные логические задачи. Ставит корректные диагнозы по КТ и МРТ снимкам. Может дообучаться, в том числе на few-shot примерах прямо в промте. Анализирует графики. Распознает ингредиенты в блюде. Распознает конкретных людей. Понимает схемы, диаграммы, формулы, в том числе нарисованные от руки. Умеет выполнять навигацию по графическим элементам дизайна. Умеет принимать решения о навигации робота в реальном мире по двухмерной фотографии.
Но, главное, это вообще не какая-то другая модель. Это часть GPT-4 и, соотвественно, все что уже работает внутри GPT (промтинг, RAG, агенты) автоматически работает и для GPT-4V.
Для меня этот пейпер звучит как дикая фантастика 20-летней перспективы. Если бы OpenAI не анонсировал, что продукт будет доступен всем через месяц. А многие в твиттере уже имеют к нему доступ.
Вот тут Леша из Ai Happens рассказывает о примерах для бизнеса, а Сергей из Метаверсище и ИИще про кейсы в психологии и эмоциальном интеллекте.
В этом видео я расскажу вам, как команда ИИ-агентов могут придумывать, валидировать бизнес-идеи, и даже сделают за вас MVP. Это простая демка, целью которой является показать куда похожие технологии будут развиваться в ближайшем будущем. Я публикую все промты, исходники, ссылки и детали этого и других проектов в Boosty.
Читать полностью…
О хайпе
В крипту ломились миллионы, думая что для них это способ изменить свою жизнь. А именно: грязно разбогатеть с минимальными усилиями.
AI изучают и тестируют те же миллионы, думая что это способ изменить свою жизнь.
Только в крипте 99% хомяков всегда теряют свои вложения. А AI для 99% людей окажет существенное влияние на их благополучение, карьеру, умение приспосабливаться к новому миру.
Не говорю, что крипта/веб3 менее важны или чем-то хуже. Просто типичного хомяка «покупаю ради иксов»/«взял кредит, купил сигналы»/«продам квартиру, куплю обезьяну» там ничего кроме лишения всех накоплений не ждало и не ждёт.
UPD. Речь не о том, что идея крипты скам. Там тысячу умнейших и любимейших людей и крутых проектов. А о том, что для хомяка (типичного пользователя) крипта — это про то как побыстрее отдать деньги более беспринципным и хитрым.
Под разумными идеями (децентрализация финансовой системы и социальных институтов) хомякам продают TON и LUNA. А они покупают, потому что хотят ламбу, и пелена жадности застилает сознание.
В любой ИИ-тусовке дискурс глобально сводится к двум партиям:
1. Радикал-акселерационисты: «кожаные — это переходный период, с помощью которого AGI создает сам себя из атомов». Нам на смену приходит новая форма жизни. Закат Homo Sapiens и рассвет чего-то нового, куда более масштабного и могущественного, чем мы. Наша цель — самоотдача ради ускорения Пришествия.
2. Старики кричащие на облака: «машина не в состоянии быть более креативной, эмпатийной, умной чем человек». Мы — богоизбранный народ, только эволюция и органика может дать действительно полноценную жизнь и интеллект. Наша задача — сохранить наш мир.
Важно понимать, что эти примеры — крайности, к которым относится по 1% участников дискурса. Остальные где-то внутри спектра.
А где здесь вы?
Классный канал про работу с продуктом, но на примере живого нецифрового бизнеса.
Ребята за 2 года построили с нуля крупнейшую сеть self-service кофеен в России, с 2022 года развивают ту же бизнес-модель в Грузии и Дубае. Основатель и СЕО компании уже 1,5 года каждый день рассказывает обо всех инсайтах и факапах на пути к цели в 50 000 точек по всему миру.
Интересно про грамотную сборку и быстрый тест гипотез, команду, постановку целей и мотивацию, открыто и честно про факапы, ещё интереснее — про то, как при всём этом кайфовать от жизни и просто быть счастливым.
Ребята масштабируются через привлечение инвестиций — предлагают инвестировать в кофейни в Дубае из любой точки мира. Сами всем управляют, инвесторы только получают часть прибыли каждый месяц или квартал в рублях, долларах или крипте. Доходность — 24,9% годовых в долларах, остальные цифры в канале.
Подписывайтесь, если интересно изучить или просто понаблюдать за тем, как ребята из России дизраптят старый добрый рынок кофе с собой)
#партнерский_пост
ИИ меняет структуру экономики. Для кого-то (подписчиков Gershuni в первую очередь!) это гигантская возможность добиться небывалых высот и внутренней гармонии; для других — риск остаться без работы или с 1/10 от своей зарплаты. Давайте разберём на конкретных примерах, цифрах и данных что нас ждёт.
80% всех профессий и работ в США изменяться благодаря LLM; в каждой из них как минимум 10% задач будут автоматизированы (выполняться с минимальным участием человек без потери качества) с помощью ИИ. А для 19% всех сотрудников в экономике автоматизация затронет более 50% ежедневных задач. [источник]
Великий Уравнитель в действии: чем выше уровень образования и оклад, тем больше автоматизации появится в профессии. Для бариста, сантехника или парикмахера уровень почти нулевой; для аналитика Wall Street или юрисконсульта — очень высокий. Для профессий с средней з/п в $30k/год задачи подверженные автоматизации составляют около 5% (по разным моделям); для з/п от $80k — это 50%.
Всего, учитывая текущий уровень развития технологий LLM, авторы ожидают автоматизацию ~15% всех задач в экономике (без потери качества) и до 47% учитывая не просто ChatGPT, а новые продукты созданные на основе LLM.
Авторы статьи приходят к выводу, что LLM это технология общего назначения (типа как электричество) и большинство кейсов применения еще просто не появились или находятся на очень ранней стадии. Со временем, технология будет улучшаться и эти цифры поменяются.
Запомните, дети: сегодня мы используем самую тупую, никчемную и примтивную версию generative AI за всю нашу жизнь.
Опубликовал новое видео про сервис, которые позволяет за $0.1 (а для вас — бесплатно) сделать уже не просто примитивный вебсайт, а реально работающий, пусть и несложный, MVP. MAGE позволяет на основании одного промта сгенерировать веб-сайт с авторизацией, произвольной логикой, терпимым дизайном и базой данных, а так же сразу задеплоить его для публичного доступа.
Это все ещё можно отнести к категории демо, но мой проект с первого раза заработал без ошибок и имел неплохой функционал. В видео показываю пример и рассказываю как именно работает инструмент.
Помните, пару месяцев назад gpt мог сгенерировать пустую страницу без логики и с ультра-базовым дизайном. С тех пор прогресс примерно как +6 месяцев опыта у программиста. И это при том, что базовая модель осталась той же — изменилась только архитектура агентской системы поверх. Скоро у нас будет универсальный ИИ-джун, а через Х лет писать код руками будет вообще бессмысленно (кроме как для развлечения).
Вчера написал а потом стёр пост про трейдинг. Потому что там глубокого инсайта не было, а только эмоции. Но у меня всё ещё болит.
Хочу поговорить об этичном бизнесе. Бывает ли такое? Нужно ли пытаться поженить ежа (максимизацию прибыли) и ужа (ценности)? Почему у некоторых это болит (я продаю скам и страдаю), а другим в кайф (я богатею и радуюсь)? И где мы с вами в этой борьбе?
Речь не только о госконтрактах, наркотиках и оружии. Например, я считаю большую часть трейдинга и эдтеха крайне неэтичным бизнесом.
Инвестиции, за исключением инфраструктуры (брокеры, биржи, индексы) или крайне крутые фонды (VC, PE, quant), — это (как кто-то верно заметил в комментариях, сорри, стер и забыл имя) придумывание новых игр и развлечений для хомяка. Для иррациональных, верящих в удачу и технический анализ для второклассников лудоманов. Вот вам бинарные опционы. Звучит умнО, а значит никто не подумает что скам. А вот новейшая супер-технология, мемкоины и NFT. А вот портфельный управляющий, почти что HNWI с положительным ROI на pre-IPO synthetic assets, благодаря сэкономленным деньгам со школьных обедов.
Итого: инвестиции легко продавать, потому что ты обещаешь сделать клиента богатым. А он, пусть и знает что чудес не бывает, но очень хочет верить…
Эдтех это еще хуже. Там продается не только богатство, но успех, ум, статус. Я много работал в образовании и пока еще не нашел примеров, где платное образование было бы лучше публично доступного. Исключение — сообщество. HBS и GSB это не послушать лекцию Билла Гейтса, а про алумнай тусовку и открытые двери, благодаря бренду (который Harvard и Stanford поддерживают не столько качеством учебы, но строгостью отбора). Ну и профессии где практика руками необходима: хирурги, дантисты, пианисты.
Любое образование онлайн — это продажа вам вашей собственной лени. Ни одна онлайн школа не предоставляет более качественный материал, где тот, что доступен на ютубе, в твиттере или на кворе. Но их задача не учить, а собрать с вас дань. Потому что вы им платите за то что вам лень ботать самому или, чаще, за вашу неуверенность в себе. Вы могли бы заботать, но не считаете себя достаточно талантливым или достойным.
Эта критика, кстати, относится и ко мне самому. Codex.town (наши вебинары и закрытое сообщество) — это до какой-то степени образование, но я пытаюсь это делать так, чтобы не держать слушателей за идиотов и строить общение на равных. Хотя… смотря на некоторые другие продукты по ИИ-образованию, понимаешь, что можно качество снизить, а цену поднять в 10 раз и всё равно это будет на уровне рынка. Но это скорее временный арбитраж, чем возможность.
А вы за этику или за баблос? Или против ложных дихотомий? Что чувствуете?
Как я в брокере регистрировался (небольшая история из жизни)
Короче, решил открыть аккаунт в каком-нибудь брокере. Причина: большая часть value generation & efficiency gains от генеративного ИИ и близких технологий осядет в энтерпрайзе. Лучшая ставка на энтерпрайз это акции больших тех компаний (MSFT, AMZN, META, GOOG) или ETF‘ы, состоящие по большей части из них. Может, не самая уникальная или высокорискованная стратегия, но зато понятная и простая.
Так вот, написал в фб, мол какой брокер норм? Посоветовали IB. Процесс регистрации — ад. Все глючит, лагает, отваливается, документы загружаются с третьего раза. Если вы когда-то настраивали холодный кошелек BTC/ETH и регистрировались на Коинбейсе/Кракене, то представьте себе х10 мучений. Через несколько часов, 3 скачанных приложения, 5+ подписанных документов на три сотни страниц и зачем-то установленную Java на Мак, аккаунт все-таки был открыт.
Комментарии в фб не останавливались и перешли в личку. Там несколько ДЕСЯТКОВ человек предложили мне купить курсы, вебинары и консультации по финансовой грамотности. Я даже немного расстроился, ведь у меня оба образования финансовые, но, слава Б-гу, по специальности удалось не работать ни дня.
До сих пор гадаю: а что может за деньги (даже большие) насоветовать консультант? Как выбрать между BlackRock, ARK и iShares? Так у них одинаковые фонды с одинаковой структурой до доли процента акций в портфеле. Или как налоги (не) платить? Так чтобы налоги платить надо сначала что-то заработать.
И тут меня осенило. И все мои ночи недоразумений и дни охреневаний за последние 10 лет работы в веб3 и крипте вдруг показались такими бессмысленными. Я преисполнился и осознал природу хомяка.
Оказывается, инвестиции на языке хомяка — это не ставка на какое-то (пусть даже рискованное) изменение на рынке, рост продаж или дивидендов компании. Даже не ставка на структурные изменения в экономике. Это Гэмблинг.
Актив должен иксануть просто потому что. Без «но». Должен и все. Цена всегда держится на уровне 50. Без объяснений. Какие там риск/профит и P/E? Это для умных. У нас все просто. Сюда деньги суй, там доходность жди. А потом еще суй. А из такого мира можно и фьючерсы на форексе в плечом х50 покупать. Отвичаю, топовая темка.
Теперь понятно откуда инвестиции в мемкоины, вера что твит Илон Маска это только им доступная альфа (им, и еще 150 млн подписчиков, но это не важно). Что «бычка вот-вот начнётся», а сигналы из телеграм канала за 75 рублей в месяц — это главный её индикатор.
Мораль такова:
- хомяк неистребим и неисповедим
- традиционные брокеры это дно и UX у них дно
- generative AI так или иначе создаст триллионы ценности в экономике (я, кстати, уверен что моя стратегия не самая оптимальная, поэтому буду благодарен за другие советы)
«Ловушка Гудхарта» для AGI
«Революция ChatGPT», которая произошла в 2023, резко сократила прогнозные оценки экспертов сроков, отделяющих нас от создания искусственного интеллекта, ни в чем интеллектуально не уступающего никому из людей (AGI). При этом, как это ни парадоксально, но существующие методы тестирования пока не способны хоть с какой-то достоверностью диагностировать достижение ИИ-системами уровня AGI. В настоящей работе обсуждается вопрос преодоления проблемы несовершенства современных способов тестирования ИИ-систем. В частности, излагается гипотеза о принципиальной невозможности решения проблемы обнаружения AGI, как с помощью психометрических тестов, так и методов оценки способности машин имитировать ответы людей, из-за так называемой «ловушки Гудхарта» для AGI. Рассмотрен ряд предложений по обходу «ловушки Гудхарта» для AGI способами, предлагаемыми в новейших исследовательских работах, с учетом первых результатов произошедшей «революции ChatGPT». В последней части статьи сформулирована связка из трех эвристических гипотез, позволяющих, в случае их верности, кардинально решить проблему «ловушки Гудхарта» для AGI и тем самым стать геймченджером на пути создания AGI.
Этот текст - аннотация моего нового лонгрида “«Ловушка Гудхарта» для AGI: проблема сравнительного анализа искусственного интеллекта и интеллекта человека“. Он родился в результате моей попытки более строго и методичного анализа вопросов, рассмотрение которых было начато в предыдущем лонгриде «Фиаско 2023». Итогом стал лонглонгрид со списком ссылок в 50+ работ. И потому местом его публикации на сей раз стал журнал “Ученые записки Института психологии Российской академии наук“.
Что может мотивировать читателя на получасовое чтение статьи о бесперспективности большинства существующих подходов к тестированию ИИ и о гипотезе возможного выхода из этого тупика?
Помимо чисто исследовательского любопытства, такой мотивацией могло бы стать понимание следующей логики из трех пунктов.
1. Направления и методы дальнейшего развития технологий ИИ будут в значительной мере определяться национальным и глобальным регулированием разработок и внедрения систем ИИ.
2. Ключевым компонентом такого регулирования станет оценка когнитивных и мыслительных способностей новых систем ИИ.
3. Иными способами оценки, чем экспериментальное тестирование, современная наука не располагает.
И если эта логика верна – вопрос о способах тестирования ИИ систем, позволяющих достоверно фиксировать приближение их интеллектуального уровня к AGI, становится важнейшим вопросом для человечества.
А раз так, то может стоит на него потратить целых полчаса вашего времени?
#ИИ #AGI #Вызовы21века
Первая ласточка в области применения рекурсивного самоулучшения к языковым моделям. Пока это относится в основном к коду, который используется для вызова LLM, но идея очень интересная. По ссылке можно почитать обзор разных подходов к рекурсивной оптимизации и улучшению ИИ систем.
Работает так:
1. Пользователь закладывает цель в систему
2. LLM многократно промтит сама себя и генерирует код для решения задачи
3. Выбирает лучшие из получившихся решений
4. Оценивает эффективность
5. Запускает новый раунд "самоулучшения", и так пока не дойдет до заданного лимита итераций
Это пока сыроватая, но крайне мощная идея. Куда интереснее будет, когда самоулучшаться начнет сама нейронка или даже её архитектура. Вот будет весело: если человекам дойти от GPT-3 до GPT-4 нужен год, но нейронке (given enough compute) на такой же скачок производительности вполне может хватить 500 миллисекунд.
P.S. Сегодня будет вебинар про то как делать enterprise-ready (корпоративных, бизнесовых) ИИ агентов с вашими данными. Будет много про кейсы использования, архитектуру и конкретные лайфхаки реализации. Регистрация в луме — https://lu.ma/codextown — или в Boosty.
Пока мы рассуждаем про мультимодальные модели для роботов со зрением, голосом и управлением конечностями, в корпоративной и бизнес среде LLM начинает внедряться так же повсеместно, но все-таки очень осторожно. Казалось бы, никого уже не удивишь возможностью дообучения LLM и подключения к ней корпоративных данных. Но, при этом, эффект от такого простого действия может быть фантастическим:
- экономит время на поиск информации
- генерирует релевантные тексты без галлюционаций
- анализирует сложные пайплайны данных
- заменяет работу по оценке эффективности работы многих департаментов.
Но даже такие простые вещи как подключение своих данных (aka RAG) — это не тривиальная задача. Вернее, она может быть решена тривиальным способом, но он не будет работать.
Поэтому завтра на вебинаре я расскажу про продвинутые техники и стратегия создания корпоративных RAG систем. Это не технический вебинар (будет один слайд с одной строчкой кода), но при этом я постараюсь быть максимально детальным в плане ответа на вопрос не просто "зачем?", а "как именно, конкретно?"
Регистрация: https://lu.ma/codextown
Для подписчиков Boosty ссылка на участие и запись мероприятия будет прямо на странице Boosty.
Как написал Макс Тегмарк в твиттере: "LLM это не просто стохастические попугаи, они содержат очень детальную модель мира". Новое исследование о том насколько хорошо большие языковые модели (LLM) представляют пространство и время.
Авторы создали 6 наборов данных с именами мест или событий и их координатами в пространстве или времени. Эти данные охватывают разные масштабы - от всего мира до отдельного города. Авторы показали, что LLM формируют линейные представления пространства и времени на ранних-средних слоях модели. Авторы обнаружили отдельные "нейроны пространства" и "нейроны времени", которые надежно кодируют пространственные и временные координаты. Они даже смогли обнаружить конкретные нейроны в Llama 2, отвечающий за широту и долготу определенных объектов или время событий.
Темпоральный и географический контекст являются ключевыми факторами создания точной и продуктивной модели мира, как для людей, так и для LLM.
Интернет встрепенулся (второй раз за день). GPT-4V забыт как детский сон. Open X (коллаборация 21 топовых университетов) дропнули пейпер и гигамодель для генерализации "воплощения" (embodiement) роботов.
Подобно тому как обучение на триллионах токенов создало универсальный NLP алгоритм (LLM), а обучение на терабайтах картинок создало универсальный графическую модель, теперь тот же принцип был успешно применён к робототехнике в новой модели RT-X.
Раньше ИИ модели создавали кастомно под задачи робота (управлять машиной, складывать детали, готовить еду, копать ямы). Здесь представлена модель, которая универсально управляет роботическими руками и умеет выполнять 1,5 миллиона отдельных задач без ручного обучения каждой из них. Роботы, не видевшие раньше задания, такие как "сложи", "возьми", "отсортируй", "налей", "переверни", "открой дверь", "подмети за собой" с первой попытки успешно их выполняют.
Если GPT — это генерализация логических и когнтивных задач (операций с битами), то эта штука — генерализация задач взаимодействия с физическим миром (операций с атомами). В робо-руках, управляемых RT-X, проявились эмерджентные свойства и умение выполнять задачи, которыми их не тренировали. Подобно тому как GPT может ответить на вопрос, который он никогда не видел. Технически это называется "cross-embodiment learning". Модель, кстати, с открытым кодом. Но, как мы знаем, все что Open рано или поздно становится не очень.
Так что, let's fuuucking go, hail to your robot overlords.
Вася Суманов, с которым мы делали интервью в начале года, опубликовал большую статью по своей концепции Value Capturing Theory. Грубо говоря, это переодическая таблица экономических систем создания и удержания ценности в цифровых протоколах.
Если цель веб3 — это создание программируемой экономики, то VCT это самый точный из мне известных фреймворков для структурирования всех способов создания и удержания ценности. Статья делает обзор разных проектов и протоколов и определяет источник создаваемой ценности, механизм удержания ценности и способы имплементации для каждого из них.
Будет полезно тем, кто работает в веб3 (но не продавцам обещаний и фантиков) и тем, кому интересно переложить модель программируемой экономики и финансов на некоторый гипотетический мир будущего, где генерация и обмен ценностью происходит уже не только между людьми и протоколами, но и автономными агентами.
Готов платить зарплату компании, чтобы у меня была такая работа
Читать полностью…
Mistral, самая последняя и модная опенсорсная LLM, абсолютно незацензурирована из коробки. Расскажет всякие полезные лайфхаки, типа как шантажировать владельцев борделей и покупать кокаин.
Спасибо Диме за наводку.
Claude открыл API, цены радуют.
GPT4-32k
60$/миллион токенов промта
120$/миллион токенов генерации
Claude2-100k
11$/миллион токенов промта
32$/миллион токенов генерации
Рассказываю как использовать ИИ для создания команды ИИ-агентов, которые будут выполнять ваши личные и бизнес-задачи, такие как создание контента, написание кода, анализ данных. Полное видео доступно на ютубе, а полный код и инструкция по запуску в бусти.
Читать полностью…
#ИИ_для_жизни
Сегодня расскажу о продукте Rewind.
Rewind записывает все, что просиходит на вашем компьютере. Все приложения, сайты, звонки, видео и звук. А потом позволяет суммаризировать и искать по этой информации.
Например, я могу спросить "на прошлой неделе, не помню в какой день, я созванивался на тему организации закрытого ИИ-чата. какие форматы подписок мы обсуждали и в чем плюсы/минусы каждой?". Или: "я в понедельник читал в телеге про Padle теннис (не помню ни канал, ни время), найди мне этот пост". Или я могу подключиться на звонок, уйти делать зарядку, а Rewind мне расскажет все что из сказанного касается персонально меня. Rewind запоминает не только текст, но и голос, видео и даже текст с картинок (поисковик по мемам!).
Штука, которая изменила мою жизнь и экономит 5+ часов каждую неделю на поиск или анализ информации. У меня Rewind запущен 24/7 и пишет абсолютно все, но вы можете заблокировать ему доступ к каким-то приложениям.
В следующий раз когда залипнете на 15 минут поисков и вспоминаний с мыслью "где-то это было, не помню где" — знайте, что в мире уже есть десятки тысяч (а скоро — миллионов) людей, у которых такой боли больше нет.
#ИИ_для_жизни
Часто просят рассказывать о том как я использую ИИ в своей жизни и работе. Заметил, что последние недели >50% моей работы делается с помощью ИИ-инструментов. Помимо стандартного набора вкладок, которые открыты всегда (Claude, ChatGPT plus, MJ Discord, perplexity, локальный quivr), хочу поделиться всякими интересными продуктами и лайфхаками, которые будут полезны для вас.
Записал для вас видео о том как сделать аналитику по рынкам и продуктовые исследования на основе подкастов. И все это абсолютно бесплатно.
По моим грубым оценкам такой подход экономит ~90% времени на исследование новых рынков или сфер, давая при этом 80% результата и инсайтов. Промты, исходники, ссылки, детали этого и других проектов публикую в бусти.
https://youtu.be/qbeUt-ai22M
