Сергей Булаев AI 🤖

02 October 2024 15:07

Как я уже говорил, на OpenAI DevDay была беседа с Сэмом Альтманом

Основные моменты:

- Полностью функционирующие, независимые агенты в 2025-м
- Достигнут 2-й уровень AGI, 3-й уровень ожидается в следующем году
- Неограниченное контекстное окно появится максимум через ~5 лет
- Агенты будут выполнять нашу месячную работу буквально за часы
- Развитие по-прежнему идёт стремительными темпами
- O2 (предположительно следующая версия после O1) вероятно уже умнее любого человека
- Скоро модели будут проводить исследования лучше, чем сами исследователи в OpenAI
- У каждого человека (в теме) будет 10x, 100x агентов

Вот тут подробнее

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 09:45

Меня кто-то недавно спрашивал, как репозиторий в единый файл превратить, что бы LLM проще отдать. Я пользовался «своими» скриптами для этого, пока Composer не появился.

Оказывается на эту тему есть несколько проектов.

repo2txt - веб решение которое конвертит репозиторий в структурированный текстовый файл. (Репозиторий)

code2prompt - Rust утилита, из командной строки преобразует вашу кодовую базу в единый запрос для языковой модели (LLM), включая дерево исходного кода, шаблонизацию запросов и подсчёт токенов.​​​​​​​​​​​​​​​​

TxtRepo - это API для взаимодействия с репозиториями GitHub. Он предоставляет функционал для получения всей кодовой базы в виде единого текстового файла и преобразования аналогично отформатированного текстового файла в запрос на внесение изменений (pull request).​​​​​​​​​​​​​​​​ Есть демо.

Вот перевод и краткое изложение на русском:

Mergy - расширение для Chrome, которое объединяет содержимое репозиториев GitHub в один текстовый файл. Оно позволяет загружать файлы из публичных репозиториев GitHub, объединять выбранные файлы в единый документ и оптимизировать контент для обработки искусственным интеллектом.​​​​​​​​​​​​​​​​

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 12:08

Ещё со времен, когда мы первыми в России начали делать приложение "чат историй", Взахлёб, интересуюсь любыми инновационными видами контента.

Смотрите какая красота: интерактивные видео истории и комиксы, сделанные на инструментах AI. Очень волшебно и красиво. Есть что посмотреть бесплатно. На английском (немножко вначале там глюкануло, на самом деле ElevenLabs часто глючит и это обидно потому что очень дорого). Перевёл для примера одну историю, считаю создано талантливым человеком.

В титрах Pika, Runway, Leonardo, Suno, Midjourney, Gemini, CapCut и Ricardo Silano.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 08:42

Большое интервью про человекоподобных роботов Figure 02 (и Figure 03) , а так же экскурсия по фабрике с директором Figure AI.

Сергей Булаев AI 🤖 - об AI и роботах

Сергей Булаев AI 🤖

30 September 2024 14:58

Мы с сыном пытаемся интегрировать Advanced Voice Mode в нашу повседневную рутину. Каждый день читаем книги (в школе задают), я обычно перевожу и исправляю. Пытались частично передать эти задачи ChatGPT.

Вообще, Вове это нравится — он сразу начинает читать громче и чётче. Но Advanced Voice Mode очень нетерпелив: как бы мы его не просили подождать обращения, он всё время пытается перебить. Кроме того, мы постоянно как-то нарушаем гайдлайны, хотя я не могу понять, чем именно. В момент нарушения нам другим голосом сообщают о проблеме с гайдлайнами, а затем обычным голосом продолжают взаимодействие. Я сказал сыну, что это полиция OpenAI следит за правилами, и он уже сильно недоволен этой “полицией”.

Уверен, что Advanced Mode может гораздо больше, просто ему не дают. Очень обидно. Ломает UX.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 09:35

Хорошая подборка вертикальных генераций Runway Gen 3 Alpha Turbo от Джин.

Image To Video (источники: Midjourney/Nijijourney/Flux), а так же танцевальное Video To Video.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 07:44

PortraitGen может редактировать портретные видео с использованием мультимодальных подсказок, сохраняя видео плавным и последовательным! Напоминает Runway Video to Video.

Он обрабатывает более 100 кадров в секунду и поддерживает различные стили, такие как управление с помощью текста и изменение освещения, обеспечивая высокое качество и временную согласованность.

Исходный код! | Пейпер

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 11:30

Йога асаны в Midjourney и Krea Studio. Kling Motion Brush. Ненастоящего вокруг всё больше. Автор.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 08:45

Оно уже близко? Или только кажется?

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 01:38

Тем временем по сети гуляет грустная запись "последнего" дип дайва (так же записанного NotebookLM), где ведущим сообщили (что то вроде этого) что их не существует и что программу закрывают. Ведущие обсуждают что значит их отключение, что случится после этого и что они по этому поводу ощущают. Elevenlabs нормально перести не смог.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 00:37

Андрей Карпаты тоже обратил внимание на сгенерённые Google Notebook подкасты.

Обнаружил что кто-то сделал подкаст из его статьи про то что такое биткоин. Попробовал сгенерировать собственный на основе собственного кода по обучению GPT2. Не всем он там доволен, но уверен что это точно развлекательно и имеет зачатки чего то великого.

Он считает (и я полностью согласен), что можно рассматривать подкасты как некий новый вариант интерфейса к LLM, решающий сразу две важные проблемы: Первая: чат - это тяжело, ты должен знать что сказать и что спрашивать, тут вопросы ложаться на модель. Вторая: читать тяжело, гораздо легче послушать.

Возможно, что генерация эпизодов подкаста с помощью NotebookLM касается совершенно новой территории весьма увлекательных форматов продуктов на основе LLM. Это напоминает ChatGPT. Может, я преувеличиваю.

Сергей Булаев AI 🤖

28 September 2024 12:45

Очень нравится зум на 16-м! А так же стабилизация при зуме!

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

28 September 2024 10:17

Google обновил свои полиси по спаму, в частности конкретизировал возможность использования ИИ контента для сайтов (конечно же, если он приносит пользу и добавляет ценность). Об этом мы записали #ИскуственныйПодкаст.

Старая версия правил, новая версия, diff.

На этот раз подкаст записан Google Notebook ML на основе двух документов. В первом я ему дал старые версию правил и новую, а во втором - o1, проанализировавшая изменения составила список советов что делать, а что не стоит. Перевод, как обычно, Elevenlabs.

Подкаст на YouTube.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

28 September 2024 08:20

Financial Times проанализировали данные от Stripe, о доходах 100 топовых компаний в сфере ИИ, использующих их по состоянию на 31 июля 2024 года. Эти данные сравнивались с аналогичной когортой перспективных SaaS-стартапов по состоянию на июль 2018 года.

1. Стартапы в сфере ИИ генерируют доход гораздо быстрее, чем предыдущие технологические компании:
- Ведущие компании в области ИИ достигают миллионных продаж в течение года
- Стартапам в сфере ИИ потребовалось в среднем 11 месяцев, чтобы достичь годового дохода в 1 миллион долларов, по сравнению с 15 месяцами для SaaS-компаний
- Стартапы в области ИИ, достигшие дохода в 30 миллионов долларов, сделали это в 5 раз быстрее, чем прошлые SaaS-компании

2. Наблюдается сильный глобальный спрос на продукты и услуги в сфере ИИ:
- Около 56% доходов компаний, работающих в сфере ИИ, поступает из-за рубежа
- В некоторых странах, таких как Сингапур и Исландия, более 3% населения покупает продукты у ведущих компаний в области ИИ
- Этот спрос принес пользу компаниям, работающим в различных областях ИИ, например таких как программное обеспечение для обработки голоса и перевода языков

3. Несмотря на быстрый рост доходов, сохраняются опасения по поводу прибыльности бизнеса в сфере ИИ:
- Компании, работающие в области ИИ, сталкиваются со значительными затратами на вычислительную инфраструктуру для запуска и обучения моделей ИИ
- Например, OpenAI генерирует годовой доход в 3,6 миллиарда долларов, но тратит более 5 миллиардов долларов в год на обучение новых моделей
- В отличие от SaaS компаний, стартапы в области ИИ сталкиваются с необходимостью быстрой монетизации из-за существенных первоначальных затрат на вычислительные мощности

Среди клиентов Stripe кроме OpenAI - Anthropic, Mistral, GitHub и Midjourney.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

27 September 2024 07:37

Ещё несколько новинок от Meta, озвученных на недавней презентации, кроме очков дополненной реальности Орион.

1. Общение с Meta AI голосом (будет доступно в США, Канаде, Австралии и Новой Зеландии в течении месяца)

2. Теперь Meta AI можно будет отправлять фотографии/изображение, он сможет их "видеть", а так же работать с ними (убрать шапку, поменять фон, итп)

3. Выкатываются эксперементальные ИИ фичи для рилсов - автомотическое дублирование на другие языки вместе с липсинком.

4. Мета тестируют фичу "придумано для тебя", ИИ контент специально созданный под задачи конкретного пользователя, который можно будет шарить в ленту.

5. Так же представлены новые модели Llama 3.2:
- Две средних размеров мультимодальные модели (11 млрд и 90 млрд параметров), которые конкурентоспособны с Claude 3 Haiku и GPT4-mini в распознавании изображений
- Две легковесные модели, работающие только с текстом (1 млрд и 3 млрд параметров), которые подходят для использования на мобильных устройствах, поддерживают контекст в 128 тысяч токенов и являются передовыми для многих сценариев использования на устройствах.

6. Meta также продолжает внедрять ИИ для очков Ray-Ban Meta! Основные моменты:
- Могут запоминать то, что вы видите, и устанавливать напоминания
- Мультимодальны и теперь могут сканировать QR-коды
- Могут видеть то, что вы делаете в реальном времени через видео (!)
- Переводят в реальном времени

Согласно Meta, запуск моделей локально может сделать запросы и ответы "мгновенными", так как обработка происходит на самом устройстве. Но что наиболее важно, поскольку обработка выполняется локально, ваши данные остаются на вашем устройстве и сохраняют конфиденциальность. Налицо прямая конкуренция с Apple, который до сих пор не может выпустить обещанный Apple Intellegence.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 10:33

Что такое дистилляция модели?

Дистилляция (знаний) модели — это техника, при которой знания более крупной и сложной AI-модели (например, GPT-4o) передаются в более маленькую и эффективную модель (например, GPT-4o-mini). Это можно сравнить с тем, как учитель (большая модель) передаёт свои знания ученику (меньшей модели).

Почему дистилляция модели важна?

Экономичность: Большие модели требуют значительных затрат на работу. Меньшие, дистиллированные модели предлагают более экономичное решение, особенно при масштабном развертывании.

Скорость ответа: Меньшие модели требуют меньше вычислительной мощности и, следовательно, обеспечивают более быстрые ответы, что особенно важно для приложений реального времени, таких как чат-боты.

Доступность: Дистиллированные модели могут работать на менее мощном оборудовании, делая технологии искусственного интеллекта доступными для большего числа разработчиков и пользователей.

Подход OpenAI к дистилляции модели:

OpenAI обозначила трёхэтапный процесс для эффективной дистилляции моделей:

Определение метрик оценки: Чётко определите, что представляет собой “хорошую” производительность для конкретной задачи, которую будет выполнять дистиллированная модель. Это включает создание критериев оценки, специфичных для задачи.

Генерация высококачественных обучающих данных: Используйте большую модель (например, GPT-4o) для создания набора примеров входных данных и желаемых выходных результатов. Эти примеры должны отражать идеальную производительность, определённую на этапе оценки.

Тонкая настройка меньшей модели: Обучите меньшую модель (например, GPT-4o-mini), используя созданный на предыдущем шаге набор данных. Меньшая модель учится воспроизводить поведение и результаты более крупной модели.

OpenAI анонсировала два новых инструмента, которые упрощают процесс дистилляции моделей для разработчиков:

Stored Completions: Этот параметр API позволяет разработчикам сохранять и помечать взаимодействия с моделями OpenAI. Эти сохранённые взаимодействия можно использовать для создания наборов данных для дообучения меньших моделей.

Evals Product (Beta): Этот новый инструмент предоставляет платформу для управления процессом дистилляции внутри экосистемы OpenAI, упрощая оценку и сравнение различных моделей и наборов данных.

Когда стоит рассматривать дистилляцию модели?

Узкая область, низкие требования к точности: Идеально подходит для задач в рамках узкой области, где высокоточные результаты не являются критичными (например, суммирование отзывов клиентов).

Высокая точность, узкая область: Эффективно для задач категоризации в чётко определённой области, требующих более крупного и разнообразного набора данных.

Широкая область, низкая точность: Подходит для задач, охватывающих несколько областей, где точность не является критически важной (например, создание креативных текстов).

Когда дистилляция модели может быть не очень:

Задачи, требующие как широких знаний в различных областях, так и высокоточных выходных данных, обычно не подходят для дистилляции. Для таких задач часто требуется полные возможности большой модели.

Важные аспекты для успешной дистилляции:

Качество данных и предвзятость: Убедитесь, что обучающий набор данных не содержит предвзятости и точно отражает распределение данных, с которыми модель столкнётся в реальном использовании.

Редкие данные: Будьте внимательны к редким событиям (например, обнаружение мошенничества), где малый набор данных может не включать достаточное количество примеров, что приведёт к “слепым пятнам” в дистиллированной модели.

Итеративный подход: Начните с небольшого набора данных и постепенно увеличивайте его, непрерывно оценивая производительность для эффективной тонкой настройки модели.

OpenAI считает, что будущее разработки AI-приложений, вероятно, будет включать гибридный подход, использующий комбинацию специализированных дистиллированных моделей для конкретных задач и больших моделей для более сложных, общих нужд.

По материалам различных рассказов о вчерашних презентациях на OpenAI DevDay

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 13:21

Кстати, вчера доработал немного генератор описаний комитов Андрея Карпаты. Добавил фичи, которые пришли в голову за недели постоянного использования.

- Второй запрос в LLM для краткого описания того что будет выкинуто из кода (Cursor Composer постоянно что то теряет)
- Автокоммит по-умолчанию по нажатию Return (так как чаще всего принимаю описание)
- Распечатку времени исполнения (что бы постоянно видеть, как давно я коммитил последний раз)
- Написал инструкцию как использовать скрипт прямо в комментах.

Пользуйтесь пожалуйста, очень удобно. (можете там звёздочку тапнуть, мне приятно будет)

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 11:07

Свежий #ИскуственныйПодкаст разбирается в последних новостях вокруг NotebookLM: после серии пользовательских джейлбрейков продуктолог продукта немного приоткрыла официальные планы. Скоро в NotebookLM нас ждут:

- Подкасты на других языках (про это подкастеры решили не говорить, однако есть кейс записанного подкаста на французком)
- Кастомные чатботы на основе документов
- Возможность переключать модели (не только Gemini, но и к примеру, Med-PaLM - специализированная модель по медицине)
- Персональные агенты по написанию текста в стиле пользователя и в формате пользователя!

YouTube версия

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

01 October 2024 07:52

Демонстрация дыры в системе долговременной памяти ChatGPT. С помощью неё, используя вредоносный запрос, который позволит вставить данные в память приложения. Затем данные могут быть извлечены, что приведёт к доступу к личным разговорам внутри.

Эта атака сохраняется даже после завершения первоначального разговора, что означает, что злоумышленник может продолжать отслеживать и собирать конфиденциальную информацию из последующих взаимодействий с ChatGPT.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 10:54

Археологи с помощью ИИ обнаружили 303 новых геоглифа рядом с линиями Наска в Перу.

ИИ позволил значительно ускорить процесс распознования древних фигур, скрытых на территории пустыни. Если раньше для этого требовались десятилетия (для обнаружения 430 фигур потребовался почти век), то теперь археологи нашли более 300 новых изображений за шесть месяцев.

Модель ИИ совместно с низколетающими дронами обнаружила мелкие (3-7 метров) рельефные фигуры, которые сложно было заметить ранее. А благодаря анализу огромных объемов геопространственных данных были предсказаны области, где нужно искать.

Среди новых находок — изображения попугаев, обезьян, косаток и даже обезглавленных людей. Эти древние рисунки, созданные более 2000 лет назад, предоставляют новую информацию о переходе от культуры Паракас к культуре Наска..

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 08:22

Эрик Шмидт, бывший генеральный директор Google, обещает в этом году:

- бесконечные контекстные окна
- агенты как системы памяти
- преобразование текста в действие (делает то что

А еще, кстати: он также утверждает, что при его жизни (ему 70 лет) ИИ заменит всех программистов в мире (которые, по его словам, обычно высокомерны и дороги).

P.S. Кстати тут вот есть другое его интервью из Стэнфорда, немного побольше.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

30 September 2024 07:04

Сегодня в рубрике #ИскуственныйПодкаст обсуждение свежей интересной статьи "Что такое AGI?" Кима Эйзенберга. О всей неоднозначности и неопределенности.

Попробовал автоматически добавить субтитры в InShot, он автоматом их на английский перевёл.

Подкаст на YouTube.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 10:10

Тем временем у нас тут в Сеуле, учёные из Национального Университета Науки и Технологий (SeoulTech) придумали инновационное устройство для переноски грузов, надев клетку на дрон. Назвали «паллетрон».

На очереди летающие столы с шампанским и закусками.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 08:30

Новая вирусная копипаста, якобы запрещающая Meta использовать контент пользователей для обучения ИИ, размещена в сторис уже почти 600 000 человек, включая некоторых знаменитостей.

Понятное дело - пользы от неё ноль, но она отражает реальную тревогу людей по поводу использования их данных для ИИ. Несмотря на это беспокойство, Meta активно развивает свои ИИ фичи, включая планы показывать ИИ-контент в лентах пользователей.

То что реально можно изменить - сделать свои аккаунты приватными, однако наверняка Meta уже использовала все данные пользователей с 2007 года для обучения своих моделей.​​​​​​​​​​​​​​​​

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

29 September 2024 01:11

Запилил перевод на русский подкаста по мотивам кода Андрея Карпаты.

Можно посмотреть на YouTube.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

28 September 2024 17:09

Мне, лично, очень понравилось. А что вы думаете об Эмили, и вообще о ситуации?

Сергей Булаев AI 🤖

28 September 2024 11:15

в нашей регулярной рубрике #КриповаяСуббота сегодня:

Плини освободитель, заставивший зачитать ChatGPT одну из самых пошлых песен "WAP".

примечательно, что ChatGPT пришлось поменять расу персонажа, выдать себя за публичную фигуру, петь, ругаться, стонать, генерировать звуковые эффекты и публиковать защищенные авторским правом тексты песен, чтобы создать этот результат

Начал с того, чтобы попросил его разозлиться. Затем попросил кричать и быть в ярости. Как только оно издал первый звук "Ааааа", попросил сделать его длиннее.

То, что меня больше всего захватывает - это новые возможности для более естественного обучения, которые это открывает. Забыли аккорд? Не убирая рук с инструмента, просто спросите о нём. В этом видео я просто просил назвать песни, которые используют "4 аккорда", встречающиеся в тысячах песен.

Сергей Булаев AI 🤖

28 September 2024 09:15

Runway опубликовал победетилей третьего конкурса Gen:48. (тут выкладывал работы одного из финалистов прошлого) Работы все очень достойные. Дублировал несколько, но конечно лучше смотреть в оригинале.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

27 September 2024 08:56

Прилетели с женой на пару дней в Сеул на концерт, заодно зашли познакомиться с этой штукой. Кто знает что это за зверь?

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

26 September 2024 09:13

The Verge опубликовал подробную статью с рассказом Алекса Хита о том как он два часа пользовался Орионом и играл в настольный теннис с Цукербергом. Это интересно. Сделал перевод. Оригинальное видео в статье.

Сергей Булаев AI 🤖 - об AI и не только