Сергей Булаев AI 🤖

12 October 2024 12:09

Сегодня, в связи с официальным анонсом Оптимуса, который уже очень скоро должен быть у каждого, в рубрике #КриповаяСуббота не странное видео, а целый подкаст на тему интимных отношений между человеком и роботом. Получилось неплохо! Даже интересно.

Ребятам я рассказал про анонс, а так же прислал два документа:
Турецкий пейпер: Attachment and Sex with Robots и результаты опроса YouGov

(русская и english версия на YouTube)

Сергей Булаев AI 🤖 - об AI и роботах

Сергей Булаев AI 🤖

11 October 2024 09:10

Рассказываю, как прямо сейчас бесплатно установить и пользоваться LLama 3.2 на ваш iPhone. Оффлайн! Модель крутая, особенно для саммаризаций и других операций с текстом. К сожалению, на русском она так себе.

Итак, Джордан Сингер, занимавшийся Figma AI, основал компанию MainFrame, чтобы создать ни много ни мало LLM OS. Но начать ребята решили с выпуска в опенсорс приложения Moon - Swift UI интерфейса к модели LLama 3.2.

Всего 2 шага:
- Устанавливаем TestFlight
- Открываем Moon в TestFlight и устанавливаем

Всё, работает, проверил сам, но аккуратно! Разогревает телефон до ожогов!

Сергей Булаев AI 🤖 - об AI и роботах

Сергей Булаев AI 🤖

11 October 2024 06:43

И, в догонку, Tesla Robovan без водителя от @yanadivane!

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

10 October 2024 17:17

А вот и текстовые переходы всё теми же инструментами. Просто задаётся начальный и конечный кадр для каждой трансформации. Ну и промты… промты важны, всё решается экспериментами.

Сергей Булаев AI 🤖 - об AI и не только в

Сергей Булаев AI 🤖

10 October 2024 14:19

Посмотрел инструкцию Luma по трансформации одних фруктов в другие:

How to Morph Food?
Step 1: Use any 2 food photos in same spot.
Step 2: Import photos to First & Last Frame.
Step 3: Type prompt “camera static, the (food 1) transforms into the (food 2)”.
Step 4: Generate video and watch your transition!

И воспользовался ей на Runway. Получается не с первого раза. Иногда с 10-го. Особенно тяжело далась трансформация в Jump. Но мне всё равно нравится.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

10 October 2024 09:25

Китайский стартап Leju Robotics выпустил свою платформу для разработки гуманоидных роботов с открытым исходным кодом для академического использования и исследовательских целей.

Она включает в себя SDK для датчиков и управления, модели для симуляции, интерфейс для работы с языковыми моделями (LLM), а также несколько базовых демонстраций, работающих "из коробки". Leju Robotics уже продали 196 единиц этого гуманоидного робота.

Базово робот Kuafu интегрирован с мультимодальной языковой моделью PanGU от Huawei для понимания команд на естественном языке, планирования задач и их выполнения с координацией обеих рук.

Большинство покупателей - это университетские исследовательские лаборатории.


Сергей Булаев AI 🤖 - об AI и роботах

Сергей Булаев AI 🤖

09 October 2024 17:47

Джек Дорси (тот, что создал Twitter, который теперь X) о важности выгрузки мыслей из головы. Выгрузки в виде пьес и представлений. Про театральные компании. Про сторителлинг. А также о том, что некоторые из лучших продуктов в мире просто родились по дороге.

(оригинал)

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

09 October 2024 16:17

Apple выпустила трейлер "Submerged" ("Под водой"), своего первого игрового фильма в формате Apple Immersive Video! Погрузитесь в захватывающую подводную битву времен Второй мировой войны от Эдварда Бергера, режиссера фильма "На Западном фронте без перемен". Только на Vision Pro, премьера уже завтра, 10 октября!

А я всё ещё их не купил :((

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

08 October 2024 14:59

Запилил очередной игрушечный стартап выходного дня. Вернее, превью стартапа, как сейчас модно.

ErrorBot - продукт, созданный под впечатлением от интервью Питера Левелса с Лексом Фридманом. Он решает простую задачу - присылает вам ошибки ваших проектов в телеграм. Да, я в курсе о сотнях способов сделать это без моего проекта, но со своим - прикольнее и интереснее. См. видео сверху. Продукт предназначен для таких же солопренёров, как я (ну, типа у кого совершенно разных продуктов полно).

Итак, надо просто зарегистрироваться через телеграм-бота, и вам пришлют пароль от панели. Там можно создать кучу API-ключей и слать сообщения мне, чтобы я их потом слал вам в телеграм (так же можно будет посмотреть в панели). Потом прикручу ИИ. Просто пока не придумал как. Но придумаю. И ещё выпущу приложение для iOS и Android. Надо же наконец попробовать для чего-то выпустить приложение. Подключу оплату через Stripe (или на худой конец YooMoney) и выложу на ProductHunt :) Фандрайзить пока не планирую.

Erorrbot доступен тут (на случай если после регистрации из за заглушки потеряетесь)

Проект создан за выходные на Cursor Composer.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

07 October 2024 16:26

В общем, Ozempic работает. Факт. Думаю, это также повлияет на стоимость перелётов (средний вес пассажиров самолётов заметно сократится) и, конечно, на мой родной [из-за Купи Батона] CPG рынок (слышал, что запускаются инновационные продукты).

Я часто рассказываю эту историю. В 2013-м я впервые приехал в Долину, чтобы фандрейзить для Купи Батона. Я прожил в Пало-Альто, на California Ave, полтора месяца. Постоянно ездил в Сан-Франциско на встречи, и каждый раз, по дороге, смотрел на огромный баннер: "Человек, который проживёт 150 лет, уже родился". Да, это была реклама страховки, но очень крутая. Прошло 11 лет, а я до сих пор её помню.

Современные лекарства и технологии — это революция. Они продлевают жизнь. Большинство людей этого не понимают. Хочется быть поближе к создателям.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

05 October 2024 12:44

Прочитал сегодня в Atlantic (статья за пейволом), о датасете, содержащем более 1.000.000 сеансов переписок пользователей с ChatGPT 3.5 и 4. Запись проводилась с разрешения пользователей (но как я понял - был типо сервис Wildchat, нажми две галочки и пользуйся ChatGPT бесплатно) в рамках исследования кейсов использования чат ботов (пейпер). По ним сейчас может искать любой желающий!

Это же офигеть просто! Многие из нас уже используют чат ботов, как доверенных собеседников, с которыми, часто, можно поделиться чем то больши, чем с близкими людьми. Мы же знаем, что они - не судят, просто страются помочь.

Это же так страшно, одно дело кто то получит доступ к твоим поисковым запросам (что уже неприятно), другое дело к твоей личной переписке. Переживаниям, проблемам, эмоциям. Представьте какой простор для таргетирования рекламы? (я уже не говорю о более серьёзных кейсов - таких как исползование этих данных как доказательств). Статья собственно об этом. Заливаю вам подкаст о ней на Notebook LM.

А что если со злым умыслом? Дырочки (пусть пока и смешные) уже начали появляться. Дальше их будет всё больше.

В очередном #ИскуственныйПодкаст обсуждение этой статьи.

YouTube версия

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

05 October 2024 10:55

Демо подборочка видосиков новой Meta Movie Gen:

- Снежная обезьяна играет с игрушечным корабликом
- Персонализированное видео
- Создание звуков и музыки (змея в джунглях)
- Редактикрование видео с помощью текстовых промтов
- Видос с приведением - обратите внимание каким стабильным остаётся нарисованное лицо
- Коала на сёрфе
- Фаершоу (тайская классика)
- Обезьяна на тьюбе с коктейлем

Выглядит очень достойно!

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

05 October 2024 09:39

Replit прислал рассылку с новостями, между ними список интересных проектов, построенных его агентом (с которым у меня пока не сложилось) за месяц существования. Не ахти какой, но что то интересное есть:

💳 Кастомный дашборд по контролю за метриками здоровья
🌿 Калькулятор A/B тестирований с извлечением данных из скриншотов (автор)
😎 Веб скрэпер для бизнес партнёрств
🎩 Анализатор видео с уроков, для понимания лучших моментов отклика
📖 Приложение по рекомендации книг
🗑 И стандартное разделение счёта из ресторана

Что ждать?

- В начале следующей недели выпустят руководство по стилю, чтобы сделать приложения, более привлекательными визуально.
- Обещают поддержку других фрэйморков (а не только скучный Flask). Например, мой любимый Nextjs.
- БОльшую гибкость по управлению квотой агентов.
- Улучшенние производительности для крупных проектов

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

04 October 2024 11:26

На DevDays OpenAI было показано как o1 всего за 5 минут пишет полностью рабочее приложение под iOS по управлению дронами.

А вы знаете, что Пьетро Шкирано, создатель Omni Engineer (а так же человек, превративший Клода в змею), выпустил полноценного агента на базе o1, который пишет приложения по заданию? Не шагами, не интеграциями, а типа разом и полностью.

Для этого проект использует две модели o1-mini (можно изменить в настройках), одна говорит что добавлять и менять, а вторая - исполняет. Как пишет автор, первым делом он подключил своего агента к работе над собственным же кодом.

Кстати, обратите внимание, из свеже-опубликованного системного промпта Canvas GPT-4o, стало известно, что частями файлы ему менять не дают, заставляют переписывать полностью, похоже так всё ещё надежнее всего. (Поэтому всегда помните, ваши файлы с кодом должны быть короткими, что бы переписать их в небольшом контекстном окне было не трудно, но думаю все итак это понимают, и без контекстных окон. Я чистый код как то читал…)

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 16:10

У нашего читателя Евгения #ЕстьМнение по поводу последнего поста, которое стоит принять во внимание:

Я не настоящий сварщик, не силен в статистике и в больших экспериментах - но расскажу, что сделали.

Дизайн эксперимента такой:

Как тестируем:
Берем три компании- MS/Acc/An(хз кто это)
В каждой компании выбираем контрольную и тестируемую группу(число пользователей|%в группе тестируемых)
MS(1746 | 50.4%), после очистки 1521, длительность с 09/22 по 04/23 включительно. Контрольной группе начали давать доступ 04/23. Регион- US
Acc(320 | 61.3), после очистки 316, длительность с июля 2023 по декабрь 2023. Контрольной группе начали давать доступ 12/23. Регион-Southeast Asia
An(3054 | хз ), после очистки 3030, дали доступ в начале сентября 2023, в контрольной группе начали давать в отябре 2023. Регион - хз.

Метрики: В первую очередь смотрим на количество PRs, вспомогательные - коммиты, количество билдов. И совсем вспомогательный - количество успешных билдов.

Ну в общем, идем сравниваемся на уровне гранулярности developer-week.

Результаты:
1. Ребята правда молодцы и честно говорят что постарались учесть влияние того что пользователи контрольной группы начали получать доступ. Ну и на самом деле - чем раньше получали - тем меньше разница в обозреваемом эффект между контрольной и тестируемой группой. Но данные из прошлого-то не меняются, поэтому можно забить.

2. Суммарная таблица с результатами выглядит прикольно. Только тут пара вещей которые немного странные.

2.а. Тут сразу честно “while standard errors are consistently large, we find evidence of the productivity-enchancing effects of gh copilot”. При этом таблица на взвешенных данных исходя из(1), если посмотреть на таблицу невзвешенных - там действительно результат хуже. Ладно, это ок.

2.b. Вижу что есть указание про кластеры. И тут, если посмотреть на размер кластеров - на индивидуальном уровне измеряется _только_ в Acc. В MS кластер на 2 человека, в An - 7. И вроде бы подписано, что SE varies across experiments (MS: mixed team level and individual assisgnments, Acc: individual assignmetns, An: Team level assignments). Тут становится немного непонятно - почему такое разбиение на кластеры и для чего (вроде рандомизировали специально и на уровне команд и на индивидуальном уровне). В общем - я хз что тут измеряют и как это интерпретировать.

2.с. Для An присутствует самое большое SE, но при этом в финальных цифрах - SE становится минимальным среди всех трех экспериментов. Как это сделали - черт знает. По идее - с ростом генеральной совокупности SE должна уменьшаться и на самом деле, учитывая двукратное превосходство An над объемом других - финальные цифры должны быть сопоставимы. Но думаю, тут просто с кластерами поиграли taking the precision weighted average across our three experiment-by-experiment estimates. Ну ок.

3. Там еще увольнение сотрудников Acc было в количестве 42% от тех кто участвовал в эксперименте, но там ребята поигрались с цифрами и считают что можно оставить результаты 204 оставшихся человек, но просто вынесем их в Appedix D, чтобы не путать цифры. А так-то все норм.

Мне кажется, здесь пара вещей, которые мне не нравятся и я не доверяю результатам:
- произошло смешение контрольных и исследуемых групп
- цифры считаются не совсем понятным образом .

В общем, выглядит как очередной маркетинговый булшит. Может, только для меня ибо, повторюсь, вычисления и выводы не выглядят solid ground.

Комментарий критикует статью за смешение контрольных и исследовательских групп, неясные расчёты и подозрения в маркетинговом преувеличении. Авторы признают некоторые недостатки, но утверждают, что использовали статистические методы для их компенсации. Тем не менее, статья не детализирует эти методы, что затрудняет проверку корректности данных.

Сергей Булаев AI 🤖

12 October 2024 09:33

В связи с развитием проекта занялся миграцией Flashbacks с AirTable (где он изначально был сделан как прототип) на полноценный SupaBase. Также подключаю туда своего ErrorBot и OpenPanel.

Понял, как удобно заставить Composer поддерживать ASCII-таблички со списком интегрированных событий, а также с прогрессом добавления слоя работы с данными (да, по совету ChatGPT, миграция началась с выделения работы с данными в отдельный слой).

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

11 October 2024 06:50

Илон Маск:

Я думаю, что Optimus станет самым большим продуктом в истории. Каждый человек на Земле — 8 миллиардов людей — захочет иметь своего приятеля Optimus. Они будут производить продукты и услуги, и я предсказываю 80% вероятность хорошего исхода, если мы решим проблемы рисков, связанных с цифровым суперинтеллектом. Стоимость продуктов и услуг резко снизится, и мы вступим в эпоху изобилия, которую люди никогда даже не могли себе представить. Это будет что-то действительно особенное.

Сергей Булаев AI 🤖

11 October 2024 05:29

Илон Маск представил Cyber Cab Robotaxi - долгожданное автономное такси от Tesla. Запуск в Техасе и Калифорнии в 2025-м. Без наблюдения, без водителей.

Педали и руль - отсутсвуют. Будущее наступило!

Сергей Булаев AI 🤖 - об AI и не только в

Сергей Булаев AI 🤖

10 October 2024 16:33

Aria, новая опенсорсная мультимодальная модель от @rhymes_ai способна работать с картинками и видео. По лицензии Apache 2.0! Так же выпустили скрипты файнтюнинга. Работает со скриншотами с кодом, распознаёт рукописный текст, обладает знаниями.

Можно использовать через Huggingface.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

10 October 2024 12:35

Один из самых популярных ИИ помощников кодеров Claude Dev дорос до версии 2.0 и переименовался в Cline (CLI aNd Editor). Потому что там можно пользоваться не только Клодом видимо. То есть редактор кода и админ. А я его всё так и не попробовал.

Как я понимаю он работает из командной строки в VS (не знаю работает ли в других), как агент с расширенным функционалом, выполняющий поручения по написанию кода. В отличие от Cursor Composer он умеет запускать команды в терминале (с разрешения) и может установить вам модуль, или даже запустить код над которым работает чтобы оценить результаты.

В новой версии ответы потоково отображаются в редакторе с анимацией текста, что позволяет следить за прогрессом Cline при редактировании файлов. На 40% уменьшилось количество запросов при исполнении задач. Также появилась возможность прерывать генерацию и давать обратную связь в реальном времени.

Постоянно вижу его в топе по расходам токенов за день на OpenRouter. Звучит круто, надо пробовать обязательно.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

10 October 2024 09:10

Я не Сатоши! А вы?
(Разве бы настоящий Сатоши когда нибудь признался бы?)

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

09 October 2024 17:11

Наверное, уже слышали, что в этом году впервые Нобелевская премия по физике была вручена ученым, чьи работы связаны с искусственным интеллектом.

Джон Хопфилд и Джеффри Хинтон — это ветераны в нашей области. Почитал про них немного.

Хопфилд первым предложил модель нейронной сети, которая могла хранить и восстанавливать информацию, как человеческая память.

Можно сказать, что он стал одним из прародителей концепции эмбеддингов, хотя сам термин появился позже. Его работа 82-го с ассоциативными сетями, особенно модель Hopfield Networks, заложила основу для идеи создания низкоразмерных представлений данных (эмбеддингов), которые сохраняют ключевые свойства информации.

Хопфилд фактически первым показал, как можно сжато и эффективно хранить и восстанавливать паттерны, что позже было применено в методах создания эмбеддингов для текстов, изображений и других типов данных.

Джеффри Хинтон внёс не менее значимый вклад в развитие искусственного интеллекта. В 85 году он разработал методы для обучения нейронных сетей распознаванию паттернов на основе примеров, что позволило обучать их с помощью градиентного спуска. Это стало ключевым открытием для развития машинного обучения, позволив сетям "учиться" и становиться более точными.

Он также известен своими работами над машиной Больцмана (может рассматриваться как стохастический генеративный вариант сети Хопфилда), которая, хотя и не стала основой современных систем, сыграла важную роль в исследовании принципов работы нейросетей.

Хинтон, несмотря на все свои достижения, уже после ухода из Google в 2023 году начал открыто высказываться о рисках искусственного интеллекта. Он предупреждает, что ИИ может выйти из-под контроля, а также превзойти человека в интеллектуальных способностях.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

09 October 2024 15:42

Только вот писал про разные конверторы GitHub репозиториев в единый файл для скармливания LLM, и тут Пьетро Скирано решил сделать собственный на replit.

Главный плюс - можете пользоваться прямо здесь и сейчас.

Приложение исключает бинарники, включает в результат только текст.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

08 October 2024 12:09

Сегодня шортс получился. Он про проект Inverse Painting, исходный код которого скоро должны выложить вот тут.

Цель проекта - создание видео процесса рисования картины на основе готового изображения.

Ключевые особенности:

- Использует диффузионные модели для генерации видео.
- Обучается на реальных видео процесса рисования акриловыми красками.
- Способен работать с различными художественными стилями, включая Ван Гога.
- Имитирует типичные техники художников: рисование от заднего плана к переднему, фокус на семантических объектах, использование слоёв.

Процесс работы:

- Генерация текстовых инструкций для рисования.
- Создание масок для определения областей рисования.
- Рендеринг холста с помощью диффузионной модели, учитывающей текст и маски.

Уникальность в том, что он может экстраполировать знания, полученные при обучении на акриловой живописи, на другие стили и жанры, создавая правдоподобные видео процесса рисования для широкого спектра художественных работ.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

07 October 2024 14:30

Пытался сделать сегодня свой первый YouTube Shorts, но был дезинформирован гуглом о том что можно делать видео до 3 минут длинной. В итоге когда я начал его закачивать - оказалось что всё режется до минуты. Обидно. Выложу хоть сюда.

Но вообще факт - у Лекса Фридмана вышел подкаст с основателями Cursor. Можете не смотреть, вот несколько цитат для вас.

О вкладке Cursor Tab: «Цель Cursor Tab - устранить все низкоэнтропийные действия, которые вы совершаете в редакторе. Когда намерение эффективно определено, давайте просто перепрыгнем вперед во времени, пропустим вас вперед». - Аман

О своем подходе к диффам: «Вероятно, у нас будет четыре или пять различных видов диффов. Мы оптимизировали diff для автозавершения, так что интерфейс diff будет отличаться от интерфейса, когда вы просматриваете большие блоки кода». - Суалех

О трудностях поиска ошибок: «Даже самые умные модели невероятно плохо калибруются». - Аман

О концепции Shadow Workspace: «Идея создания Shadow Workspace заключалась в том, что мы можем создать отдельное окно Cursor, которое будет скрыто, и вы сможете установить в нем флаг, чтобы оно стало скрытым. Окно есть, но вы его не видите». - Арвид

О своей системе Preempt: «У нас есть одна внутренняя система, которую мы называем Preempt, которая немного помогает нам в этом. И я думаю, что она была создана для прежней эпохи, когда у нас было 8 000 окон с маркерными контактами». - Арвид

О выборе модели: «Сейчас я бы сказал, что самая лучшая модель - это Sonnet. Думаю, это общее мнение». - Аман

Об их системе индексирования: «Мы разбиваем весь ваш код на куски, затем отправляем код на встраивание, и мы встраиваем код. Затем мы храним вложения в базе данных, но на самом деле мы не храним никакого кода». - Суалех

О будущем программирования: «Меня очень радует будущее, в котором я могу просто показать пару примеров, а потом ИИ применяет их ко всем местам». - Арвид

О своем видении: «Мы - лаборатория прикладных исследований, создающая необычайно продуктивные системы человеческого ИИ». - Из их манифеста

О роли ИИ в программировании: «Мы не пытаемся заменить программистов. Мы усиливаем их способности, даем им суперсилу». - Майкл

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

05 October 2024 12:14

Сегодня в рубрике #КриповаяСуббота у нас, созданная при помощи AI инструментов, короткометражка от Storybook Studios под названием "Барьер".

Чтобы проверить пределы возможного, мы создали короткометражный фильм, используя практически все доступные в настоящее время инструменты GenAI. Никакой 3D-графики. Никакого записанного материала, кроме голосов

Сергей Булаев AI 🤖

05 October 2024 10:03

Мои любимые Firecrawl выпустили в качестве примера использования, Realtime консоль для кроулинга через OpenAI Realtime API. Отличный жизненный кейс.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

04 October 2024 12:57

Представление о том как будет выглядеть генеративный геймплей будущего (тут вот фортнайт уже представляли). GTA San Adreas. Тот ролик что побольше - это Runway Gen 3, что покороче - не знаю. Увидел тут.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

04 October 2024 08:57

Наверное уже слышали что OpenAI представила Canvas, крутой конкурент Claude Artifacts. К сожалению сильно занят, и пока не могу попробовать.

Но Саша, на которую давно подписан, и которая тоже много пишет про свой опыт использования ИИ, уже попробовала и можно посмотреть.

Сергей Булаев AI 🤖 - об AI и не только

Сергей Булаев AI 🤖

02 October 2024 15:34

Важный пейпер, который многие из нас боялись ждать: каково реальное влияние ИИ на продуктивность программистов? Это рандомизированное контролируемое исследование с использованием старого и осталого Github Copilot на базе GPT-3.5 для 4 867 программистов в компаниях из списка Fortune 100. Исследование обнаружило увеличение количества выполненных задач на 26,08%.

Сергей Булаев AI 🤖 - об AI и не только