37805
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
Боюсь, что нигде теперь. А как ещё ИИ будет получать бесплатную разметку для беспилотников?
Любишь катацца, люби и данные метить.
Не любишь катацца, сиди на обочине прогресса.
@cgevent
Grok Aurora & Kandinsky
Цензура? Нет, не слышали..
Сора: а чо так можно было?
@cgevent
Реалтаймовый path tracing в UE5.
Честно говоря, звучит как изобретение квантового рейтрейсинга или применение квантовых компьютеров для рендеринга. Ну не может такой кадр считаться в 60fps, я хорошо помню из прошлой жизни, что такие сцены считаются сутками. На кадр.
Если интересно как это возможно, поглядите видео. Как я понял, вместо миллиардов лучей испускаются миллионы(звучит иронично, но экономия в тысячи раз) и испускаются локально, только там где надо(блидинг, софт шедоу и пр).
И там хорошие три вопроса, один из которых про потерю качества при таком подходе. Ответ - ее почти нет.
Явшоке. Подробности ниже.
А я вспоминаю недавние посты про генерацию, а точнее про рендеринг игр нейронками, которые знать не знают про path tracing и физическую корректность, и думаю, а что важнее - дофамин или физически корректный свет? И где предел качества картинки, после которого пользователю уже все равно на качество?
https://youtu.be/JYI1srodjeg?si=8VxmZyglPqGCjVOa
@cgevent
OpenAI 7: проекты в chatgpt
Очень полезная штука. Можно такие папочки создавать, в которых все необходимые документы, инструкции, чаты. Причем не только на потрындеть, но и код пописать. Наконец-то можно будет разложить все аккуратно и контекст сохранять. Тут рабочая стратегия, тут путешествия организация и так далее. Раскатывают прямо сейчас
https://www.youtube.com/live/FcB97h3vrzk?si=xjUjA8kQxsJLMglh
Мадагаскарский яйценосный дрозд (Madagascar ovum turdi) - единственная известная науке птица, не высиживающая яйца и не вьющая гнезд.
После завершения беременности, самка откладывает в специальную кожаную сумку два, в редких случаях - три яйца, практически идеальной круглой формы.
По окончании вынашивания, нижняя часть кожистой стенки истончается, яйца выкатываются наружу, и происходит процесс вылупления птенцов. Молодой яйценосный дрозд готов к самостоятельному полету уже через четверть часа после рождения, что также является уникальным явлением в мире птиц.
Известный канадский орнитолог Летиция Боллс в своей книге «Наша уникальная планета», так описывает самок Мадагаскарского яйценосного дрозда:
“Учитывая, что во время сезонных миграций этим маленьким хрупким женщинам приходится пролетать около 20 000 км, их по праву можно назвать женщинами с яйцами. И не только из-за необычного способа вынашивания птенцов».
Wilson Journal of Ornithology, 2024
Это мой приятель Алекс Васильев, сделал 4 апреля вот такой пост. Ну и взорвал интернет.
Оригинал тут
В итоге дроздяра разлетелся по интернетику как ковид. Из последнего, я видел тетеньку, кандидата биологических наук, которая прям на серьезных борщах затирала про особый вид дроздов с термотестикулами, а на заднике была вот эта ИИ-птичка.
Тут, конечно, можно разразиться длинным постом о природе кожаных, но я лишь приложу видос из Соры.
Чтобы кандидатам биологических наук было, что обсудить в интернетике.
Я, кстати, уже писал про то, как Алекс меняет фауну планеты.
@cgevent
🔵 Предыстория: У меня в телеге тысячи! непрочитанных и неотвеченных сообщений, скорее всего у вас также. Большинство из них с запросами на партнерства, запуски проектов, маркетинг, да и просто обычные вопросы от пользователей наших продуктов. Все это наверно сотни тысяч долларов упущенных возможностей.
⚠️ Но кто это все должен разбирать, квалифицировать, общаться, договариваться? Не доверишь же ты свой личный телеграм трем ассистенткам.))
Ну и решил я все это автоматизировать через AI Telegram бота, и тут понеслось)) 📱📱📱
Спустя 20.000 строк кода родился полноценный AGI бот-ассистент для Телеграм, который за меня может вести все переписки и делать практически что угодно:
- общаться на любые темы
- квалифицировать лидов и их потребности
- вести переговоры и договариваться в свою пользу
- назначать встречи и звонки
- и даже продавать сервисы и принимать платежи
Ну и конечно же я не поленился добавить в него все последние фишки AI:
- Загрузка любых данных (doc, md, pdf, csv) — бот “запоминает” всё, что нужно.
- Голосовые сообщения — можно добавить свой голос, и бот сможет общаться голосовыми за вас.
- Самые мощные AI-модели (#OpenAI, #Anthropic) под капотом.
- Полный контроль и гибкая настройка инструкций и интеллекта под ваши задачи и цели.
- Доступ в интернет для поиска нужной информации
- Безопасность на уровне самого Telegram — бот работает только с теми чатами, которые вы ему разрешите.
BLENDERGPT
Держите вам еще один 3Д-генератор.
Несмотря на название это НЕ плагин к Блендору, это просто еще один облачный сервис за 10 долларов в месяц.
Преимущество - быстрый.
Я попробовал, не увидел чего-то особенного. Может вы найдете.
С персонажами совсем беда.
https://www.blendergpt.org/app
@cgevent
В аккурат после Gemini OpenAI показали камера- и скрин-шеринг в chatGPT (к чорту приватность, данные всё). И мультимодальность в голосовом режиме в виде audio-direct-to-audio. Звучит действительно еще круче.
А потом стали мучить Санту вопросами про оленей.
Теперь можете поставить телефон рядом с собой, включить камера шеринг - и он будет коментировать ваши действия. Все как у людей.
Кстати, для фитнеса и йоги может зайти. Не удивлюсь, если услышу на тренировке: подтяните внутренние пахи.. Когда ходил на Айенгару, никто мне не мог объяснить, кто это такие. Может chatGPT объяснит.
Sora vs Minimax
Как иллюстрация к предыдущему экзальтированному посту.
Вот смотрите, есть две картинки.
По первой, Сора НАОТРЕЗ отказывается генерить видео. Орёт: вижу людей! тревога! не могу! не буду!
По второй генерит реальную хрень, явно желая выйти в прокрустово ложе датасета, привычную лыжню камеры и псевдо-3Д стиль.
При этом Минимакс (видео без лого) кушает все это как родной. Понимая и про людей, и про стиль (что это мультик) и про камеру.
Как еще надо поломать мозги Соре, чтобы стало понятно, что это тупик?
Спасибо Максу и подписчикам, атомный чат у меня в коментах, конечно
@cgevent
Если так пойдет, то можно выпивать за настольные игры.
Gemini просто будет рисовать следующие ходы на телевизоре.
Надо погонять ее на Code Names.
Даёшь ей снимок карточек на столе и свою карту с красными и синими квадратиками.
И она такая "вот вариант на восемь".
Кто играл в коденеймс, тот поймет.
Главное, чтобы у твоих коллег ума хватило закрыть 8 карточек.
И тут мы подходим к вопросу, что ЛЛМ становятся умнее нас настолько, что наших мозгов не хватает, чтобы понимать их ответы.
Если вы не кандидат филологических наук или турболингвист (на примере коденеймс)
В пределе, им просто не о чем будет с нами разговаривать. Когда мы зададим все свои наивные вопросы.
Будущее с AI
Устойчивое будущее без широкого применения искусственного интеллекта уже невозможно. И в рамках международной конференции AI Journey Альянс в сфере AI, объединяющий ведущие технологические компании страны, и Национальным ESG Альянсом, который занимается повесткой устойчивого развития, были представлены успешные кейсы.
В кейсбуке 39 примеров использования AI-технологий, решающих экологические, социальные, управленческие и бизнес-задачи с ESG-эффектами на основе их результативности, наличия измеримых эффектов в области устойчивого развития, вклада в достижение целей устойчивого развития (ЦУР) ООН и национальных целей развития России.
Первый зампред правления Сбера, Александр Ведяхин, объяснил, как данные решения повлияют на развитие будущего:
«Согласно исследованиям, AI-технологии могут помочь в решении 80% задач в области устойчивого развития. Вместе с экспертами мы начали собирать такие AI-решения, чтобы продемонстрировать, как технологии можно использовать для сохранения национальных природных богатств, улучшения жизни и благополучия людей. Это поможет создавать технологии, ориентированные на долгосрочные позитивные изменения. Уверен, этот проект знаменует важный шаг к системному применению искусственного интеллекта и обмену лучшими практиками для устойчивого развития России».
Трумультимодальность.
До вечернего стрима от OpenAI у нас, похоже, идет день Google и Gemini.
OpenAI ТОЧНО пора показать обновленный DALL·E 3, ибо смотрите, что творит Gemini. Причем творит сама по себе, без вызова всяких Imagen-ов - это трумултимодальная модель.
Поглядите все видосики обязательно.
Путешествия по картинкам меня до сих пор восхищают, типа поверни вправо и, особенно, отъедь назад. Хотя такое мы видели в последний месяц регулярно, особенно у видеогенераторов. Но тут повторюсь монолитный чат и хорошее качество.
А вот пример с газовой горелкой - просто отличный: "нарисуй то, что случится, когда горелка повернется".
Визуальная цепочка мыслей.
"Включи телевизор" - тоже неплохо.
Источник тут.
В общем, я прям жду, что ответит OpenAI, прежде чем делать мучительные выборы.
И поднимите веки Midjourney кто-нибудь. Неприлично уже.
@cgevent
На всякий случай напишу отдельно, так как это легко пропустить. Новая Gemini умеет генерировать изображения сама, без вызова внешних рисовалок. При этом свои же картинки она видит в контексте, и умеет копировать части изображения. Такое умеет и gpt-4o, но эту фишку OpenAI пока не выпустили — быть может, в оставшиеся 7 дней релизов успеют.
Это открывает доступ к новым сценариям, невозможным (или затруднительным) ранее. На скриншотах вы видите пример, как пользователь подсунул картинку из мема «рисуем сову», и попросил дорисовать все промежуточные шаги. Модель взяла часть исходной картинки за основу и сгенирировала несколько новых (по сути «поверх», но там сгенерирован каждый пиксель, нет команды «вот это оставляем, вот это меняем»).
Круто, что модель сама поняла, как декомпозировать рисунок, без дополнительных указаний, так ещё и шаги пронумеровала — 1.25, 1.5 😀
Другие сценарии применения (в том числе генерацию GIF-ок) можете посмотреть в оригинальном блогпосте про GPT-4o (+1 последняя картинка тут для затравки).
Источник картинок
5 день: OpenAI в новогодних свитерах предлагают посмотреть на их более крутые интеграции с iOS/MacOS
Можно через Siri взаимодействовать с ChatGPT, в том числе в камере. А в MacOS передавать, например, скриншот или весь текущий док для анализа прям в 1 клик
https://youtu.be/mBhkD0iFf4w
Вы будете смеяться, но у нас новый генератор картинок. Точнее foundation model для оного.
Опенсорсный, с кодом, веса бахнули сегодня.
1. Text-to-Image
2. ID customization
3. Multiview generation
Text to multiview
4. Condition-to-Image and vice versa
5. Subject-driven generation
6. Text-guide image editing
7. Zero-shot Task combinations
https://github.com/lehduong/OneDiffusion
Щас его упихают в Комфи, а пока там Омнигеновские требования к памяти:
The demo provides guidance and helps format the prompt properly for each task. By default, it loads the Molmo for captioning source images, which significantly increases memory usage. You generally need a GPU with at least 40 GB of memory to run the demo. Opting to use LLaVA can reduce this requirement to about ≈27 GB, though the resulting captions may be less accurate in some cases.
Всем удачных тестов!
@cgevent
Pika 2.0 — мечта всех рекламщиков
Pika продолжают исследовать возможности для контроля видео и на этот раз представили Scene Ingredients.
Фича позволяет создавать видео с реальными людьми (0:37) и объектами, а затем поместить их всех в какое-то место действия. По сути, это IP-Adapter на стероидах для видео. Конечно, тут ничего на лету не обучается, просто на вход сетки подаются дополнительные эмбеддинги референсных объектов. Но это может не очень стабильно работать.
- Подписка за $35 даёт кредитов на 40 видео в месяц (это очень мало).
- За $95 можно получить уже 120 видео.
Видео с Ingredients используют в два раза больше кредитов. Так что подписки даже за 95 баксов на нормальный видос не хватит 🤭
Большой упор сделали на рекламщиков. А-ля: загрузи фотку модели и фотку какой-то вещицы — и вот держи, пожалуйста, модный промо-видосик! Но не совсем понятно, насколько это на самом будет хорошо работать и слушаться промпта.
Kling вот недавно тоже сделали шаг в этом направлении, неожиданно релизнув один из лучших virtual try-on'ов. И даже с ним одежда получается не всегда 1 в 1. Чего тогда ожидать от IP-адаптера для видео? Хотя черипики в видосе выше, конечно, прикольные. Слишком уж дорого тратить драгоценные генерации видео без полноценной подложки из 100% рабочей картинки.
pika.art
@ai_newz
Kandinsky Video, Gigachat Music и народный датасет.
У Кандинского вышла новая модель 4.0 для генерации видео и местами там очень неплохие результаты.
А Gigachat запустил свой генератор музыки. Длина трека полторы минуты, но есть также генератор тестов песен.
И кстати про тексты и датасеты. Сбер в 2025 году начнет собирать "Народный датасет" для обучения моделей GigaChat и Kandinsky - в нем могут поучаствовать все желающие, приведя информацию о небольших регионах, о городской специфике, малых народах или устоявшихся выражениях. Своеобразный национальный краудсорсинг информации новой модели.
Подробности тут.
Ну, за подкасты.
Не очень понятно зачем теперь нужны кожаные блогеры, влогеры, инфлюматьихенсеры.
Я тут смотрел, как народ упарывается в NotebokLM, создавая аудио-подкаст из текста, потом вырезает в аудасити звук для каждого голоса, потом огородит с хейгеном и звуком, и тд.
Все.
Одна кнопка.
Сделать красиво.
Тупо, но красиво.
А зачем еще это все?
Хейген, похоже, сами не понимают, как они троллят интернет.
@cgevent
Krea.ai Edit
Редактор изображений Krea.ai теперь доступен всем.
Инпейнтинг, аутпейнтинг, выделение/замена/удаление объектов. Все это удобно как в фотошопе и бесплатно (ограниченно)
#imageediting #inpainting #outpainting
У меня в телеге все разбито на папки. Каналы в одной папке, активные каналы в другой, рабочие чаты в третьей, персональные сообщения в четвертой, ну и тд. Проблема в том, что когда кто-то делает новый чат с тобой и кем-нибудь еще, то этот чат попадает в папку All, а там тысячи непрочитанных. И все это улетает вниз. Не нашел как с этим бороться, а также, как искать ТОЛЬКО в личных сообщениях или только в сообщениях их определенной папки, или только pdf-ы. На итоге постоянно теряю кого-то или что-то. И тут мне пишет подписчик Илья, который с помощью ИИ забабахал бота, который решает часть таких проблем.
Смотрите ниже
⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️
В 3Д-генераторы потихоньку заползают 8К-текстуры.
Это уже намерение работать с ассетами для кино.
Но.
Помимо разрешения, у текстур должно быть и качество.
Я вот поглядел, как Rodin бахнул OmniCraft - там и HDRI генератор, и 8К текстуры, и на входе может быть пять ракурсов.
https://hyper3d.ai/omnicraft
Но потом нашел вот такое сравнение с опен-сорсным TRELLIS, который снимает текстуры, более похожие на реальные.
Rodin, конечно, всех пока уделывает по продуктовым фишкам, а вот по части качества придется теперь конкурировать с опен-сорсом.
Про Trellis читаем тут.
@cgevent
Мы: ну сегодня покажут новый DALL·E 4
OpenAI: смотрите в chatGPT есть кнопка "Санта"
https://www.youtube.com/watch?v=NIQDnWlwYyQ
Два мира, две системы.
На деле три, есть ещё опенсорс.
Но давайте поглядим на то, как Сора неуклюже и лицемерно(людей за 200$ можно) реализует цензуру.
В это же время, Грок от Маска совершенн безбашенно и залихватски генерирует любых политиков, знаменитостей, селебов, бесстрашно начхав на эти вот ванильные "мы заботимся о вашей безопасности"
В одно и тоже время существуют два радикально иных подхода к цензуре.
В этом смысле подход маска мне сильно ближе, он не делает вид "мы не такие и вообще принцессы не какают".
А опенАИ продолжают загонять себя в анекдот, когда сынок спрашивает маму, что такое жопа.
"Ой, нет такого слова, сынок"
Сынуля: "Хмм, странно, жопа есть, а слова нет".
Тут вот Альтман гонял в Голливуд полгода назад, общаться за Сору.
Но большинство голливудского сторителлинга построено на жопах, сиськах и насилии. Какая в жопу Сора?
При этом и грок и сора/далле существуют в одном инфополе.
У меня совершенно крамольная аналогия про христиан и язычников, но я не могу от нее отделаться.
Два мировоззрения. Главное, чтобы до крестовых походов не дошло. Рыцари-Юристы уже готовы.
Картинка из Грока, как вы понимаете
@cgevent
Нет-нет, вы не поняли, он может прям взять вашу фотку, подумать над ней и дорисовать, например, ход в крестиках-ноликах 😏
(функция доступна только доверенным бета-тестерам, полноценный релиз для всех в начале следующего года. У меня вот нет доступа, это скриншот из твиттера)
А Midjourney тем временем пивотнулись в неведомые 2д-дали.
Обещали нам сначала видеомодель, потом 3Д, потом 2.5 - "заглядывание в картинки".
На итоге выкатили что-то странное - среднее между Пинтересом и Фигмой на стероидах ЛЛМ.
Название громкое World building tool, звучит как метаверсищще!! На деле больше похоже на метамудборд.
Как пишет Ник Перье - this feels less like a world building tool and more like a GPT enabled Figma board linked to MJ api
Надо сказать, что я только что видел что-то похожее у Леонардо в виде Flow State и у Runway была потрясающая статья (которую паблики перепутали в просто кифреймами для видео) про творчество в латентном пространстве, которую я до сих пор не разобрал для вас (а именно там жир)
Меня в этот заплаточный мир не пустило - Make sure your Midjourney account is connected to your Google account
Хотя все там законнекчено давно.
В общем, если еще живы Midjournисты, растолкуйте в коментах ценность нового пивота от Midjourney
https://updates.midjourney.com/patchwork-user-guide/
@cgevent
Из всего что релизнул гугл с Gemini 2.0, самое впечатляющее - демка их streaming API. Gemini теперь в риалтайме понимает одновременно и аудио и видео - как с камеры, так и стрим экрана. К тому же может отвечать голосом (пусть и с помощью TTS). А ещё может исполнять код и искать по интернету, в отличие от advanced voice mode.
Такого вау-эффекта от новых возможностей нейронок у меня не было, пожалуй, с релиза advanced voice mode, всем советую попробовать (обязательно врубите стрим либо с экрана либо с камеры). Можно ненадолго почувствовать себя как в фантастике, пока это не стало обыденностью. Доступно бесплатно, но нужен VPN (не европейский).
https://aistudio.google.com/live
@ai_newz
А Google представила Gemini 2.0 Flash - быстрее, выше, сильнее предыдущих. И несколько крутых исследовательских проектов.
Основное:
- Мультимодальный ввод и вывод: поддержка работы с текстом, изображениями, видео и аудио, а также их генерация.
- Улучшенная производительность: в 2 раза быстрее предыдущей версии (1.5 Pro) с повышенными возможностями рассуждения.
- Интеграция с инструментами: нативная работа с Google Search, выполнение кода и поддержка пользовательских функций.
Уже доступна разработчикам через Google AI Studio и Vertex AI, а также через Multimodal Live API с функцией потокового ввода и инструментов.
Deep Research
Новый инструмент, который действует как продвинутый исследовательский ассистент. Он помогает анализировать сложные темы, структурировать информацию и составлять отчеты. Вот это крутая штука
AI Overviews в поиске
Обновление популярной функции поиска, которая теперь может обрабатывать более сложные запросы, включая мультимодальные вопросы, сложные уравнения и код.
Исследовательские проекты:
- Project Astra: универсальный AI-ассистент, который умеет поддерживать диалог на нескольких языках, лучше понимает контекст и акценты, а также использует инструменты Google (поиск, карты, Lens). Новая версия улучшена благодаря технологиям Gemini 2.0.
- Project Mariner: агент для работы в браузере, который может анализировать содержимое экрана и выполнять задачи, такие как взаимодействие с веб-формами или текстовыми элементами. Это исследовательский прототип с фокусом на безопасность. По видео
- Jules: AI-ассистент для разработчиков, интегрированный в рабочие процессы GitHub, помогающий автоматизировать задачи программирования.
- ИИ в играх: агенты, использующие возможности Gemini 2.0, помогают игрокам разбираться в сложных игровых ситуациях, взаимодействуют с виртуальными мирами и предлагают решения в реальном времени.
Смотрите красивый видос - https://www.youtube.com/watch?v=Fs0t6SdODd8
Mariner выглядит вообще огненно.
Больше инфы https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/#building-responsibly
А чтобы вам жизнь медом не казалась, вот вам ещё грядущий нам на головы
PUBLIC DIFFUSION.
https://source.plus/
Новый подход к базовым моделям: Public Diffusion обучается на изображениях Public Domain и CC0. Высокое качество. Полностью открытая. Создана для файнтюнинга.
Какая понял, основная фишка - вылизанный до предела качества датасет. Который также доступен для сообщества и тренировки своих моделей. 30 терабайт, 12М картинок.
По картинкам - до флюкса не дотягивает, но и тренировка ещё идёт.
Записался в вейтлист.
@cgevent
В ночи Ютуб запустили автоматический перевод видео. Пока только для избранных видео, и включить перевод должен сам автор.
Хотел написать "многочисленные стартапы по даббингу напряглись. Но послушал вот этот образец и кажется напрягаться рано - звучит это ужасно, липсинка нет и вообще гугл чудовищно далеко от маленьких стартапов делающих такие же функции https://blog.youtube/news-and-events/auto-dubbing-on-youtube/