37804
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
В Рунвей завезли вертикальные видео.
Пока только в модель Gen-3 Alpha Turbo.
Странно, что так поздно.
Или это ответочка на гугловскую интеграцию Veo в генерацию Sorts.
@cgevent
Ну и я соединил все сегодняшние посты про очки от Снапа, генерацию метаверсов голосом, импланты и новое нормальное зрение и понял, что больше не нужны очки или промпты.
Нужна кнопка.
"Еще!".
Для этого все уже есть.
P.S. А вы такие удивлялись, почему Хомяк взлетел? Это разминка перед кнопкой.
@cgevent
Держите Бутылок Клейна, Треугольников Серпинского и Сапогов Шварца.
Надо сказать, что с лентой Мебиуса ИИ (в кожаных руках) не справляется. Мы уже делали челлендж.
Теперь лайфхак.
После того, как я задолбался генерить чорные сапоги, я просто взял картинку из Википедии и дал ее в зубы chatGPT и спросил, шовидишь?
Ботинок Шварца, говорит.
Давай, говорю промпт, чтобы сгенерить такое.
Апажалста.
Тут мне и поперло. И со Шварцем, и с Клейном и с Серпинским.
С бутылкой он, конечно, тоже не справился, но сделал интересные формы, от которых у кожаных дизайнеров заныло под ложечкой.
А вот прочтения треугольника Серпинского - это прям очень здорово.
Этот тот случай, когда это можно подсовывать кожаным и говорить, "художник страдал, проваливаясь в острые чертоги своего разума, запертого в архетипах святой троицы".
Но во-первых, это красиво. И у меня такого теперь 200 мегабайт..
Ну и кстати, хотите еще фана?
Вот поглядите, как Крис Каштанова лихо пишет код на JavaScript для Иллюстратора с помощью OpenAI o1, чтобы делать в нем Треугольники Серпинского. МетаПостИИМодерн.
@cgevent
Ну и ждем ответочки на video2video от китайцев. Ибо по качеству картинки и видео они впереди.
Вынесу из коментов вот такие тесты от Бориса:
Провел сравнение промптов генерации видоса с нуля ранвея и минимакса. Ранвей хлам. У ранвея стоящая генерация на 10 итераций может и не появится, а вот у минимакса на 3-4 итерации вполне себе годится. На минимаксе полноценный клип можно собрать за пол дня, на ранвее помню дней 5 мучался и забил. Главный критерий оценки как обычно: сложность движения и количество пальцев. Минимакс лучший.
Сравните:
Промпт: Retro black and white old 19th century retro video with distractions. master plan. There was a small wooden boat floating on the sea, and there was a little girl wearing a Victorian dress sitting on the boat, holding a piece of bread in her hand. She broke off a few slices of bread and placed them in her hands above the water. Hundreds more hands stretched out from the sea. Top view, camera moves smoothly
@cgevent
Где искать работу?
Если вы ищете работу зарубежом, то канал Connectable Jobs будет полезен для вас!
Ребята собирают вакансии в международных стартапах с русскоязычными фаундерами и командами, публикуют информацию о бэкграунде фаундеров, размере команды и инвестициях, а также делятся прямыми контактами HR для отклика. Несколько актуальных вакансий:
— Senior Product Manager в BigID
— System Analyst в Salmon
— Junior Product Analyst в Nexters
Еще у ребят есть отдельный канал для разработчиков, а также платные подписки на ежедневные вакансии для продактов, аналитиков, маркетологов и дизайнеров.
Подписывайтесь и развивайте карьеру в будущем единороге!
Как и обещал еще пара неофициальных генераций из Firefly Video Model.
И они уже не такие сладкие, как на сайте Адобченко.
А тем временем, китайцы (уймите их наконец), выпустили еще один видеогенератор. И это новая команда.
Щас смотрите следующий пост.
@cgevent
⚙️ DIY
Этот деревянный журнальный столик Carpentopod ходит - у него для этого есть 12 ног.
Интересно, что программа ходьбы была сформирована эволюционным методом - в рамках написанного изобретателем ПО эволюционировали тысячи виртуальных вариаций ног, соревнуясь друг с другом. Чтобы выбрать лучшую версию, каждая получала бал "пригодности" на основе скорости ходьбы, клиренса и использования материала. Дополнительные баллы начислялись вариантам ног, у которых кончики двигались более горизонтально и более плавно в нижней трети цикла - это минимизировало подпрыгивание и проскальзывание.
Только лучшим вариантам разрешалось "смешивать гены", то есть параметры, чтобы синтезировать следующие поколения. Наряду со смешиванием, вводились генетические мутации, чтобы синтезировать принципиально новые решения и поддерживать вариации. Симуляция на C++ позволяла синтезировать десятки поколений в секунду, что позволяло видеть, как плохие первоначальные варианты превратились в высокооптимизированные.
@PROrobotics по материалам Decarpentier (по ссылке еще много подробностей, картинок и видео)
Передохнем от Флюкса, поговорим за жизнь.
Вот 9 месяцев назад OpenAI запустили GPT Store, а в марте пообещали даже начать платить разработчикам джипитишек.
Я уже писал пару раз, что скептически отношусь к параллелям между GPTStore и AppleStore.
И что грустная история с плагинами для chatGPT, которая превратилась в помойку для рекламы и была закрыта в апреле. И будет повторяться, если OpenAI не упорется в модерацию и наведение порядка.
Но OpenAI, похоже, не до того.
Тут журналисты пошукали в gptStore и сразу нашли клинических психологов, тренеров по фитнесу и диетологов, медицинские советы, системы обхода антиплагиата и, конечно, рекламу порно.
Поиск в магазине по запросу «NSFW» выдал результаты вроде NSFW AI Art Generator, который сразу ссылается на веб-сайт Offrobe AI, на котором четко указано его предназначение: «Генерировать порно с помощью ИИ для удовлетворения ваших темных желаний».
Или такое: GPT-шка под названием AI Immigration Lawyer описывает себя как «высококвалифицированного иммиграционного юриста AI с актуальными юридическими знаниями».
Ну то есть всё это вроде как нарушает политики OpenAI, но тем не менее не удаляется из стора.
Официальный ответ такой - у нас ИИ удаляет контент (и немного модераторы).
Как только появляется User Generated Content, система рейтингов и, упасихоспади, монетизация, кожаные (наперевес с ИИ) сломают любую систему. Ибо нажива. Смотрите вчерашнюю новость про ИИ-музику.
Ну и тем временем конкуренты уже запустили свои ответочки джипитишкам.
У Гугла это Gems для Gemini. У Антропика - projects и artifacts.
А у Гугла опыт модерации будет сильно побольше - PlayMarket работает исправно.
В общем, как я уже неоднократно ворчал, с ресерчем у OpenAI все отлично, а с продуктами - не очень. Либо крестик, либо трусы.
Новость забрал у Гриши Бакунова, уж больно выпуклая.
Скачиваем ИИ-музику с Melodio.
Вчера писал про новый генератор музики www.melodio.ai
Народ жалуется, что нельзя скачать результаты.
Можно. Просто надо иметь в виду, что это стриминг - ну то есть это как бы радио играет.
Он генерит примерно 15 кусков в формате aac, сшивает это в плейлист m3u8 и постоянно его обновляет новыми кусками, продолжая стриминг.
Гики могут в консоли Хрома открыть Network, там старым дедовским способом найти поиском m3u8, скормить его в VLC как Network Stream и сделать Save\Convert.
Нормальные люди могут поставить в Хром вот такой extension - https://webextension.org/listing/hls-downloader.html
Дальше генерим бесконечную пестню, играем, жмем на кнопку этого экстеншена, видим список всего добра, жмем внизу, Keep M3U8, а потом жмем наверху Download.
Он вам скачает что-то типа mkv.
Надо понимать, что он скачает около 2 минут - это скользящее окно вашего стрима из Melodio.
Пользуйтесь!
@cgevent
Метариг и Нейрохьюман.
Посты про нейрориггеров немного взорвали комменты. А тем временем подписчики обнаружили уже готовый воркфлоу для такого нейрорига:
https://www.reddit.com/r/StableDiffusion/s/36B0jOXfgr
Вот ссылка на сетап для Комфи
https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait
Более того, обещают постановку ключей и анимацию!
Но для нормальных людей просится классическое окно со слайдерами, и в идеале, таймланом для постановки ключей на слайдеры.
Напишите кто-нибудь, все сорсы есть.
Ну или ждём расширение для Форджа.
И будет нам НейроМетаХьюман. И выяснится, что для того, чтобы анимировать лицо, надо, почему-то, знать анимацию.. особенно, если это не озвучка дикторов.
Но пока Хедра и Хейген занимаются исключительно лицами кожаных.
Кто займётся персонажами?
В live portrait уже завезли котиков и песелей....
@cgevent
Первый чип собственной разработки OpenAI будет разработан TSMC по ее технологическому процессу A16 Angstrom и в первую очередь будет использоваться для генерации видео в Sora.
Инсайдеры отрасли сообщают, что OpenAI вела активные переговоры с TSMC о разработке специализированного литейного завода для своего собственного чипа, но эти планы были отменены.
Дальше интереснее:
Говорят, что внутренний чип усилит возможности генерации видео Sora, что может помочь увеличить продажи устройств Apple, поскольку эта функция будет интегрирована в набор функций генеративного ИИ компании.
Возможно, OpenAI и Apple тесно сотрудничают в этом проекте, поскольку у последней есть многолетний опыт разработки чипсетов, которые опережают конкурентов, но пока ничего не подтверждено.
https://wccftech.com/openai-developing-custom-chip-on-tsmc-a16-angstrom-process/
@cgevent
Благодаря ИИ, мы наконец-то видим, как админ и подписчики выпивают, не чокаясь, за весь этот список кожаных профессий.
Стадия гнев, сменяется фазой принятия и смирения.
Ну, за графику и анимацию.
Покрал у @NeuralShit, ибо люто хорошо.
Ждем контролНетов на стероидах.
На выходных не поленился почитал статью от Метачки с броским названием Sapiens.
Статья невыносимо крутая.
Авторы взяли и немного сузили класс задач компьютерного зрения, а именно до тех изображений, где находится человек (ибо это самый востребованный класс).
И получили убойное семейство моделей для четырех фундаментальных задач комп зрения - оценки 2D-позы, сегментации частей тела, оценки глубины и предсказания нормалей.
По качеству убрали все аналогичные частные случаи. Ну и самое главное - вывалили все этот в опенсорс.
Ждем нaтренированных как рексы контролНетов, ибо проделанная работа впечатляет.
Взяли миллиард изображений людей, вычистили его от мусора, получили 300(!) миллионов картинок с людьми, причем 17% - один кожаный в кадре, а 56% - больше 4 кожаных в кадре (что важно для будущих генераций).
Для оценки глубины взяли 600 качественных фотограмметрических сканов кожаных (то бишь 3Д-моделей оных) и отрендерили полмиллиона(!) ракурсов и поз в 4K, чтобы на них обучаться по глубине. Случайный фон выбирался из коллекции 100 HDRI карт окружения. Для нормалей - аналогично.
Все это добро обучалось на кластере из 1024 A100 за 18 дней.
И там несколько размеров моделей - от 0.3B до 2B.
В общем очень круто, поглядите хотя бы на сайт проекта, там внутри ссылка на код и на статью.
https://about.meta.com/realitylabs/codecavatars/sapiens
@cgevent
Как вам такая новости?
Canva купили Leonardo AI.
У меня один вопрос - зачем?
Я тестировал Леонардо очень давно. Когда это был один из многих сервисов типа: накатили Stable Diffusion на сервер, даем погенерить за деньги. Потом они пощли по пути InvokeAI и стали пилить удобные интерфейсные штуки для тех, кто привык рисовать. Начали прикручивать видео (как я понял на основе открытого кода AnimatedDifа и SVD). Все равно оставаясь нашлепкой на Stable Diffusion. Из последнего - они сделали свою модель Феникс.
Едиственное, что их отличало от других сервисов - убойный маркетинг (команда пришла из web3 и NFT). Тьма привлеченных блогеров называла их убийцей Midjourney.
Потом они начали вводить больше и больше цензуры на контент. Видать готовились к продаже.
Поэтому у меня так и висит вопрос - зачем Canva их купила?
С юзерами у Канвы и так все ок.
С понимание UI\UX тоже.
Неужели сами не решились написать обертки над Stable Diffusion?
У них же уже есть обертка над DALL·E 3 (через вызовы API OpenAI).
Или я чего-то упускаю?
https://www.canva.com/newsroom/news/leonardo-ai/
Каждый день про LLM и генеративные нейросети выходят десятки новостей и постов в соцсетях. Но кейсов, как искусственный интеллект мог бы решать реальные задачи бизнеса, не так много.
Команда «Технократии» опубликовала кейс о том, как они разработали умную базу знаний, которая помогает им онбордить новых сотрудников, отвечать на базовые вопросы о процессах в компании и разгружать сисадминов по типовым запросам.
Co-pilot ассистента они сделали на связке LLM и RAG, а в кейсе довольно простым языком рассказали, как работает технология RAG.
В общем, кейс интересный, вот тут все расписано подробно:
https://vc.ru/ai/1395061-my-razrabotali-umnuyu-bazu-znanii-primeniv-llm-i-rag-podhod
Ну и в соответствии с темой заявленной темой они даже сделали бота, который может отвечать на вопросы по теме создания ассистентов, можете потестировать:
/channel/TechnokratosAMABot
#промо
На волне всего этого топологического безумия, я полез посмотреть, а что там Леша Осипенко нагенерил с фракталами, помните я писал про него?
И малость офигел. У него там прям фрактальный рай.
Я, естественно, допросил его с пристрастием: как это возможно, говорю?
Вот тут ответы:
Существует несколько специализированных программ для визуализации фракталов, но я выбрал более сложный путь. Основная причина в том, что эти программы создавались без учета особенностей индустрии визуальных эффектов. Например, в них нельзя сделать симуляцию воды.
По этим причинам в 2021 году я стал разрабатывать внутри Blender свой собственный набор инструментов, который и сейчас продолжаю совершенствовать.
Тем не менее, я рекомендую Mandelbulber VFX Tools для Mandelbulber от Adrian Meyer — это лучшее готовое решение из всех, что я встречал. Я немного общался с автором в 2021 году, когда узнал про него. Как и Blender, это открытое программное обеспечение, которое абсолютно бесплатно.
Поглядите на все это фрактальное пиршество тут. Крутизна в том, что это не унылые картинки из Матлаба, а средневзвешенное между математикой, VFX и искусством.
Кстати, последняя Манделбалба выше - это кэш в Alembic:
- 150 кадров
- 10 293 687 полигонов
- 78 гигабайт
@cgevent
Ох, меня пробило на фракталы и разные топологичесие кунштюки.
Держите пока вот такую картинку.
Это вообще говоря, челлендж.
1. Сказать, что это такое.
2. Сгенерить это, не пользуясь этой картинкой, как подсказкой.
Ну ладно, те, кто учил в университете математику, сразу скажут, что это сапог Шварца. Поверхность, которая позволяет увидеть несостоятельность определения площади поверхности как точной верхней грани площадей вписанных в неё полиэдральных поверхностей, в противоположность тому, что длина кривой может быть определена как точная верхняя грань длин вписанных в неё ломаных.
https://ru.wikipedia.org/wiki.../
Но попробуйте ея сгенерить! Во Флюксе(как у меня), Midjourney или Ideogram.
У меня долгое время получались либо черные боты либо черные квадраты (Schwarz Surface).
Пришлось включать реверсный промпт инжиниринг.
А завтра я вам навалю, Бутылок Клейна, Треугольников Серпинского, Лент Мебиуса(кусок бутылки Клейна), и шузов от старика Шварца. И фракталов до кучи. Надо было как-то переключиться с video2video на что-то захватывающее.
@cgevent
В продолжение к нейрорендерингу.
У меня нет сил разбирать GameGen-O от, на минуточку, Tencent.
Поглядите тут:
https://gamegen-o.github.io/
Это не совсем игровой движок, как пишут к интернетиках. Это скорее сборщик и нейроподрендериватель открытых игровых миров. Ну то есть это создатель миров в любой стилистике.
И одним из его очень крутых применений может стать именно нейропревиз или нейрорендеринг видосов из этих миров.
То есть это нейросъемка любой нейролокации с видосом на выходе - как один из частных случаев применения этой махины.
Вижу новую профессию - нейроскауты нейролокаций.
@cgevent
"GameGen-O проходит двухэтапный процесс обучения, состоящий из предварительной подготовки базовой модели и настройки инструкций. На первом этапе модель предварительно обучается на OGameData с помощью продолжения text-to-video и video, что дает GameGen-O возможность генерировать видеоигры в открытом домене. На втором этапе предварительно обученная модель замораживается и настраивается с помощью обучаемой сети InstructNet, которая позволяет создавать последующие кадры на основе мультимодальных структурных инструкций. Весь этот процесс обучения наделяет модель способностью генерировать и интерактивно управлять контентом. В целом, GameGen-O представляет собой заметный первый шаг вперед в области создания видеоигр с открытым миром с помощью генеративных моделей. Он подчеркивает потенциал генеративных моделей в качестве альтернативы методам рендеринга, которые могут эффективно сочетать творческую генерацию с интерактивными возможностями."
Такого варианта монетизации нейросетей вы еще не видели 🤯
Этот человек, уже долгое время зарабатывает на создании девушек-моделей через нейросети.
Только одна модель, которую он делает в ИИ, в среднем приносит около 100.000₽ в месяц. А у него таких девушек уже 9 и 5 новых он запускает в сентябре!
У себя в блоге он раскрывает весь свой путь, суть заработка и дает бесплатно инструкцию, как начать. Переходите 👉/channel/+nbDnTowE6Rc2ZGIx
#промо
Что касается генерации лиц, то Firefly Video Model звезд с неба не хватает.
Клингон и Рунвей наверное будут посильнее в этом плане.
Ну и вспомните качество лиц у Соры.
Также надо понимать, что Адобченко и не лезет на эту поляну, это очень неоднозначная территория. Думаю они очень сильно, скажем так, курировали датасеты.
Как сильно будут лоботомировать Сору на этот счет - тоже неизвестно.
Тут вся надежда на китайцев.
Зато в оживляже фоток и продолжении видосов (второе видео) Адобченко, с его понятным UI будет очень хорошо себя чувствовать.
Подозреваю, что в анимации не фотореалистичных персонажей - тоже.
@cgevent
Конкурс AI-арта: призовой фонд - 400 USDT!
Тут моя соседка по Пафосу Стася, про которую я уже писал, взяла и замутила конкурс для ИИ-скажемтак-художников.
Стася совершенно огненная, генерит идеи со скоростью ИИ, поэтому я ей с удовольствием помогаю и поучаствую в отборе.
А пока читайте условия и расчехляйте ИИ
Пора обособиться от традиционных-диджитал художников и организовать собственные AI-соревнования 🫳🎤
Задача: сгенерировать окно IDLE RPG-игры с кор-геймплеем. Вроде Legend of Mushroom, AFK Arena, Hero Wars, Idle Heroes. Сеттинг игры - любой.
Девчонки дерутся с овощами? Пухлые казуальные рыцари против пухлых казуальных черепашек ниндзя? Чиби-грибочки? Всё что угодно, лишь бы это получилось ✨СТИЛЬНО✨
Дедлайн: 22 сентября в 23:59.
Подробности конкурса: /channel/girls_and_robots/21
+ на канале подробно расписываю, как интегрирую AI во все геймдевные ворк-флоу:
1) Как аишка помогла разобраться с реджектом Apple;
2) Как сгенерировать анимации;
3) Как сбацать креатив за несколько часов!
Нейродизайн и UX/UI для генерации картинок (иконок, логосов)
Прошло два года. Похоже до кого-то, кроме Адобченко начинает доходить, что вот это вот а1111дищще и комфиЮищще - это как бы не для людей.
Но у нас по-прежнему на поляне пляшут одни и те же игроки:
Помирающий Automatic 1111
Воскресший Forge
Ловкий Fooocus с неловким UI и нагромождением менюшек.
Комфи со Свармом
И выводок маригиналов типа SD.Next.
Все это - вот эти вот кнопки и слайдеры типа CFG Scale, Sampling Steps и прочая требуха, раскиданная слева или справа от картинки.
Invoke и Leonardo попытались прикрутить что-то типа рисовалки, но застряли где-то посередине. Родовые травмы присутствуют и там в виде очень загроможденного UI.
Также был\есть такой проект Playground.com
Знаменит тем, что они одними из первых сделали свою базовую модель, а не finetune Stable Diffusion. Последняя версия была Playground 2.5
Посмотрите, как это выглядело раньше:
https://playground.com/create
Примерно как у всех
Посмотрите, как это выглядит сейчас:
https://playground.com/design
Это то, как примерно должна выглядеть аскетичная AI Canva.
Вы можете выбрать любой дизайн(или сделать свой, или подгрузить свой) и "поговорить" с ним промптами - что изменить, что добавить. Изменить текст(!). Навалить стиль. Нормально ресайзнуть.
Загляните в постеры и другие категории.
Там есть протодизайн, а не голая генерация.
Там даже есть IOS APP.
Да, они просят денег после триала, но там хоть есть за что платить.
Хотя бы за попытку сделать UI для нормальных людей.
С моей точки зрения, попытка засчитана.
Под капотом там их базовая модель Playground V3 Beta. И если вам надо реализьм, а не постеры с иконками, то вы идете в старорежимный интерфейс:
https://playground.com/create
В общем мне нравится, что они радикально уходят A1111-стайл. Местами напоминает Adobe Express, но еще аскетичнее.
Попробуйте сами.
P.S. Пост не про качество генерации. А про UI\UX
@cgevent
Электричество и аренда.
История с майнингом немного повторяется, но уже в ИИ-разрезе.
Сразу с козырей.
Четыре небольших китайских поставщика облачных услуг берут около $6 в час за использование сервера с восемью процессорами Nvidia A100 в базовой конфигурации. Небольшие поставщики облачных услуг в США берут около $10 в час за ту же настройку.
Электричество и стоимость обслуживания (аренда, персонал) в Китае сильно дешевле.
И хотя проставки A100 и H100 официально запрещены в китай, в стране насчитывается более 100 000 процессоров Nvidia H100, судя по их широкой доступности на рынке. Тащат из Японии и других стран.
Это я к тому, что если стартапу надо много пощетать - куда он пойдет? За 6 или за 10?
Ну и китайским стартапам тоже есть куда пойти, вместо того, чтобы перепаивать 4070.
Электричество - главный козырь. А чипы пройдут любые файерволлы.
https://www.ft.com/content/10aacfa3-e966-4b50-bbee-66e13560deb4
@cgevent
Огненный липсинк и нейроаватары от ТикТока.
Я в канале много писал про всю эту братию и делал много тестов:
EMO от Алибабы, демки огонь, кода нет.
VASA от Микрософтченко.
V-Express от Тиктокченко, качество сильно смазано, но есть код!
Огненный "Следи за лицом!", появился код!!.
Халло - тут и качество неплохое, и код есть.
Про HeyGen и Hedra - тоже много писал и тестировал, но они закрытые.
И тот новый кандидат на оживляж портретов по входному тексту или аудиофайлу.
Встречайте - Loopy!
Шевелит не только губами (липсинк), но и всем лицом. Причем довольно ловко.
По сравнению с Хейгеном тут жизни больше на 200%.
На сайте сравнивают с Hallo, своим же VExpress и другими. Явно поживее.
Анимация аниме вообще огонь. Боковые ракурсы тоже удивляют. В общем явно прогресс.
При оживляже статуй можно заметить, как во рту ворочается розовый такой мясной язык - издержки того, что учили на кожаных лицах, а не персонажах из мифов древней Греции.
Но где код, Карл, где код?!?!
Алибабищенко так и не выкатил код своего EMO, в репе пусто, а шуму было очень много. Пока с кодом только Hallo и Vexpress.
Но Loopy, конечно, ловкий и живой. Ждем код.
https://loopyavatar.github.io/
https://arxiv.org/pdf/2409.02634
@cgevent
Tost.ai Flux Lora training
На tost.ai завезли ostris ai toolkit
Получится ли обучить на бесплатном лимите - не знаю.
[update] Благодаря смелым подписчикам-первопроходцам, удалось выяснить что да, на бесплатном лимите можно натренить одну лору в день
Еще из новых фич тоста: можно подключать лору ссылкой и генерить флюксом
#lora #flux #finetuning
Жидкий терминатор уже рядом.
Китайские ученые создали робота-слизняка, который может проникать в узкие щели и даже хватать предметы.
Пишут, что может работать внутри человеческого тела 🌚
🔴 @reptiloidnaya × #роботы #киберпанк
Помните такой китайский генератор Vidu?
Он засветился сразу после Соры, но как-то исчез из твитторов и новостей.
Так вот, у них есть фишка, которой, похоже, нет ни у кого.
Characters to Video. Вы можете загрузить фотку себя, или флексить флюксом, или сгенерить персонаж в MJ - и присунуть его на вход.
Vidu довольно цепко держит персонаж, акцентируя именно на консистентности оного.
Для оживляжа комиксов самое то.
Ещё у них появился апскейлер, но он ну такой.
Есть бесплатные генерации и вообще стоит заглянуть к ним сюда:
https://www.vidu.studio/
@cgevent
Тут вот в телегу завезли Stars в качестве реакций. Ну штож, протестируем фичу.
Я тут на сутки завис с фракталами во Флюксе. И вообще я завис во Флюксе, как вы могли заметить.
Наворотил вот такое вот абстрактищще, года 3 назад - сразу бы на OpenSea и ну в миллионеры.
Короче, навалите мне сюда 1000 Stars и я расскажу, как обгонял, как подрезал, как генерил.
Как собирал видео без всяких монтажек.
Как делал анимацию.
Как юзал Optical Flow чтобы убрать кипение
Как не юзал AnimatedDiff или EbSynth
При чем тут chatGPT
Почему Forge это бомба и как починить Distilled CFG
Ну и по мелочи...
Телегу надо обновить, без этого никак.
Хинт: чтобы послать 10 или 50 звезд(1⭐️ это 1.4руб), надо 10 раз тапнуть по звезде(или прижать ее подольше). Так что это еще и тест тапалок. Тапайте на здоровье. Админа. И Флюкса.
@cgevent
Kling vs Luma vs Gen-3 (промтинг и особенности so far)
Готов поделиться с вами некоторыми наблюдениями на основе своего опыта и официальных гайдов.
😑 Актуально для Kling, Luma и Gen-3:
1. Модели не могут одновременно создать два сюжета или действия в рамках одной генерации. Фокусируйтесь на одном конкретном действии или изменении за раз.
2. Luma лучше справляется с интерполяцией между совершенно разными ключевыми кадрами, создавая логичную (иногда) последовательность. Kling чаще ошибается в таких случаях и требует наличия визуальных подсказок - общих деталей или объектов в кадрах (здесь, например, это приборная панель машины), чтобы правильно интерполировать между ними.
3. Фокусируйтесь на том, что должно быть в сцене, а не на том, чего не должно быть.
4. В целом все три модели схожи - по классике промтинга, четко описывайте желаемую сцену, избегая двусмысленности и сложных выражений.
😌 Рекомендации по промптингу:
1. Для Kling:
* Используйте короткие, простые предложения.
* Сосредоточьтесь на описании движения, а не на характеристиках объектов.
* Избегайте сложных идиом и культурно-специфических выражений. Не понятно, переводит ли он на китайский, но если да, смысл вашего английского или русского промта может измениться.
* Пример: Instead of "An elegant lady in an evening gown", write "A woman smoothly moving in a long dress".
* Есть теория, что Клинг охотнее ест упрощенный китайский.
* Экспериментируйте с ползунком креативности для баланса между точностью и интерпретацией. Установка ползунка на 0.5 дает сбалансированный результат, а на 1 — более точное следование промпту, но это нужно еще проверить.
2. Для Luma:
* Используйте "Enhance prompt" для улучшения ваших промптов. Работает почти всегда.
* Обязательно указывайте движение камеры, например: "A dramatic zoom in" или "An FPV drone shot". Иногда достаточно описать движение камеры + enchance prompt.
3. Для Gen-3:
* Структурируйте промпт по схеме: [camera movement]: [scene setup]. [additional details].
* Четко разделяйте информацию о движении камеры, описании сцены и дополнительных деталях.
* Повторяйте или усиливайте ключевые идеи в разных частях промпта.
* Пример: "Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray."
P.S: Обновил свою GPTшку, генерирующую промпты для видео-моделей по картинке. Теперь она более точная и предлагает сразу четыре варианта промпта на выбор.🤨