12278
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
А вот и треню лор для hunyuan подвезли.
Можно тренить и на картинках.
Git
Кто постоянно жаловался на отсутствие нейронной ретопологии?
Nvidia пока только показывает тул Meshtron, который обучен быть полезным именно для художников. Вероятно, сет обучался на специально отобранных сетках.
Количество трисов на меш ограничено 64k, что может показаться небольшим количеством для больших и сложных объектов. Но благодаря интеллектуальному сегментированию Meshtron понимает, какие объекты должны быть отделены, и именно они будут иметь ограничения в 64k, а не весь меш.
Метод можно использовать не только для пересчёта уже существующей сетки, но также для преобразования и дополнения облака точек, которое получаем из моделей textTo3D и imgTo3D.
Никогда так ничего не ждал для тестов от Nvidia. Как только выпустят, оповещу о тестах.
Stay tuned!
Больше в блоге.
@CGIT_Vines
Ведьмак 4:
- узнать в Велене ли Геральт
- узнать в Скеллиге ли Геральт
- узнать в Новиграде ли Геральт
- Гвент
На всякий случай напишу отдельно, так как это легко пропустить. Новая Gemini умеет генерировать изображения сама, без вызова внешних рисовалок. При этом свои же картинки она видит в контексте, и умеет копировать части изображения. Такое умеет и gpt-4o, но эту фишку OpenAI пока не выпустили — быть может, в оставшиеся 7 дней релизов успеют.
Это открывает доступ к новым сценариям, невозможным (или затруднительным) ранее. На скриншотах вы видите пример, как пользователь подсунул картинку из мема «рисуем сову», и попросил дорисовать все промежуточные шаги. Модель взяла часть исходной картинки за основу и сгенирировала несколько новых (по сути «поверх», но там сгенерирован каждый пиксель, нет команды «вот это оставляем, вот это меняем»).
Круто, что модель сама поняла, как декомпозировать рисунок, без дополнительных указаний, так ещё и шаги пронумеровала — 1.25, 1.5 😀
Другие сценарии применения (в том числе генерацию GIF-ок) можете посмотреть в оригинальном блогпосте про GPT-4o (+1 последняя картинка тут для затравки).
Источник картинок
Свежая фотка с James Webb.
То что с восьмиконечным бликом - звезды млечного пути, все остальное - галактики.
Первый день анонсов от OpenAI был просто, гхм, потрясающим!
День первый: цунами
День второй: саранча?
Just a woman casually walking her pet raptor
Нейросети прекрасны
AI Video Composer
Лицехваты упоролись и сделали управляемый текстом видеоредактор.
Прикрутить виспер и будет голосовой фотошоп из bladerunner.
Так как под капотом большинства видео-тулзов все равно лежит ffmpeg в том или ином виде, слоняры решили не заморачиваться, и прикрутили к нему qwen2.5-coder. Теперь можно делать уйму вещей с видео, аудио, картинками, для которых раньше надо было лезть либо в видеоредактор, либо на стаковерфлоу.
Ваистену, text2video который мы заслужили!
демо
х
@derplearning
StableV2V: Stablizing Shape Consistency in Video-to-Video Editing
Китайцы снова шатают опенсорс.
Обещают редактирование видео с сохранением изменений во времени, что обычно проблема для guided подходов, так как в опорных картинках (depth map например) форма объекта отличается от отредаченной.
Мне, конечно, интереснее всего style transfer, но с ним пока не очень понятно. Примеры есть - но такой уровень и animatediff 2023 выдаст.
По классике, код и веса выложили чуть ли не раньше пейпера.
подробнее
код
веса (правда там бардак)
@derplearning
https://huggingface.co/Efficient-Large-Model/Sana_1600M_512px
вышла
демо: https://nv-sana.mit.edu/
Очередной хайп-тул от китайцев из ByteDance — SeedEdit
По сути, это еще один text2photoshop или по простому текстовый редактор картинок, но качество — моё почтение (судя по черипикам, а демо на Hugging Face у меня пока лежит).
Результаты получаются очень похожими на то, что даёт наш Emu Edit из соседней команды.
Пробежался по тех-репорту. Деталей там зиро, так же как и novelty:
Все таже начинают с обычной pre-trained text2img диффузии и генерят пары синтетических данных - картинка и ее отредактированная версия с инструкцией. Далее это все дело сильно фильтрут, дообучают модель на отфильтрованных парах с инструкциями. Затем опять повторяют по кругу - генерят синтетику, фильтруют и дотренивают модель. Так несколько раз.
По архитектуре: вместо добавления оригинальной картинки на вход с помощью конкатенации дополнительных каналов как в Emu Edit, тут кормят фичи оригинальной картинки в контекст self-attention блоков. Эта фишечка не новая, так делали уже например в Story Diffusion для генерации консистентных кадров.
Иначе говоря, ничего нового в методе нет, челы просто очень хорошо приготовили синтетические данные (data is the king).
Больше примеров ниже.
Демо на Hugging Face
Пейпер
Project page
@ai_newz
Что-то это уже слишком хорошо для липсинка.
У Тиктока 4 месяца назад вышел X-Portrait
https://github.com/bytedance/X-Portrait
Но сейчас они бахнули X-Portrait 2 и это уже запредельно выразительно.
Я прям очень жду код, потому что они похоже могут уделать Runway Act One - и все это будет локально, без подписок и кредитов.
Поглядите вот тут, это стоит того:
https://byteaigc.github.io/X-Portrait2/
@cgevent
Для mochi запилили редактор mochi comfyui video2video ноды. Заводится локально на 24гб vram.
До runway далеко, и на длинном контексте скорее всего будет разваливаться, как animatediff/svd
Но начало положено, и если кто-то присобачит туда хаки для длинного контекста, будет и у нас runwayml дома!
Это 480p модель, поэтому работает нормально только с видосами в районе 848х480. Работает через unsampling (ddim inversion).
comfyui mochiedit
comfyui mochiwrapper
models
@derplearning
По всей видимости, текущие методы RL не очень подходят для генерации трёхмерных представлений либо тратят слишком много вычислительных ресурсов. Поэтому для новой беты модели Gen-1 RLHF V0.9 использовали Reinforcement Learning with Human Feedback (RLHF): у них, натурально, в штате сидит команда моделлеров, которые раздают вознаграждения.
К слову, генерации на уровне Tripo3D из этого поста — возможно, у Tripo тоже RLHF, но это же не звучит так волшебно, если у тебя разметку делают люди.
На старте дадут 8 бесплатных кредитов, погонять тесты хватит. Для остального есть возобновляемые кредиты у Tripo.
Пробовать тут
Пока все тараканятся с аттеншеном, чюваки из RWKV уже в ином измерении (или под иными веществами) 🤣
Зачем считать аттеншен, если можно делать это мелкой моделью и тюнить её в процессе инференса.
Онлайн ворлд модель хотели? Теперь их есть у нас 😍
We've put a smaller model inside your model so you can train your model while training your model.
Шмидхубера не забыли упомянуть, лол.
X.com
Ведьмак 4: Обновлённая версия
- узнать в Йеннефер ли Геральт
- узнать в Трисс ли Геральт
- узнать в Шани ли Геральт
- узнать в Кайре ли Геральт
- узнать в Шианне ли Геральт
- узнать в борделе ли Геральт
«Ведьмак 4» официально анонсирован. Также показали 6-минутный трейлер.
В новой игре нужно будет играть за повзрослевшую Цири.
Разработчики говорят, что это самая большая и многообещающая игра серии.
Ждём?
r/#gaming
HunyuanVideo от Тencent
Тencent выпустила HunyuanVideo, крупнейшую модель генерации видео с открытым исходным кодом!
13B модель имеет унифицированную архитектуру для создания как изображений, так и видео.
HunyuanVideo объединяет многомодальную большую языковую модель (MLLM) в качестве текстового кодировщика, улучшая текст-видео алайнмент и способности рассуждения. Она также использует 3D VAE для эффективного сжатия видеоданных, что позволяет генерировать высококачественное видео с исходным разрешением.
Согласно результатам профессиональной оценки, Hunyuan Video превосходит предыдущие передовые модели, включая Runway Gen-3, Luma 1.6 и 3 самые эффективные китайские модели видеогенерации.
👨💻 Project page
🤗 Huggingface
💻 Git
📜 Paper
🎮 Demo
CS492(D): Diffusion Models and Their Applications
Курс по Диффузионным моделям от KAIST (Южная Корея) - если хочется поднять базу, не ходя в университет.
Читает леции вот этот чувак - Minhyuk Sung. На сайте есть записи всех лекций и слайды, плюс 2 гостевые лекции от крутых ученых.
Список лекций:
1 - Course Introduction
2 - Introduction to Generative Models / GAN / VAE
3 - DDPM 1
4 - DDPM 2
5 - DDIM 1
6 - DDIM 2 / CFG
7 - CFG / Latent Diffusion / ControlNet / LoRA
8 - Zero-Shot Applications
9 - Guest Lecture 1 by Or Patashnik
10 - DDIM Inversion / Score Distillation 1
11 - Score Distillation 2
12 - Diffusion Synchronization
13 - Inverse Problems 1
14 - Inverse Problems 2
15 - Probability Flow ODE / DPM-Solver
16 - Flow Matching 1
17 - Flow Matching 2
18 - Course Summary
19 - Guest Lecture 2 by Jiaming Song, Chief Scientist at Luma AI
https://mhsung.github.io/kaist-cs492d-fall-2024/
Ну а еще почитать про диффузию можно у меня :) Вот пара ссылок:
- Как ускорить диффузию часть 1, часть 2
- Моя любимая статья по диффузионным моделям (база)
- Разбор нашей статьи Cashe Me if You Can по ускорению диффузионок
- И ещё пара туторов, вот первый и второй
#ликбез
@ai_newz
OminiControl
И снова китайцы отжигают.
Запилили универсальный фреймворк для контролируемой генерации с помощью DiT.
Подходит как для внедрения объекта, так и в качестве привычных контролнетов. Но главное - весят эти модели ~0.1% от базовой, поскольку опорную картинку энкодят самой же базовой моделью. Те, что выложили для FLUX schnell весят 30-50мб :D
Если флакс влезает в ваш гпу, на сдачу можно взять пучок ominicontrolnetов и ни в чем себе не отказывать.
Прикрутил бы кто всю эту красоту к CogVideoX, а то сил нет уже грузить эти полуторагиговые контролнеты.
код
пейпер
модели
демо
датасет (subject)
@derplearning
https://x.com/fofrAI/status/1860108591002452479
Читать полностью…
Вчера был большой день в моей карьере артиста.
Моя работа A DREAM стала одним из победителей Artefact AI film Festival.
Был красивый показ и церемония награждения в кинотеатре mk2 bibliothèque в Париже, где я торжественно присутствовала. Прикрепляю фото и видео как это было.
А еще в ближайшем будущем планируется длительный показ в сети кинотеатров mk2, но об этом позже.
#jane
Runwayml: анонсирует camera controls, успевает похайповать полчаса.
Опенсорс: hold my beer
DimensionX Lora для Cogvideo. Моё увожение!
Github
В HeyGen новая фича - Photo Avatar
И да, она тоже связана с тренировкой своих аватаров на пачке входных изображений.
Почитайте полный пайплайн тут:
Если вкратце: Flux, Magnific, Heygen, Elevent Labs, chatGPT, Topaz
Ну, за дикторов и блоггеров..
@cgevent
Тренировка Лор для Клинг!
На своих (чужих, нужных) лицах.
Да, в Клинге появляются Лоры - они их зовут "AI Custom model"
Для тренировки свое модели:
Вам потребуется сделать горизонтальный ролик, где вы смотрите в камеру продолжительностью 10-15 секунд, в формате 1080p и размером менее 100 МБ. На заднем плане не должно быть других кожаных, и убедитесь, что это HQ с хорошим освещением.
Ну а потом загрузить в Клинга 10-30 таких (!разнообразных!) роликов. Важно держать длину 10-15 секунд на ролик, качество 1080p и отсутствие людей на заднем плане. Они рекомендуют загружать от 10 до 30 роликов. 20 тоже ок.
Тренинг идет всего 15 минут (это пока все непонаехали). А потом у вас появляется Face Model в text-to-video option.
Пишете промпт: [facemodel] wearing cyberpunk armor and holding a futuristic rifle. Inspecting a dark laboratory. Lantern lights, dramatic atmosphere.
И все, Клингонская Лора в действии!
Поглядите примеры. Этот ж новый нормальный кастинг.
Вместо базы актеров - база Лор. Кем играть сегодня будем? Так, для испанского проката натренируйте Пенелопу Крус, благо материала полно.
@cgevent
У Runway потрясающее новое обновление — улучшенное управление камерой
Можно будет выбрать направление движения, скорость, сочетать это все в ролике. Есть даже панорамирование объекта, то есть обучали не только на видео. Подробнее и с черрипиками тут.
Готовлюсь тестировать на все деньги, вместе с новым обновлением в Midjourney (позволяющим работать со своими изображениями) — это новое слово в творчестве и рекламе. После сотни итераций, конечно.
Классная игра – где одна LLM рисует картинку кодом (SVG), а другие LLM угадывают что это
(Кода пока нет, но наверное будет)
Автор