12278
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Sa2VA: Marrying SAM2 with LLaVA for Dense Grounded Understanding of Images and Videos
К Sam2 прикрутили llava, и теперь можно сегментировать картинки и видео по текстовому запросу, как было в sam+grounding dino.
Трекает тоже хорошо, даже с перекрытием объектов.
X
Demo
Paper
@derplearning
Тем временем SANA стала ваистену опенсорсной (правда, только код :D)
https://github.com/NVlabs/Sana
Очень занимательная и наглядная эволюция видео-моделей за два года (нашел в Твиттере). Для большего контраста можно было взять и китайский modelscope, но и так годно.
Читать полностью…
На реддите тип под ником ai_happy собрал сборку Trellis с пониженными требованиями к памяти. С 16Gb до 8Gb и однокликовым установщиком, как у A1111. Не требует cuda toolkit, powershell и admin'ских прав. Говорит, потери в качестве нет.
Добавил api support + documentation.
Как вернусь домой к компу, буду тестить, если кто-то развернет раньше, кидайте сюда свои результаты!❤️
Git тут
@CGIT_Vines
https://www.youtube.com/watch?v=beTuZ0mlkn4
а пик был тут если что (уберите себя от экрана если у вас синдром быстрого отвала п*)
С Новым Годом, друзья!🎄
АйЛетов - Звенит январская вьюга (AI Cover)
https://youtu.be/0Ho2y_139RM
#айгитарист #нейрокавер #aicover
Одна из задач которую o3 не смогла решить, а вы сможете – 2025 жду с нетерпением, очень интересно где мы будем через год в плане АИ-гонки
Все еще жду AGI к 2027
А вот и треню лор для hunyuan подвезли.
Можно тренить и на картинках.
Git
Кто постоянно жаловался на отсутствие нейронной ретопологии?
Nvidia пока только показывает тул Meshtron, который обучен быть полезным именно для художников. Вероятно, сет обучался на специально отобранных сетках.
Количество трисов на меш ограничено 64k, что может показаться небольшим количеством для больших и сложных объектов. Но благодаря интеллектуальному сегментированию Meshtron понимает, какие объекты должны быть отделены, и именно они будут иметь ограничения в 64k, а не весь меш.
Метод можно использовать не только для пересчёта уже существующей сетки, но также для преобразования и дополнения облака точек, которое получаем из моделей textTo3D и imgTo3D.
Никогда так ничего не ждал для тестов от Nvidia. Как только выпустят, оповещу о тестах.
Stay tuned!
Больше в блоге.
@CGIT_Vines
Ведьмак 4:
- узнать в Велене ли Геральт
- узнать в Скеллиге ли Геральт
- узнать в Новиграде ли Геральт
- Гвент
На всякий случай напишу отдельно, так как это легко пропустить. Новая Gemini умеет генерировать изображения сама, без вызова внешних рисовалок. При этом свои же картинки она видит в контексте, и умеет копировать части изображения. Такое умеет и gpt-4o, но эту фишку OpenAI пока не выпустили — быть может, в оставшиеся 7 дней релизов успеют.
Это открывает доступ к новым сценариям, невозможным (или затруднительным) ранее. На скриншотах вы видите пример, как пользователь подсунул картинку из мема «рисуем сову», и попросил дорисовать все промежуточные шаги. Модель взяла часть исходной картинки за основу и сгенирировала несколько новых (по сути «поверх», но там сгенерирован каждый пиксель, нет команды «вот это оставляем, вот это меняем»).
Круто, что модель сама поняла, как декомпозировать рисунок, без дополнительных указаний, так ещё и шаги пронумеровала — 1.25, 1.5 😀
Другие сценарии применения (в том числе генерацию GIF-ок) можете посмотреть в оригинальном блогпосте про GPT-4o (+1 последняя картинка тут для затравки).
Источник картинок
Свежая фотка с James Webb.
То что с восьмиконечным бликом - звезды млечного пути, все остальное - галактики.
Llamav-o1
Файнтюн 11b llama-vision-inctruct на chain of thought неплохо вкатился в бенчи - где-то показывает себя па уровне gpt40k gpt4o-mini
Model
Paper
Real World Photography Experimenter
Рубрика крутые подписчики.
Саша Мелентьев прислал мне очень годный Workflow в ComfyUI для комбинирования трех изображений в одну фотореалистичную фотографию. Доступен в облаке по ссылке ниже.
Очень хорош для создания "ювелирки", продуктовой фотографии, для портретов людей, а также для генерации концептов окружения. И, наверное, много чего еще...
Для примера. Берем подводный 3D рендер в Style, фотографию улицы в Env, кольцо с камнем в Obj - получаем кольцо на коралле в затопленном городе.
Тест здесь. Real World Photography Experimenter
Вообще, этот пост, судить если по картинкам в генерации, можно назвать "Девушка или ваза".
@cgevent
Сегодня, конечно, день Нвидия.
Они опенсорснули код Cosmos, и это, конечно, космос!
Developer-first world foundation model platform designed to help Physical AI developers build their Physical AI systems better and faster
Долго писать, это опенсорсная World Model.
Выглядит очень круто, го тестировать. Там и video search, и 3Д, и метаверсищще.
Pre-trained Diffusion-based world foundation models for Text2World and Video2World generation where a user can generate visual simulation based on text prompts and video prompts.
Pre-trained Autoregressive-based world foundation models for Video2World generation where a user can generate visual simulation based on video prompts and optional text prompts.
Video tokenizers for tokenizing videos into continuous tokens (latent vectors) and discrete tokens (integers) efficiently and effectively.
Post-training scripts to post-train the pre-trained world foundation models for various Physical AI setup.
Video curation pipeline for building your own video dataset.
https://github.com/NVIDIA/Cosmos
Ссылки:
https://www.nvidia.com/en-us/ai/cosmos/
https://huggingface.co/nvidia/Cosmos-1.0-Guardrail
@cgevent
Юмор.
Когда после НГ обнулился салатный кэш и решил потестить GPT на бытовуху.
Прикручивание LLM-систем к классическим способам моделирования, например CAD-системам проектирования.
Я тоже поначалу подумал, как же это тупо, неудобно и неэффективно — писать текстом то, что можно сделать руками по классике. Тем более если мы говорим про сложные сопряжения и неравномерные фаски.
Но если в вашей схеме под 500 деталей, и вам нужно вносить изменения в узлы, сдвинув на 0.032 mm отверстия, а потом запустить каждую деталь в симуляцию, чтобы ракета или корабль не отклонялся от курса или детали меньше изнашивались, то текст, как дополнение, будет увеличивать скорость ваших итераций в 10, а в некоторых моментах — в 50 раз. Так, по крайней мере, заявляет разработчик этого решения, Джордан Нун, исполнительный директор Zoo Creates — инфраструктуры для hardware design.
С новым годом, дорогие читатели моих saved messages!
Выпьем же за то, благодаря чему мы несмотря ни на что!
тем временем в pika кто-то сделал модный показ для мемов
src
Оказывается, муравьи умеют отлично маневрировать. И теперь вы знаете, как это выглядит
r/#nextfuckinglevel
новогодний триллер в духе позднего СССР как напоминание о том что новый год подкрался незаметно
автор мрачного гиперреалистичного видео Aleksej Lotkov, ему также помогали Aleksei Olenchenko и Leo Erdman
В этой супер-короткометражке я хотел обыграть западный имидж СССР и нестандартный нарратив. Стиль под пленку 80-ых помог скрыть пару косяков и разгуляться воображению.
Использовали самые новые/передовые тулзы по типу Flux 1.1 pro ultra и Sora (процентов 20 анимации - сора), ну и все, что есть из видеогенераторов.
Пока все тараканятся с аттеншеном, чюваки из RWKV уже в ином измерении (или под иными веществами) 🤣
Зачем считать аттеншен, если можно делать это мелкой моделью и тюнить её в процессе инференса.
Онлайн ворлд модель хотели? Теперь их есть у нас 😍
We've put a smaller model inside your model so you can train your model while training your model.
Шмидхубера не забыли упомянуть, лол.
X.com
Ведьмак 4: Обновлённая версия
- узнать в Йеннефер ли Геральт
- узнать в Трисс ли Геральт
- узнать в Шани ли Геральт
- узнать в Кайре ли Геральт
- узнать в Шианне ли Геральт
- узнать в борделе ли Геральт
«Ведьмак 4» официально анонсирован. Также показали 6-минутный трейлер.
В новой игре нужно будет играть за повзрослевшую Цири.
Разработчики говорят, что это самая большая и многообещающая игра серии.
Ждём?
r/#gaming