6108
Особенности создания кино и анимации при помощи нейросетей. Автор: режиссер и сценарист Дмитрий Алексеев. По вопросам сотрудничества: @alekseevdir
Childhood memories
( Ghibli Studio ai animation tribute )
Одной из самых популярных художественных эстетик, которые воспроизводятся при помощи нейросетей является аниме. Почему?
Во-первых аниме очень популярно во всём мире, имеет тысячи тайтлов в виде манги (комиксов), артов и анимационных фильмов и бесчисленных сериалов .
Во-вторых это наиболее точно воспроизводимый стиль благодаря тому что популярность жанра породила гигантский датасет для обучения генеративных моделей.
У самой успешной генеративной модели Midjourney есть даже отдельный движок Niji, который заточен отдельно под аниме эстетику.
Сам я являюсь давним поклонником именно анимационных полнометражных фильмов, которые стали культовыми, благодаря своей кинематографичности, отличным сценариям и интересным подходам к режиссуре. Помимо всего прочего это отличный материал для анимации из-за очень схожих фактур генераций. Что дает возможность создавать составные шоты и анимировать их самыми разными техниками
И вот наконец, сошлись звёзды. Я совершенно случайно услышал оркестровый кавер на песню моей юности “Многоточие - в жизни так бывает”. И с первых секунд прослушивания трека у меня сложилось впечатление: тот кто перекладывал старый рэп трек на аранжировку оркестра ярый фанат Дзё Хисаиси - бессменного композитора всех фильмов Хаяо Миядзаки.
Так и появилась идея скрестить эстетику воспоминаний детства с визуалом добрых и теплых фильмов дедушки Миядзаки. Для реализации проекта я пригласил своего давнего друга и талантливейшего художника Сергея Козлова, с которым мы много лет вынашиваем планы по созданию анимационных фильмов.
Благодаря нашему коллабу в некоторых сценах персонажи оживают благодаря классической покадровой анимации. В Других же сценах появляются знакомые герои прямиком из легендарных фильмов при помощи ротоскопа на нейросети Runwayml.com
Ну что, Олды? Ностальгия в глаз попала?
https://www.youtube.com/watch?v=yKP2ZOzSQ0A
Pika Labs открылся для всех!
Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.
Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1Какие параметры у промтов:-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)-hide (скрыть промт)-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)
Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.
Дискорд
Сайт
На сцене появляются цифровые актёры, которые: не устраивают пьянства на площадке, никогда не опаздывают, не просят вдруг какао посреди локации в горах, не просят актерский дубль, не просят все деньги мира, не нужно притворяться их другом если они неприятные ребята и еще бесконечно много пунктов, которые можно объединить одним словосочетанием - человеческий фактор.
Продюсеры ликуют! В их мире наступает волшебная эра двух заветных желаний: больше денег и больше контроля! И что бы эти бизнесмены из мира кино не говорили сегодня в публичных интервью о том что они ничего такого не замышляют, они уже вкладывают деньги, чтобы начать выстраивать свою империю цифровых развлечений уже завтра.
Короткий срок жизнедеятельности любого контента уже давно не дает достаточно времени на стабильное создание хорошего большого кино и экономия началась на графике и спецэффектах. И как бы это не звучало пришла очередь людей приносить свои жертвы ради бесконечного конвейера развлечений.
Если хотите увидеть иллюстрацию моих размышлений ,то пророческая фантастика 2002 года “Симона”, которая вот-вот может стать документальной драмой то что нужно.
Это история о том, как режиссер после отказа актрисы досниматься в его фильме, приходит к решению использовать сгенерированную героиню, чтобы спасти свое имущество, которое он заложил, чтобы снять этот фильм.
Как вы думаете сколько еще осталось, до того как неохипстеры, будут кичиться тем что смотрят только натуральное кино?
2/2
«Pinocchio» - spec ad for Swed House
Сейчас прекрасное время для авторов, создающих свои анимационные фильмы. С приходом нейросетей как инструмента визуализации они могут больше сосредоточиться на двух важных аспектах: идее и истории.
Выше вы можете увидеть атмосферный и смешной ролик, который сделали мои талантливые друзья, при моем участии в качестве ai художника для генерации окружения и открывающего кадра.
Хотя вся основная работа, это создание персонажей и анимации в Blender, использование артов Midjourney с картой глубины для создания локации просто фантастически экономит время и при этом позволяет создавать красоту!
Это важный проект, который показывает потенциал нейросетей для авторской анимации.
Режиссер / Креатив :
Vladimir Nazarenko
CG Продюсер / Анимация :
Alexey Evdokimov
Ai -Художник : Dmitry Alekseev
Создание персонажей : Nikita Komarov
Звукорежиссер : Sergey Golovanov
Рассказчик : Mikhail Nazarenko
Пинокио : Vladimir Nazarenko
Трибьют изобразительному искусству, созданный на новой видео-нейросети.
Мне предоставили доступ к бета версии модели text-2-video Pika Labs. После нескольких тестовых генераций главным открытием стало, то как воспроизводится большинство стилей классического изобразительного искусства. Стоит отметить, что это не только стиль, цвет, композиция и фактура знаменитых картин, но и сюжеты, которые присущи тем или иным авторам.
Так появилась идея создать “музейное промо”, превратив стили художников разных эпох в “ожившие миры”. За время монтажа я пересматривал видео буквально десятки раз на повторе, только потому что результат вызывал у меня неподдельный восторг от проделанной работы. Буду рад рад услышать ваши впечатления от просмотра и появилось ли у вас острое желание сходить на выставку также как и у меня?
Full HD версию можно посмотреть здесь.
1/2
Добро пожаловать на канал Ai Filmmaker!
Меня зовут Дмитрий Алексеев - я режиссер. Уже более полугода я интегрирую нейросети в свои авторские и коммерческие проекты.
За это время я создал первый фотореалистичный кинотрейлер при помощи нейросети Midjourney, кинотрейлер сделанный полностью на видео модели GEN2 и еще несколько экспериментальных анимаций.
Я искренне верю, что в мире, где искусство и технология переплетаются, мы увидим зарождение новых талантливых авторов, которые зачастую остаются в тени из-за технических и карьерных ограничений.
Здесь буду делиться уникальными подходами и методами использования нейросетей в кинопроизводстве, а также последними инновациями современных ИИ инструментов.
Студия Disney продолжает вкладывать деньги в развитие ИИ. Компания организовала рабочую группу, которая будет изучать возможности ИИ и искать варианты его применения. Reuters пишет, что Disney ищет варианты сокращения расходов на производство контента и эта рабочая группа должна найти способы это сделать. Уточняют, что хотя информация об этом всплыла только сейчас, группа была создана еще до старта забастовки актеров, и не имеет к ней никакого отношения.
Контроль ИИ и разные нюансы с ним связанные, являются одними из основных требований бастующих актеров.
Та самая нейросеть, которая отлично работает со стилями изобразительного искусства теперь доступна для всех! ( Пока бесплатно )
Читать полностью…
- У вас кино натуральное или синтетическое?
- Наш кинопродукт содержит не менее 30 % живых актеров!
Самая большая забастовка Голливуда за последние десятки лет проходит в, том числе из-за тех пугающих перемен, которые несет в актерскую профессию использование искусственного интеллекта.
Поднимаются вопросы этичности использования цифровых копий актеров или оригинально сгенерированных образов. И даже доносятся некоторые крики и вопли о том, что актеры не отдадут свою работу роботам!
Но давайте разберемся, почему это неизбежное будущее, к которому ведут сами участники кинопроизводства.
Один из важнейших аспектов в создании кино - это коммуникация между людьми. На словах творить прекрасное коллективом талантливых людей звучит отлично. За этим многие и приходят работать в кино.
Но на деле, когда на площадке собирается куча людей, движимых собственными творческими амбициями и собственным эго, происходят такие сюжеты межличностных столкновений, что сериал “Наследники” кивает с уважением. Зачастую в прессе это скромно называют: разошлись по причине “творческих разногласий”.
А теперь представьте, что бывает если этот самый творческий амбициозный человек - успешный актер, наделенный зрителями огромной властью, потому что на него идут в кино.
Ведь если он суперзвезда, значит он лучше знает как делать кино! И вообще он хочет 20 миллионов за фильм. А бюджет фильм 40 миллионов. То есть получается один человек сжирает половину всех денег.
И тут прагматичные продюсеры, цель которых заработать как можно больше денег, сжав зубы соглашаются, потому что это лицо на афише может потенциально принести большую кассу, а ради такого можно и сократить расходы на других людей и общее качество фильма.
При первом взгляде кажется, что это просто сырая версия доминирующего на данный момент на рынке видеомоделей GEN2. Но это не совсем так.
Вот несколько особенностей Pika Labs:
1) Качество. У PL более резкая фактура по сравнению с GEN2. То есть само изначальное качество лучше и после дополнительного апскейла ( увеличения разрешения ) это очень заметно.
2) Приватность . Можно скрывать свои промты, командой --hide3) Оптимизация процесса. Самая важная фича лично для меня - это кнопка запуска нового рендера по уже отрендеренному промту. Что позволяет запускать огромную очередь генераций. И уже потом спокойно отбраковывать материал.
4) Реализм. Более реалистичные движения и моушн блюр добавляют уровень реализма.
5) Контроль. Дополнительное управление не только через команду guidance scale --gs "xx" ( где хх число которое означает уровень точности соответствия промту ) но и негативный промт --neg "xxx" 2/2
Сейчас техника дорисовки ( matte painting ) или изменения пространства в кино очень обширна. Сложнейшие симуляции, реалистичная графика и отслеживание движения камеры, позволяют на postproduction этапе создавать точнейшую иллюзию, того что мы видим.
Но так было не всегда. Когда не было компьютеров киношники обходились различными трюками. При статичных кадрах буквально перед камерой ставили стекло на котором дорисовывали в реалистичной манере то. чего не было в кадре. Так рождались первые постапокалиптические и фантастические миры.
Когда Youtube выдал мне подборку Matte painting из старых фильмов.
Меня осенило! Генеративная заливка нового фотошопа, идеальный инструмент для того, чтобы создавать целые куски локаций. Итоги эксперимента вы можете увидеть выше!