37796
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие. Для связи: @SergeyTsyptsyn
Пересматриваем монтаж еще раз после того, как готов черновой саунд дизайн
(ритм, музыкальные акценты).
Саунд дизайн
Заменяем реплики героев, если есть более выразительные из архива генераций.
Находим подходящую музыку или пишем в Suno. На некоторые новые идеи
выводит сам Veo, который случайно может генерировать настроенческие звуки. На
сведении вытаскиваем самые важные, погружающие зрителя в атмосферу,
звуковые дорожки, и прячем все лишнее.
Итог: фильм на заглавной странице https://www.adsoftheworld.com/
То же самое, только в Veo3 Fast в Gemini
@cgevent
Часто общаюсь в компаниями, которые разметало по планете
С постпродакшенами, геймдевами, софт-командами. Зачастую разработка в СНГ и Сербии, остальные сотрудники - кто где, от Таиланда до ЕС. Каждая ЗП - как квест: банки блокируют переводы и требуют доказать квалификацию исполнителя, а команда жалуется на задержку с выплатами.
Пока в команде до пяти человек - терпимо. С пятнадцатью уже жесть.
⭐️ У меня в соседнем городе живет друг Дима Кочнев, а у Димы - платформа 4dev.com, которая помогает автоматизировать выплаты удалённым сотрудникам и фрилансерам - легально и по всему миру.
· Один договор на всех сотрудников
· Выплаты в 100+ стран, включая СНГ - за 1 клик и 1 рабочий день
· Мгновенное получение инвойсов, которые подходят для бухгалтерии, аудитов, due diligence
· Комиссия для бизнеса - 1–3 %, для исполнителей - 0 %
Через 4dev.com можно проводить легальные платежи в крипте (USDT) и ещё 30+ фиатных валютах!
Дима с командой привлекли уже 1000+ клиентов-компаний, а впереди новые фичи и продукты.
Запишитесь на демо → на встрече дадут экономику выплат для вашего бизнеса и ответят на все вопросы.
Нейропрожарка
🔥 Кейс от Оли: создание AI-сниппета для певицы Ханны
По запросу Пашу (CEO Black Star) AI-сниппет в эстетике: чувственная красота, кинематографичная атмосфера, премиальная визуальная подача
Техническая реализация:
Референсы:
- Базовые референсы от заказчика
- Дополнено кадрами из Pinterest
- Большая часть кадров - авторская концепция
Генерация контента:
- Обучение LoRA в Krea на dataset'e из 40 фото (использованы две модели одновременно: Flux + Krea1 с разными весами)
- Атмосферные кадры без лица созданы в Midjourney, затем анимированы
- Анимация: Kling 2.1 Master (для плавности) + Higgsfield (для стилизации)
Постпродакшн:
- Основной монтаж: Adobe Premiere Pro
- Доп. эффекты: CapCut
- Финальный апскейл: Topaz
⏳4 дня интенсивной работы (от генерации до финального рендера)
💸 Помимо базовых расходов на нейронки доп. расходы на ретушера для некоторых кадров и на консультацию ментора по всему проекту, чтобы сделать и более качественное видео, и обучиться в процессе работы
@cgevent
Найден годный конспект по LLM на русском языке
Авторы реально постарались, потому что раскрыто буквально все, что нужно, чтобы понять принцип работы современных моделей. Что внутри, если кратко:
– Необходимая математика: линал и матанализ на пальцах
– Все про механизм внимания и трансформеры
– Детальное объяснение процесса предобучения
– RL – с нуля до обучения ризонинг-моделей типа o3
– И даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.
Все – в иллюстрациях, схемах и интуитивно понятных примерах. Для наглядности прикладываю несколько страниц.
Забрать полную pdf-версию абсолютно бесплатно можно здесь
#промо
UDIO Sessions: мертвые заговорили
После месяцев молчания, Юдио наконец-то выкатила новую фичу.
Это таймлайн для редактирования ваших гениальных аудиогенераций.
Продуктово - очень правильный ход. Редактирование аудио без колбасок да еще и в вебе - это прошлый век год.
"Cессии" представляют новый таймлайн для редактирования треков, так что вы можете создавать треки с большей точностью и меньше зависеть от галлюцинаций ИИ. В настоящее время вы можете начать Sessions для продления(Extending ) или редактирования(Edit) ваших треков, а в скором времени появятся и другие функции.
Сессия открывается через контекстное меню для любой песни в вашей библиотеке: Создать > Начать сессию.
https://www.udio.com/create
@cgevent
На Freepik сняли лимиты на генерацию изображений.
Нет больше кредитов, очередей, ожиданий. Полный безлимит.
Для подписчиков планов Premium+ and Pro - безлимитные генерации для следующих картиночных моделей:
Mystic, Google Imagen, Flux, Seedream, Ideogram, Runway References, GPT Image1 and our Classic Models
No tokens. no caps. no waiting. Generate as much as you want.
Ждем ответочки от Креа и остальных агрегаторов..
@cgevent
Нейропрожарка
📽 Нейровидеоклип от Артема
Марина Цветаева - Прохожий
Все таки как могут стихи заиграть новыми красками с помощью ИИ.
Инструменты: suno, imagen 4, runway, kling, higgsfield, hailuo 02.
Основные изображения imagen 4, немного ранвей референс.
Видео 90% клинг 2.1 про и 2.1 мастер. Немного higgsfield и hailuo.
Липсинг ранвей act-one.
По времени около 25 часов.
По деньгам примерно 10-15т₽.
@cgevent
Кто устал ломать глаза в ComfyUI, прикручивая Flux Kontext, - есть первые экстеншены для Forge + Kontext:
https://github.com/DenOfEquity/forge2_flux_kontext
@cgevent
Нейропрожарка
Еще один ролик от Глеба:
Основные инструменты:
Chat GPT - адаптация промтов, обсуждение сюжетной линии.
Veo-3 - генерация видео и частично звук.
Пэкшот в Runway.
Suno - генерация музыки.
Монтаж - Adobe Premiere Pro.
Основной голос - @Parkhom9
Голос на пэкшоте - @bucksabbath
Изначальная идея была сделать динамичный сочный ролик про, то какие дегенераты мотоциклисты с громким выхлопом и как их не любят люди окружающие.
Прошлым летом меня это прям бомбило. Этим летом я на антидепрессантах )).
Я начал писать сценарий о том, как человек с детства от чего-то убегает. Пришел к тому, что это нездоровый человек, которому могла бы помочь терапия, но он поставил глушитель на свой крик о помощи.
Если бы я сделал это рекламой антидепрессантов, то это было бы не честно по отношению к страдающим окружающим людям). Тогда и родилась идея сделать это рекламой беруш. Мне нравится эффект, когда смотришь ролик про что-то одно, а оказывается, что это реклама того, о чем ты не думал во время просмотра.
Кадры в основном генерил с первого дубля, кое какие 2-3 дубля, допустим шлем - там постоянно что-то не то отражалось. В одном из кадров это удалось победить.
Не сразу удалось сделать такой пэкшот, каким я его задумал. Наиболее соответствующий девайс выдал DALL-E, через чат GPT.
В Sora и Veo-3 анимация пэкшота пошли из рук вон плохо. Вдобавок они отказываются работать с русскими буквами - превращают их в каракули.
Пришлось применить Runway. Там получилось с первого дубля.
Нагенерить видео , наверное было самым простым в данной истории, предварительно я расшотил сценарий (сделал раскадровку) и отправил чату джипити, чтобы он адаптировал ее в текст под Veo-3. Здесь тоже все прошло гладко. А вот сложить все кусочки так, чтобы рассказать историю и в ходе работы переписать сценарий было уже посложнее.
Ещё , непозволительно много времени отняла озвучка, пусть и дистанционно.
В следующих роликах, я всё-таки буду использовать голос нейросети.
Хотелось создать консистентного персонажа и мотоцикл, соответственно, которые будут более-менее одинаковые из кадра в кадр. Отчасти это получилось, конечно с огрехами.
Музыка тоже не слишком быстро подобралась. Но основное время - это монтаж видео и монтаж звука и постоянное переписывание сценария.
По времени заняло примерно 3 ночи и пол дня.
@cgevent
Яндекс Погода внедрила модель для прогнозирования молний
Яндекс выкатил статью о том, как им удалось успешно раскатать фичу с молниями в прод.
Это вообще отдельная интересная область с кучей вызовов. По сути, молнии — это локальные, кратковременные явления, которые сложно отследить и спрогнозировать с учетом общей метеоситуации. А технически, когда данные содержат редкие всплески — так называемые «выбросы», — модели часто теряют точность. Плюс, когда в модель добавляют новые данные, она может начать упускать из виду закономерности, которые уже были отлажены, и терять в качестве.
Сейчас команда перешла от модели PredRNN++ к Temporal Attention Unit (CVPR 2023), за счет чего улучшила как скорость, так и точность прогнозов. Еще стали использовать специальные лосс-функции – теперь у туч есть четкие границы ))
Еще пишут, что обновление повлияло на устойчивость продакшен-модели — сейчас она может спокойно работать с мультимодальными данными (спутник, радары, архивными данными с грозопеленгаторов), а это сложно для большинства систем.
В итоге Погода теперь предупреждает о грозе с шагом в 10 минут и показывает молнии на карте в режиме реального времени.
Подходы из статьи вполне применимы и в других ML-задачах с редкими и нестабильными событиями. ИсточникЭто
Видеоагент(!!!) от Минимакс.
Минимакс, что ты делаешь, прекрати.
И да, это видеоагент, который не только генерит по промпту, а берет на вход идею и наброски, а дальше сам пишет сценарий, генерит и монтирует.
Первый этап уже в бете:
Этап 1: Готовые шаблоны видео-агентов для высококачественных креативных видеороликов. Пользователи просто следуют инструкциям и вводят промпты или изображения — одним щелчком мыши создается готовое видео. Ключевое тут - Шаблоны.
В середине лета(?) будет выпущен:
Этап 2: Полунастраиваемый видеоагент. Пользователи получают возможность редактировать любую часть процесса создания видео: от сценария до визуальных эффектов и закадрового голоса.
Далее:
Этап 3: Полностью автономный, сквозной видеоагент. Полный, интеллектуальный рабочий процесс, который превращает творческую идею в финальное видео с минимальными ручными усилиями.
Этап 1 уже в бете, посмотрите образцы шаблонов вот тут:
https://x.com/MiniMax__AI/status/1935995043430691159
(да, на твитторе можно писать целые статьи)
Что еще известно:
Отход от традиционных рабочих процессов на основе узлов(nodes). Вместо использования жестких цепочек инструментов мы используем вызов инструментов на базе LLM, что позволяет пользователям создавать полноценные видео просто с помощью описаний на естественном языке.
Полный набор инструментов для создания видео. От идеи, поиска ресурсов, раскадровки, монтажа до озвучивания — мы отобрали лучшие инструменты для каждого шага и позволили агенту самостоятельно вызывать их на нужном этапе процесса. Это обеспечивает как гибкость, так и профессиональное качество в каждом коротком видео.
Визуализированные рассуждения и рабочий процесс агента. Пользователи могут просматривать пошаговый мыслительный процесс агента в реальном времени, заглядывая в творческую логику и предлагая интуитивные точки входа для пользовательских правок и тонкой настройки.
Нейромонтаж все ближе!!!
@cgevent
Nijijourney: версия Midjourney, натренированная на аниме и манге, теперь тоже генерирует видео.
Опенинг в посте сгенерирован целиком в Niji. То, что они повторно использовали пару фрагментов в видео намекает на уровень черрипикинга. Madhouse и MAPPA пока могут спать спокойно.
В целом всё равно выглядит годно. Качество картинки, планы, динамика и переходы действительно анимешные.
Чтобы начать, заходите на их сайт. Нажимаете Create, генерите/загружаете картинку, пишете промт, и вперёд.
Стиль изображения влияет на анимацию. Если картинка в стиле ТВ аниме, она будет иметь ТВшные движения. Если вкинуть реалистичный 3D рендер, движения будут отражать объём и реализм.
Правила написания хорошего промта:
* Описываем то, что можно увидеть, а не то, что персонаж чувствует.
* Описываем основное действие (что происходит)
* Описываем фоновое действие (происходящее вокруг в результате основного действия)
На выходе также 480p длиной в 5 сек. Если у вас есть подписка Midjourney, она тут тоже работает.
PS: осталось генерить сразу на рутрекер с сабами и голосами любимых актёров озвучки.
Сайт
Анонс
Все, что вы хотели знать про Комфи.
Не прошло и трёх лет, как туда завезли ноду для сравнения параметров, аналог хорошо известной PlotXYZ в А1111 и Форже.
Она называется "Comfyui-lumi-batcher".
Внимание, у нее китайский интерфейс.
В этом весь Комфи.
@cgevent
Minimax M1 - Джеймс Бонд в мире агентов.
(это пост НЕ про видеогенерацию)
Тут вот интернетик нам несет весть, что тот самый наш любимый Minimax выпустил открытую ризонинг модель M1.
Контекст - 1 миллион токенов на вход (это ОЧЕНЬ МНОГО) и 80 тысяч токенов на выход.
По всяким-разным бенчам M1 побивает или топчется рядом с Gemini 2.5 Pro, DeepSeek-R1, Qwen3-235B и другими.
Но это не главное, как и то, что он в опенсорсе лежит:
https://github.com/MiniMax-AI/MiniMax-M1
А главное это то, что вы получаете этакого Мануса на максималках с конским контекстом, который умеет все!
Это прям агентагент.
Я сдуру кинул в него вот такой промпт:
generate short movie about little cat. Generate it using your video generation capability, combine it with the story text, and present the entire thing to me as a webpage.
Нейропрожарка
И снова рекламный ролик от подписчика, смотрим, что можно сделать, когда нет бюджета на съемку.
Коллегам привет!
Работаю в сфере автомаркетинга — и тут коллеги обратились с просьбой: срочно нужен ролик про сервис, а точнее — про предпродажную подготовку. Снять всё быстро «вживую» не получилось, так что предложил собрать видео через нейросети.
Сценарий и порядок сцен продумал сам.
Картинки вначале пытался создать через ChatGPT (нужна была конкретная машина с лого), но в итоге собрал всё в Google Gemini.
Анимация — полностью в Kling 2.1 (купил подписку по рефералке со скидкой). На ролик ушло ~2000 кредитов.
Монтаж — CapCut.
Жёсткого ТЗ не было, ориентировался на общую стилистику и старался держать кадры в одной логике.
Тайминг — примерно один день работы.
Заказчикам все понравилось.
Буду рад обратной связи и критике!
@cgevent
Нейропрожарка
Мигель Иванов прислал очень интересную работу. Интресную тем, что здесь задействована специальная gem (аналог джипитишки от ппз
Wan 2.1 Knowledge Base | Nathan's Notes
https://nathanshipley.notion.site/Wan-2-1-Knowledge-Base-1d691e115364814fa9d4e27694e9468f
Ну и наконец-то Google Flow раскатали на весь мир, включая Европу.
https://labs.google/fx/tools/flow
У меня открывается без всякого ВПН.
https://blog.google/technology/google-labs/flow-adds-speech-expands/
Нужна подписка Pro.
И да, это липсинк по начальной фотке.
@cgevent
Нейропрожарка
В этот раз Виталик превзошел сам себя в изготовлении поздравительных клипов. Про "пнуть кошку" и вообше сцены насилия, читайте в конце, забавно.
Сюжетный клип на ДР знакомой.
Из вводных было: что она любит Рахманинова, Jamiroquai, Рамштайн и Muse.
30-40 часов ушло.
Детали:
Текст пишу сам, оформляю его для генератора песен Suno (разметка).
Трек писался в Suno, на базе описания манеры и голоса исполнителя, чей вокал мне был нужен, для этого попросил Deepseek сделать промпт, описывающий голос и манеру исполнения. То же со стилем группы, но попадание не всегда. Далее методом доработок и кучи (около сотни версий) попыток отобрал нужный вариант и доработал точечно в редакторе исправив пару корявых фраз. Выбрал в итоге 2 варианта, и долго не мог решить, на какой делать клип :)
То же сделал и для описания музыки.
Сценарий писал сам, меняя в процессе работы, если утыкался в сцену, которую сложно сделать.
Для создания базового Арта перед аниимацией скармливал ChatGPT фото человека, описывал промпт примерно так:
"сделай фотореалистичное изображение, формат 2х3 мужчина в джинсах, майке стоит у открытого окна и выбрасывает в него толстые пачки денег. Вокруг офисное помещение, добейся портретного сходства"
Ещё использовал Midjourney для генерации людей с нужными лицами. Но это самая муторная часть. Многие сети борются с дипфейками, и не дают сделать прямое сходство.
Всех участников клипа, генерил в разных чатах ChatGPT 4o, чтобы не мешать контекст лиц.
В анимации в Kling 2.1 использовал внутренний Deepseek, который анализировал залитое фото и предлагал промпт. Иногда правил его ручками, для нужной анимации.
Немного использовал для анимаций Minimax, но Kling 2.1 по прежнему фаворит, если нужно из статичной картинки сделать видео.
Hedra - брал кусочки музыки, где был нужен липсинк. Там все просто. На входе голова перса и кусок музыки с текстом, и на выходе попадание движения губ в текст.
Отобранную анимацию собирал ручками в видео редакторе, под выбранный трек.
Из забавного, самым сложным в работе над клипом оказалось:
- Пнуть кошку, из картинки ни один редактор не дал сделать такое видео - насилие, незя. Пришлось делать «резкий прыжок кота с места за край экрана» - намучился и с этим
- Сгенерить известного исполнителя «сделай мне вот такого с лицом такого-то» - нарушение прав, обходными путями все
- Точное повторение лица через он-лайн сервисы (борьба с дипфейками), Midjourney с 25 мая ужесточила политику например
- Если персонаж в цепях, в веревках - сложности для анимации такой сцены, насилие. Помогли китайские Ai там пока чуть проще
- Вставить кляп с красным шаром (как в Криминальном чтиво у Брюса Виллиса - незя, даже фотку такую не делают)
- обмотать цепь вокруг руки, туловища нельзя, а вот вокруг ноги - можно. ХЗ почему.
@cgevent
Рыжие начинают и .. проигрывают!
Черный, конечно, демон!
Точнее демон - это Minimax Hailuo 02. Похоже ему скормили все спортивные репортажи, начиная с 1896 года.
Подумалось мне, сколько моделинга, рига, скининга, анимации, шейдинга, фуринга и рендера потребовалось бы на такой Уимбилдон. А тут пара строчек текста и монтаж в ДаВинчи.
Тут даже мимика и эмоции на тварях, для этой мимики не предназначенных.
Явшоке.
Промпт?
Апажалста! Подставляйте сюда [] цвета и любых сурикатов (сегодня, 3 июля - день суриката, еслишо).
real televised footage of a [color] cat at Wimbledon, [action], holding a tennis racket, sports TV broadcast
Автор
@cgevent
Тут, мне кажется, можно выпить за Affter Effects, титры, и вот эти вот все текстовые эффекты.
Veo3 просто удивительно неплохо справляется со шрифтами, эффектами и вообще "понимает", о чем идет речь.
Вспомните, ведь еще где-то полгода-год назад текст на картинках был набором иероглифов.
А сейчас мы смотрим на то, как видеогенераторы бахают титры и логосы.
What a time to be alive!
Автор
@cgevent
Нейропрожарка
На сей раз от подписчика Владимира:
С чего всё началось:
Песня, несмотря на социально-философский посыл, показалась мне немного наивной и детской — и именно это определило форму. Я решил сделать клип в стилистике игрушечного мира, почти как лего-мультфильм.
«Пластмассовый мир победил» — буквально.
Это помогает иронично, но точно подчеркнуть саму идею трека.
🎯 Задача:
Создать визуальный сюжет, который развивается.
Клип — не просто эстетичная нарезка, а мини-фильм, где есть герой, конфликт, движение, и в последней трети — даже батальная сцена.
По времени заняло - много. Мне сложно подсчитать. Это несколько месяцев(было много еще дел). Но если брать плотную работу - пару недель точно наберется.
🔧 Инструменты:
Все изображения я генерировал в Midjourney, так же использовал Runway reference.
Видео начинал делать ещё в эпоху Rungen 3, на безлимитке.
Частично использовал Kling 1.6 и MiniMax.
Закончил проект уже в Rungen 4, Kling 2.1 и MiniMax 2.0 — за время работы всё обновилось. По бюджету сложно считать.
Но примерно
4 месяца безлимитки Runway -400 долларов
3 месяца Мidjourney -90 долларов
Минимакс – 60 долларов
Kling - 30 долларов
@cgevent
У Хуньяня, похоже, есть набор моделей на все случаи жизни, от видео до 3Д, от игр до LLM.
Только что они бахнули Hunyuan-A13B - latest open-source LLM.
Модель MoE использует 80B общих параметров, из них 13B активных, обеспечивая производительность наравне с o1 и DeepSeek в нескольких основных бенчмарках.
Hunyuan-A13B имеет гибридную архитектуру с динамическим "быстрым и медленным" рассуждением, отлично справляется с задачами, связанными с длинными текстами, и обладает расширенными возможностями вызова агентных инструментов для выполнения сложных задач с помощью естественного языка.
https://github.com/Tencent-Hunyuan/Hunyuan-A13B
Демо: https://hunyuan.tencent.com/?model=hunyuan-a13b
Веса: 160гиг - https://huggingface.co/tencent/Hunyuan-A13B-Instruct
@cgevent
А вот это смешная история!
Помните, как ИИ-художники пролезали на фото-конкурсы, и даже чего-то там занимали, пока их не разоблачали.
Помните, как у нас в коментах еще полгода-год назад были ортодоксальные кожаные, которые мощно задвигали "да я этот ваш генератив за версту чую, всегда отличу нейропиксель от кожаного фотошопа".
Ортодоксы что-то приподвывелись, а сегодня у нас другая фантастическая история.
Кожаный фотограф взял и заслал сделанную им фотографию на конкурс ИИ-арта. Где главное ограничение было "никаких материалов, вышедших из объектива камеры".
И победил!
Дальше его прогнали мокрыми тряпками:
Фотограф был дисквалифицирован с конкурса фотографий после того, как его настоящая фотография победила в номинации "Изображение ИИ".
A photographer has been disqualified from a picture competition after his real photograph won in the AI image category.
История хохочет над нами, кожаными бедолагами, с этой нашей тягой помериться письметриками, расставить баллы, оценки, и вообще поорать, кто круче.
А вот ИИ насрать. Его внутренние метрики, скрыты в чорном ящике его мозгов, нам неведомы, а над нашими он ржет вместе с историей.
https://petapixel.com/2024/06/12/photographer-disqualified-from-ai-image-contest-after-winning-with-real-photo/
@cgevent
Кстати, новый Minimax Hailuo 02 уже завезли в Krea.ai.
Можно гонять на нейрогимнастике.
@cgevent
Помните наш любимый нейробалет и нейрогимнастику?
Похоже это новая метрика (после виллавсмитав).
Новый Минимакс 02, который дешевле Veo3 в восемь (где как) раз и побивает последнего не только на видеоарене, но и на спортивной арене!
Я в шоке от прогресса.
А хотите промпт?
Апажалста!
"Olympic gymnast executing a Yurchenko double pike vault in slow motion, chalk dust particles floating through dramatic spotlights, with experimental ambient soundscape of heartbeats, crowd gasps, and distorted arena acoustics building to crescendo on landing"
@cgevent
Теперь официально: Minimax 02 релизнулся.
До 10 секунд.
Нативно в 1080р.
Дешевле, чем Клинг
И точно дешевле, чем Veo3.
Завтра смотрим генерации.
@cgevent
Minimax M1 - бесплатная генерация видосов на халяву (пока).
В общем я взял промпты из MovieBench и стал их пихать в свежий агент Minimax M1, о котором сегодня с восторгом писал.
Генерит как миленький. Бесплатно.
Пруф: https://agent.minimax.io/chat?id=281006706552925
Пробуем: https://agent.minimax.io/
@cgevent
PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers
И следом очень похожая работа от Bytedance (вчера пел дифирамбы которой).
Тут тоже на входе картинка, а на выходе составная модель с 3Д-объектами.
Авторы клянутся, что не сегментируют входную 2Д-картинку, а используют кошерное машинное обучение, чтобы определять части уже в латентном пространстве. Для чего прошерстили огромные датасеты.
Демо нет, код будет до 15 июля.
@cgevent