Создать ИИ-мультфильм с одними героями: длинный ролик по шагам

Вы придумали историю, сгенерировали пару сцен, а в третьей у героя уже другое лицо, в пятой другая одежда. Вдобавок нейросеть за один заход выдаёт около 10 секунд видео, а нужен мультфильм на несколько минут. Механика простая – чтобы создать ИИ-мультфильм на несколько минут, персонажей закрепляем до первого кадра, а длинный ролик собираем из коротких клипов. В итоге у вас будет рабочая схема из пяти шагов и первый минутный мультфильм с одними и теми же героями, который дальше растягивается до 10 минут.

Почему нейросеть меняет лица в мультфильме и как устроен процесс

Главная причина «плывущих» героев в том, что видео генерируют сразу по тексту. Каждая сцена рождается с нуля, и нейросеть каждый раз заново придумывает внешность: от сцены к сцене у персонажа меняются лицо и одежда. Зрителю кажется, что в истории участвуют разные люди.

Лечится это порядком работы: сначала делаем картинки сцен с закреплёнными героями, и только потом из этих картинок собираем видео. В итоге получается конвейер:

1. Сценарий и разбивка на сцены.
2. Персонажи до любых кадров.
3. Кадр на каждую сцену с референсом героя.
4. Клипы из кадров.
5. Склейка в один ролик.

Обычно эти этапы разнесены по разным сервисам: сценарий пишут в одном, картинки генерируют в другом. Есть и сервисы полного цикла, где всё в одном окне. Логика от этого не меняется (меняется только то, сколько раз вы копируете текст между вкладками).

И одно утешение перед стартом. Вирусный мультфильм с помощью ИИ The Mother's Monster полон нестыковок: дракон в одних сценах маленький, в других огромный. Ролик держится на истории. То есть консистентность нужна, чтобы картинка не отвлекала зрителя от сюжета, а начинать всё равно стоит с сильной истории.

Шаг 1. Сценарий мультфильма и разбивка на сцены

Начинаем с истории: просим чат-бот написать её по вашей идее. Готовый текст генерировать ещё рано: его нужно превратить в сцены. Для этого отдельным запросом попросите создать кинематографичные сцены по сценарию, и чат-бот разложит историю на эпизоды с местом действия и происходящим.

Сколько сцен нужно, подскажет пример. Сервис полного цикла разбил минутный мультфильм на две главы по шесть сцен, то есть на 12 сцен. Сцена меняется каждые несколько секунд, и ролик смотрится живее.

Список сцен с описанием каждой и называют раскадровкой. В одном из таких сервисов раскадровка бесплатна (ноль токенов), так что экономить на этом шаге незачем: чем подробнее раскадровка, тем меньше брака дальше.

Правьте сцены до генерации, а не после, потому что описание работает как инструкция для кадра. Если дописать, что рядом с героем сидит его жена, она появится на картинке. Исправить текст бесплатно, перегенерировать кадр – нет.

Шаг 2. Персонажи до первого кадра: лист персонажа и блок консистентности

Это главный шаг всего процесса: всех героев истории генерируем в первую очередь, до того как появится хотя бы одна сцена.

Для каждого героя сделайте лист персонажа: изображение со всех ракурсов, которое и служит эталоном внешности. В сервисах полного цикла персонажей генерируют отдельной кнопкой. Цена зависит от их числа: четыре героя обошлись в пять токенов.

Второй инструмент текстовый: попросите чат-бот к каждому промпту сцены добавлять блок «Character consistency» с описанием всех героев (лицо, причёска, одежда, цвета). Дальше уже дело техники: этот блок копируется целиком и вставляется в промпт каждой сцены вместе с её описанием, слово в слово и без сокращений.

Зачем повторять одно и то же десятки раз? Нейросеть не помнит прошлые генерации, поэтому блок консистентности каждый раз заново сообщает ей, как выглядят герои, и у них остаются одежда того же цвета и тот же наряд во всех сценах. Достаточно муторно, но работает.

Шаг 3. Кадры сцен с референсами

Теперь на каждую сцену делаем по картинке, а видео пока не трогаем. Этот порядок и есть защита от «плывущих» лиц: видео потом будет строиться от готового кадра, где герой уже правильный.

К каждой сцене прикладывайте изображение героя (референс) с пометкой, что это персонаж этой сцены. Если в кадре несколько героев, приложите каждого; можно добавить и картинку фона. Когда генератор получает референсы героев и фона, персонажи выходят одинаковыми во всех сценах.

Картинки обходятся дёшево: в сервисе полного цикла кадры для 12 сцен минутного ролика стоили 24 токена, по кадру на сцену. Смотрите на результат сразу: неудачный кадр проще перегенерировать сейчас, чем потом выбрасывать клип.

Шаг 4. Оживляем сцены: клипы по 10 секунд

За один раз генератор даёт клип до 10 секунд. Поэтому длинный мультфильм всегда собирают из многих клипов, и разбивку под это делают заранее. Попросите чат-бот дать видео-промпты к истории вместе с репликами героев и разбить каждую сцену на отрезки по 10 секунд.

Дальше для каждого отрезка:

С репликами частая ошибка из серии «а почему он заговорил по-английски?». Если видео-промпт целиком на английском, персонажи и заговорят по-английски. Реплики на нужном языке вставляйте в промпт явно: если забыли, клип с потраченными кредитами придётся переделывать. Так же решается и озвучка: голос героев появляется из реплик в промпте.

Теперь о бюджете. Создать мультфильм с помощью нейросети бесплатно можно, но небыстро: в Google Flow на бесплатном доступе дают 50 кредитов в день, а клип на 10 секунд стоит 15 кредитов, то есть три клипа, около 30 секунд видео в день. В сервисе полного цикла, где расчёт в токенах, оживить кадр стоит 22 токена в самом дешёвом качестве и 25 токенов в 720p.

Шаг 5. Склейка, движение камеры и экспорт

Когда клипы готовы, их нужно собрать в один ролик. Для этого подойдёт бесплатный редактор YouTube Create: создайте проект и импортируйте клипы по порядку сцен. Нумеруйте файлы при скачивании, и порядок не перепутается, когда клипов станет несколько десятков.

Статичные кадры, которые вы не стали анимировать, тоже можно оживить движением камеры в редакторе сервиса полного цикла: выберите кадр на таймлайне и нажмите «Камера». Задайте начальную рамку A и конечную рамку B: картинка будет плавно приближаться или отдаляться, пока звучит реплика. Немного костыльно, но зрителю этого хватает, чтобы сцена не казалась застывшей, а токены на анимацию не тратятся.

После этого нажмите стрелку вверху экрана и выберите «Сохранить на устройство» (Save to device). Не уходите с экрана, пока сохранение не дойдёт до 100%, а потом пересмотрите ролик целиком.

Порядок длинного мультфильма от минутного ничем не отличается: те же сцены, те же герои, просто клипов больше. Поэтому сначала соберите минуту целиком (от сценария до экспорта) и только потом беритесь за 5 или 10 минут.

Ключевые термины

• Консистентность персонажей – Постоянство внешности героя – лица, одежды, цветов – во всех сценах ролика.
• Лист персонажа (character sheet) – Изображение героя с нескольких ракурсов, которое служит эталоном его внешности для всех сцен.
• Референс – Готовая картинка героя или фона, которую прикладывают к генерации, чтобы нейросеть повторила именно её.
• Раскадровка – Список сцен ролика с описанием того, что и где происходит в каждой, по которому затем генерируют кадры.
• Блок консистентности – Один и тот же текст с описанием всех героев, который вставляют в промпт каждой сцены.
• Кредиты (токены) – Внутренняя валюта сервиса генерации: каждая картинка или видеоклип списывает их определённое количество.

Итог: как сделать мультфильм с помощью нейросетей с одними героями – чек-лист

Перед каждой генерацией пробегитесь по списку:

• История разбита на сцены, сцены – на отрезки по 10 секунд
• У каждого героя есть лист персонажа
• В промпте сцены есть блок консистентности, слово в слово тот же, что и в промптах всех остальных сцен
• К сцене прикреплён референс героя, а к клипу – кадр этой сцены
• Формат 16:9, а не 9:16
• Реплики на русском
• Решено, какие сцены анимировать, а какие оставить статичными кадрами с движением камеры, чтобы не тратить токены на анимацию всего подряд

На этом все.

Проверьте себя

1. Вы сгенерировали пять клипов подряд по текстовым промптам, и у героя в каждом новое лицо. Что исправит это лучше всего?

• А. Сначала сделать лист персонажа и картинки сцен, а клипы генерировать от этих картинок
• Б. Поднять качество видео до максимального
• В. Сделать промпт короче, чтобы нейросеть не запуталась

2. Что должно быть в промпте каждой сцены, чтобы одежда героини не менялась?

• А. Название стиля, например «в стиле Гибли», – его достаточно
• Б. Описание сцены плюс один и тот же блок с описанием всех героев
• В. Только описание этой сцены

3. Генератор даёт клип до 10 секунд. Как сделать мультфильм на 3 минуты?

• А. Сгенерировать один клип и замедлить его
• Б. Выбрать в настройках длительность 3 минуты
• В. Разбить сценарий на отрезки по 10 секунд, сгенерировать клип на каждый и склеить их в редакторе

4. Клип получился, но персонажи говорят по-английски, хотя история на русском. В чём вероятная причина?

• А. Выбран формат 16:9
• Б. Сервис не умеет говорить по-русски ни при каких настройках
• В. Видео-промпт был на английском, а реплик на русском в нём не было

5. Бюджет на генерации маленький. Какие способы помогут растянуть его на длинный ролик? (Верных ответов несколько.)

• А. Чередовать анимированные сцены со статичными кадрами, у которых двигается камера
• Б. Генерировать каждый клип в нескольких вариантах и выбирать лучший
• В. Генерировать видео в минимальном качестве: для мультфильма его обычно хватает