Нейросеть в мультипликации
Как создать полноценный мультик про котиков с помощью нейронной сети :)
Проект "Нейросеть в мультипликации" создан для знакомства людей с функционалом нейронной сети для создания анимаций, а в последствии и собственного мультфильма
Вы хотите создать мультфильм всего за 3 шага?
Тогда ознакомьтесь с нашей статьёй, ведь мы объяснили все доступно и наглядно, а ещё это прекрасная возможность попробовать себя в нечто увлекательном и в результате получить личный интерактивный продукт
В этом лонгриде мы расскажем вам:
-Какими способами можно создать анимацию в нейросети
-Какие нейросети подойдут для генерации качественных анимаций и изображений.
-Какие ресурсы потребуются для реализации вашей задумки
-С какими трудностями Вы можете столкнуться и как их можно избежать
-Где и как отредактировать и озвучить свой мультфильм
-Какими способами можно создать анимацию в нейросети
-Какие нейросети подойдут для генерации качественных анимаций и изображений.
-Какие ресурсы потребуются для реализации вашей задумки
-С какими трудностями Вы можете столкнуться и как их можно избежать
-Где и как отредактировать и озвучить свой мультфильм
Промт- текстовый запрос пользователя к нейронной сети.
- Первое, с чем стоит определиться до начала работы с нейронкой-творческая составляющая. Продумайте и пропишите сюжет, детализируйте его прежде, чем писать промт. Вы уже придумали героев, какого цвета их глаза? А что будет на заднем плане? Для нейронной сети важны на первый взгляд незначительные элементы, чем подробнее будет ваш запрос, тем выше вероятность получения верной анимации.
Основные принципы написания хороших промтов
-
Конкретизация запроса
Продумайте: на какую аудиторию рассчитана ваша идея? Что именно вы хотите показать в мультфильме? В какой стилистике вы хотите, чтобы он был нарисован? -
Точные параметры
Если вы хотите некоторых эффектов, освещения или определенное движения кадра картинки, Вам стоит это подробно описать и желательно в отдельных предложениях. Также при составлении запроса старайтесь обращать внимание на различные дополнительные параметры, такие как размер изображения, длительность анимации и тп. -
Референсы или примеры
Нейросеть обучаема. Если есть изображения, которые Вы бы хотели как-то изменить или сделать что-то наподобие, то опишите какие именно изменения нужно сделать в данной картинке и загрузите её.
Начнём с того, что можно выделить 2 способа создания анимаций для последующего мультика:
1) Составление промта ( запроса) для анимации
2)Загрузка изображения, из которого нейросеть уже сгенерирует анимацию.
Оба способа подробнее мы разберём ниже, а также ознакомим Вас со списком нейросетей, протестированных нами.
1) Составление промта ( запроса) для анимации
2)Загрузка изображения, из которого нейросеть уже сгенерирует анимацию.
Оба способа подробнее мы разберём ниже, а также ознакомим Вас со списком нейросетей, протестированных нами.
Чтобы персонажи анимации были похожи на мультипликационных, укажите в запросе "Анимация нарисована в мультяшном стиле"
1 способ: составление промта для анимации
В данном способе необходимо составить раскадровку по составленному Вами сюжету. Учитывая, что средняя длительность 1 анимации примерно 6 сек, стоит рассчитать сколько кадров Вам потребуется. Опишите каждый кадр максимально подробно, пропишите все детали.
Например, для создания нашего мультфильма длительностью около 1 минуты понадобилось 20 кадров.
Здесь Вы можете увидеть пример составления запроса и скрин-шот анимации.
Например, для создания нашего мультфильма длительностью около 1 минуты понадобилось 20 кадров.
Здесь Вы можете увидеть пример составления запроса и скрин-шот анимации.
2 способ: создание и анимирование изображения
Здесь же сначала необходимо отдельно создать картинку, из которой в последствии нейросеть создаст анимацию. Плюс данного способа в меньшей работе с текстом, прописать нужно только действия персонажа.
Здесь Вы видите пример применения такого способа.
Здесь Вы видите пример применения такого способа.
1 ШАГ: Выбор нейросети
Нейросеть имеет множество аналогов, которые обладают большим спектром функций, поэтому первый шаг к созданию вашего мультфильма-выбор нейросети. Ниже мы представили список, протестированных нами.
Список нейросетей, протестированных нами в рамках проекта:
- Leonardo AI
- Robotext.io
- ЯндексGPT
- Runway
- Haluo AI Video
Leonardo AI
Leonardo AI — нейронная сеть для создания высококачественных изображений, искусства и видео.
Основные функции платформы:
Генерация изображений-позволяет создавать иллюстрации по запросу, настраивая детализацию, контрастность, выбирая стилистику и пресеты.
Анимация-пользователь загружает картинку, настраивает интенсивность движения и получает короткую анимацию, например, с движущимся фоном или персонажем.
Улучшение качества и увеличивает разрешение изображений.
Генерация 3D-текстур- пользователь может загрузить свою 3D-модель в формате OBJ, и нейросеть сгенерирует для неё текстуры по запросам и установленным настройкам. Инструменты для продвинутых пользователей-позволяют разрабатывать ИИ-модели на основе своих данных, ускорять создание изображений и генерировать их сразу в нужном стиле, цветовой гамме и т. д.
Основные функции платформы:
Генерация изображений-позволяет создавать иллюстрации по запросу, настраивая детализацию, контрастность, выбирая стилистику и пресеты.
Анимация-пользователь загружает картинку, настраивает интенсивность движения и получает короткую анимацию, например, с движущимся фоном или персонажем.
Улучшение качества и увеличивает разрешение изображений.
Генерация 3D-текстур- пользователь может загрузить свою 3D-модель в формате OBJ, и нейросеть сгенерирует для неё текстуры по запросам и установленным настройкам. Инструменты для продвинутых пользователей-позволяют разрабатывать ИИ-модели на основе своих данных, ускорять создание изображений и генерировать их сразу в нужном стиле, цветовой гамме и т. д.
Промт: Рыжий кот в очках сидит на кресле возле камина. Картинка нарисована в мультяшном стиле.
Robotext.io (RobotextIM)
Robotext.io (RobotextIM) —Российская нейросеть для работы с текcтом и изображениями, аналог ChatGPT на русском языке.
Данный облачный сервис обладает множеством функций от генерации диалогов до генерации описания товара. Конкретно нам понадобилась RobotextIM-нейросеть, позволяющая создавать изображения.
Данный облачный сервис обладает множеством функций от генерации диалогов до генерации описания товара. Конкретно нам понадобилась RobotextIM-нейросеть, позволяющая создавать изображения.
Промт: Рыжий кот с зелеными глазами и в очках сидит на кресле возле камина. Изображение нарисовано в мультяшном стиле.
3.YandexART
YandexART — нейросеть от «Яндекса», которая создаёт детальные и реалистичные изображения и анимацию по текстовому запросу пользователя. (YandexART доступна в бесплатном приложении «Шедеврум»)
Генерация изображений и анимации в ответ на текстовые запросы пользователя. Для создания визуального контента нейросеть использует метод каскадной диффузии: сначала генерирует картинку или кадр, а затем поэтапно увеличивает их разрешение, насыщая деталями.
Создание контента для рекламы- возможность создавать яркий контент для рекламных кампаний и социальных сетей, экспериментировать с разными изображениями и короткими текстами.
Дизайн-проекты-помощью YandexART можно воплощать и визуализировать идеи заказчиков. В запросе можно задавать глубину проработки деталей, тип материалов и уточнять цветовую палитру.
Бренд-дизайн-можно создавать коллекции фирменной продукции с элементами корпоративной айдентики и в нужной цветовой гамме.
Креативные иллюстрации- с помощью YandexART можно воплощать креативные идеи по продвижению бренда или компании: придумывать персонажей, разрабатывать фирменные иконки и логотипы.
Визуализация товаров- можно создавать привлекательные иллюстрации категорий товаров для любых носителей: сайта, социальных сетей, печатных материалов.
Генерация изображений и анимации в ответ на текстовые запросы пользователя. Для создания визуального контента нейросеть использует метод каскадной диффузии: сначала генерирует картинку или кадр, а затем поэтапно увеличивает их разрешение, насыщая деталями.
Создание контента для рекламы- возможность создавать яркий контент для рекламных кампаний и социальных сетей, экспериментировать с разными изображениями и короткими текстами.
Дизайн-проекты-помощью YandexART можно воплощать и визуализировать идеи заказчиков. В запросе можно задавать глубину проработки деталей, тип материалов и уточнять цветовую палитру.
Бренд-дизайн-можно создавать коллекции фирменной продукции с элементами корпоративной айдентики и в нужной цветовой гамме.
Креативные иллюстрации- с помощью YandexART можно воплощать креативные идеи по продвижению бренда или компании: придумывать персонажей, разрабатывать фирменные иконки и логотипы.
Визуализация товаров- можно создавать привлекательные иллюстрации категорий товаров для любых носителей: сайта, социальных сетей, печатных материалов.
Промт: Рыжий кот с зелеными глазами и в очках сидит на кресле возле камина. Изображение нарисовано в мультяшном стиле.
4.Runway
Runway — нейросеть для генерации и редактирования видео, фотографий, и аудио.
Остальные функции платформы:
Видео по запросу — генерация видео нейросетью с помощью текстовой подсказки.
Видео из изображения и подсказки — генерация динамичного видео из картинки и текстового запроса.
Анимирование изображения — превращения статичной картинки в видео.
Стилизация — наложение визуальных эффектов на загруженное видео. В качестве референса для эффектов используется текст или изображения.
Раскадровка — превращение видео-макета в стилизованный и анимированный визуальный ряд.
Создание маски — добавление маски на объекты в видео и изменение их с помощью текстового запроса.
Визуализация — добавление визуального ряда на «голые» 3D-модели.
Остальные функции платформы:
Видео по запросу — генерация видео нейросетью с помощью текстовой подсказки.
Видео из изображения и подсказки — генерация динамичного видео из картинки и текстового запроса.
Анимирование изображения — превращения статичной картинки в видео.
Стилизация — наложение визуальных эффектов на загруженное видео. В качестве референса для эффектов используется текст или изображения.
Раскадровка — превращение видео-макета в стилизованный и анимированный визуальный ряд.
Создание маски — добавление маски на объекты в видео и изменение их с помощью текстового запроса.
Визуализация — добавление визуального ряда на «голые» 3D-модели.
5.Haluo AI Video
Haluo AI Video — инструмент, который позволяет генерировать видео из текста и изображений, используя передовую нейросеть.
К функциям программы относится создание анимации из изображения или текста.
Для своего мультфильма мы выбрали именно эту нейросеть, так как она больше всего отвечала нашим требованиям.
К функциям программы относится создание анимации из изображения или текста.
Для своего мультфильма мы выбрали именно эту нейросеть, так как она больше всего отвечала нашим требованиям.
“Нейросеть стала популярна благодаря простому интерфейсу и большому количеству бесплатных попыток”
В каждой нейросети можно опробовать бесплатный период, но скорее всего Вам все таки потребуется платная подписка. Большинство программ предлагает несколько видов платных подписок (чем дороже, тем больше функций и количество генераций Вам доступны). В нейросети "Haluo AI Video" пробный период включал в себя 1000 генераций ( и +100 за ежедневный вход в систему), правда загрузка анимаций вскоре стала медленной и могла длиться до 8 часов. Платная обошлась нам в 1000 рублей. В неё входило: 1000 кредитов, быстрое выполнение (до 5 задач в очереди), одновременная обработка 2 задач, удаление водяных знаков, приоритетный доступ к новым функциям.
Кредиты в нейросетях — это похожие на монеты для видеоигр средства для доступа к облачному сервису искусственного интеллекта. То есть, например, в "Haluo AI Video" при доступе к 1000 кредитов за каждую загрузку будет списываться 30.
2 ШАГ: ресурсы
Для реализации вашей идеи могут понадобиться дополнительные затраты.
Многие хорошие нейросети имеют платные подписки, приобретая их, Вы сможете использовать более расширенный функционал нейронной сети. Чаще всего в него входит улучшение качества, более быстрая скорость загрузки генераций, удаление водяного знака и другие. Большинство платных подписок имеют достаточно выгодные условия, можно многое опробовать, а также полноценно освоиться в программе.
Многие хорошие нейросети имеют платные подписки, приобретая их, Вы сможете использовать более расширенный функционал нейронной сети. Чаще всего в него входит улучшение качества, более быстрая скорость загрузки генераций, удаление водяного знака и другие. Большинство платных подписок имеют достаточно выгодные условия, можно многое опробовать, а также полноценно освоиться в программе.
Трудности
Прежде чем перейти непосредственно к созданию самого мультфильма, рассмотрим трудности программ, с которыми Вы можете столкнуться.
Нейросети сейчас популярны и многофункциональны, но не "всеспособны". Порой и в генерациях возникают ошибки, самые частые из них мы выписали ниже.
Основными проблемами являлись:
• Различие мультяшных стилей.
• Лишние или недостающие части тела героев анимаций
• Нелогичное размещения предметов.
• Нереалистичность действий.
• Фоновые баги.
Наглядно приведём несколько примеров.
Нейросети сейчас популярны и многофункциональны, но не "всеспособны". Порой и в генерациях возникают ошибки, самые частые из них мы выписали ниже.
Основными проблемами являлись:
• Различие мультяшных стилей.
• Лишние или недостающие части тела героев анимаций
• Нелогичное размещения предметов.
• Нереалистичность действий.
• Фоновые баги.
Наглядно приведём несколько примеров.
Нереалистичность действий
Например, на запрос
«Рыжий старый кот в очках сидит на кресле и в лапах держит фотоальбом. На заднем фоне в камине горит огонь. Рядом с креслом на полу котенок играет с клубком. Анимация нарисована в мультяшном стиле»,
нейронная сеть рисовала котенка, который прыгает в странном положении рядом с клубком, но при этом никак с ним не взаимодействует.
Например, на запрос
«Рыжий старый кот в очках сидит на кресле и в лапах держит фотоальбом. На заднем фоне в камине горит огонь. Рядом с креслом на полу котенок играет с клубком. Анимация нарисована в мультяшном стиле»,
нейронная сеть рисовала котенка, который прыгает в странном положении рядом с клубком, но при этом никак с ним не взаимодействует.
На создание первого кадра ушло большая часть генераций. Он был сложным для нейросети. Поэтому после примерно 20-ти попыток, мы разделили кадр на несколько более простых для понимания программы и дело пошло быстрее.
Фоновые баги
Периодически нейросеть создавала неподходящие по смыслу или вообще выдуманные фоны. Но эта трудность решается проще-подробным описание вашей задумки.
Периодически нейросеть создавала неподходящие по смыслу или вообще выдуманные фоны. Но эта трудность решается проще-подробным описание вашей задумки.
3 ШАГ: где и как озвучить мультик?
В видеоредакторе, который Вам больше нравится. Если вы раннее не имели опыта работы в такой программе, то лёгким для освоения и понимания для начала будет "Cap Cut". Если озвучивать самостоятельно Вы не хотите или у вас нет возможности, тогда вы можете обратиться к следующим нейронным сетям:
- "LOVO.ai" предлагает более 500 голосов для преобразования текста в речь на 100 языках, а также настройки эмоциональности и опцию клонирования собственного голоса.
- В редакторе "Genny" можно также озвучивать видеоролики и синхронизировать голос с видеоконтентом. Сервис предлагает бесплатный тариф, который позволяет озвучивать пять минут контента в месяц, а также подписку Basic. Она позволяет генерировать до двух часов озвучки в месяц и пользоваться большим числом опций. Эта подписка стоит $24 в месяц.
- "Murf.ai"поддерживает более 20 языков и более чем 120 голосов. Также при генерации аудио можно использовать видео, музыку и изображения. Сервис предлагает до десять минут бесплатных генераций в месяц, либо можно выбрать платный тариф. Стоимость плана Creator составляет $19 в месяц, он позволяет создать пять проектов и сгенерировать 24 часа аудио.
- "Speechify". Сервис предлагает выбрать более чем из 100 голосов на 50 языках. Функция AI Voice Studio открывает доступ к 200+ голосам на 60+ языках для генерации контента разного типа (аудиокниг, подкастов и т.д.). Также с помощью сервиса можно озвучивать различные документы. Генератор ИИ-видео от Speechify синхронизирует голос за кадром с движениями выбранного аватара. Платная подписка обойдется в ₽680 в месяц при оплате за год.
Вставляйте полученные файлы в "CapCut" и подставляйте их на нужные вам моменты. Но если вы совсем новичок и не разбираетесь в механике "CapCut" - советуем Вам перейти на другую не менее интересную и подробную статью, как работать в этом приложении.
«Замурррчательные приключения»
