ИДЕЯ
Я с детства обожаю мультсериалом SpongeBob SquarePants: необычные персонажи, яркая палитра и характерный юмор — именно этим меня он и зацепил. У меня даже есть альбом с собственными рисунками по мотивам мультфильма.
В проекте я обучаю генеративную нейросеть, способную создавать изображения в узнаваемой стилистике SpongeBob. Модель должна анализировать формы, цвета, текстуры и художественные особенности оригинальных изображений, чтобы затем генерировать уникальные изображения в заданном стиле по написанному промту.
ИСХОДНЫЕ ИЗОБРАЖЕНИЯ
Исходные изображения — 70 картинок с моей доски в Pinterest со снимками из мультсериала SpongeBob SquarePants.
Стилистическая особенность изображений: — четкий главный персонаж на переднем плане — чаще всего размытый фон какого-либо окружения (океан, стены и т. п.)
ПРОЦЕСС ОБУЧЕНИЯ
В своем проекте я использовала следующие инструменты:
- Kaggle (с ускорением GPU P100) — для написания кода и выполнения генераций
- Stable Diffusion — для обучения генеративной нейросети под стиль исходных изображений
- Hugging Face — для получение токена для обучения нейросети, а также загрузки полученной модели на сайт
Обучение нейросети проводилось с помощью предоставленного нам учебного шаблона кода.
После этого были произведены следующие действия: — установка необходимых моделей и библиотек — сбор датасета с изображениями — обучение модели генерации (500 шагов)
При обучении модели были задействованы методы DreamBooth, отвечающий за внедрение стиля и его концепции, и LoRA, отвечающий за обеспечение обучения модели с использованием небольших вычислительных затрат.
Код для генерации изображений после обучения генеративной нейросети
ИТОГОВЫЕ ИЗОБРАЖЕНИЯ
Промты для изображений подписаны под картинками
sponge bob style a cute butterfly in the green forest
sponge bob style a big spider with 16 legs
sponge bob style a seahorse swims in the ocean
sponge bob style a bird on a branch sings
sponge bob style a field with mosquitoes
sponge bob style snail crawling on a tree, clear background
sponge bob style a fat rat in the box
sponge bob style family dinner
sponge bob style a dog is barking near the house
sponge bob style princess, clear image
sponge bob styly a hamster is sitting in a sock
sponge bob style big sponge with six little sponges
ИТОГ
В изображениях, получившихся в ходе генерации, прослеживаются общие черты, сходные со стилем исходных изображений. Можно видеть четкое изображение главного героя на переднем плане, а также размытый фон какой-либо местности (лес, океан, поле, стена и т. п.). Поэтому можно сделать вывод, что обучение нейросети прошло довольно успешно.
