Обучение генеративной нейросети стилю Gorillaz
Концепция
Я большая фанатка творчества Gorillaz, кажется, особенно большую роль в этом сыграл стиль Джейми Хьюлета. Для работы я создала датасет с изображениями Gorillaz, потому что это массово известный визуальный продукт этого иллюстратора.
Изображения из датасета
Мне было интересно каково быть маститым иллюстратором с очень узнаваемым стилем и как нейросеть сможет воспроизвести его на сюжетах, придуманных мной.
Изображения из датасета
Я написала несколько сюжетов-промтов, чтобы посмотреть как генеративная модель справится с передачей стиля.
Изображения из датасета
Итоговая серия изображений
С первых промтов нейросеть воспроизводила весьма схожий стиль с референсами. Она смогла перенять цветовую гамму, характер линий и общей стилизации персонажей.
Промты изображений:
photo collage in Gorillaz style, animated band members playing music in a colorful city at sunset
photo collage in Gorillaz style, surreal desert with glowing cacti and strange creatures
Промты изображений:
photo collage in Gorillaz style, graffiti-covered walls with animated characters walking by
photo collage in Gorillaz style, futuristic city with neon lights and pixelated effects
Промты изображений:
photo collage in Gorillaz style, dreamy forest with floating islands and cartoonish trees
photo collage in Gorillaz style, retro concert stage with animated band under neon spotlights
photo collage in Gorillaz style, underwater world with glowing fish and musical instruments
Однако, не везде стиль оставался стабильным, иногда некоторые особенности менялись. Например, внезапно вместо резких довольно толстых линий появлялись тонкие спокойные. Общая стилизация тоже менялась, возможно, это связано с тем что иллюстрации разных лет несколько отличались. Сюжет прописанный в промтах нейросеть повторяла довольно точно.
Промт изображения:
photo collage in Gorillaz style, alien landscape with weird plants and glowing skies
Промты изображений:
photo collage in Gorillaz style, cosmic space scene with planets, stars, and musical notes
photo collage in Gorillaz style, urban rooftop party with animated dancers and boombox vibes
Описания применения генеративной модели
Обучение заняло примерно 40 минут. В результате я получила готовую модель, которую смогла использовать для создания новых изображений на основе промта и стиля загруженных картинок.
Загрузка датасета с картинками в виде zip в google collab и последующая его распаковка
Исправление кода, чтобы русские буквы не мешали ему, затем добавление строки для ускорения обучения нейросети. После этого вход в Hugging Face.
Начало обучения нейросетевой модели, задача папки с датасетом и папки для сохранения генераций. Также установление шагов обучения: 250 на промежуточном этапе и 500 на финальном.
В первых генерациях уже угадывался заданный стиль, мне показалось, что это отличная база для дальнейших генераций.
Это всё необходимо для сохранения твоей модели на Hugging Face.
Вывод
Нейросеть смогла уловить некоторые особенности стиля Джейми Хьюлета, однако она не смогла полноценно повторить выбранный мной визуальный язык. Мне кажется, нейросети прекрасное подспорье для изучения стилей других создателей и своего. Трансформация собственного стиля под конкретные задачи может упроститься с применением генеративных моделей.
