Обучение генеративной нейросети под стиль Хаяо Миядзаки и Studio Ghibli
Идея проекта
Цель проекта — обучить модель Stable Diffusion генерировать изображения в узнаваемом стиле японского режиссера и художника Хаяо Миядзаки, а также создавать персонажей, характерных для его работ. Миядзаки известен своими мягкими, акварельными фонами, выразительными персонажами и атмосферными сценами природы.
Исходные изображения
Другие изображения можно посмотреть тут: https://drive.google.com/file/d/16m0GlapRO2Wrn4C_QKVQBVEX73kzAywz/view?usp=drive_link
Применение генеративной модели
Для начала работы потребовалось загрузить всё необходимое.
Далее я подгрузила все исходные изображения в одну папку и упаковала в зип-архив, для того чтобы отправить его на Google Диск. Таким образом, подготовка для обучения нейросети была завершена.
Следующим моим шагом была регистрация на сайте Hugging Face, и я подключила сервис к проекту.
Закончив обучение, я сохранила полученную модель в своём профиле Hugging Face, после чего успешно использовала её для генерации других изображений.
Результат
Для начала я ввела промты, которые были более свойственны самой студии и самому Miyazaki. Результат меня вполне удовлетворил, несмотря на некоторые ошибки нейросети.
Сгенерированные изображения
peaceful valley in Studio Ghibli style, pastel colors
photo collage in Studio Ghibli style steampunk city with floating islands
1 — A serene landscape with rolling green hills, fluffy clouds, and a small rustic village
1 — A charming little cottage with a thatched roof, surrounded by wildflowers and green hills, 2 — A kind-hearted young girl with short hair standing in a field, 3 — seamless landscape transitions
A serene landscape with rolling green hills, a small rustic village
Несмотря на некоторые ошибки, на сгенерированных нейросетью изображениях сохранились ключевые черты, присущие оригинальным работам: акварельная мягкость, уютная атмосфера и внимание к деталям. Особенно заметно это на изображениях с природными пейзажами — там сохраняется характерная палитра пастельных тонов и композиционная гармония, типичная для анимационных раскадровок. Также унаследованы общие мотивы: сельская идиллия, горные долины, необычная архитектура и техника.
