Обучение генеративной нейросети на основе личных иллюстраций
Идея
Моей задачей было обучить генеративную нейросеть Stable Diffusion для генерации иллюстраций в моем стиле. В качестве датасета я выбрала проект первого курса первого модуля по арт-практике, потому что мне действительно интересно было выполнять его, а теперь появилась возможность окунуться в атмосферу начала учебы в университете. Можно сказать, что работа основана на личном исследовании своего творчества. Так как я уже не рисую в таком стиле, мне захотелось зафиксировать и сохранить в памяти этот образ. Цель проекта — посмотреть, насколько похоже сумеет нейросеть попасть в мой стиль.
Исходные изображения
Общий стиль изображений: - черно-белый покрас - материал — гуашь - упрощенные силуэты людей - тема о саморефлексии и чувствах, сильных эмоциях
Процесс обучения
Первым шагом стала установка всех инструментов, необходимых для работы модели — таких как Diffusers, DreamBooth и другие. Затем изображения были перенесены с локального компьютера в Google Colab при помощи встроенного механизма загрузки файлов. После этого нужно было проверить, что файлы действительно появились в среде и готовы к использованию.
код
Следующим этапом стало создание подписей к каждому изображению — этот шаг завершал подготовку моего датасета для обучения нейросети.
фрагменты кода
После логина в HuggingFace можно приступать к обучению.
фрагмент кода
Теперь можно сохранить модель на все тот же HuggingFace, а затем начать генерацию.
фрагмент кода
фрагмент кода
Результаты генерации
При составлении промптов я ориентировалась на желание получить эмоционально наполненные картинки, с атмосферным сюжетом. У нейросети отлично получилось передать текстуру гуаши, которую я использовала в оригинальных работах.
промпт 1: «2D art in the style of CRY, minimalistic figure, standing in the rain, grayscale»
изображение 1
промпт 2: «2D art in the style of CRY, minimalistic figure, sitting near the water, grayscale, smooth body lines»
изображение 2
Также нейросеть отлично отделяет изображаемого персонажа от фона, не «теряет» его, при этом сам фон не остается однотонным в большинстве случаев. В моих работах фон чаще был одноцветным, но встречались и работы с более разнообразным задником.
промпт 3: «2D art in the style of CRY, two abstract human silhouettes intertwined in conflict, grayscale painting, strong body tension, high contrast» промпт 4: «2D art in the style of CRY, abstract grayscale human figure hugging itself, emotional symbolism, curved lines, soft shadows, minimalist backgroun»
изображение 3, изображение 4
Некоторые из изображений получились слишком абстрактными, и если не знать задумку, разобраться будет не так просто. Поэтому впоследствии я аккуратнее использовала в промпте слово «abstract». Однако генерации по-прежнему соблюдают визуальный стиль оригиналов, и силуэты людей остаются различимыми.
промпт 5: «2D art in the style of CRY, human figure sitting on a chair, grayscale minimalist painting, high quality»
изображение 5
Иногда нейросеть дорисовывала неопознанные объекты рядом с персонажами, которых не было в промпте, однако я не могу сказать, что они как-то портят изображение или выбиваются из общей стилистики, смотрятся довольно органично.
промпт 6: «2D art in the style of CRY, human figure standing near a square shape suggesting a window, grayscale minimalist painting, high quality»
изображение 6
Здесь нейросеть слишком упростила человека, в моих работах они имеют немного другие пропорции и внешний вид. Композиция также оставляет желать лучшего, в изображении совсем нет динамики.
промпт 7: «2D art in the style of CRY, human figure walking through vertical brushstrokes representing grass, grayscale tones, minimalist movement» промпт 8: «2D art in the style of CRY, abstract grayscale painting of a person holding a grey candle, calm emotional tone»
изображение 7, изображение 8
промпт 9: «2D art in the style of CRY, grayscale minimalist painting of a person lying on pillow, bed, relaxed pose, calm atmosphere»
изображение 9
Данную генерацию я считаю наиболее удачной по причине приближенности к моему стилю. Похожими вышли форма рук, форма головы и поза, помимо вышеперечисленных совпадений.
промпт 10: «2D art in the style of CRY, minimalist grayscale painting of a human figure holding a small geometric shape near the chest»
изображение 10
промпт 11: «2D art in the style of CRY, two grayscale minimalist figures reaching toward each other, elongated arms, abstract» промпт 12: «2D art in the style of CRY, abstract grayscale human figure with arms raised upward, simple symbolic gesture»
изображение 11, изображение 12
Я довольна результатом работы, ведь мне удалось обучить нейросеть собственному стилю. В большинстве случаев модель точно уловила особенности: композицию, цвет, характер линий. Итоговый проект выглядит целостно, а также показывает, как можно объединить личное и технологическое. Нейросеть может быть не инструментом подражания, а средством самопознания художника.
Список использованных инструментов:
- Stable Diffusion для обучения генеративной нейросети - Google Colab для выполнения кода и генераций - Hugging Face для получения токена для обучения нейросети, загрузка полученной модели на сайт - Adone InDesign для создания коллажей
