ИДЕЯ ПРОЕКТА
У меня есть довольно большое количество художественных работ, выполненных в разных техниках. Одним из любимых материалов является акварель. А любимой натурой на протяжении многих лет были цветы. Мне захотелось обучить Stable Diffusion для генерации изображений, нарисованных в моем стиле.
Цель проекта — понять, насколько нейросеть сможет передать мой стиль и сгенерить похожие изображения. На мой взгляд, сложность в том, что все работы выполнены в ручной технике, которую сложно повторить в цифровом формате.
Клумба с флоксами
Список использованных инструментов
Stable Diffusion — обучение генеративной нейросети под свой стиль; Google Colab — написание кода и генерация изображений; Hugging Face — получение токена для обучения нейросети; ChadGPT — корректировка промптов и изображений
В папку были собраны живописные работы с изображением цветов. Все они выполнены в одном стиле.
Акварельные работы
Букеты
Пейзажи с цветами
Описание процесса обучения
В самом начале необходимо было загрузить нужные библиотеки в Google Collab.
Далее были загружены изображения с компьютера в Google Collab. После загрузки я поменяла размер изображений. (Они стали квадратными, с разрешением 512 на 512, при этом масштаб не изменился.) После была выполнена специальная функция, которая выводила на экран загруженные изображения, что позволяло удостовериться в правильности загрузки.
Фрагменты кода
После загрузки изображений нужно было создать описание этих изображений. Так как на всех работах нарисованы цветы, то и описания получились похожими друг на друга.
Фрагмент кода
Теперь можно приступать к процессу обучения. Разрешение 512, максимальный шаг тренировки — 1000, чекпоинт — 250. Выбранное разрешение в разы сократило время. Общая генерация заняла чуть больше часа.
Фрагмент кода: обучение
Дальше нужно было загрузить модель на Hugging Face. И можно приступать к генерациям.
Фрагменты кода
Первый промпт: «art in Asyukha style, 3 sunflowers in the foreground, surrounded by a lot of grass»
Результат генерации
Получилось довольно похоже. Очень четко схвачены цвета и манера мазков. Правда, странно обрезаны цветы по краям.
Одним из промптов был: «art in Asyukha style, watercolor painting of vibrant red poppies in a meadow, soft translucent petals, subtle pink and red gradients, thin green stems, delicate shadows». Можно было узнать, насколько точно нейросеть попадет в мой стиль при рисовании маков
Генерация и моя работа
Видно, что передача пятен довольна похожа, но у нейросети цвета более яркие, светящиеся, такие цвета сложно повторить в жизни. Причем фон и зелень, наоборот, более светлые и прозрачные.
Промпт: «art in Asyukha style»
Несколько генераций по одному и тому же промпту
Как можно заметить, изображения очень похожи друг на друга. Видно, что нейросеть теряется, если не указывать в промпте конкретные цветы и композицию. В результате получаются просто какие-то растения, но нарисованные в моей цветовой палитре.
Промпт: «art in Asyukha style, autumn garden with chrysanthemums, marigolds, and asters, warm orange, yellow and red petals»
Результаты генерации
