Обучение генеративной нейросети Stable Diffusion под стиль Поля Гогена
Идея проекта
Поль Гоген один из выдающихся представителей постимпрессионизма.
Он отказался от строгих правил академической живописи и предпочел простые формы, чистые цвета и экзотические сюжеты. Этим он выделяется даже среди постимпрессионистов.
Я решила взять именно его творчество поскольку мне оно кажется интересным и самобытным. А также мне показалось, что, благодаря простым формам и достаточно контрастной палитре будет проще обучить генеративную нейросеть созданию подобных картин.
Исходные изображения
Все изображения были приведены в единый размер с помощью BIRME
Обучение генеративной нейросети
Для начала работы потребовалось загрузить все необходимые библиотеки.
Далее я подгрузила все исходные изображения и создала подписи для картинок. Таким образом подготовка для обучения нейросети была завершена.
Далее я зарегистрировалась на сайте hugging face и подключила сервис к проекту.
Наконец-то я перешла к обучению нейросети. Я установила такие настройки: Разрешение: 512 Максимальный шаг обучения: 500 Чекпоинт: 250
После завершения обучения я сохранила модель на Hugging Face и начала использовать эту модель для генерации новых изображений.
Результат
Пример использования созданной модели
Для начала я ввела промты сюжетов, которые были более свойственны самому Гогену. Результат меня вполне удовлетворил, несмотря на некоторые ошибки нейросети.
Промт «Painting in the style of Paul Gauguin, two women sitting next to each other, red and blue dresses»
Промт «Painting in the style of Paul Gauguin, a woman in a blue dress sitting on the beach»
После я решила поиграть с количеством людей на картине. Получилось также удовлетворительно.
Промт «Painting in the style of Paul Gauguin, a painting of people in a park in summer»
Далее я решила дать задачу нейросети изобразить не тайских женщин, коих изображал Гоген, но взять европейский тип женщин. Эту задачу я преподнесла нейросети, описав цвет волос и кожи.
Первое изображение меня не совсем удовлетворяет. Я решила, что дело в самом промте и, написав другой, убедилась в этом.
Промт «Painting in the style of Paul Gauguin, woman in red sitting next to green lake»
Промт «Painting in the style of Paul Gauguin, pale ginger woman in pink dress»
Также я попробовала дать задачу сгенерировать натюрморт в стиле Гогена. Результат меня удовлетворил.
Промт «Painting in the style of Paul Gauguin, a still life of dragonfruit»
