Обучение генеративной модели под стиль укиё-э

Данный проект посвящён обучению Stable Diffusion и его применению для создания новых изображений. В качестве основы я решила использовать такое направление в искусстве как укиё-э и взять работы одного из художников этого направления — Утагава Куниёси.

Для обучения использовался датасет из 35 картин. Ниже представлены некоторые из них.

Сперва я решила сгенерировать то, что часто встречается среди работ в стиле укиё-э — пейзажи.

После пейзажей я задумалась о том, насколько удачно модель могла бы осуществить различные необычные запросы и решила попробовать сгенерировать персонажей из комиксов.

Можно заметить, что в своих картинах Утагава в основном ставит людей на первый план, но, несмотря на это, при генерации пейзажей артефакты (случайные люди) возникали нечасто.

Все сгенерированные изображения не выбиваются из цветовой палитры, используемой в укиё-э. Так же сохраняется плоскость цветов и форм.

Не совсем удачно нейросеть справилась с рисованием цветов. На первый взгляд может показаться, что цветы получились хорошо, однако при приближении видно, что их форма повторяет форму листвы деревьев.

При этом в поданных на анализ работах есть «правильное» их изображение.

Существенно различаются лица сгенерированных персонажей от нарисованных художником.

Одежда в картинах японского художника всегда яркая и переполнена разнообразными узорами. В изображениях героев комикса можно заметить попытки нейросети сымитировать эти самые узоры.

Из-за специфики костюмов совсем аккуратно изобразить нейросеть их не смогла, однако персонажи всё равно хорошо читаются и узнаются.

Примечательно, что почти у всех персонажей присутствует катана, которая постоянно изображается у героев картин Утагава.