Обучение модели на основе работ Альфонса Мухи
Оригинальные работы Альфонса Мухи, используемые для обучения
В качестве материала для обучения модели я выбрала работы Альфонса Мухи — иллюстратора из Чехии, который прославился благодаря своим работам в стиле ар-нуво. Его стиль очень узнаваем, каждый видел эти изображения девушек с замысловатыми узорами на фоне.
Оригинальные работы Альфонса Мухи, используемые для обучения
Оригинальные работы Альфонса Мухи, используемые для обучения
Итоговая серия изображений
Промпт: «beautiful woman»
Планировалось создать серию изображений, выполненных в стиле Мухи, с разнополыми персонажами, сохраняя ключевые элементы его эстетики: орнаментальность, плавные линии, использование растительных мотивов и приглушенную цветовую палитру.
Промпт: «dancing women»
Итоговая серия изображений демонстрирует неоднозначные результаты. Нейросеть успешно воспроизвела основные элементы стиля Мухи, однако, ключевой особенностью стало выраженное доминирование женских образов. Практически все промпты, даже с нейтральным описанием, приводили к генерации женских фигур. Для создания изображений мужчин требовалось явное указание на маскулинность («очень маскулинный мужчина»).
Изображения, полученные по промпту «very masculine man»
Изображения, полученные по промпту «man» без уточнения
Помимо гендерных сложностей с мужскими образами, генерация животных также представляла значительную трудность. Большую часть времени нейросеть, даже при прямом указании на животный объект, пыталась интегрировать его черты в женский образ, создавая гибридные существа или стилизованные женские фигуры с элементами фауны. Попытки получить чисто животные изображения часто терпели неудачу, требуя значительной корректировки промптов и множества итераций.
Промпт: «animals»
Промпты: «detailed tiger», «detailed wolf»
Промпт: «cats»
Этот факт выявляет интересную особенность: феминная стилистика Альфонса Мухи, очевидно, сильно запечатлена в обучающей выборке и нейросети. Это может быть связано с тем, что большинство знаковых работ художника изображают женщин. Нейросеть, таким образом, не просто воспроизводит стиль, но и улавливает гендерные стереотипы, присутствующие в оригинальном творчестве.
Промпт: «flowers»
Промпт: «book»
Это подчеркивает, что нейросеть лучше «понимает» и воспроизводит женскую эстетику в контексте стиля Мухи. Идея проекта была в том, чтобы перенести стиль художника на новые образы, но выявилось, что «перенос» почти невозможен — суть стиля Мухи слишком прочно связана с феминностью.
Процесс обучения и ноутбук с кодом
Процесс обучения, реализовывался в SDXL DreamBooth LoRA Colab, предварительно обученной модели Stable Diffusion XL (SDXL) с использованием алгоритма DreamBooth и техники LoRA, как было показано в лекциях. Это позволило привить модели новые концепции или стили, используя не огромное количество, а всего 100 обучающих изображений.
Описание применения генеративной модели
• Основная концепция DreamBooth: • Название: DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation • Ссылка (статья): https://dreambooth.github.io/ (Оригинальная статья, описывающая алгоритм DreamBooth)
• Основная концепция LoRA: • Название: LoRA: Low-Rank Adaptation of Large Language Models
• Stable Diffusion XL (SDXL): • Модель: Stability AI Stable Diffusion XL (SDXL) • Ссылка (Hugging Face Hub): https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
• Imagewith AI: • Улучшение качества полученных изображений • Ссылка: https://overscale.imagewith.ai/
