Концепция
Для этого проекта я решила обучить нейросеть Stable Diffusion XL создавать изображения в узнаваемом стиле Жана-Мишеля Баския — одного из самых влиятельных художников нео-экспрессионизма конца XX века.
Баския известен своим уникальным стилем, сочетающим примитивизм, граффити, яркие цвета и элементы поп-культуры с глубокими социальными комментариями. Его работы наполнены символизмом, анатомическими рисунками, короноподобными структурами и необработанными, энергичными линиями.
Исходные картины
Для обучения модели я собрала датасет из 22 картин Баския, включающий его наиболее характерные работы:
Датасет
https://drive.google.com/file/d/1RD7yy6yWSgx3WFHQOV_UdP0FVpJ0eN5Q/view?usp=sharing
Обучение модели
1/ Подготовка данных
Для обучения модели в стиле Жана-Мишеля Баския был собран датасет из 22 изображений его наиболее характерных работ. Изображения были предварительно обработаны:
— Преобразованы в формат PNG
— Размещены в директории ./cher/
2/ Инфраструктура обучения
Обучение производилось в Google Colab на бесплатном GPU T4, используя передовые техники для оптимизации памяти и вычислений:
— Gradient checkpointing — 8-битная оптимизация Adam — Смешанная точность (Mixed precision, fp16)
3/ Основные параметры обучения
Для обучения использовался метод DreamBooth с LoRA (Low-Rank Adaptation), позволяющий значительно сократить требования к памяти при сохранении качества результатов:
— Базовая модель: stabilityai/stable-diffusion-xl-base-1.0
— Оптимизированный VAE: madebyollin/sdxl-vae-fp16-fix
— Размер батча: 2
— Шаги градиентного накопления: 3
— Скорость обучения: 1e-4
— Общее количество шагов обучения: 500
— Промпт для обучения: «In the style of BASQUIAT»
Код для обучения
Использовался скрипт train_dreambooth_lora_sdxl.py из репозитория Diffusers. Основные шаги:
Установка необходимых библиотек:
Загрузка скрипта обучения
Подготовка изображений и автоматическое создание подписей с использованием модели BLIP:
Запуск обучения:
Результаты обучения
По окончании обучения модель сохранена в формате LoRA весов для последующего использования с базовой моделью Stable Diffusion XL.
— basquiat_style_LoRA/adapter_model.safetensors (финальная версия после 500 шагов)
Генерация изображений
Наблюдения и выводы
- Модель успешно усвоила ключевые элементы стиля Баския даже на небольшом датасете.
- Использование LoRA позволило эффективно обучить модель на ограниченных вычислительных ресурсах.
- Автоматически сгенерированные BLIP подписи в сочетании с префиксом «In the style of BASQUIAT» улучшили результаты обучения.
Результирующая серия изображений
