Обучение генеративной нейросети в стиле Lisa Odette
Референс
Проект направлен на обучение генеративной нейросети для создания изображений в уникальном стиле современной 3D-художницы Lisa Odette
Работы художницы отличаются эмоциональной насыщенностью, сюрреалистичными элементами, мягкими цветовыми переходами и характерной текстурой
Мои генерации
В финальной серии удалось сгенерировать выразительные портреты женщин, передающие разнообразие культур и стилей в узнаваемой эстетике Lisa Odette
Что удалось сохранить:
Нейросеть успешно воспроизвела ключевые черты пластилинового 3D-стиля — мягкость и плавность форм, благодаря чему фигуры выглядят тактильно объёмными, словно слепленными вручную. Особенно хорошо передана динамика композиции: сгенерированные изображения сохраняют характерную для исходного стиля «подвижность», будто персонажи застыли в середине движения. Цветовая гамма осталась яркой и контрастной, с фирменными насыщенными акцентами, которые придают работам узнаваемость. Формы, хотя и не всегда идеально упрощённые, сохранили округлость и плавные изгибы, типичные для пластилиновой эстетики.
Что не удалось передать:
Однако нейросеть не смогла в полной мере имитировать зернистую текстуру поверхности, которая в оригинальных работах создаёт эффект реального пластилина — вместо этого фактура получилась слишком гладкой, «цифровой». Также не достигнута максимальная упрощённость форм: некоторые детали (например, черты лица или складки одежды) оказались сложнее, чем в эталонных работах, что снижает стилизацию. В ряде случаев композиция теряла лаконичность, обрастая лишними элементами. Также были ошибки в генерациях. Эти ограничения связаны как с недостатком данных (в датасете было мало крупных планов с текстурой), так и с особенностями архитектуры модели, которая стремится к «реалистичности», а не к стилизации. Для улучшения результатов потребуется более тщательный подбор исходных изображений и увеличение базы.
Попытки создать натюрморты, отражающие стиль и культуру, оказались менее успешными. Хотя в референсах присутствовали такие композиции.
Для обеспечения единства серии во всех промптах указывался стиль: 3D render, simplified illustration.
Обучение модели
1. Создание базы данных На первом этапе формируется датасет с изображениями, необходимыми для обучения.
2. Загрузка базы данных на Google Диск Готовый датасет загружается на Google Диск для последующего использования в среде обучения.
3. Подготовка окружения Происходит вход в аккаунт Hugging Face через, установка необходимых библиотек и инициализация среды. Это позволяет использовать модели из репозиториев Hugging Face и сохранять результаты туда же.
4. Настройка и запуск обучения Скрипт train_dreambooth_lora_sdxl.py запускается через accelerate launch с указанием всех нужных параметров: • выбор базовой модели • настройка разрешения изображений, размера батча, градиентного накопления, градиентного чекпоинтинга • включение 8-битного Adam и смешанной точности • установка скорости обучения, количества шагов и других гиперпараметров
5. Обучение и сохранение промежуточных результатов Во время тренировки модель проходит стандартные этапы прямого и обратного прохода с обновлением весов. На протяжении процесса регулярно сохраняются контрольные точки, позволяющие при необходимости продолжить обучение или провести промежуточный анализ.
6. Финализация и скачивание результатов После завершения обучения: • создаётся репозиторий на Hugging Face • модель оформляется с помощью save_model_card () • и загружается в репозиторий с помощью upload_folder () Также выполняется генерация и скачивание готовых изображений, полученных с помощью обученной модели.
В рамках проекта для подготовки сопроводительных текстов использовались инструменты искусственного интеллекта, включая Deepseek и ChatGPT. Эти инструменты применялись для генерации, редактирования и структурирования текстов.
