Обучение генеративной модели в стиле Kio-Kio
Идея
Проект и модель были созданы для того, чтобы понять, как работает ИИ и как происходит ее обучение, для меня важно было точно передать стиль художницы Kio-Kio при этом не копируя полностью, а лишь общие детали.
Все создано только для учебных целей.
Исходные изображения
Библиотека.
Была собрана библиотека изображений собственноручно, я выбрала самые схожие и ярко отражающие характерные черты в артах автора.
Полный датасет находится по ссылке — https://drive.google.com/drive/folders/1kvair2t41woRY0HNghwD0Dwbc2gA050y
Процесс обучения
Инструменты, использованные в процессе обучения и создания нейросети:
1. Stable Diffusion — обучение генеративной нейросети под стиль
2. Hugging Face — получение токена для обучения нейросети и загрузка модели
3. Google Colab — код и генерация
4. Материалы курса — обучение и обьяснение как это делать
Нейминг промптов и изображений.
kiokio portrait
kiokio_portrait_LoRA
Обучение модели.
Как выглядит архив.
Тестовая генерация.
Перепись кода далась мне просто, но заняла массу времени из-за ограничений GPU и долгого времени обучения.
Итоговые генерации
Во время генерации я заметила что проблемы возникали в основном с лицами и мелкими деталями в одежде и окружении, это видно на многих изображениях ниже.
Генерации.
1. kiokio portrait, beautiful punk girl, white background 2. kiokio portrait, beautiful woman at night 3. kiokio portrait, girl at night with stars 4. kiokio portrait, man waiter at cafe at night 5. kiokio portrait, man waiter at moscow cafe
1. kiokio portrait, portrait of a blonde man holding a star 2. kiokio portrait, portrait of a little girl in the wood
kiokio portrait, witch in the wood
Описание применения генеративной модели
Stable Diffusion XL (SDXL) добавлялась в проект в учебных целях и создана не для коммерции.
Итог
Результатов я довольна, уверена чтобы лучше развить и получить полностью удовлетворяющий итог надо потратить чуть больше времени.
Общий стиль покраса, лайна более менее схожи, пропорции оставляют желать лучшего, однако нельзя забывать что большая часть работ в оригинале — стилизованы.
Интересный опыт, который будет полезен в будущем в современном мире.
