Обучение генеративной нейросети | Alice: Madness Returns

Для обучения своей модели нейросети Stable Diffusion XL я решила выбрать одну из своих любимых игр — Alice: Madness Returns (2011). В 2023 году вышел артбук для продолжения этой игры Alice: Asylum, которое, возможно, никогда не выйдет, поэтому я захотела

Alice: Madness Returns (2011) - это мрачный и психоделический экшен-платформер, разработанный Spicy Horse, являющийся продолжением игры American McGee's Alice. Сюжет разворачивается после событий первой игры, American McGee's Alice. Алиса пытается прийти в себя после трагической гибели своей семьи в пожаре, находясь под присмотром психиатра в Лондоне. Однако, её психическое состояние ухудшается, и она вновь погружается в безумную, искажённую Страну Чудес.

В игре есть 2 основных стиля: 3д игровая часть и стилизованная нарисованная часть катсцен и флэшбеков. Я хотела сосредоточиться на втором стиле, так как он более интересный для меня, и обучить свою модель именно на нем.

Основные черты этого стиля:

1. Использование четких линий и текстур, напоминающее винтажные иллюстрации.

2. Текстура бумаги и контур вокруг разных деталей, будто вырезанные из бумаги куклы, которых анимируют.

3. Персонажи часто имеют преувеличенные (чаще всего отталкивающие) черты и необычные пропорции.

4. Использование глубоких, насыщенных цветовых палитр, часто с контрастом между яркими и темными оттенками.

5. Использование фантастических деталей и необычной композиции.

У меня получилось собрать датасет из 53 скриншотов катсцен из игры размера 1024х1024 пикселей.

После импорта блокнота с Github и установки нужных библиотек, я загрузила свой датасет и продолжила работу с ним. Следующим шагом было создание локальной директорий для хранения изображений из него.

Далее были сгенерированы подписи для изображений, используя модель BLIP, и сохранены вместе с именами файлов изображений в JSONL-файл. Затем мы очистили память, удаляя модель BLIP и освобождая GPU-память.

После этого я привязала собственный токен на платформе Hugging Face, и приступила непосредственно к обучению модели с использованием LoRA.

После этого я сохранила мою модель на Hugging Face Hub для удобства дальнейшего использования и приступила к первым генерациям.

Сначала я попробовала изменить параметр lora_scale на более низкие значения, такие как 0.6 и 0.8

Я использовала одинаковые промпты, чтобы посмотреть различия генерации изображений.