Обучение нейросети Stable Diffusion стилю художника Здзислава Бексиньского
Идея проекта
Здзислав Бексиньский (1929–2005) — выдающийся польский художник, фотограф и скульптор, прославившийся своими мрачными, сюрреалистическими картинами, наполненными атмосферой постапокалипсиса и загадочными образами.
Все его картины не имеют названия и весьма мрачны. Меня они толкают на размышелении о природе кошмара и сна. Часто его картины вдохновляют меня на более необычные опписнаия в совем хобби Настольно ролевых играх.
Цель проекта научить повторять его сюреальстичные картины нееросеть. И посмотреть насколько она сможет повтоторить его стиль.
Материал обучения
Для обучения нееросети были собраны и обрезан под размер 1024×1024 некторые картины Здзислава. Они были подобраны так чтобы полность передавать его мрачный и почти безумный стиль.
Untitled — Blind Creature is a painting by Zdzislaw Beksinski
Список использованных в проекте инструментов:
— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Google Colab — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — ChatGPT— вычитака текстов и написания симовлов для промтов
Описание процесса обучения
Сначала я загрузил все нужные библиотеки
Затем я загрузил картины как оригинальные изоброжения на которых и будет обучаться нееросеть
Итак я запустить обучения под следущими параметрами: Всего шагов обучения: 1200 Чекпоинты: каждые 400 Разрешения: 512
После окончения обучения я подгрузил на сайт Hugging Face свою Lora
Итоги обучения
Прежде чем создавать пронты. Я обратился к ChatGPT и попрасил написать сиволы для 7 смертных игрехов и в будущим их спольсозовал для генирации.
Пронт-Painting by Zdzislaw Beksinski, huge white castle, red sky with big white moon
Painting by Zdzislaw Beksinski, stormy sea with huge rusted ship
Painting by Zdzislaw Beksinski, portait of an angel, light colors
Painting by Zdzislaw Beksinski, symbolizing lust, Reaching hands, melting lips, thorned roses, keyhole heart, dissolving silk
Painting by Zdzislaw Beksinski, symbolizing greed, Golden cage, melting coins, drowning in gold, hollow dollar eyes, pearl in tangled roots
Как мы видим, нейросеть может передать ощущения. Она хорошо скопировала технику сфумато и негуманоидные объекты (замок или корабль). Гуманоидам получаются хуже, но это даже придаёт изображениям особый шарм. Совсем плохо получается объединить живые и неживые объекты.
Несмотря на это, нейросеть неплохо копирует стиль Здзислава. Из-за его стиля большинство ошибок генерации хорошо вписываются и не вызывают диссонанса.
Ссылка на Hugging Face https://huggingface.co/Selfforget/Zdzislaw_Beksinski
Сыллка на блокнот https://colab.research.google.com/drive/1v85FFY4IDEIwkDVDB8WQgbWfi3Kf8jt8?usp=sharing
