HOROVOD STYLE
На 1 курсе мы делали командный проект, для которого я рисовала иллюстрации. Его концепция заключалась в том, чтобы создать линейку отделочной плитки с иллюстрациями по мотивам мифологии регионов, откуда мы с командой приехали.
Чтобы тиражировать эту серию на большую аудиторию, полезно расширить список персонажей, например, персонажами европейской мифологии. В этом поможет обученный ИИ.
Примеры изображений из исходного дата-сета
Для обучения использовались 32 исходные иллюстрации, часть которых показана выше
Фрагмент кода с дата-сетом
Для обучения использовался префикс «Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Фрагмент кода с одним из промптов
Поиск оптимальных настроек
Я начала генерацию с 25 шагов вывода, однако результат меня не устроил и я переключаилась на 50. Результаты можно сравнить на примере генерации русалки:
25 / 50 «image of a mermaid in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
На примере генерации вампира:
25 / 50 «image of a vampire in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Также я попробовала слить мои веса с оригинальными весами LoRA, однако результат был далек от того, чему мне хотелось обучить нейросеть: они слишком похожи на типичные нейросетевые иллюстрации и не отражают авторский стиль.
Русалка, вампир и фея
50 шагов вывода без слияния весов LoRA с исходной моделью, на мой взгляд — оптимальный способ донастройки модели для моего стиля. С этим способом я сделала около 20 генераций:
Зубная фея prompt = «image of a tooth-fairy in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Мумия «image of a egypt-mummy in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Водяной | Баба Яга
Минотавр «image of a Minotaur in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Человек-невидимка (реально не вижу его тут) «image of a invisible man in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Приведение | Леший
Дракон «image of a dragon in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Упырь «image of a ghoul in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Алконост | Единорог
Стрыга «image of a striga bird in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Суккуб «image of a succubus bird in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Кентавр «image of a centaur bird in the style of Slavic, Tatar, Romanian and Fin-Ugric mythological characters in the primitive style of line art illustrations»
Выводы
Одна из исходных иллюстраций | Похожее существо в генерации
Нейросеть довольно точно уловила сложный и разрозненный стиль изначальных иллюстраций: они орнаментальные, запутанные, достаточно абстрактные. Хаотичность и, местами, невнятность итоговых изображений обусловлена в большей степени общей для нейросетей трудностью в генерации мифических персонажей (в свое время видела множество шуток над ЧатГПТ по этому поводу): чтобы запросить у ИИ более точно сгенерировать русалку/кентавра/стрыгу, нужно сначала тщательно обучить ее понимать, что это за существо, что является отдельной работой. Однако задача научить SD видеть индивидуальный авторский стиль и копировать его, на мой взгляд, выполнена успешно.
