Emily Xu (@emilyamiao) — художница в Disney, аниматор и иллюстратор.
Известна своим ярким и плавным стилем рисования, который точно передает историю и атмосферу ее произведений.
Цель проекта заключается в поиске того, насколько быстро нейросеть можете понимать стиль художника emilyamiao, основываясь на важных аспектах ее рисования: палитра, контур, пропорции, которые характерны для нее.
При этом мне также важно было узнать насколько эффективно ИИ может осваивать новые знания и навыки и «мимикрировать» под другие арты, с минимальными неточностями.
Библиотека изображений
Изображения взяты из открытого доступа и социальных сетей художницы:
https://www.instagram.com/emilyamiao/
https://cara.app/emilyamiao
*Компания Meta признана экстремистской организацией
Всего было найдено и обрезано под размер 512×512 — 45 изображений.
Палитра проекта была сгенерирована с помощью сервиса https://gradients.app/ru/newpalette
Процесс обучения нейросети
Процесс обучения занял приличное количество времени не столько из-за трудностей, сколько из-за монотонного поиска и скачивания изображений и дальнейшей их подрезки.
Весь процесс длился около 4 часов.
Сама генерация и настройка заняла около часа, с изменениями всех важных моментов в коде и созданием токена, включая ожидание подгрузки всех блоков кода.
LORA: emilyamiao_style_LoRA prompt: art in emilyamiao artstyle
Как это выглядит внутри Google Colab.
Обучение модели. Я уменьшила количество шагов на 100, чтобы процесс проходил быстрее.
Обучение модели заняло около 1 часа.
Из-за изменений в коде, я опасалась ухудшения качества генерируемых картин. Однако на мое удивление оно стабильно держало статус качественно с минимальными проблемами для ИИ (руки и лица).
Пример генерируемого изображения.
Финальные генерации
art in emilyamiao artstyle, knight alone in the winter woods, he’ s holding a sword
1. art in emilyamiao artstyle, mermaid kissing a warrior on the lake, paysage 2. art in emilyamiao artstyle, mermaid on the lake, paysage
art in emilyamiao artstyle, beautiful chinese princess is dancing in the empty room
Изображения вполне удачные, однако нейросеть все еще испытывает трудности с прорисовкой рук и лиц.
art in emilyamiao artstyle, portrait of a red-haired beautiful woman
art in emilyamiao artstyle, portrait of a woman (lora_scale = 0.8)
art in emilyamiao artstyle, portrait of a woman (lora_scale = 1) (ПЕРВАЯ ПРОБА)
На первых двух портретах, по моему мнению, ошибок почти нет, тем не менее это отличный итог после тренировки нейросети Stable Diffusion.
Третье изображение является самой первой вариацией, и я считаю, что она наиболее наглядно демонстрирует процесс обучения ИИ.
1. art in emilyamiao artstyle, eifel tower in paris, pigeons are flying in the sky 2. art in emilyamiao artstyle, empty room in chinese castle
1. art in emilyamiao artstyle, big ben in london (lora_scale = 1) 2. art in emilyamiao artstyle, big ben in london
- art in emilyamiao artstyle, house in the woods (2)
- art in emilyamiao artstyle, house in the woods (lora_scale = 0.3)
- art in emilyamiao artstyle, house in the woods
Также я пробовала научить нейросеть генерировать окружения, и выходило довольно неплохо, но были и не самые удачные примеры, один из них представлен ниже.
art in emilyamiao artstyle, times square, new york
В конце концов я пришла к идее совместить окружение и героев, которых так любит изображать emilyamiao, и получила относительно неплохой результат.
