Альберто Миелго. Обучение генеративной нейросети.
Основная идея проекта изобразить и создать концепт-арты в стиле художника Альберто Миелго.
Альберто Мьельго — испанский режиссёр, художник и аниматор.
Был арт-директором мультсериала «Трон: Восстание» и режиссёром короткометражных анимационных фильмов «Свидетель» и «Джибаро», снятых для антологии «Любовь. Смерть. Роботы». Лауреат четырёх премий «Эмми» и двух премий «Энни». Обладатель премии «Оскар» за лучший анимационный короткометражный фильм (2022) за фильм «Стеклоочиститель».
*Определение взято из Яндекса.
Art by MIELGO ALBERTO, BERNSTEIN ANDRULLI015, Beatles.
Также в процессе я открыла для себя то, как кардинально меняются результаты генераций в зависимости от требуемого формата картины.
Примеры будут представлены ниже.
Датасет
Оригиналы изображений я взяла с портфолио Альберто Миелго, однако в процессе они подверглись обрезке под размер 800×800.
Пример работы и вся библиотека (24 фото).
Процесс обучения модели
Загрузила все важные и обязательные части и приступила к работе уже в самом Датасете.
Сам процесс был медитативным, сначала я хотела сделать все как в лекции: через Kaddle, но из-за проблем с русским номером было принято решение перенести работу в Google Colab.
Заняло ВСЕ 4 часа без учета часа в Kaddle: 1. Выбрать идею и художника. 2. Найти достаточно материала. 3. Обрезать вручную в квадрат.
Как это выглядит в Google Colab.
Превью того, как это выглядит.
4. Переименовать все части на стиль моего художника, подходящие параметры, в том числе переименовать папку cher, например, на kats.
5. Создать токен на Hugging Face.
5. Обучение модели ± 45 минут (самое время затратное).
6. Генерация изображений нейросетью.
Это была третья попытка и создала нормальный токен.
Моя римская империя (тут у меня валился код и выдавало ошибки чаще всего из-за моей невнимательности).
*Но тут уже все отлично
Код заработал и вот моя первая и любимая генерация!
Начало промпта у меня обычно «photo collage in MIELGO style,».
Хотя я поиграла во время работы и итог с одинаковыми требованиями, но разным форматом изображений был разным.
Итоговые изображения
1. «neon art in MIELGO style, new york city» 2. «concept art in MIELGO style, cyberpunk city in night»
«photo collage in MIELGO style, cyberpunk city with neon girl»
1. «photo collage in MIELGO style, girl with curly blond hair and dark skin» 2. «photo collage in MIELGO style, black guy smile»
«art in MIELGO style, white girl seems angry and sad in blue sweater anf white skirt»
«photo illustration in MIELGO style, black guy smile»
Для оформления я использовала сайт https://gradients.app/ru/newpalette
Вывод
Подытоживая, хочу сказать что опыт работы с моделью Stable Diffusion был интересным, по сути своей это неплохой инструмент, но не более, все же у меня есть легкий диссонанс в душе.
Однако с точки зрения технический части и программирования, мне все более чем понравилось, сидеть по 15-40 минут каждый день и к концу недели у вас готовый проект.
Было расслабляющее монотонно собирать картинки любимого автора.
Сам код мне показался легким и хорошим, основные трудности возникли с самими программами, например ограничения по GPU.
Благодаря этому курсу (на момент 3 модуля) я многое поняла, думаю само обучения нейросети затянется на долгие годы, но сам процесс умеренно интересный, проблемы все еще возникают, но только с частыми местами ИИ (глаза, руки, волосы).
Было интересно и круто, есть что написать в резюме!
Art by MIELGO ALBERTO, Spiderverse.
Art by MIELGO ALBERTO, Spiderverse.
Описание применения генеративной модели
Stable Diffusion XL (SDXL) использовалась для обучения генеративной нейросети под стиль Альберто Миелго в не коммерческих целях.
Для учебной деятельности и для создания этого проекта.
Использовала для оформления и для создания проекта:
https://gradients.app/ru/newpalette — палитра для оформления https://www.fotor.com/design/project/5e76f8cb-2d92-41b1-9dba-a531e24f9265/collage — для создания коллажа https://www.albertomielgo.com/beatles-rockband/yvzddyic2wdwl93q81tqhey806ar87 — источник изображений https://www.figma.com/design/OwhytB3Am88VPQDKKlmyaI/Нейронки? node-id=0-1& p=f& t=i0dO8GM9ttYKD96B-0 — для оформления фото и артов
