Обучение генеративной модели Stable Diffusion под стиль мемов
Идея
Как активный пользователь соц сетей я люблю использовать различные мемы с забавными лицами для передачи эмоций в, например, переписке. Именно поэтому я решила обучить нейросеть на датасете из мемных картинок со смешными лицами и кривыми котами.
Исходные изображения
Большинство картинок намеренно исполнены в неаккуратно: «волосатый» лайном, преимущественно черно-белая палитра с каким-то цветовым — розовым, желтым или голубым — акцентом, мыльные тени и грязная штриховка — всё для преувеличения карикатурности передаваемых эмоций.
Процесс обучения
Инструменты, использованные для реализации проекта:
Stable Diffusion — обучение генеративной нейросети под свой стиль
Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
Google Colab — выполнение кода и генераций
Обучение нейросети было проведен с помощью предоставленного нам учебного шаблона кода. В первую очередь установились необходимые модели и библиотеки.
Затем я вручную собрала 17 изображений c Pinterest для датасета и загрузила их, собрав в локальную папку
После установки необходимых данных я начала обучение модели в генерации картинок in memes style
После окончания тренировки я начала генерацию изображений.
Итоговая серия изображений
Итак, в первую очередь я попыталась сгенерировать разных персонажей в стиле вышеупомянутых мемов. Далее какой-то кот, Хатсуне Мику и Сейлор Мун.
sad cat looking in the lake in memes style
У персонажей определенно прослеживаются черты схожие с оригиналом. Например, довольно четкое попадание в глуповатые глаза и лица с закосом на аниме стиль, а так же неаккуратный лайн, близкая к чб палитра и даже попытка в штриховку.
Hatsune Miku in memes style
Sailor moon in memes style
Далее я попыталась создать немного забавных картинок. Стилистически и тематически они схожи с датасетом. Прослеживаются знакомые неаккуратный лайн, глуповатость и карикатурность.
tired student in memes style (это буквально я)
screaming girl in front of the computer in memes style
1.silly bunny shows heart in memes style 2. angry bunny in memes style
Итог
Во всех сгенерированных изображениях действительно прослеживаются общие черты. Эти черты в том числе прослеживаются и у оригинальных картинок: грязноватая штриховка, кривой лайн, мыльный покрас, чб тона с редкими цветовыми акцентами, а так же карикатурные лица и характерные глаза. Это всё создает определенное непринужденное настроение картинок, какое характерно для несерьезных переписок и создания мемов.
В общем и целом, мне кажется, что нейросеть хорошо справилась с задачей.
