Обучение генеративной нейросети под стиль художницы whatoonee
о художнике
whatooneee — художница, которая работает с виртуальными ностальгическими образами прошлых десятилетий, воплощая их с помощью аэрозолей и акрила на холстах и трехмерных предметах
@whatoonee, фото из социальных сетей художницы
художница создаёт графичные, стилизованные работы в духе видеоигр 2000-х с упрощёнными формами и плоскими цветовыми блоками
@whatoonee холст, акрил
её стиль отличают контрастные цвета, резкие светотени, аэрозольные градиенты и брызги, добавляющие динамики
ироничные поп-культурные отсылки и абсурдные детали подчёркивают сатирический характер её творчества
@whatoonee холст, акрил
@whatoonee холст, акрил
описание применения генеративной модели
обучение генеративной нейросети Stable Diffusion
цель проекта состоит в исследовании способности нейросети глубоко анализировать сложные визуальные элементы стиля художника и воссоздавать их в своих работах
процесс обучения модели
я работала в Kaggle с моделью Fine-tuning Stable Diffusion XL и методами DreamBooth, LoRA, для обучения использовалось 26 квадратных картинок, разрешение — 512×512 px
датасет изображений изначально состоял из изображений разных разрешений, которые были в формате PNG. Для быстрого изменения разрешений и изменения формата с PNG на JPG я обратилась к нейросети Grok
Grok предоставил мне 2 скрипта: один в автоматическом режиме изменил формат изображений на JPG, а второй изменил разрешения изображений на 512×512, эти манипуляции с изображениями были выполнены с помощью python и встроенной в него библиотеки PIL, которая имеет обширный функционал для работы с изображениями
в процессе выполнения ячеек кода возникали непредвиденные ошибки, которые я также решала с помощью Grok, помимо этого я полагалась на HuggingFace (для генерации токена) и BLIP (для генерации подписей к изображениям)
обучение модели на собранном датасете в результате заняло около часа и состояло из 1000 обучающих шагов, изначально я взяла датасет изображений в разрешении 1024×1024, но время генерации меня не устроило, поэтому пришлось изменить разрешение исходных файлов с целью сократить время генерации
для обучения модели я собрала датасет из 27 работ whatoonee, которые наиболее ярко и точно отражают стиль художницы
@whatoonee холст, акрил
посмотреть notebook с текстом можно здесь
серии сгенерированный изображений
в первой серии изображений я попыталась воссоздать основную стилистику работ whatoonee
серия сгенерированный изображений с людьми
промты
— a painting in WHATOONEE style, blonde in a tight fuchsia dress taking selfies in front of a dumpster — a painting in WHATOONEE style, nurse with a syringe —a painting in WHATOONEE style, a fat man without a T-shirt stands on the balcony —a painting in WHATOONEE style, granny with a bat in her hand
несмотря на небольшой датасет и короткие промты, Stable Diffusion достаточно точно попадает в атмосферу и стиль рисования художницы, даже повторяя текстуру холста
серия сгенерированный изображений с людьми
промты
— a painting in WHATOONEE style, a black man is leashing a bull terrier wearing a spiked collar — a painting in WHATOONEE style, A Japanese man in a retro electronics store sits in headphones and eats noodles with chopsticks
из недочетов могу отметить, что на многих изображениях нейросеть плохо справлялась с генерацией ног и рук, реже — тел и лиц людей
также, общая цветовая гамма на всех сгенерированных изображениях немного темнее, чем у художницы, хотя заметны попытки добавить яркие цветовые акценты
серия сгенерированный изображений с людьми
промты
— a painting in WHATOONEE style, grandma’s in the kitchen putting poison in the pie — a painting in WHATOONEE style, a girl in a short skirt and T-shirt with long-heeled shoes is sitting at a bus stop and it’s snowing around her — a painting in WHATOONEE style, a painting in WHATOONEE style, a girl in a leopard-print floor-length dress stands on a nightclub stage and sings jazz —a painting in WHATOONEE style, jock at the gym pumps his arm with a kettlebell that says 40 kilograms
продолжая исследовать стиль whatoonee, я заметила, что художница в своих работах обращается к эстетике, вдохновленной средневековой культурой: замки, рыцари и мистические легенды
вторая серия сгенерированных изображений отсылает к этой теме
@whatoonee холст, акрил
серия сгенерированнных изображений в стиле castle core
промты
— a painting in WHATOONEE style, three gnomes in colored caps in the garden at night eating pizza — a painting in WHATOONEE style, a knight in armor sits on a beach chair drinking a cocktail
данная серия изображений очень хорошо попала в атмосферу работ художницы, отсылающих к эстетике castle core, но анатомия персонажей по-прежнему оставляет желать лучшего
серия сгенерированнных изображений в стиле castle core
промты
— a painting in WHATOONEE style, a girl in an office jacket, white shirt and gray skirt standing on a cliff with one knee and both hands holding a knight’s sword — a painting in WHATOONEE style, death with a scythe — a painting in WHATOONEE style, the princess is sitting in the castle tower getting her makeup done —a painting in WHATOONEE style, a mermaid on the ocean sits on a rock and talks on a cot phone
whatoonee также часто использует в своих работах образы и персонажей из игр, фильмов и других популярных произведений
в третей серии сгенерированных изображений мне тоже стало интересно увидеть известных персонажей в стиле работ художницы
серия сгенерированных изображений с популярными персонажами
промты
— a painting in WHATOONEE style, a vampire in a restaurant eating garlic — a painting in WHATOONEE style, Bigfoot snowboarding down the mountain — a painting in WHATOONEE style, spider-man with six arms crawls up the wall of a skyscraper — a painting in WHATOONEE style, ghost rider on a motorcycle
на этих изображениях нейросеть достаточно хорошо передала стиль художницы, но все еще сохраняются проблемы анатомией и лишними конечностями
серия сгенерированных изображений с популярными персонажами
промты
— a painting in WHATOONEE style, Shrek is standing in the middle of the road in New York — a painting in WHATOONEE style, batman and joker are standing with their backs to us, they’re on the top floor of a skyscraper, holding each other’s hand and looking out the window, and outside the window are fireworks like in the movie «fight club»
также whatoonee рисовала животных, поэтому четвертая серия сгенерированных изображений на эту тему
серия сгенерированных изображений с животными
промты
— a painting in WHATOONEE style, a capybara takes a shower — a painting in WHATOONEE style, a goat standing in a field wearing sunglasses and a gold chain with the letters swag around its neck
серия сгенерированных изображений с животными
промты
— a painting in WHATOONEE style, crocodile sits in the doctor’s chair in the dentist’s office with his mouth open and the dentist is treating his teeth
на мой взгляд, нейросеть справилась с генерацией животных намного лучше, чем с генерацией людей
серия сгенерированных изображений с животными
промты
— a painting in WHATOONEE style, a robber in a balaclava strokes a kitten — a painting in WHATOONEE style, a hot dog with a dachshund instead of a wiener — a painting in WHATOONEE style, the hacker sits with his back to us, 10 monitors in front of him watching the digital kittens — a painting in WHATOONEE style, a cowboy in cowboy boots with spurs at a gas station drinking coffee while his horse gets gasoline
в последней пятой серии сгенерированных изображений мне стало интересно посмотреть, как бы выглядели некоторые известные личности в стиле работ whatoonee
серия сгенерированных изображений с известными личностями
промты
— a painting in WHATOONEE style, Kanye West — a painting in WHATOONEE style, robert pattinson — a painting in WHATOONEE style, hannah montana — a painting in WHATOONEE style, Lenin
генерированные личности получились достаточно узнаваемыми, но проблемы с анатомией никуда не делись
серия сгенерированных изображений с известными личностями
промты
— aa painting in WHATOONEE style, quentin tarantino looks in the trunk of a car — a painting in WHATOONEE style, steve jobs admires samsung
обученная нейросеть хорошо смогла передать атмосферу и стиль работ художницы whatoonee
я убеждена, что с увеличением числа изображений для обучения и количества шагов обучения результаты могут значительно улучшиться
