NeuroArt / Jealiu
NeuroArt / Jealiu — проект, посвященный до-обучению нейросети Stable Diffusion под создание работ в стиле художницы Jealiu.
[ концепция ]
Работы художницы Jealiu привлекают своей нежной акварельной текстурой, мягкими цветами, плавными линиями и атмосферой мечтательности. Такой стиль идеально подходит для создания фэнтезийных миров, что и стало основой этого проекта. В процессе генерации изображений были выявлены повторяющиеся черты, которые позволили мне придумать серию персонажей и их историй.
Jaeliu «Beloved», 2016
Характерной особенностью её работ является воздушность и мягкость, использование пастельных оттенков, размытых пятен, засвеченных бликов и акварельной текстуры. Художница использует прерывистый, неконтрастный лайн, который напоминает наброски. Персонажи обладают выразительными глазами, мягкими чертами в анфас и ¾, а в профиль — слегка острыми.
Jaeliu «Beloved», 2016
Jaeliu «Beloved», 2016
Jaeliu «Beloved», 2016
Цель проекта — обучить генеративную нейросеть Stable Diffusion воспроизводить стиль Jealiu и создать серию изображений, сохранивших эстетику художницы.
[ серия работ ]
Герои проекта — это персонажи на грани сна и реальности, те, кто потерян в бесконечной зиме, рассыпаются звёздной пылью, звучат в нотах скрипки или вспыхивают последним огнём. Каждый персонаж отражает свою уникальную историю и характер. Герои сочетают в себе элементы из разных мифов и сказок, но они выполнены с характерной для Jealiu мягкостью и утончённостью.
[ Потерянный принц ]
Он всегда мечтал стать героем. В королевском саду маленький принц размахивает деревянным мечом, отражая невидимые атаки. В глазах — азарт, на щеках — румянец. Он верит, что однажды защитит своё королевство. В ту ночь дворец охватило пламя, а коридоры заполнились шёпотом предательства. Теперь он идёт сквозь холодный лес, его пальцы сжимают старый меч. И вот в ночной буре, среди всполохов магии, он стоит с мечом, который искрит в его руках. Взгляд сосредоточен, но в глубине глаз — тень сомнений. Спустя годы скитания от былого величия осталась лишь тень прошлого. Доспехи потускнели, взгляд стал тяжёлым. В его руках — алый цветок, распустившийся в развалинах старого замка, последний символ того, что он потерял.
[ Одинокая русалка ]
На берегу холодного моря, где туман стелется по воде, сидит русалка. Её чешуя мерцает перламутром, а в руках она держит старую скрипку. В её глазах тоска, потому что музыка — это единственный голос, который у неё остался. Она играет для проплывающих кораблей, но никто никогда её не услышит.
[ Ледяная принцесса ]
Она блуждает среди снежных просторов, замёрзшего леса, где только звёзды на небесах могут рассказать её историю. На её голове терновый венок, символ боли и одиночества, а её взгляд холоден, как лёд, что покрывает каждый уголок её царства. Она не покидает леса, ибо здесь она обрела свою тишину, свою вечную зиму. Ветер шепчет её имя, и она отвечает ему лишь немым взглядом.
[ Феи с книжками ]
В глубине старого сада есть место, где светятся крошечные огоньки — это феи, читающие книги. Они перелистывают крошечные страницы, вплетая слова в воздух, превращая их в искры, танцующие в ночи.
[ Чародейка с эликсирами ]
Её белые волосы, как снег на вершинах гор, светятся в темноте, отражая свет магии, заключённой в маленьких флаконах, что она носит с собой. Каждый флакон — это часть древней силы, которая может исцелить, разрушить или открыть врата в другие миры. Она не может позволить себе потерять ни один из них, ибо каждый наполнен тайной, которую она бережно хранит.
[ Воскрешение феникса ]
Она стоит среди объятых огнем деревьев, её тело охвачено медленным пламенем. Когда от неё останется только пепел, она родится заново — но пока что огонь лижет её кожу, оставляя алые следы на крыльях.
[ Весеннее чудо ]
Её шаги мягкие и тихие, а в руках она держит цветок, который распускается в её ладонях. Она — хранительница мира, где происходят чудеса. Её окружение наполнено ароматом цветов и мягким светом, словно она сама — воплощение весны, нежности и тишины.
[ Свет во тьме ]
Они собирают звёзды, словно драгоценные камни, вплетая их в пряди своих волос. Каждая звезда — это чья-то несбывшаяся мечта, чей-то несказанный шёпот в ночи. Когда они идут сквозь тьму, их волосы сияют, освещая дорогу тем, кто заблудился.
[ Гневный бог ]
Гроза обрушивается на землю, и в её центре стоит он — бог гроз. Его лицо рассекают молнии, а небо над ним потрясается от гнева. Вокруг бушуют ветры, и земля трясётся, словно сама природа боится его мощи. Он не просто управляет стихиями, он сам является стихией, и каждый его шаг вызывает шквал ярости и разрушений.
[ В свете фонариков ]
На фоне таинственных парящих в сумерках островов, освещённых мягким светом воздушных фонарей, пара эльфов разделяет мгновение, в котором замирает время. Их фигуры плавно растворяются в туманной атмосфере, а свет отражается в их нежных чертах.
[ ход работы ]
Для обучения нейросети я взяла около 50 работ Jealiu, часть из которых — фрагменты нарисованных ею манг. Предварительно было необходимо привести все изображения к разрешению 1024×1024 и убрать лишние детали, которые могли помешать нейросети (например, текст или рамки).
Фрагмент кода
Первым этапом в коде была проверка GPU и установка зависимостей, создание локальной директории для хранения изображений и загрузка изображений на платформу Google Colab.
Фрагмент кода
Далее с помощью модели BLIP были созданы описания изображений и префикс «art in jealiu style», которые затем используются для обучения модели.
Фрагмент кода
После запускается процесс обучения модели с использованием LoRA. Весь процесс обучения при заданных параметрах занял примерно полтора часа.
Фрагмент кода
После завершения обучения модель сохраняется и загружается на Hugging Face Hub, где доступна для использования. Можно приступать к генерации изображений.
Фрагмент кода
Генерации, не вошедшие в итоговую серию
Наиболее хорошими выходили портреты, что неудивительно, учитывая, что нейросеть обучалась в основном на них. Чуть менее удачными получались полноценные арты, хотя и в них нейросети Удавалось придерживаться заданной стилистике.
Генерации, не вошедшие в итоговую серию
Было интересно наблюдать за тем, как при небольшой корректировке промпта, нейросеть изменяла черты персонажа, делая его младше или взрослее. Отчасти это легло в основу идеи.
Генерации, не вошедшие в итоговую серию
Поскольку среди изображений для обучения нейросети была одна лишь спящая на стуле кошка, мне стало интересно, как будут выглядеть и другие зверушки.
Jaeliu «Beloved», 2016
Несмотря на то, что сама эстетика работ осталась прежней, из-за отстутвия стилизованных референсов все животные приобрели более реалистичные пропорции.
Генерации, не вошедшие в итоговую серию
Аналогично произошло и с пейзажами. Они практически лишились «мультяшности» и контура, остались лишь общие стилистические особенности.
Генерации, не вошедшие в итоговую серию
[ заключение ]
Иллюстрации удалось создать в нужном стиле, сохраняя ключевые элементы почерка художницы Jealiu. Герои получились разнообразными, включая как юных хрупких персонажей, так и более зрелых крепких мужчин, что позволило раскрыть разнообразие характеров. В работах сохранены штрихи, черты лиц и палитра, присущие стилю Jealiu, что делает серию работ цельной и узнаваемой.
Генерации, не вошедшие в итоговую серию
Из минусов стоит отметить невысокое качество изображений генераций, поскольку для обучения использовались вырезки из манг в небольшом формате, что ограничило детализацию. У меня было несколько попыток улучшить качество изображений с помощью другой нейросети, но при такой обработке иллюстрации теряли свою акварельную текстуру. Также возникли проблемы с генерацией рук. В остальном, созданные изображения представляют собой необычные, вдохновляющие сюжеты, которые отлично передают атмосферу и эстетику выбранного стиля.
[ исходный код ]
Яндекс Диск содержит два файла — один с обучением модели и первыми пробами генераций, второй — с подключение обученной модели с Hugging Face и созданием остальных изображений.
[ описание применения генеративной модели ]
Модель для до-обучения и создания изображений — Stable Diffusion. При генерации большинства промптов и формулировки идеи был использован GPT-4o mini. Помощь в составлении кода для повторной загрузки с Hugging Face уже обученной модели — DeepSeek Chat.
