Мир моих красок— обучение генеративной нейросети
Идея
Я пишу картины и создаю живописные миры, где цвет и мазок становятся способом чувствовать пространство. Мои работы являются попыткой поймать настроение момента, перевести внутренние состояния на язык живописи. В этом проекте я переношу этот опыт в цифровую среду, обучая нейросеть Stable Diffusion рисовать в моём стиле, чтобы она смогла войти в мой художественный язык и продолжить его по-своему. Обучая нейросеть, я открываю ей двери в пространство, где всё построено из мазков, света и движения. Способ создать цифровую вселенную моих картин, где можно гулять по пейзажам чувств, по холмам цвета и отражениям эмоций. Каждое сгенерированное изображение будто сон, навеянный моими работами. Это новое прочтение, созданное в диалоге между мной и искусственным интеллектом.
Я собрала папку из квадратных изображений своих картин. Каждая из них отличается по настроению, цвету и контрасту. Так я хотела увидеть, как нейросеть сможет путешествовать по разным «локациям» моего художественного мира и соединять их в новых композициях.
Список использованных в проекте инструментов: Stable Diffusion — обучение генеративной нейросети под свой стиль; Google Colab — выполнение кода и генераций; Hugging Face — получение токена для обучения нейросети; Figma — для коллажирования готовых работ; LoRA — обучение встраиваемого слоя, а не всей модели (делает обучение быстрее и безопаснее); Pillow (PIL) — чтение и обработка изображений; Freepik — улучшение качества полученных изображений перед публикацией; СhatGPT — генерация детальных промптов для проекта.
Часть выбранных картин для обучения нейросети
Основные цвета на картинах насыщенные и контрастные: жёлтые, красные, пурпурные, изумрудные, глубокие синие. Цвет используется не реалистично, а эмоционально, чтобы выразить внутреннее состояние. Тепло-холодные контрасты, где тёплое тело или фигура противопоставлено холодному фону.
Процесс обучения
Сначала загрузила все необходимые для работы библиотеки: Diffusers, Hugging Face и так далее. Далее нужно было загрузить изображения с компьютера в Google Colab. Затем удостоверилась, что изображения действительно загрузились.
фрагменты кода
Создала класс SimpleImageDataset, что загружает изображения из папки с картинами. Эти изображения служат основой обучения. Именно на них нейросеть будет перенимать стиль живописи. Изображения автоматически преобразуются: приводятся к квадратному формату 512×512 пикселей, нормализуются по цвету, превращаются в тензоры (данные, понятные нейросети).
фрагменты кода
Теперь начинается основной этап — тренировка нейросети. В цикле указаны параметры обучения: количество эпох (проходов по датасету), шаг обучения и скорость обучения (learning_rate). Нейросеть получает изображения, добавляет к ним шум и учится этот шум убирать, чтобы воссоздать исходный образ. Так она постепенно перенимает стиль живописи, запоминая структуру мазков, цветовые переходы и настроение картин.
После каждой эпохи (или по завершении обучения) веса обученной модели сохраняются в папку lora_output_fixed. Эти веса содержат новую информацию о художественном стиле — то, чему нейросеть научилась на основе картин. Формат сохранения — LoRA (Low-Rank Adaptation), который позволяет дообучить модель без изменения её ядра. Благодаря этому нейросеть сохраняет общий интеллект, но приобретает индивидуальную визуальную манеру.
Первый промпт
Решила протестировать для начала без какого либа сюжета, просто описав нужную цветогамму
первые генерации
Результаты были похожи на живописную работу, но все же отличались по технике. Решила поменять промпты на более детальные.
«surreal atmosphere», «girl sitting by the sea, colorful sunset», «surreal atmosphere», «mountain cliff, panoramic view, dramatic lighting».
Генерация изображения с деревьями вышла удачной. Я решила продолжить путешествие по миру своих картин, параллельно сравнивая результаты с оригинальными работами.
Слева моя работа, справа генерация. Промпт: boat in a lake, morning mist, calm water, painterly atmosphere
Слева моя работа, справа две генерации. Промпт: flower garden, blooming flowers, soft sunlight, dreamy textures
Слева моя работа, справа две генерации. Промпты: surreal atmosphere / cobblestone streets, rainy day, reflections on pavement, moody colors, night
Чему удалось обучить нейросеть? - Цвето-гамма; - Мазки; - Стиль рисования; - Подбор контрастных цветов.
Слева моя работа, справа генерация. Промпт: black background, red heart, eyes, dreamy atmosphere
Слева моя работа, справа генерация. Промпт: potted plants, late afternoon sun, serene atmosphere
Слева моя работа, справа генерация. Промпты: beige background, blue flowers, gold drops, dreamy atmosphere
Этот проект стал для меня интересным экспериментом, путешествием в мир моих собственных картин через призму нейросети. Искусственный интеллект смог уловить настроение и цвет моих работ, но всё же он не способен заменить художника. Оригинальные картины всегда останутся живыми и неповторимыми, ведь в них рука, энергия и чувства человека.
