Обучение генеративной нейросети по картинам Анри Матисса
Идея проекта
Проект направлен на исследование способности генеративной нейросети не только воспроизводить визуальный стиль известного художника, но и создавать новые сюжеты, сохраняя его художественную идентичность. В качестве стилистической основы выбраны работы Анри Матисса — одного из ключевых представителей фовизма, чьё творчество характеризуется радикальным упрощением форм, декоративной плоскостью, насыщенными неестественными цветами и отказом от традиционной перспективы.
Может ли ИИ «думать» в рамках заданной эстетики, а не просто копировать?
Цель — обучить модель генерировать изображения, в которых используются знакомые архетипы персонажей Матисса (одалиски, танцоры, женщины с зонтиками и др.), но размещаются в новых, не существовавших у художника композициях, при этом сохраняя целостность его визуального языка.
Исходные изображения
Пример нескольких изображений из датасета
Для генерации изображений было выбрано подключить модель Stable Diffusion.
Для обучения были взяты 20 картин Анри Матисса в формате 1:1. В датасете использовались те картины которые наиболее узнаваемы среди работ художника.
Генерации изображений
Первые 5 изображений сгенерированы с персонажами, типичными для Матисса (одалиски, танцоры, женщины с зонтиками), но в новых сценах.
«A woman holding a parasol walking through a sunlit park, wearing a flowing dress, surrounded by stylized trees and flowers — in the style of Henri Matisse, with flat planes of color and bold outlines.»
«Two dancers resting on a terrace at sunset, their red silhouettes relaxed against a deep blue background, decorative tiles on the floor — in the style of Henri Matisse.»
«An odalisque reclining on a patterned divan, reading a letter, surrounded by vibrant textiles and potted plants — in the style of Henri Matisse, with simplified forms and rich color contrasts.»
«A seated model in a painter’s studio, wearing a striped robe, surrounded by still-life objects and abstracted windows — in the style of Henri Matisse, with flattened perspective and decorative patterning.»
«Musicians with a guitar and violin in a cozy room, flat color blocks, decorative patterns on clothing and walls — in the style of Henri Matisse.»
Последние 5 изображений генерировались с полностью оригинальными сюжетами (рынок, уличный музыкант, ребёнок с голубями и др.), но созданными в неизменном стиле художника.
«fantastical landscape with strange creatures, in the style of Henri Matisse»
«A girl reading a book by a window, sunlight streaming in, bright yellow curtains, blue and green patterns on the floor — in the style of Henri Matisse.»
«A marketplace in a southern town: vendors with fruits, flat human figures, vivid reds, oranges, and blues, decorative shadows — in the style of Henri Matisse.»
«A cat and a bird in a garden: large flowers, simplified animal forms, contrasting colors on a green background — in the style of Henri Matisse.»
«A family having dinner in a room with patterned wallpaper, vibrant tablecloths, calm gestures, flattened perspective — in the style of Henri Matisse.»
Все изображения имеют единый визуальный код: плоские цветовые пятна, декоративные узоры, отсутствие теней и перспективы, доминирование насыщенных тонов.
Итоги
Итоговая серия демонстрирует успешное усвоение нейросетью ключевых черт стиля Анри Матисса: плоскостность, насыщенные цвета, упрощённые формы, декоративные узоры и отказ от перспективы. Модель корректно использует типичных для художника персонажей (одалиски, танцоры, женщины с зонтиками) и создаёт как новые сцены с ними, так и полностью оригинальные композиции, сохраняя стилистическое единство.
Вместе с тем, как и многие генеративные модели, она иногда допускает характерные ошибки: 1. В некоторых изображениях появляются лишние конечности; 2. В нескольких картинках— искажённые или нечитаемые лица (разные глаза, смещённые черты, размытость).
Вероятные причины: 1. Ограниченный объём обучающих данных с чёткими лицами (у Анри Матисса они часто упрощены или скрыты); 2. Общая сложность генерации лиц даже для современных моделей.
Несмотря на нюансы, изображения соответствуют заданной эстетике и подтверждают, что модель способна не просто копировать, а творчески обобщать стиль — что и было главной целью проекта.
Принципы работы кода
Для начала устанавливаю все необходимые библиотеки и создаю датасет фотографий.
Переношу в папку и проверяю их наличие.
Создаю metadata.jsonl с префиксом стиля.
На этом этапе я ввожу заранее созданный токен и запускаю тренировку по параметрам.
Далее сохраняю модель в Hub для использования не только с локальными файлами.
И на последнем этапе генерирую изображение!
Qwen — использовался для генерации промптов изображений и помощи при написании кода.
