Обучение генеративной нейросети на портретах Х. С. Сутина
Концепция
Хаим Соломонович Сутин — французский художник, мастер «Парижской школы». На творца оказали влияние работы Курбе, Сезанна, Ван Гога, Кирхнера, Шардена, однако стиль Хаима по истине уникален и производит очень глубокое впечатление. Все его работы очень яркие, узнаваемые, в них перекликается ощущение восторга и одновременно ужаса от жизни. Я очень люблю работы Хаима Сутина и поэтому решила обучить модель на его портретах.
Портреты Х. С. Сутина для обучения ИИ (несколько примеров)
Обучение модели
установка необходимых зависимостей
загрузка изображений (исходного датасета), визуализация
подгрузка и инициализации модели BLIP для автоматического создания подписей к изображениям датасета
добавление префикса с токеном SUTIN к сгенерированным подписям, визуализация результатов
используя accelerate запускаем команду на обучение с параметром количества шагов равным 1000. Обучение заняло около 6 часов
для генерации результатов подгружаем модель stable-diffusion-xl-base-1.0 и подключаем к ней сгенерированные на прошлом этапе веса
формируем любой промпт с префиксом a portrait in SUTIN style и наслаждаемся результатом
Серия итоговых изображений обученной модели
Модель генерирует изображения, которые и правда похожи на картины — такие же нестандартные формы лиц, неаккуратные и довольно крупные мазки. Эмоции на лицах схожи, однако у художника представлено большее разнообразие чувств в моменте. Также и краски у Сутина более яркие, живые, а на изображениях — мягкие и блеклые.
a portrait in SUTIN style of a man in white t-shirt
a portrait in SUTIN style, a painting of a woman in a yellow dress
a portrait in SUTIN style of a man in a dark blue jacket
a portrait in SUTIN style of a man wearing a hat
a portrait in SUTIN style of a woman sitting by a window
a portrait in SUTIN style of a woman with short curly hair
