Идея проекта
Наверное, каждый хоть раз в жизни замирал перед полотнами Айвазовского, завороженный его морскими стихиями. Лично меня всегда потрясало, как художник умел передать прозрачность волны и солнечные блики на воде — именно эта магия света и движения вдохновила меня на создание проекта.
Особенно меня восхищает, как Айвазовский улавливал момент — когда гребень волны вот-вот обрушится, когда луч только касается поверхности. Чтобы научить нейросеть этому умению, я собрала коллекцию высококачественных репродукций его лучших марин.
Цель проекта — заставить генеративную нейросеть создавать изображения, где будет узнаваться неповторимая кисть Айвазовского.
Ниже представлены некоторые картины Айвазовского, из датасета для обучения искусственного интеллекта.
Исходные изображения
Ссылка на папку со всеми картинами https://drive.google.com/drive/u/0/folders/1eBCWv9YTtfaov9WPN3jKJpDr9w6WxMnX
Процесс обучения модели
Сначала я подготовила сетап, а далее загрузила датасет с изображениями в среду.
После всего перечисленного генерируем подписи к изображениям с помощью модели BLIP. И после этого подготовка датасета к тренировке модели завершена.
Далее я зарегистрировалась на Hugging Face, получила токен и внесла его в свой Google Collab для дальнейшего обучения нейросети. Сохранила полученную модель на Hugging Face и приступила к генерации изображений.
Переходим уже непосредственно к обучению: Были выбраны такие параметры для обучения, так как они соотносились с количеством выделяемой Kaggle памяти и занимали оптимальное количество времени:
Загрузка обученной модели.
Затем, производится сохранение полученнной модели в Hugging Face и можно приступать к генерации, вставив промты в соответствии с запросом.
Серия итоговых работ обученной модели
Сначала я решила поэкспериментировать с классическими морскими пейзажами — тем жанром, в котором Айвазовский был непревзойдённым мастером. Это бурные штормы, спокойные закаты, лунные дорожки на воде. В результате получились удивительно атмосферные работы с той самой «айвазовской» игрой света и потрясающей передачей водной стихии.
Вес нейростети на первой картинке 0,5 картинке, а на второй 1. Мне больше понравилась первая, поскольку она более точно передает цветовую палитру произведений Айвазовского
Поэтому далее я все изображения сгенерировала с весом 0,5
Особенно удачно нейросеть воспроизвела характерные для художника переливы цвета — когда глубокий синий моря переходит в изумрудный, а пена волн светится перламутром. Палитра получилась на удивление точной — те самые насыщенные, но благородные оттенки, которые делают полотна Айвазовского узнаваемыми с первого взгляда.
promt: oil painting in the style of Aivazovsky, sky with a gradient oil painting in the style of Aivazovsky, spectacular sunset
promts: oil painting in the style of Ivan Aivazovsky: a stormy storm with high waves breaking on rocks, next to a calm sea sunset with a golden-pink sky reflected in the water.
В следующей серии генераций я решила попробовать добавить персонажей, сохранить все особенности айвазовских марин, но добавить сюжетную глубину через персонажей — как это иногда делал сам мастер
