Обучение генеративной нейросети под стиль «Трон: Наследие»
Концепция
Концепция проекта строится вокруг визуальной эстетики культового фильма «Трон: Наследие», выпущенного студией Disney. Основной идеей стало воссоздание уникального цифрового стиля этого фильма — с его неоном, геометрией и технологическим минимализмом.
The concept art of the film «Tron: Legacy»
В качестве отправной точки были выбраны концепт-арты и визуальные референсы, созданные художниками Disney для «Трон: Наследие». Эти материалы легли в основу обучающего датасета.
Каждый кадр, каждый образ из этих артов передаёт атмосферу цифрового мира: световые мотоциклы, неоновые костюмы, архитектура с чёткой симметрией и особая цветовая палитра из чёрного, синего и ярких светящихся акцентов.
Так как я сам являюсь большим поклонником этого фильма, идея проекта возникла из желания создавать изображения, вдохновлённые моим любимым визуальным миром.
Исходные изображения для обучения
The concept art of the film «Tron: Legacy»
The concept art of the film «Tron: Legacy»
Процесс обучения
В процессе обучения использовалась модель Stable Diffusion XL (stabilityai/stable-diffusion-xl-base-1.0), которая является улучшенной версией генеративной модели изображений.
Для повышения качества декодирования изображений дополнительно был подключён предобученный вариационный автокодировщик (VAE) — madebyollin/sdxl-vae-fp16-fix. Основной задачей было дообучение модели в стиле «TRON», поэтому в качестве обучающего текста к изображениям использовался специальный промпт: «TRON style,» — он автоматически добавлялся к описанию каждого изображения.
Это позволяло закрепить визуальную ассоциацию между стилем и визуальным рядом.
Параметры обучения были настроены так, чтобы достичь баланса между качеством и экономией ресурсов.
Обучение проводилось с разрешением изображений 512×512 пикселей, размер батча составлял 2 изображения, с накоплением градиентов каждые 3 шага.
Всего обучение длилось 1000 шагов, и каждые 250 шагов создавался контрольный чекпоинт.
После завершения обучения модель была сохранена и использована для генерации новых изображений в стиле TRON.
Как правило, для генерации использовалось 100 шагов инференса, что позволяло достичь высокого качества итоговой картинки.
Сгенерированные изображения
A futuristic stadium filled with holographic spectators and glowing lights everywhere | A glowing humanoid robot standing in front of a massive digital screen
A man running on glowing tiles that light up with each step he takes
The soldier is dressed in orange energy suits, the armor pulsates with bright color patterns | A massive robot with glowing circuits standing in the middle of a city square
A group of futuristic soldiers in glowing suits preparing for battle in a digital arena | An aerial view of a futuristic city with interconnected neon highways
Итог
Модель отлично справилась с задачей стилизации под визуальный стиль «Трона». Атмосфера оригинального фильма чувствуется во всех генерациях.
Сохранились ключевые черты: ▪️ Геометрические формы объектов ▪️ Яркие неоновые акценты ▪️ Контраст тёмного фона и подсвеченных элементов ▪️ Характерные образы техники и архитектуры
A hypercar with hubless wheels leaving behind streaks of light on a dark road
Сгенерированное изображение отлично улавливает эстетику оригинала. Пропорции автомобиля выдержаны: вытянутый корпус, колёса с ровными световыми ободами, резкие изгибы кузова.
Световые акценты прорисованы плавно, хорошо передано ощущение движения и света в цифровом мире.
A futuristic skyscraper with cascading light patterns on its facade
Изображение передает масштаб и дизайн архитектуры в духе «Трона»: вертикальные башни, плавные линии, сияющие грани.
Цвета выдержаны верно, металлические серые корпуса, тёплая желтоватая подсветка с холодной дымкой — стиль узнаваем.
Сохранилась атмосфера города цифрового будущего. Силуэты людей внизу подчёркивают масштаб и придают сцене живость.
A sleek motorcycle with glowing wheels speeding through a digital tunnel
Очень точное попадание в стиль. Контур мотоцикла, форма сидящих персонажей, даже перспектива — всё выдержано.
Код
Описание применения генеративной модели
Stable Diffusion XL (stabilityai/stable-diffusion-xl-base-1.0)
Цель применения: генерация изображений в стилистике фильма «Трон: Наследие» после дообучения на кастомном датасете с концепт-артами.
Ссылка на модель: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
