Особенности создания виртуального окружения
«Мандалорец». 2019.
Режиссеры: Дэйв Филони, Рик Фамуйива, Дебора Чоу и другие.
Ведущий супервайзер по визуальным эффектам: Ричард Блуэм
Концепция
Исследование фокусируется на анализе технологии Virtual Production, которая использует игровой движок Unreal Engine от компании Epic Games, и ее применении в кинематографе.
LED-установка для сериала «Оби-Ван Кеноби». 2022.
Режиссер: Дебора Чоу.
Ведущий супервайзер по визуальным эффектам: Кристофер Балог
Virtual Production (UE Virtual Production) — относительно новый метод создания виртуальных окружений, который становится все более популярным среди киностудий. Однако немногие зрители знают о том, насколько широко используется этот метод в современном кинематографе.
Традиционные методы комбинирования окружения и актеров, такие как green screen, rear projection и matte painting, по-прежнему широко используются в киноиндустрии, но имеют некоторые недостатки по сравнению с технологией Virtual Production.
Цель этого исследования заключается в сравнении технологии UE Virtual Production с другими методами комбинированной съемки, а также в оценке ее преимуществ и ограничений на основе анализа некоторых фрагментов.
Конфигурация LED-экранов в «Мире Дикого Запада», 2016.
Режиссеры: Джонатан Нолан, Нил Маршалл и другие.
Ведущий супервайзер по визуальным эффектам: Джей Ворт
UE Virtual Production — что такое и с чем едят
UE Virtual Production — это относительно новая технология, которая использует движок Unreal Engine и светодиодные графические экраны (LED) для создания виртуального окружения в режиме реального времени.
Пайплайн Virtual Production, предложенный компанией Epic Games
С помощью методов виртуального производства режиссер и съемочная группа создают высококачественные виртуальные миры и спецэффекты, которые не требуют значительных затрат на создание и обработку визуальных эффектов в постпродакшн-фазе.
Участники команды могут не только наблюдать за отображаемым на заднем плане фоном, но и всячески влиять на его геометрию и освещение непосредственно на месте съемки. Такой подход позволяет сохранить реалистичность и натуральность визуальных эффектов в конечном футаже, а также ускоряет процесс создания фильма.
Съемочная установка фильма «Тор: Любовь и гром», 2022.
Режиссер: Тайка Вайтити.
Ведущий супервайзер по визуальным эффектам: Джейк Моррисон
Industrial Light & Magic, основываясь на базовых принципах virtual production, изобрела собственную систему установок StageCraft, которая известна благодаря своей гибкости в настройке съемочной сцены.
StageCraft позволяет задействовать как задний, так и верхний (потолочный) LED-экраны в зависимости от того, сцену какого масштаба нужно отснять.
Светодиодные экраны, в свою очередь, излучают не только свет, но и отображают виртуальную среду, что позволяет съемочной команде и актерам лучше понимать контекст сцены. Благодаря такому подходу, необходиомсть править тени, блики и отражения на стадии пост-обработки полностью отпадает.
Джордж Клуни на фоне LED-установки для фильма «Полночное небо», 2020. Режиссер: Джордж Клуни.
Ведущий супервайзер по визуальным эффектам: Марк Баковски
StageCraft используется практически повсеместно. Из самых ярких примеров можно отметить такие фильмы и сериалы, как Тор: Любовь и гром (2022), Бэтмен (2022) и Мандалорец (2019-…).
Съемочная установка фильма «Бэтмен», 2022.
Режиссер: Мэтт Ривз.
Ведущий супервайзер по визуальным эффектам: Дэн Леммон
Процесс создания виртуальных сцен
Unreal Engine содержит все необходимые для создания виртуальной среды инструменты. Также в в этот набор входят стандартный инструментарий для 3D-моделирования, ручной и mocap-анимации, real-time рендеринга и т. д.
Процесс разработки виртуального окружения в UE может быть разделен на указанные ниже этапы.
1. Проектирование сцены
На этом этапе создаются виртуальные объекты и сама сцена, в которой эти ассеты будут использоваться. Они могут быть созданы с помощью инструментов моделирования в самом UE или импортированы из других программ.
Блокаут сцены в Unreal Engine, которая впоследствии обрастет бóльшим количеством реалистичных ассетов
Компания Quixel предоставляет бесплатную коллекцию реалистичных объектов, которыми пользуются как начинающие, так и профессиональные киностудии
2. Добавление текстур и материалов
Виртуальным объектам добавляются текстуры и материалы для придания им убедительного и реалистичного внешнего вида. Материалы могут быть созданы в самом UE с помощью редактора графов или импортированы из других 3D-пакетов.
Финализация сцены в Unreal Engine
3. Установка освещения
Конфигурация сцены для «Star Trek: Discovery», 2017.
Режиссеры: Олатунде Осунсанми, Джонатан Фрейкс и другие.
Ведущий супервайзер по визуальным эффектам: Лесли Чанг
Освещение является важной частью создания виртуального окружения. Помимо LED-экранов, в сцене, как правило, используются дополнительные приборы для фронтального освещения сценических объектов.
В Unreal Engine также есть возможность использовать различные типы освещения, включая динамическое освещение и GI (global illumination).
Фотографии с Virtual production showcase, организованного MMC Studios, LAVAlabs Moving Images и Entertainment Technology Concepts GmbH
4. Motion capture
Уже ставшая традиционной технология захвата движения без всяких трудностей поддерживается и в UE. Например, группа VFX-специалистов может в реальном времени отобразить на заднем плане (LED-экране) анимированного персонажа, повторяющего движения актера в mocap-костюме.
Использование костюма захвата для воспроизведения анимаций в реальном времени. Подробнее: https://youtu.be/QyNlREfrKWc
5. Камера
Камеры в этом процессе делятся на два типа: виртуальные (движковые) и физические (традиционные).
Виртуальные камеры настраиваются движковыми специалистами и служат для отображения ракурса виртуальной сцены. Стоит отметить, что камеры в UE могут полностью парадировать перемещения реальной, сценической камеры.
Физические камеры выполняют свою классическую задачу — производят съемку переднего плана, содержащего актеров и другие сценические объекты. Камеры могут быть установлены на механических устройствах (например, на специальных кранах), чтобы упростить процесс создания различных кадров.
Как снимали Криса Хемсворта в фильме «Тор: Любовь и гром», 2022.
Режиссер: Тайка Вайтити.
Ведущий супервайзер по визуальным эффектам: Джейк Моррисон
6. Real-time rendering
Unreal Engine использует real-time rendering для отображения виртуальных сцен в реальном времени. Благодаря этой технологии, не только специалисты virtual production, но и рядовые операторы камер видят финальную визуализацию в реальном времени и имеют возможность мгновенно изменить содержание сцены и ее освещение.
Настройка динамического освещения в Unreal Engine
Сравнение Virtual Production с традиционными технологиями создания кинематографических сред
Green screen
Съемки фильма «Волк с Уолл Стрит», 2013 в павильоне.
Режиссер: Мартин Скорсезе.
Ведущий супервайзер по визуальным эффектам: Марк Рассел
Green screen (т. н. зеленый экран) — это метод создания виртуального фона, использующий полотно зеленого цвета, которое заменяется на цифровую картинку в фазе постпродакшена. Выбор зеленого цвета обусловлен тем, что он является наиболее отличающимся от цвета кожи и волос актеров, что упрощает выделение этих форм и деталей в фазе пост-обработки.
В постпродакшн фазе зеленый экран заменяется на цифровую картинку, которая создается с помощью специальных программ для компьютерной графики.
Пост-обработка актера, снятого на зеленом фоне.
«Гарри Поттер и Дары Смерти: Часть II», 2011.
Режиссер: Дэвид Йейтс.
Ведущий супервайзер по визуальным эффектам: Дэвид Викери
В отличие от технологии green screen, UE Virtual Production предоставляет возможность создавать виртуальные сцены в реальном времени, без необходимости отдельной пост-обработки и с большей степенью интерактивности и контроля над съемочным процессом, а возможность создавать и изменять окружение на лету дает большую свободу для экспериментов с визуальным рядом.
Green screen спокойно сочетается с LED-экраном
Вместе с тем, использование зеленого экрана более доступно и бюджетно, поскольку не требует использования дополнительного оборудования и высококвалифицированного персонала. Green screen также широко используется для создания спецэффектов в других отраслях, таких как телевидение и реклама.
Rear projection
Шон Коннери на проекторном фоне в фильме «Доктор Ноу», 1962.
Режиссер: Теренс Янг.
Ведущий супервайзер по визуальным эффектам: Джон Стирс
Технология rear projection (т. н. рирпроекция) широко использовалась в кинематографе XX века, прежде чем ее заменили более современными методами, например, цифровой проекцией и технологией Virtual Production.
Однако некоторые режиссеры до недавнего времени все еще предпочитали использовать рирпроекцию из-за ее уникального визуального эффекта и ностальгического шарма (например, в фильме «Убить Билла 2» Квентина Тарантино).
«Убить Билла 2», 2004.
Режиссер: Квентин Тарантино.
Ведущий супервайзер по визуальным эффектам: Фрэнки Чанг
В отличие от Virtual Production, рирпроекция не позволяет создавать полностью виртуальные сцены и объекты в реальном времени. Вместо этого она используется для проецирования заранее созданных виртуальных элементов или отснятых футажей на реальные поверхности (полупрозрачный экран).
Принцип работы технологии rear projection
Также, в отличие от Virtual Production, рирпроекция может потребовать большого количества времени на создание и подготовку предзаписанного видеоряда.
В Virtual Production сцены и объекты могут быть созданы и изменены в реальном времени, что позволяет сократить время на производство фильма и сделать процесс более гибким.
Компания Londonav и по сей день предоставляет прожекторы в аренду для съемки сцен
Matte painting
«Звёздные войны: Эпизод 4 — Новая надежда», 1977.
Режиссер: Джордж Лукас.
Ведущий супервайзер по визуальным эффектам: Ричард Эдланд
Matte painting — это техника создания изображений, которые впоследствии используются в качестве заднего плана. Используя различные материалы, от картона и бумаги до компьютерных графических приложений, художники могут создавать изображения, которые выглядят как реальное окружение.
Техника матовой живописи была разработана еще в начале 20 века для использования в кино.
Пример композитинга и matte painting от художника Чирага Трипафи.
Подробнее: https://youtu.be/RiyNQZqoHrA
С появлением компьютерных графических приложений техника матовой живописи сильно изменилась. Сейчас художники используют программное обеспечение для создания цифровых изображений, которые затем могут быть интегрированы в живые съемки.
Нарисованные фоны для «Властелина Колец», 2001-2003.
Режиссер: Питер Джексон.
Ведущий супервайзер по 2D: Холи Эктон
В сравнении с UE Virtual Production, matte painting может показаться устаревшим методом. Виртуальные методы производства позволяют создавать высококачественные сцены в реальном времени, что позволяет режиссерам и операторам иметь бóльшую свободу при съемке. Это дает возможность съемочной группе взаимодействовать с виртуальными объектами и персонажами, а также изменять их в режиме реального времени.
Кроме того, у UE Virtual Production есть большое преимущество в плане экономии времени и денег, так как процесс создания виртуальных сцен с помощью этой технологии более быстрый, точный и гибкий, чем при использовании matte painting.
Натуральный рисунок (слева) и его использование в фильме (справа).
«Star Trek», 1979. Режиссер: Роберт Уайз.
Ведущий супервайзер по визуальным эффектам: Джейсон Зиммерман
Вывод
UE Virtual Production — новая эффективная технология, но традиционные методы все еще остаются востребованными при разработке некоторых видов сцен.
В заключение хочу сказать, что UE Virtual Production превосходит традиционные методы создания виртуальных сред по ряду параметров. Возможность воспроизводить нереальное окружение в реальном времени делает виртуальные сцены более правдоподобными благодаря естественным отражениям на поверхностях и освещению, а актеры могут более естественно взаимодействовать с объектами сцены.
Эта методология также ускоряет процесс создания фильма, сокращая затраты и значительно приближая дату его выпуска. Но традиционные методы также имеют свои преимущества, например — более гибкая корректировка окружения на этапе пост-обработки и отсутствие необходимости в высококвалифицированных специалистах.
Industrial Light & Magic: The Art of Special Effects // Thomas G. Smith, George Lucas, 1987
Дата обращения: 22.04.2023
The Invisible Art: The Legends of Movie Matte Painting // Mark Cotta Vaz, Craig Barron, 2004
Дата обращения: 20.04.2023
The future of content creation: Virtual production // Allan V. Cook, 2020
Дата обращения: 19.04.2023
VIRTUAL PRODUCTION: A NEW APPROACH TO FILMMAKING // Оleksandr Priadko, Maksym Sirenko2а, 2021
(URL:https://www.researchgate.net/publication/353161656_Virtual_Production_a_New_Approach_to_Filmmaking)
Дата обращения: 20.04.2023
Virtual Production Is Changing How Movies (and Careers) Are Made // Noah Kadner, 2022
Дата обращения: 23.04.2023
VIRTUAL PRODUCTION: TEN YEARS OF GROWTH ACHIEVED IN ONE? // David Davies, 2022
(URL:https://www.ibc.org/features/virtual-production-ten-years-of-growth-achieved-in-one/8427.article)
Дата обращения: 21.04.2023
What Is a Green Screen (Film)? Learn About the Advantages and Disadvantages of Using a Green Screen in Film Production and 5 Tips For Making a Green Screen at Home, 2021
Дата обращения: 20.04.2023
Andor Never Had An Opposition to Using Mandalorian’s VFX Tech // James Whitbrook, 2023
Дата обращения: 23.04.2023
Real-Time Video Content for Virtual Production & Live Entertainment // Laura Frank, 2023
Дата обращения: 20.04.2023
How Does Rear Projection Work? // Emily Burkinshaw, 2021
Дата обращения: 20.04.2023
How the lifelike visual effects in 'War for the Planet of the Apes' were created // TAYLOR BEHRENDT, 2017
Дата обращения: 21.04.2023
Дата обращения: 22.04.2023
HARRY POTTER AND THE DEATHLY HALLOWS PART 2 // David Vickery — VFX Supervisor — Double Negative, Vincent Frei, 2011
Дата обращения: 22.04.2023
Check out the Subtle Visual Effects of THE WOLF OF WALL STREET // Matt Goldberg, 2014
Дата обращения: 22.04.2023
The Virtual Production Field Guide // Noah Kadner, 2019
Дата обращения: 25.04.2023
‘Thor: Love and Thunder’: How Marvel Embraced the LED Volume of ILM’s StageCraft // Bill Desowitz, 2022
Дата обращения: 19.04.2023
ILM, 2022
Дата обращения: 23.04.2023
Weta FX, 2022
Дата обращения: 23.04.2023
Epic Games, 2022
Дата обращения: 21.04.2023
Julian Mitchell, 2022
Дата обращения: 25.04.2023
2021
Дата обращения: 25.04.2023
Noah Kander, 2021
Дата обращения: 22.04.2023
Ricky Cheung, 2023
Дата обращения: 23.04.2023
Janko Roettgers, 2023
Дата обращения: 23.04.2023
Bill Desowitz, 2020
Дата обращения: 22.04.2023
Devin Coldewey, 2020
Дата обращения: 22.04.2023
Kristin Baver, 2020
Дата обращения: 25.04.2023
2020
Дата обращения: 23.04.2023
David Giannini, 2019
Дата обращения: 23.04.2023
2020
Дата обращения: 23.04.2023
2021
Дата обращения: 21.04.2023
2017
Дата обращения: 22.04.2023
Lucas Seastrom, 2020
Дата обращения: 23.04.2023
Vincent Strel, 2015
Дата обращения: 25.04.2023
2022
Дата обращения: 23.04.2023
Brittany K. King, 2022
Дата обращения: 23.04.2023
Saim Chedda, 2017
Дата обращения: 25.04.2023
Aly Weisman, 2014
Дата обращения: 23.04.2023
Ian Failes, 2022
(URL:https://beforesandafters.com/2022/05/07/an-official-look-at-the-virtual-production-of-the-batman/)
Дата обращения: 21.04.2023
