Эволюция технологий создания цифровых двойников в кино

1. Концепция
2. Матрица (1999)
3. Возвращение Супермена (2006)
4. Скотт Пилигрим против всех (2010)
5. Логан (2017)
6. Терминатор: Темные Судьбы (2019)
7. Шан-Чи и легенда десяти колец (2021)
8. Заключение

Появление технологии создания цифровых двойников значительно расширило возможности кинематографа. Сегодня специалисты по визуальным эффектам «воскрешают» на экранах умерших актеров и других знаменитых людей, а также создают эпичные сцены, в основе которых лежат сложные трюки и условия, которые практически невозможно воссоздать в реальности. Так, благодаря развитию технологий, с каждым новым приобретенным опытом в сфере визуальных эффектов фильмы становятся все более захватывающими, при этом не теряя свою реалистичность.

На мой взгляд, задача создания реалистичного цифрового двойника является одной из самых сложных в сфере визуальных эффектов, так как она требует полного соответствия реальному прототипу, начиная от эмоций и выражений лица, заканчивая внешним обликом с разных ракурсов и при любом освещении. То есть в случае, если перед специалистами по визуальным эффектам стоит задача на основе внешности актера создать образ вымышленного мифического персонажа, например, то здесь как будто бы имеют место несущественные отклонения для поиска лучшего результата. Например, подбор структуры кожного и волосяного покрова или же цвет глазных яблок.

В случае же с созданием цифровой модели для ее использования в качестве замены во многих кадрах фильма, возможность замены тех или иных характеристик персонажа даже не рассматривается.

Основой работы является исследование технологий создания цифровых двойников в фильмах, где актеры не могли полностью присутствовать в кадре из-за особенностей сюжета, предполагавшего наличие сложных трюков или других обстоятельств, которые сложно воспроизвести в реальности. Благодаря расположению фильмов в хронологическом порядке можно проследить эволюцию технологий, что позволит прийти к выводу о том, какие методы оказались наиболее успешными и получили распространение для создания фотореалистичных образов людей.

Фильм является одним из наиболее ранних примеров использования цифрового двойника для создания действий, происходящих в виртуальной реальности, где привычные зрителю физические законы практически полностью подменены.

Здесь есть сцена «буллет-тайм» (bullet time), название которой, по предположениям, в дальнейшем стало обозначать все vfx сцены, в основе которых лежит съемка при помощи множества камер для создания эффекта «заморозки» действия.

Так, сначала в «Матрице» съемка актера происходила в павильоне на фоне хромакея. Движения Ривза снимались камерами по заданной траектории, а затем на основе отснятого материала актер и его действия были воссозданы в CG. Как объясняет в одном из своих интервью супервайзер по визуальным эффектам ЛАЛАЛА, создание 3d модели было необходимо для того, чтобы «заморозить» действие путем создания промежутков в движениях актеров и интегрируя в них движения цифровой копии. Действительно, ведь даже несмотря на то, что при съемке в павильоне актер имел поддержку, ее, как и силы пресса Ривза все равно бы не хватило для того, чтобы надолго «зависнуть» в таком положении неподвижно.

Ведущий супервайзер говорит о том, что здесь используется интерполяция — полученные кадры совмещают вместе с цифровым двойником, за счет чего длительность движения персонажа увеличивается относительно скорости перемещения камеры.

Так, цифровой двойник и его движения для этой сцены были созданы уже после съемки основных кадров в павильоне и стали скорее дополнением, чем основой. На самом деле, можно сделать предположение о том, что сегодня, скорее всего, имитация замедленного движения в кино создавалась бы полностью в CG.

Задача создать цифрового двойника Супермена была поставлена для того, чтобы снимать опасные трюки супергероя крупным планом, вблизи, а не только издалека. Разработкой CG модели персонажа в условиях его присутствия в различных экшн-сценах преимущественно занималась Sony Pictures Imageworks. Помимо создания цифровой версии актера, одной из самых сложных задач была разработка сложной системы симуляции ткани, благодаря которой накидка Супермена являлась бы самостоятельным элементом, не находящимся под влиянием физики основного пространства.

Брэндон Раут был отсканирован при помощи Light Stage 2 в Институте креативных технологий Университета Южной Калифорнии. Устройство состоит из 30 ксеноновых стробоскопических ламп, расположенных на вращающейся полукруглой штанге диаметром 3 метра. Лицо Раута было освещено с 480 позиций, чтобы охватить всевозможные направления падения на него света.

Движения актера, включая его руки, были отсняты шестью камерами Arriflex, а затем при помощи отснятого материала был создан цифровой двойник Супермена. Лицо смоделированного персонажа выглядело реалистично, потому что сложные характеристики отражения света кожей — пигментация, блеск, сияние, тени и тонкая структура поверхности — были синтезированы из отснятого материала. Так, отдельно кожа не дорабатывалась, а ее внешний вид полностью соответствовал кадрам с Light Stage 2.

Режиссер фильма поставил перед Imageworks особую задачу, которая заключалась в том, чтобы создать цифровую модель накидки так, чтобы ее можно было использовать и в сценах с реальным актером, и в CG кадрах. В итоге после долгих поисков для ее создания был использован Syflex, позволяющий создать подходящую под задачи симуляцию тканей.

Процесс работы над цифровым двойником включал в себя этапы съемки на площадке и проработки полета Супермена. Затем были созданны CG-кадры поведения персонажа, включая полеты и приземления, а также процесс его общения. Опираясь на недавний опыт создания vfx в фильме «Человек-паук», команда ставила перед собой цель улучшить точность итоговой детализации моделей с помощью USC Light Stage — было добавлено больше камер, расположение которых отличалось от того, что было в «Человеке-пауке». Особое внимание уделили мимике актера, движению его кожи и даже процессу образования морщин. Также для создания тестовых кадров было отсканировано тело Брэндон Раута и создан его костюм.

Используя захват движения (англ. motion capture), была также проведена видеосъемка для определения движения суставов в теле актера. Полученные результаты позволяли специалистам по визуальным эффектам увеличивать и уменьшать размер мышц персонажа. Такой подход позволял приводить модель к единому внешнему виду в условиях разного освещения, когда некоторый рельеф был незаметен. Так как отличительной особенностью внешности Супермена являются его мускулы, супервайзером по риггингу персонажей Артуром Грегори была разработана особая техника моделирования мышц, которая затем была использована супервайзером по CG-моделированию Эдвардом Тейлором.

Команда специалистов по визуальным эффектам также считала важным добиться реалистичности и в самом процессе применения персонажем его суперспособностей. Как отмечает Джонс, команда была озабочена тем, чтобы верно расположить центр тяжести у смоделированной копии. Было необходимо, чтобы нестандартные действия, совершаемые героем, выглядели убедительно. В итоге командой было принято решение разместить центр тяжести в области туловища, откуда и направлялась сила супергероя.

Для создания сцены, где Крис Эванс в роли Лукаса Ли кидает главного героя в башню-замок, находящуюся на заднем плане, в фильме был создан цифровой двойник главного героя — Скотта.

В финальном варианте это выглядит так, будто Лукас, держа за ноги Скотта, с большой силой отбрасывает его далеко. На самом деле, создание этой сцены началось с того, что Эванс кидает манекен ног, одетый в костюм Скотта. Это было создано для того, чтобы реквизит имел правдоподобное сопротивление при закручивании во время полета. Затем манекен был заменен цифровым двойником. На самом деле, несмотря на то, что при просмотре финального версии зритель может почувствовать вес летящего персонажа, ощущение неестественности физики происходящего все равно проскальзывает.

Так, цифровой двойник был создан и заанимирован на основе изначально отснятого материала с имитацией физики полета.

Еще одна сцена с использованием цифрового двойника — момент падения Скотта с высоты башни, который, по словам ведущего супервайзера визуальных эффектов, состоит из трех или четырех частей. Так, сначала было отснято падение каскадера, затем кадр приземления реального актера с использованием хромакея. В финале отснятые кадры были совмещены с созданным ранее цифровым двойником.

Для съемок особо жестоких и сложных сцен были созданы цифровые двойники для Хью Джекмана и Дафни Кин, исполняющих роли Логана и X-23 соотвественно.

Как заявляет Imagine Engine, созданные копии с высокой точностью воспроизводят мимику, эмоции и даже текстуру кожи актеров, что неудивительно, ведь сегодня вопрос реалистичности является ключевым в использовании компьютерной графики. Для моделирования волос использовали Yeti, а для реалистичного рендеринга кожи — Autodesk Arnold.

Image Engine прибегли к помощи Института креативных технологий Университета Южной Калифорнии, используя его технологию сканирования лица актеров в условиях разного освещения USC ICT Lightstage для получения данных о свойствах отражения кожи, создание лицевого рига (FACS expression rig) и последующей ручной анимации или анимации на основе motion capture. Так Image Engine было получено 64 различных динамических выражений лица, а также использовано 364 разных источников освещения для создания точного представления о том, как строение лица актеров взаимодействует со светом.

В фильме для персонажа Хью Джекмана был создан не один цифровой двойник, как можно было бы предположить. На самом деле, с учетом того, что в съемке принимали участие 4 каскадера, для того, чтобы добиться реалистичности и качества всех сцен в фильме, необходимо было точное соответствие цифрового дублера каждому из реальных каскадеров.

Так, каскадеры, и, конечно же, Хью Джекман, были отсканированы, после чего на основе полученных материалов были созданы цифровые модели. В итоге было создано четыре разных Логана, каждый из которых соответствовал пропорциям каскадёра. Команде приходилось работать с четырьмя риггами Логана в зависимости от того, кто исполнял роль.

Imagine Engine отказались от подхода к созданию цифровых двойников путем замены только области лица каскадера, так как считали его результат совсем неубедительным, потому что зритель почти сразу ощущает несоответствие лица актера и тела каскадера. Даже такие незначительные детали, как, например, форма ушей снизят общую убедительность итогового кадра, хоть и не будут сразу замечены аудиторией.

Image Engine при помощи нового подхода работы с Light Stage USC ICT, помимо точных 3d моделей актеров получила также положение каждого источника света в 3d пространстве. Так, это позволило оценивать влияние определенной нестандартной освещенности. Например, когда на ухо Логана падает свет, у команды есть пример того, как именно выглядит свет от этого одного изолированного источника.

В процессе команда также поняла, что использование маркеров для отслеживания лица только усложняет работу, усиливая проблемы с пропорциональностью двойника, ведь для получения максимально приближенного к реальности результата, необходимо было связывать движение головы с телом, а не наоборот. Так, вместо лица было принято решение отслеживать только тело, плечи и шею, на которые потом «насаживали» CG лица.

Нередко действия персонажа производились искусственно, без привлечения актера к съемкам в конкретном эпизоде. Так, например, в сцене, где X-23 с разбега взбирается на машину, все действия персонажа были созданы в CG, так как юная Дафни Кин или ее каскадеры даже при тщательной тренировке вряд ли бы смогли с такой легкостью оказаться на крыше машины. Хотелось бы отметить, что итоговый кадр выглядит очень реалистично.

Команда специалистов по визуальным эффектам тщательно следила за тем, чтобы движения головы в точности были синхронизированы с остальной частью тела цифрового двойника.

Для создания двойников Image Engine пробовали использовать разные технологии, так как, в конечном счете, их целью было создать максимально реалистичную картинку. В одном из интервью ведущий супервайзер по визуальным эффектам Калпит говорит: «Мы хотели достичь максимально возможного реализма в изображении персонажей». Супервайзер настаивает на том, что, чтобы добиться идеальной схожести, необходимо использовать разные методы до тех пор, пока один из них в этом случае не будет ощущаться верно.

Для создания сцены полета на космическом корабле, находящемся под действием турбулентности из-за созданной в нем пробоины, компанией Digital Domain были также созданы цифровые двойники. Так как в этом случае осуществление действия предполагается в условиях отсутствия гравитации, где персонажей то и дело отбрасывает в разные стороны, для избежания травмирования и актеров, и каскадеров были созданы цифровые копии Макэнзи Трэвис в роли Грэйс и других.

Технология использования двойника представляет собой совмещение отснятых сцен с реальными актерами и смоделированных кадров. Джей Бартон, ведущий супервайзер по визуальным эффектам, признается в том, что сцена с Грейс была одной из самых сложных в процессе работы над фильмом. Он объясняет принцип, по которому работает замена реального человека на цифрового двойника. Так, кадр, где Грейс включает автопилот в кабине корабля, по мере отдаления камеры от кресла пилота незаметно сменяется компьютерной графикой, следуя за цифровым двойником персонажа.

Это было сделано для того, чтобы тело Грейс смогло в точности воспроизвести движения в новых условиях гравитации. Затем, камера, совершая пролет над левым плечом персонажа, охватывает его голову и лицо крупным планом. Здесь команда супервайзеров объединила рендеры и CG лицо, созданное ранее специально для этой сцены. Также были созданы анимация смоделированных волос, мимических выражений лица и ткани одежды, чтобы все выглядело максимально естественно. Стоит признаться в том, что этот кадр действительно выглядит реалистично, так что простому зрителю и в голову не может прийти мысль о том, что-то, что мы видим на экране — цифровой двойник.

Желание режиссера использовать цифровых двойников во многом объяснялось тем, что в кадре необходимы были профессионалы в сфере боевых искусств, а не только недавно обученные драке актеры. Так, фильме использовалась новая система замены лиц (FFS) от Wētā FX.

Wētā FX — компания, заявляющая об инновационности своего подхода к созданию цифровых двойников за счет использования машинного обучения (ML).

Работа над фильмом началась в то время, когда использование новой технологии дипфейк постепенно начало набирать популярность на просторах интернета. Тогда командой было принято решение внедрить этот метод и в создание vfx. Компания была нацелена на изготовление собственной технологии, которая бы на основе машинного обучения создавала цифровых двойников, используя замену лица. Однако, процесс во многом осложнило наступление пандемии. Теперь изначально запрашиваемые для машинного обучения компанией Weta материалы из «определенных данных» превратились в «любую информацию, которую возможно получить».

Компания также внедрила в свою разработку технологию распознавания лиц, которая сначала позволяла анализировать неструктурированные данные и выбирать из них наиболее подходящие для дальнейшего машинного обучения, а затем использовалась и в самом процессе замены. Алгоритмы, используемые Weta, во многом походят на те, что используются DeepFaceLab — лидирующим программным обеспечением для создания дипфейков. Однако, расширенные возможности технологии Weta позволяют обрабатывать более широкий диапазон положений лица, отбрасывая те, что могли бы негативно сказаться на дальнейшей работе машинного обучения.

В случае использования новой технологии Weta при создании цифрового двойника, как отмечает компания, CG модели, не претендующие на фотореалистичность, служили «синтетическими данными» для обучения модели и в основном помогали увеличивать объем качественных обучающих данных. То есть такие 3D-головы, скорее, являлись лишь промежуточным этапом, который был в итоге заменен на необходимый материал.

В фильме создание промежуточных 3D-голов для машинного обучения было необходимо для того, чтобы замена получалась реалистичной, когда не только лицо, но и сама форма черепа соответствует параметрам актера. В процессе команда и ведущий супервайзер Син Вокер столкнулись с множеством трудностей. Например, пропорции головы каскадера не соответствовали пропорциям актера Тони Люн Чу-вай, за счет чего в итоге замененное лицо получалось искаженным из-за проблем с сопоставлением контрольных точек. Также были проблемы, вызванные возрастными различиями между актером и каскадером. Из-за возрастных изменений пропорций лица Тони Люн Чу-вай нанесение его на голову более молодого каскадера приводило к нереалистичным результатам. Для решения этой проблемы командой был разработан метод 2D-ворпинга (2D warp), который по сути работает как маска в соц-сетях, корректируя пропорции лица каскадера и приближая их к параметрам актера.

Для повышения качества итогового результата, перед тем, как приступить к работе над фильмом, искусственный интеллект был предварительно обучен на наборе больших данных лиц, чтобы усвоить основные параметры, необходимые для дальнейшего процесса, то есть основные черты человеческого лица. Таким образом, Weta оптимизировала процесс обучения и производства нейросетью итогового результата, чтобы уменьшить затраты на постпродакшен. В итоге Weta получила достаточно реалистичные видеокадры, что позволяет сделать положительные прогнозы относительно дальнейшего будущего этой технологии.

В одном из интервью ведущий супервизор визуальных эффектов признается в том, что практически все сцены с боями каскадеров требовали значительной работы по замене лиц, так как режиссер хотел запечатлеть бой с разных ракурсов включая крупные планы.

Так, постепенно, с все большим получением релевантного опыта в сфере создания цифровых двойников, компании стали переходить от общего к частному — от самой идеи создания замены актера в цифровой среде к тщательной проработке всех внешних аспектов двойника. Причем, говоря про внешность, если сначала компании старались придать реалистичность цифровой модели, фокусируясь на том, чтобы правильно и во всех тонкостях отобразить структуру кожи и волосяного покрова, то спустя время специалисты по визуальным эффектам стали уже уделать особое внимание таким деталям как оттенки белков глаз и эмали зубов. Более того, в процессе было также пересмотрен принцип построения самого двойника: если раньше, скорее, процесс изготовления двойника концентрировался вокруг только поставленных задач, например, создание CG модели для воспроизведения физики объекта или же воспроизведение точной копии

Более того, в процессе было также пересмотрен принцип построения самого двойника: если раньше, скорее, процесс изготовления двойника концентрировался вокруг только поставленных задач, например, создание CG модели для воспроизведения физики объекта или же воспроизведение точной копии лица актера без оглядки на взаимодействие частей тела цифровой модели друг с другом, то со временем специалисты по визуальным эффектам все же отошли от идеи прямого копирования, начав анализировать и пробовать методы, которые позволят придать объекту большую правдоподобность. Так, например, команда, занимавшаяся VFX в «Логане», пытается добиться реалистичности не за счет полного воспроизведения всех сорт актера, а за счет корректного исполнения всех пропорций его тела, включая плечи и голову. Или же, например, Weta FX (Weta Digital), задумались о том, чтобы не только лицо, но еще и форма черепа цифровых двойников и съемочного каста совпадали.

Можно также проследить тенденцию перехода CG в практически полную автономность и отказ от вспомогательных элементов для достижения финального результата.

Если сначала в качестве основы для CG выступали кадры со съемки (как, например, в Матрице (1999) — кадры с Киану или же в фильме Скотт Пилигрим против всех (2010) — манекен ног для наглядного воспроизведения физики объекта), то со временем специалисты ушли от этого, начав создавать физику объектов уже непосредственно при помощи CG (например, момент падения Грэйс в «Терминаторе» был полностью создан в диджитал) На мой взгляд, сам факт создания цифровых двойников в CG является впечатляющим и захватывающим, однако всегда стоит помнить о том, насколько кропотливый этот процесс. Так или иначе, сегодня использование нейросетей является шагом в сторону оптимизации процессов создания фильма. Однако, так как искусственный интеллект — новая относительно других технология, все тонкости использования которой еще не до конца исследованы, вероятно, в ближайшие годы она вряд ли станет заменой всех предыдущих техник создания цифровых копий, способы работы с которыми постепенно излучались начиная с 1990-х годов.