2. Исполнение музыки
Почти все видеоигры об опыте исполнения музыки завязаны на освоение ритма. Некоторые из них генерируют динамическую музыку в результате действий игрока, другие — заставляют его подчиняться знаковым системам. Действия игрока бинарно оцениваются в реальном времени и награждаются за уместный ввод команд. Таким образом, эти видеоигры мотивируют игрока заучивать сложные паттерны музыкальных знаков, безошибочно исполняя предзаписанную музыку по её партитуре.
Taiko no Tatsujin // Beat Saber PaRappa the Rapper // Rock Band 4
Исполнение музыки в видеоиграх умело вовлекает игрока в состояние потока. Вейлен заимствует [5] этот термин у Чиксентмихайи [6], чтобы определить «погружение» как «состояние бессознательного присутствия в моменте». Важно понимать, что в нем игрок не сознает свою вовлеченность — а когда замечает, то отвлекается и теряет этот фокус. Процесс преодоления игровых испытаний критичен для сохранения потока.
Синергия между агентностью и адаптивной интерактивностью музыки поддерживает состояние потока. Вдовесок, высокая скорость и точность исполнения гипнотизирует игрока.
Ян Богост замечает [7], что игра в симуляторы исполнения музыки обнажает музыкальные паттерны, которые в противном случае остаются незамеченными и сливаются с ощущением мелодии, гармонии и ритма. Игрок начинает ориентироваться в пространстве знаков песни и предсказывает ступени музыкальной прогрессии.
Взрослая игра «Барабанный круг» // Детская игра «Саймон говорит»
Одна из техник обучения освоению музыкального инструмента — это практика отклика-ответа, которая лежит в основе игры в барабанный круг или респонсорного хорового пения. Ученик подражает игре учителя и продолжает за ним музыкальные фразы, как если бы они играли в лагерный мяч.
Эта техника легла в механику PaRappa the Rapper, где игрок битбоксит вслед за учителем. Интересно, что его возможно обыграть во владении навыком, если вовремя исполнить дополнительные ноты и дописать предзаданную композицию своей ритмической интуицией. Видеоигра поощряет это поведение открытием бонусных уровней-песочниц с ненаказуемым фристайлингом.
Дэвид Гурон объединяет [8] этот опыт под категорией психологии предвкушения на примерах классических музыкальных тропов синкопы или каденции. Если для композитора анализ музыкальной формы привычен, то игрокам он незнаком. Эстетически неблизкие песни или музыкальные жанры вдруг пробуждают интерес. Открытие в музыке глубинных структур обновляет мировосприятие игрока и обучает его редуцирующему слушанию.
Crypt of the Necrodancer, 2015. Brace Yourself Games
Crypt of the Necrodancer
В большинстве ритм-игр музыка не интерактивна: игрок осуществляет действия синхронно с ритмом перкуссии, мелодии или гармонии, но не может влиять на сам ритм. Музыка контролирует действия игрока и подавляет его волю, вынуждая к освоению правил. Власть звука над телом напоминает легенды о гамельнском крысолове и физическое воздействие баса на рейве.
Дизайнеры этой видеоигры делают музыку неотделимой от механик и сплетают ее с двухсторонней системой обратной связи. Все игровые элементы, включая аватара игрока и противников, синхронизированы с темпом и могут действовать только в ритм с музыкой. Если игрок сделает ход не в ритм, то останется на месте, а противники приблизятся к нему на шаг.
Если игрок наступает на ловушку, то темп музыки на время ускоряется или замедляется. Изменение темпа в этой сцепке акустической экологии модифицирует поведение как противников, так и самого игрока. На более поздних уровнях можно встретить врагов, которые накладывают статусный эффект на аватара-слушателя и срезают нижние частоты, делая удары бочки едва ощутимыми. Это усложнение перестраивает ментальную модель игрока и фокусирует его внимание на других инструментах перкуссии. Дизайнеры режиссируют, как мы слушаем мир и на чем расставляем акценты.
Crypt of the Necrodancer, 2015. Brace Yourself Games
Искусство модернизма осознало зависимость новых музыкальных форм от производства новых инструментов их выражения. Движение конкретной музыки вышло из разработки звукозаписи на пленку с характерными ей техниками монтажа, изменения скорости воспроизведения и высотности звука. Работы Шеффера имеют характерный язык, обусловленный ограничениями в техниках их сочинения. Штокхаузен исследовал пределы языка аддитивного синтеза в «Этюде I и II». Интонарумори Руссоло имитировали индустриальные шумы, без почерка которых их было бы незачем конструировать.
Если история видеоигр — это история развития обусловивших их язык технологий, то как дизайн музыкальных инструментов влияет на опыт игрока и как он осмысляется в интерфейсах?
Nour: Play with Your Food, 2023. Terrifying Jellyfish // PANORAMICAL, 2015. Fernando Ramallo, David Kanaga
Panoramical
Экспрессивность и игривость тактильного взаимодействия с пэдами и клавишами хорошо сочетается с эстетикой видеоигр. Все чаще разработчики делают игры совместимыми с управлением через MIDI-контроллеры, чтобы мотивировать игрока выразить себя.Непрямое управление параметрами звука в адаптивной музыке заменяется на прямое изменение переменных в DSP-синтезе. Их привязка к изменениям на сценах рождает интерактивные музыкальные визуализаторы. Помимо этого, дизайнеры продают PRO-версию игры с поддержкой команд OSC-протокола и MIDI-сообщений. Вместе с ними прилагается лицензия на организацию сценических выступлений. Неожиданно видеоигра становится инструментом для исполнения музыки.
PANORAMICAL, 2015. Fernando Ramallo, David Kanaga
В 1995 г. Эргози и Ригопулос основали компанию Harmonix, чтобы сделать исполнение музыки доступным всем, кто не может позволить настоящий инструмент. За эти годы они прошли путь от заучивания жестов в популярной музыке до открытой импровизации. В последних версиях Guitar Hero возможно сочинять музыку на тех же инструментах, какие в иных контекстах были интерфейсом ритм-игры.
Сейчас они участвуют в разработке инновационной технологии Metasound на базе Unreal Engine 5 — в первой интегрированной в игровой движок открытой DSP-библиотеке. Параллельно этому они тестируют ее в двух видеоиграх: MMO для выступлений на модульных синтезаторах и симуляторе диджея на вечеринке.
Fuser // Patchwork, 2024. Epic Games & Harmonix
Интересно, что развитие студии произошло по аналогичному западной музыке пути — от линейных произведений к открытой форме, где игрокам доступны механики композиции, записи, редактирования и обмена музыкой. В манифесте «Искусство шумов» Руссоло провозгласил обогащение художественного языка музыки путем включения в него множества гетерогенных шумовых тембров. Видеоигры повторяют этот путь от конвенциональной палитры звукового материала — ко всей множественности звуков цифрового синтеза.
Чтобы сделать процесс исполнения более убедительным, музыкальные видеоигры типа Guitar Hero или Taiko no Tatsujin стилизовали физические контроллеры под гитары или барабаны. Через реалистичные интерфейсы механики становятся более естественными: телу привычнее бить палочками по мембране, чтобы играть на барабанах, чем нажимать на кнопки клавиатуры.
Схема обновленного гитарного контроллера для Guitar Hero reddit-пользователя Kubu-Tsukareta
Неудивительно, что вслед за голосом будет геймифицировано движение тела. Не умеющие танцевать игроки получают удовольствие от танцевальных видеоигр, потому что из отпугивающего своей свободой процесса он превращается в строгую структуру. Аналоговое поле возможности ограничивается дискретными действиями — на хореографию и фристайлинг набрасывается сетка. Благодаря ей новичок не боится осуждения за каждое движение и четко сознает, где он совершает ошибки и выбивается из ритмических паттернов.
Игровой автомат с видеоигрой Dance Dance Revolution
Изначально изобретенное в Японии в 1971 г. караоке не оценивало старания игроков и раскрепощало их в компании благодаря единой на всех неловкости любительского пения. В отличие от более поздних ритм-игр вроде Singstar и Karaoke Joysound, оно не ограничивало игрока точным воспроизведением звука и овладением вокальных техник. Концентрация дизайнеров на социальном контексте пения уводит их оптику от состояний и переживаний, связанных с самой физиологией вокального звукоизвлечения.
Karaoke Joysound // Karaoke Revolution SingStar // Twitch Sings
SoundSelf: A Technodelic
Отношение к голосу как дурачеству в компании или песенной мимикрии изменила SoundSelf — абстрактный скринсейвер с голосовым вводом, вдохновленный психоделической терапией. Медленные и монотонные напевы воскрешают техники повторения мантр трансцендентальной медитации. Видеоигра персонализирует генеративную графику под слепок игрока: его ритм дыхания, текстуры голоса, длительность пения и динамику амплитуды или высоты. Помимо этого, Арнотт записывает голос игрока и воспроизводит его в петле эргодического слушания.
«Переживание смерти эго, ощутимое единство сущего и философия открытого индивидуализма вдохновили меня на разработку SoundSelf» — Робин Арнотт, из лекции «Designing a Trance: Meditation and Game Design»
SoundSelf: A Technodelic, 2020. Andromeda Entertainment
«Строго говоря, я не верю, что музыкальные игры существуют как жанр. Есть только ритм-игры. Развитие жанра нуждается в экспериментах. Я верю, что для музыкальной эволюции важно раскрыть через видеоигры новые методы музыкального исполнения за пределами человеческих возможностей» — Масая Мацуура.
Otocky
В этом сайдскроллер-шутере каждый выстрел озвучивается консонансными тонами. Интересно, что импровизация случается непроизвольно и не является целью игрока. Звукоизвлечение в Otocky привязано к прямому вводу и не оценивается игрой. Мелодии оформляют фоновую музыку орнаментально и автоматически квантизируются к ритму музыки.
Однако в отличие от ритм-игр, она не наказывает игрока за звучание невовремя и не награждает за чувство ритма. Игрок может сменить тактику и начать баловаться в открытой к этому системе, сознательно не уничтожая врагов и стреляя так, чтобы сочинить из разновысотных тонов мелодию.
Возможно, что Otocky — это первый в истории видеоигр пример их открытия к музыкальной импровизации. Исторические корни звукоцентричного дизайна видеоигр лежат в экспериментальных практиках со звуком. Изначально Тошио Ивай работал над интерактивными инсталляциями и музыкальными инструментами.
Otocky, 1987. Toshio Iwai
Поддержка MIDI-сообщений в играх 80-90х решала проблему ограниченной памяти консолей, которая не могла хранить сэмплы. Звук синтезировался процедурно на аудио-картах. Поскольку дизайнить сложные и реалистичные SFX без предзаписи трудно, большинство видеоигр того времени делали звуковые эффекты мелодичными и тональными.
На мой взгляд, квантизация звука к ритмической и мелодической сетке и его смысловое слияние с фоновой музыкой направило внимание игрока на бесцельную музыкальную импровизацию. Благозвучие действий игрока мотивирует его повторять их снова, чтобы услышать, как в музыку вкрапляются приятные тона.
«Генеративные формы связаны с апофенией. В моих инсталляциях звук и свет параллельны, но посетители думают, что они синхронизированы» — Брайан Ино
Теория аффордансов Джеймса Гибсона выявляет [9] универсальные паттерны дизайна знаков как указаний на возможность действия. Левел-дизайнеры видеоигр часто апеллируют к ней, выделяя интерактивные объекты среди множества фоновых декораций. Например, с помощью внешности и звучания объектов дизайнер сообщает, что двери с зелёной табличкой выхода можно открыть, а заколоченные досками — нельзя.
Выделение краев интерактивных уступов. Uncharted 4: A Thief’s End, 2016. Naughty Dog
Эстетику видеоигры можно интерпретировать как знаковые системы интерфейсов и аффордансов, где состояния визуальных элементов отражают изменение звука в двунаправленном процессе.
Когда DAW группируют пресеты для эффектов/инструментов по цветам, пользователи пользуются личными ассоциациями, а не принятыми категориями «ударных» или «импактов». В памяти звук связывается с изображением и воскрешается из цветовых фантазий.
В некоторых музыкальных играх дизайнеры выбирают визуализацию каждого звука, исходя из полимодального восприятия как аудиовизуального синтеза. Таким образом, тщательно подобранный цвет становится выражением мышления дизайнера. Если решить, что «голубой» — «холодный», а «бежевый» — «теплый», то цветовая индикация повлияет на решения в композиции. Они будут приняты не из звучащей логики («какой звук будет сочетаться с предыдущими на партитуре?»), а графической («в каких отношениях существуют формы на холсте?»).
Графические партитуры бывают разными, но часто они претендуют на универсальный язык, который может интерпретировать исполнитель без навыков нотной грамоты, если композитор не оставляет инструкций. Развитие визуальной нотации шло в ногу с графической поэзией и живописным абстракционизмом. Формы, цвета, узоры и правила игры становятся музыкальными знаками.
The Magic Circle of Infinity, 1973. George Crumb
Принципы их сборки во фразы часто символичны. Например, выписывая знаки вдоль круга в несколько рядов композитор мыслит работу как цикл с полифонией, где несколько голосов движутся параллельно в разном темпе. В дальнейшем находки графических партитур легли в основу дизайна музыкальных инструментов. На мой взгляд, циклические партитуры Джорджа Крама могли вдохновить эвклидовые секвенсоры, а вместе с ними — интерфейсы таких ритм-игр, как Sentris.
Sentris, 2015. Timbre Interactive
Rez
Как и в Otocky, каждый выстрел в этом рельсовом шутере подчиняется ритму: при желании можно стрелять мимо врагов для сознательной модуляции музыки. Простейшие движения и действия игрока подчиняют музыку и производят множество спецэффектов и перемен в палитре. Rez развивает мотивированную самовыражением игрока интерактивность музыки из Otocky и синхронизирует её с психоделически красочным видеорядом, завораживая игрока петлями аудиовизуальных наград.
Rez Infinite, 2017. Resonair
Преобразование каждого действия (движения, поворота, выстрела) в тональные звуковые эффекты Rez, Child of Eden и Tetris Effect размывает границы между звуком и музыкой
Tetris Effect, 2021. Resonair
Вейлер усматривает[9] в Rez идеи хроместезии («color-music») и синхронного управления над аудиовизуальной эстетикой. Он связывает фокус видеоигр на синестезии с мечтами Кастеля о «цветном клавире» — несбывшемся цветомузыкальном инструменте 18 в., который делает ощутимой связь света и звука. Кастель предлагал организовать цвета по натуральному звукоряду и назначить каждый цвет на клавишу клавира, чтобы исполнение музыки стало цветовым шоу.
- Weiler, Mark. Computer games to visualize music: a 270 year-old tradition for digital imaginaries. 2005
Карикатура «окулярного клавира» Кастеля. Шарль-Жермен Сент-Обен // Александр Римингтон с прототипом органа
«Вы могли бы сыграть на цветах, взять розу за розовый цвет, фиалку за фиолетовый, нарцисс за желтый […] расставим их так, что каждое касание клавиши органа будет изображать клумбу, чтобы в процессе игры сложился сад» — Луи-Бертран Кастель
Проекты Кастеля вдохновили поколения модернистов услышать цвета и увидеть звуки. Дизайн Rez ориентировался на картины Кандинского, в которых он изображал слышимые им звуки как сочетания абстрактных цветов. Гармонизация механик с эстетикой образует петлю обратной связи с постоянной стимуляцией всех органов чувств.
Идеи Мидзугути о синестезии в полимодальном восприятии кульминировали в разработке «гаптического костюма», чтобы достичь полимодальной стимуляции всех органов чувств. Поскольку разные участки тела ощущают вибрацию неодинаково, дизайнеры разместили вибраторы в 26 точках в области плеч, рук, живота и т. д. Каждый из них воспроизводит широкий диапазон тактильных ощущений от прикосновений до ударов.
Synesthesia Suit. Enhance / Rhizomatiks / Keio Media Design
Большая часть геометрии окружения в Rez состоит из каркасных 3D-моделей без поверхностей или эффектов частиц в виде «облаков точек» (анимированных вершин объектов без граней между ними). Органика и механика очерчивает контуры архитектуры, которая стремительно пролетает мимо игрока, как вид из окна поезда «Синкансэн». Известная разница между картиной и композицией состоит в том, как мы восстанавливаем ее в памяти. Если изображение можно запомнить целиком, то линейное восприятие музыки, в котором внимание цепляется только за мотивы и детали, не дает этого сделать. Графический дизайн Rez буквально визуализирует изменчивость и динамичность музыки как пространство.
Child of Eden, 2011. Q Entertainment
Rez Infinite, 2017. Resonair
