Kompozytor gier i filmów Sage Lewis mówi, że nikt nie rozumie pisania dla VR

Dla klasycznie wyszkolonego muzyka Sage'a Lewisa technologia stanowi wyzwanie. Choć jego kompozycje pojawiły się w reklamach Google, Facebooka i Nintendo, Lewis pozostaje niezachwiany w kwestii dźwięków akustycznych. „Jest coś w kwartecie smyczkowym i głównych instrumentach akustycznych, które wyrażają tak wiele emocji”, mówi przez telefon. „Tak naprawdę nie można tego wyrazić za pomocą muzyki elektronicznej”.

Ale może to wymyślił. Na South by Southwest, najnowsze partytury Lewisa - techno-dramat Operator z udziałem Martina Starra (Dolina Krzemowa) i Mae Whitman oraz thriller VR Surogat - poradzić sobie z ciągle zmieniającym się rozumieniem interaktywności człowieka dzięki przełomowej technologii. Wyniki Lewisa, połączenie elektroniki i akustyki odzwierciedlają te zmiany sejsmiczne.

Reżyseria: Logan Kibens, Operator podąża za programistą komputerowym, który buduje bota obsługi klienta, wykorzystując swoją żonę jako szablon, zanim podejmie obsesyjną, destrukcyjną ścieżkę zbudowaną na miłości. Surogat tymczasem jest to doświadczenie VR z perspektywy pierwszej osoby, która obnaża kłopotliwe małżeństwo. Nominowany do nagrody Interactive Innovation Award na festiwalu, Surogat „Problematyzuje pojęcie fizycznej obecności i odzwierciedla… kulturowe obawy i dolegliwości w erze cyfrowej”.

Przed festiwalem w Austin przemówił Lewis Odwrotność i powiedział nam, w jaki sposób skomponował jeden z ukrytych klejnotów SXSW i jak wciąż pisze się zasady komponowania VR.

W SXSW w tym roku masz Operator i Surogat. Co możesz mi powiedzieć o swoim zrozumieniu tych dwóch projektów?

To ekscytujące, są to dwa filmy, które są podobne w swoich historiach, ale bardzo różnią się formą i sposobem, w jaki doświadczają. Oba mają związek z technologią, relacją i sposobem, w jaki zakłócają prawdziwe relacje w naszym życiu osobistym. Chodzi o sztuczną inteligencję i dokąd zmierzamy w przyszłości.

Technologie i relacje międzyludzkie są popularnymi tematami, czego dowodem są takie rzeczy Jej i Czarne lustro. Jak podchodziłeś do swojego wyniku? Operator ?

Technologia coraz częściej pośredniczy w naszej komunikacji, ale nasze relacje nie są tylko z innym człowiekiem, ale algorytmem. Muzycznie fajnie było pracować nad tymi tematami, partytura ma zespół kameralny z kwartetem smyczkowym, fortepianem, gitarą akustyczną, zestawem perkusyjnym i perkusją. Potem jest cała strona elektroniczna, każdy instrument elektroniczny odwzorowuje bezpośrednio na drugi z akustyki. Odtworzyliśmy je od podstaw z modularnym syntezatorem. Stworzyło to partyturę, która była w stanie wyrazić te emocje elektronicznie.

Biorąc pod uwagę, w jaki sposób filmy te są tak istotne dla technologii, dlaczego włączyliście naturalne i klasyczne dźwięki Operator ?

Dla mnie chodziło o dwa współistniejące światy, jeden wirtualny i jeden naturalny, a także o to, jak współistnieją w harmonii i konflikcie, walcząc w tej samej przestrzeni. Ważne było posiadanie kawałków. Jeśli masz dwie rzeczy ustawione przeciw sobie, to sprawia, że ​​każda z nich jest potężniejsza. Muzyka elektroniczna brzmi bardziej elektronicznie, gdy jest w kontekście muzyki akustycznej. Jakość czegoś, co jest naturalne, może zabrzmieć jeszcze bardziej naturalnie, gdy stawiasz go przed czymś bardzo nienaturalnym.

Jaka była twoja ulubiona część Operator zaliczyć?

Jest kilka pięknych scen z jeziora Michigan, w których postać, Joe, biegnie codziennie. Mierzy swoje dane dotyczące zdrowia, jedzie do jeziora Michigan i robi zdjęcie. Jest taka scena, w której były: „To jedna z najważniejszych części filmu. To wszystko ty, Sage. ”Muzyka też musiała być prosta, nie mówiła wiele gestów. To było zaledwie kilka minut kilku gestów, które były proste do umieszczenia i mogły naprawdę uderzyć w serce. To było dla mnie najbardziej ekscytujące.

Jak skomponować subiektywne doświadczenie w VR w porównaniu z filmem Operator ?

To ekscytujące, ponieważ nikt nie wie, jak to zrobić. Nigdzie nie możesz go przestudiować, nawet po to, by sprawdzić inne projekty VR, aby zobaczyć, co zrobili, ponieważ nadal nie jest to dostępne. Dużo się zastanawiasz. Posiadamy własne zestawy słuchawkowe Oculus, których używaliśmy do tego celu. Czasami chodzimy na konferencje VR, aby zobaczyć inne treści, ale w większości to produkt, który jeszcze nie trafił na rynek.

A co z grami wideo, nad którymi pracowałeś - a także subiektywnymi doświadczeniami technologicznymi?

W pewnym sensie jest to jak gry wideo, ale doświadczenie jest inne. Surogat nie jest to gra, ale „film interaktywny”, który naprawdę dobrze się sprawdził, odkrywając nowe terytorium VR. Ma 12 minut, jest sferyczny, a nie w ramce 16x9 w filmie, gdziekolwiek spojrzysz, za tobą, w górę, w dół, możesz chodzić. To ta hybryda CG nakręcona sferyczną kamerą, z prawdziwymi postaciami. Nie awatary.

W miarę upływu czasu część muzyki wykorzystuje cały czas na wsparcie narracji. Ten inny typ znajduje się w przestrzeniach. Jeśli pójdziesz do tego miejsca, usłyszysz to, ale jeśli nie będziesz, nie będziesz. Musisz dużo komunikować się, gdy jesteś w filmie, aby historia działała, aby ludzie nie przegapili ważnych części, ale w VR nie masz kontroli nad użytkownikiem. Użytkownik może wędrować wszędzie.

Partytura w VR pomaga komunikować się emocjonalnie, niezależnie od tego, czy zwracają uwagę na występ, czy nie. Musisz użyć partytury, aby połączyć rzeczy, ponieważ nie masz kontroli. To jest interesujące dla mnie, ponieważ wewnętrznie, w postaci, w której się znajdujesz, jest to thriller psychologiczny dla tej postaci w ich umyśle i ciele, ale w świecie zewnętrznym to nie jest. To ludzie poruszają się i mówią, a nie zwykły thriller z akcją.

Kąty kamery w filmach przekazują narrację i temat, który muzyka nasila. W VR wydaje się, że muzyka wykonuje całą pracę.

Trudno też zrozumieć, ponieważ kiedy komponuję, nie mogę tego doświadczyć. Nie mogę go zaprezentować, ponieważ nie można skomponować zestawu słuchawkowego. W filmie możesz go obejrzeć, umieścić w muzyce i obejrzeć ponownie, a grupa ludzi usiądzie razem i porozmawia o tym.

VR jest w rzeczywistości podobny do teatru. Niektórzy ludzie mają dobre miejsca, niektórzy mają złe miejsca. Patrzą pod każdym kątem. Z perspektywy muzycznej wiesz, jak wszystko się zsynchronizuje. Nie musisz zgadywać, jak będą się czuli na scenie, kiedy nad tym pracujesz. In VR zgadujesz, wyobrażając sobie to w myślach, materiały, do których się odwołujesz, które pomagają ci poinformować o tym, jak rzeczy mają wyglądać i czuć na końcu.

Nigdy się nie skończyło. Po prostu się zmienia. Surogat, właśnie skończyliśmy robić najnowszą aktualizację. Potem będziemy pracować nad tym przez długi czas w oparciu o to, czego się uczymy. Sprawy są wolniejsze, ponieważ polegasz na programistach, rzeczy cały czas pękają w systemie. To takie inne.

Jak myślisz, ile czasu zajmie kompozytorom znalezienie rytmu muzyki w VR?

Dowiedzenie się, jak pisać muzykę dla VR, będzie trwało tak długo, jak odgadnąć pozostałe elementy. Myślę, że od trzech do pięciu lat, aż zacznie dochodzić do punktu, w którym działa i jest częścią życia każdego. W tym roku VR będzie na rynku. Poprawienie prototypu i wymyślenie sposobu tworzenia treści zajmie prawdopodobnie lata, ale widzę, że dzieje się to około 2020 r., Kiedy to jest dobrze rozwiniętą formą. Film też trwał długo. Od samego początku były świetne filmy, Charlie Chaplin i takie tam, ale rozwijanie tej technologii trwało długo, aż do złotego wieku. Nadal jesteśmy od tego daleko, ale to się dzieje teraz. Zaczniemy to widzieć w tym roku. To jest ekscytujące.