REPORTAGE: 1.618 Digital – ljud för Virtual Reality
Arbete i tre ljuddimensioner
Text: Michael Dee
Foto: 1.618 Digital
Det är allt fler spelare som beger sig in i Virtual Reality, Augmented Reality och immersive media och det första de flesta tänker på är det visuella. Ljud är dock ett viktigt element i det hela och den Londonbaserade byrån 1.618 Digital har snabbt blivit omtalad inom detta.
Oliver Kadel, grundare av 1.618 Digital, specialister på ljud för VR och immersive media.
Utvecklingen inom VR och immersive media (360-graders video) går fort. Många av de företag som för utvecklingen framåt är nya och har ibland inte mer än några år på nacken. De flesta av de byråer som startats är fokuserade på det visuella men den Londonbaserade byrån 1.618 Digital är inriktade på ljud för dessa nya medier, allt från specialkomponerad musik och ljudeffekter till tal.
1.618 Digital grundades 2014 av Oliver Kadel och har snabbt byggt upp en imponerande lista klienter, Google, M7CSaatchi, Jaguar, 02, BBC, University West London, HSBC Bank, Inition och Manolo Blahnik. Oliver berättar om sin bakgrund.
– Jag är född och uppväxt i Lettland och flyttade till Storbritannien 2006 för att skaffa mig en grundlig utbildning inom ljud. Den började på Mid Kent College i grevskapet Kent där jag gick utbildningen B Tech Music Technology. Efter min examen där tog jag ett års paus och fokuserade på min egen musik och gav ut några electronicaplattor på indiebolag. Men jag ville fokusera mer på ljud och det tekniska.
Oliver flyttade därefter till London och studerade på University West London.
– Där gick jag först på en kandidatutbildning i musikteknik, följt av en masterutbildning i avancerad musikteknik. Mitt fokus var ljuddesign, inspelning och immersive media. Den kursen var verkligen otroligt bra och väl anpassad till all den nya teknologin. Min utbildning har förvandlat allt för mig, hur jag tänker i ljud och hur jag arbetar och jag har självklart lärt mig allt det tekniska. Men jag lärde mig också ”soft skills”, allt som har med personliga relationer att göra, till exempel hur man hanterar kniviga situationer i stora team. Det fanns också mycket annat som gjorde det hela så givande. Ealing Film School låg precis i närheten. Eleverna samarbetade mycket så det fanns många tillfällen att skaffa praktisk erfarenhet, sköta ljudinspelning och postproduktion till elevfilmer. Jag var väldigt aktiv på den tiden och jobbade alltid på flera projekt samtidigt.
Det gyllene snittet
Oliver grundade 1.618 Digital redan under andra året i sista utbildningsetappen. Han ville jobba med flera aspekter av ljud, och om han hade börjat på ett etablerat företag tror han att han sannolikt hade fått ägna sig åt enbart en sak.
– Jag behövde ett bra namn och efter att ha funderat ett tag beslöt jag mig för 1.618 Digital. Det refererar det gyllene snittet, för det har alltid fascinerat mig. Vi är ett ganska litet företag, fyra anställda, men arbetar med ett stort nätverk av frilansare.
Det krävdes mycket arbete för att etablera sig i början, säger Oliver.
– Så är det nog alltid. Det som hjälpte det hela var att vi hade ett löpande kontrakt med marknadsföringsavdelningen på University West London. Vi utförde alla möjliga sorters jobb åt dem och det ledde till att vi fick andra klienter som hörde talas om och anlitade oss. Därefter växte det hela och i dag jobbar vi för såväl varumärken, filmmakare, utbildningsinstitutioner och artister.
Det första stora VR-jobbet kom via en kamrat, Henrik Oppermann, som är ljudchef på företaget Visualise och har lång erfarenhet, berättar Oliver.
– Han höll på med en VR-upplevelse för brittiska armén. Det var ett fantastiskt projekt att jobba med och väldigt komplext. Därefter började jobben att komma in snabbare för oss.
Tre ljuddimensioner att arbeta med
Jag frågar Oliver om skillnaden mellan VR, AR, immersive media och traditionella medier när det kommer till inspelning och postproduktion.
– Den stora skillnaden är att man i stället för att jobba inom en ram jobbar man i 360 grader, och att användaren kan titta åt olika håll. Till de traditionella medierna har man stereoljud som är tvådimensionellt med ett visst djup. Nu har vi tre dimensioner och kan leka med binauralt ljud, interaktivitet och att använda ljud på sinnrika sätt, genom att till exempel föra handlingen vidare genom att det hörs ett ljud bakom användaren. Det finns mycket som naturligtvis är gemensamt, men också en hel del som skiljer sig. I grunden handlar det dock om att berätta en historia. Så man bör inte hänga upp sig för mycket på att det handlar om ett nytt medium.
Oliver och hans team skapade hyperrealistiskt ljud inspirerat av videospel till en 360-video som dokumenterade det finska alpinlaget under två åkningar i Alperna.
360-videon för Elbphilharmonie/Google Arts & Google tänjde på gränserna för vad som i dag kan utföras med Spatial Audios mjukvara.
Enligt Oliver handlar det här om att använda bästa möjliga ljudteknologi till jobben.
– Den viktigaste utrustningen är Sennheiser Ambeo VR Mic till ambisoniska inspelningar, Neumann KU 100 Dummy Head Microphone till de binaurala, och så har vi en stor uppsättning av andra mikrofoner: Countryman, Telefunken, DPA, Audio Limited. Till postproduktion använder vi Pro Tools HD, Ableton Live, andra olika DAW:ar, The Ambisonic Toolkit, samt en stor uppsättning plugins, bland annat Blue Ripple, och Fraunhofer Cingo Composer som är väldigt behändig. Som VR-motor använder vi Unity.
Oliver Kadel med Sennheisers ambisoniska mikrofon Ambeo.
Och för att spela in ljud i 360 grader är ambisoniska mickar en särskilt viktig del, berättar Oliver.
– De dök upp på 70-talet men har genom åren mest använts inom forskning och den akademiska världen, och därför fanns bara ett fåtal tillverkare. Det hände att de användes till orkesterinspelningar då och då, men det var allt. Men så kom VR och började ta fart 2014 med Oculus Rift, Google Cardboard och andra och det verkade självklart att använda den sortens mikrofoner till att spela in ljud i 360 och applicera det i postproduktion, exempelvis till head tracking (registrerar var huvudet är och hur det rör sig). Baserat på vart användaren tittar blir ljudet flexibelt, och det hjälper till att skapa en verkligt sammanflätad upplevelse. Och gör det hela mer spännande, naturligtvis.
Att arbeta med ljudmaterial som detta är inte fritt från utmaningar, säger Oliver.
– Återigen handlar det om att inte tänka innanför ramarna, utan ljudet måste fungera suveränt åt alla håll. Det innebär att hela miljön utgör inspelningsmiljön, eller en scen om du så vill. Så teamet måste därför hålla sig undan och utrustningen får naturligtvis inte synas. Det går därför inte att använda bommar till mikrofonerna.
Och där kommer de ambisoniska mikrofonerna in i bilden igen.
– Så vi använder dessa till att fånga atmosfärljud och kompletterar med radiomikrofoner placerade på de som talar, skådespelare eller presentatörer.
Många inom dessa medier har berättat för mig att det finns en inlärningskurva hos klienterna eftersom de är så pass nya.
– Det varierar kraftigt, skulle jag vilja påstå. När vi anlitas kan det handla om allt från klara och i detalj uttänkta idéer, där det från vår sida handlar om problemlösning, till projekt där det inte finns några idéer alls vad gäller ljud. Där kommer vi med idéer och förslag. Vi kan ta hand om allt från dialog till att skriva och spela in originalmusik. Men jag håller med om inlärningskurvan, att det handlar om att tänka på nytt sätt. Jag har själv sett ganska många produktioner på marknaden som faktiskt lika gärna kunde ha utförts i två dimensioner med stereoljud.
Dagens kreatörer får tänka till ordentligt
Tidiga VR-upplevelser var ofta ganska omtumlande, både vad gällde bild och ljud. Kanske finns där en parallell med musikvideor där de tidiga ofta framstod som ganska kantiga.
– Det håller jag med om. Det handlade mycket om en wow-faktor, att folk lutade sig mot teknologin och att den var ny och annorlunda. Gradvis har teknologin förbättrats och det har också lett till att förväntningarna har stigit. Publiken vill se något nytt och framför allt något mer sofistikerat. Så kreatörerna måste tänka till mer, skapa bättre upplevelser och verkligen överraska publiken så att ribban höjs hela tiden.
Jag får dock intrycket av att ljudet i VR-upplevelser ofta tillkommer som en eftertanke.
– Det är ofta, som med ljud i traditionella medier, att det kommer sist. Ibland handlar det om begränsade budgetar, ibland om att man har brist på tid och att en produktion måste bli färdig till en viss tid. Fast de projekt som vi arbetar med förlitar sig oftast väldigt mycket på ljud. Jag skulle vilja säga att vi uppnår de allra bästa resultaten när vi blir inblandade i ett väldigt tidigt stadium. Där vi är med och kan påverka helheten. Då är det också lättare för oss att vara effektiva. Det handlar om att under projektens gång vara i ständig dialog med klienten så att vi sjunger samma sång. Jag anser själv att bra och intelligent ljud blir den viktiga faktorn i konkurrensen på marknaden för immersive media.
Från 69:e våningen, till undersökning om personkemi
The Shard, en ikonisk byggnad i London som ser ut som en glasskärva. "Vi fick uppdraget av produktionsbolaget Happy Finish att skapa ljudet för detta. Det är ganska många olika moment i upplevelsen, mjuka åkturer och plötsliga fall. Och allt detta skulle lyftas fram i ljudet.”
Oliver och teamet har jobbat på en rad intressanta projekt, bland annat en VR-upplevelse som tar med användaren på en tur runt och upp och ner längs The Shard i London, en byggnad som ser ut som en enorm glasskärva.
– The Shard är 69 våningar hög och har en fantastisk utsikt över London. Användaren sitter på specialbyggd rutschkana som följer VR-upplevelsen. Vi strävade efter att göra ljudet så realistiskt som möjligt.
Det gick dock lugnare till i In My Shoes: Intimacy, berättar Oliver.
– En mycket intressant VR-upplevelse regisserad av Jane Gauntlet. Hon ville undersöka förtroende och närhet, och i upplevelsen inbjuds två främlingar att sätta sig nära varandra i en virtuell värld. Utmaningen här gick ut på att skapa en ljuddesign där de omgivande ljuden i miljön dämpades allt eftersom de fördjupar sitt samtal. Janes idé gick ut på att användarna inte bara skulle bli emotionellt berörda, utan också påverkas rent fysiskt och verkligen känna närhet. Vi spelade in dialogen i 3D och fyllde sedan på med ytterligare dialog i postproduktionen, som vi spelade in monofont och med binaurala mikrofoner. På så sätt kunde vi också markera personernas inre dialog.
Med In My Shoes: Intimacy ville Jane Gauntlet undersöka förtroende och närhet, och i VR-upplevelsen inbjuds två främlingar att sätta sig nära varandra i en virtuell värld. I ljudbilden förde Oliver och teamet personerna allt närmare varandra, samtidigt som ljudet omkring dämpades gradvis.
Så, var kommer de flesta jobben ifrån?
– Många av jobben uppstår på något sätt ur tidigare projekt. Kultursektorn är väldigt viktig för oss och andra inom VR. Den är också väldigt öppen för kreativitet och nya idéer. Tidsmarginalerna är bra och man har gott om tid på sig, men budgetarna är ofta begränsade i jämförelse med reklamsektorn.
Ökar konkurrensen?
– Ja. Det finns betydligt fler spelare på marknaden i dag än när vi började. Etablerade företag har skaffat den nödvändiga kompetensen. De traditionella ljud- och postproduktionsbyråerna har insett att de måste ge sig i kast med de nya teknologierna. Ett ljudbolag som får en uppdragsspecifikation har nog infrastruktur och folk, men de har varit tvungna att inskaffa ny kunskap. Fast det finns andra som valt att inte ge sig in i leken, för att de jobbat i samma medier så pass länge. Däremot så finns inte många ljudbyråer som vi, som helt inriktar sig VR, AR och immersive media. Det reflekterar naturligtvis att det handlar om nya teknologier och att efterfrågan än så länge ändå är begränsad i relation till traditionella medier. Men den växer stadigt och kommer att växa ännu mer framöver.
Har ditt sätt att skapa ljud till en VRupplevelse förändrats?
– Jo, det skulle jag nog vilja säga. Det tog ett tag att få ett grepp om ett nytt medium och att skaffa en smak och en estetik för hur ljud skulle användas. Det känns annorlunda och det påverkar folk på ganska olika sätt. Det innebär att både inspelning och postproduktion är annorlunda. Men ljud är faktiskt den kortaste vägen till att påverka känslorna.
