REPORTAGE: Rewind, London
Banbrytande projekt inom VR, AR och MR
Text: Michael Dee
Foto: Rewind
Opera i animerad VR-tappning. Den första 360-sändningen för BBC. Interaktiva speglar för Ikea. Mixed Reality-projekt utförda med Microsofts HoloLens. Den engelska studion Rewind har stått för det ena banbrytande projektet efter det andra.
Sol Rogers grundade Rewind tillsammans med Matthew Allen 2011. Studion var från början inriktad på visuella effekter och postproduktion men har snabbt blivit branschledare inom VR och 360.
Virtual Reality förknippas fortfarande på många håll främst med spel och reklam. Men på senare tid har allt fler inom kultursektorn upptäckt dess möjligheter. Däribland Welsh National Opera som anlitade Rewind att utföra en upplevelse av Giacomo Pucciinis opera Madama Butterfly.
– Det var faktiskt Welsh National Opera som kontaktade oss för att samarbeta, berättar Rewinds Sol Rogers. Kultursektorn i stort här i landet är på hugget och letar alltid efter nya sätt att knyta till sig en publik. Teknologi är ett av flera sätt att nå ut. Nåväl, jag och teamet tände direkt på idén. Både visuellt och musikaliskt passar opera perfekt för VR. För musiken stod Welsh National Opera, en inspelning av Un Bel Dio, framförd av sopranen Karah Son. Idén gick ut på att föra in publiken i dramat, så vi använde oss av motion capture och 3D-animationsmjukvaran Houdini. Dessutom lade vi till några interaktiva element i det hela för att överraska publiken.
Madama Butterfly i animerad VR-version. Upplevelsen utfördes åt Welsh National Opera. VR har blivit ett viktigt verktyg inom kultursektorn, säger Sol.
Rewind har en förmåga att överraska. Studion är baserad i St. Albans, norr om London. Den har växt snabbt, berättar Sol som grundade den tillsammans med Matthew Allen 2011.
– Studion var från början inriktad på visuella effekter och postproduktion. Vi kom dock snart in på VR. Vi lade vantarna på en Oculus DK1, alltså utvecklingsmodellen, och insåg omedelbart vilken potential VR hade. Därefter lade vi snabbt VR till verksamheten, följt av Augmented Reality, Mixed Reality och andra teknologier. Studion har växt med omkring 25 procent årligen och de senaste tolv månaderna har vi anställt ytterligare 18 stycken. Teamet består i dag av 50 personer.
Klår NASA och ESA i realism
Studion har utfört två omtalade projekt med Björk.
– Det första projektet gjordes i VR360 för hennes låt Stonemilker där publiken fick uppleva hur hon uppträdde på en strand på Island. Därefter följde fem stycken VR-tappningar till låtar från plattan Vulnicura och som ingick i hennes utställning The Björk Digital Exhibition. Man hjälpte också till att skapa den första 360-sändningen för BBC.
Rewind har utfört två omtalade projekt med Björk. Till låten Stonemilker skapades en VR-produktion där publiken förflyttades till en strand på Island och fick se Björk uppträda. Till plattan Vulnicura skapades fem sådana som ingår i The Björk Digital Exhibition.
– Det var ett inslag för BBC:s teknikprogram Click. Det var ett otroligt spännande jobb eftersom det handlade om att skapa en 360-upplevelse av The Hadron Collider (CERN). Det var ingen på BBC som hade någon erfarenhet av att filma i 360, så vi utförde filmningen i anläggningen och fick även tillgång till avdelningar som aldrig tidigare filmats. Därefter redigerade vi, fällde in grafik, intervjuer och annat. Vi har nu byggt upp ett nära samarbete med BBC. Vi skapade bland annat en 360-video av Strictly Come Dancing (originalversionen av Let’s Dance) och rymdpromenaden.
Home: A VR Spacewalk, som den hette, var en 15 minuter lång VR-upplevelse och har kammat hem mängder av priser.
Den 15 minuter långa produktionen Home: A VR Spacewalk har kammat hem
många priser. Publiken får sätta sig i en specialdesignad fåtölj som simulerar
vibrationerna som uppstår när kroppen rör sig under en rymdpromenad.
– Idén var att föra ut publiken i rymden och låta den uppleva hur det är att promenera 400 kilometer över jordens yta. Upplevelsen var baserad på de träningsprogram som NASA och ESA använder. Vi skapade den i motorn Unreal Engine 4, det bästa verktyget i sitt slag. Vi ville dessutom att upplevelsen skulle kännas så realistisk som möjligt. Publiken upplever det hela i en specialdesignad fåtölj som simulerar vibrationerna som uppstår när kroppen rör sig under promenaden. Publiken kopplas in så att de hör sin egen hjärtrytm och vad som händer med den då de plötsligt hamnar i en nödsituation och snabbt måste återvända till rymdstationen. Visst, den kammade väldigt många priser, men allra bäst var faktiskt när två astronauter som varit på rymdstationen berättade att den var mycket mer realistisk än den simulator de själva tränats i under sin utbildning.
När VR träffar alla sinnen
Jag frågar Sol om detta att addera olika element, ljudet av den egna pulsen, lukter, vibrationer är viktiga för att VR ska bli en framgång?
– Absolut. Styrkan i VR ligger i dess förmåga att lura användarens hjärna att de befinner sig någonstans där de egentligen inte alls är och den typen av element, lukter, vibrationer och annat kan göra enorm skillnad. Just ljudet av hjärtrytmen höjde rymdupplevelsen rejält. Vi har också utfört en för Castrol, CloneRival Experience, där vi tog allting från blodtryck till fuktigheten på huden på riktiga racingförare för att kunna göra upplevelsen så realistisk som möjligt.
För VR-produktionen åt Castrol ville man göra upplevelsen så realistisk som möjligt och tog allt från blodtryck till hudfuktighet på riktiga racingförare.
Även VR växer stadigt så är det ännu ganska få som har egna headsets. Är det rent av så att det behövs en upplevelse som blir en vändpunkt för branschen? Det som fick brittiska folket att på allvar köpa tv-apparater var när den nuvarande drottningen skulle krönas i direktsändning 1953.
– Det finns redan en stor mängd väldigt bra VR-upplevelser att tillgå och de stora videospelstillverkarna har en efter en börjat producera kvalitetsprodukter inom VR. Trots det finns det fortfarande barriärer. Priset är fortfarande ganska högt för kvalitetsutrustning och de flesta headsets är bökiga. Jag förväntar mig att sektorn först riktigt kommer att ta fart när priserna sjunker och att de lanseras lättare headsets.
Mixed Reality-projekt åt Red Bull
Rewind arbetar också inom Mixed Reality och har bland annat utfört ett provprojekt, en upplevelse av Red Bull Air Race.
– Vi är medlemmar i Microsofts Mixed Reality Program och det innebär att vi har tillstånd att utveckla upplevelser för dess plattform HoloLens. Det förnämliga med systemet är inte bara kvalitén utan också att systemets headset gör det möjligt för flera personer att delta i upplevelsen samtidigt. Det har dykt upp en hel del spännande projekt på senare tid. Vi själva har valt att främst fokusera på underhållning och sport. Vi har arbetat med Red Bull Air Race sedan starten och vi tyckte att just detta passade väldigt bra till vårt allra första HoloLens-projekt.
Som medlemmar i Microsofts Mixed Reality Program har Rewind tillstånd att utveckla upplevelser för dess plattform HoloLens. Det första projektet handlade om Red Bull Air Race där publiken bland annat fick inspektera ett Edge 540-plan.
Red Bull Air Race är världens snabbaste motorsport, berättar Sol.
– Det går faktiskt så snabbt att det både live och i konventionell sändning rent av är svårt att hänga med i vad som händer. Det är alldeles för farligt att ha flera flygplan i luften samtidigt, så planen flyger på egen hand. För publiken handlar det därför om att se enskilda tidsflygningar. Nå, vi ville föra upp tävlingen till en helt annan nivå och verkligen engagera publiken. Så i upplevelsen får publiken först gå igenom reglerna i tävlingen, uppleva hur det är att gå igenom en chikan och till skillnad mot vad som händer i verkligheten får de också uppleva flera plan i luften samtidigt och inspektera ett Edge 540-plan.
HoloLens är fortfarande i utvecklingsstadiet, säger Sol.
– Det finns andra spelare på marknaden, men varken dem eller Microsoft har i dag ett headset som är färdigt att lanseras på marknaden. De första kommer sannolikt att vara ganska dyra men med tiden lär de bli lika vanliga som mobiltelefoner och plattskärms-tv, skulle jag tro. Det är bara en tidsfråga.
Augmented och Mixed Reality går på sikt om VR
När det kommer till Augmented Reality säger Sol att det fortfarande är ett område som växer och växer.
– Den stora vändpunkten kom förra året när Niantic lanserade Pokemon Go. Plötsligt insåg folk vilken otrolig kapacitet de gick omkring med i fickan. Det har också blivit möjligt för i stort sett vem som helst att skapa eget sammanflätat innehåll efter att Apple lanserat ARKit, som ger tillgång till teknologin som tidigare endast fanns i studior och uppstartsbolag.
En del branschobservatörer menar att AR och MR i längden kommer att bli större än VR.
– Jo, det är många som anser det men jag håller inte riktigt med. Det är två väldigt olika medier och de kommer så småningom att hitta sina respektive platser i folks liv. VR är perfekt för att transportera publiken till i stort sett var som helst. Antingen till en främmande planet eller ett flyktingläger i Syrien. Teknologin kan användas till allt från underhållning till utbildning. Föra publiken till platser eller situationer som är för farliga eller omöjliga att nå i verkliga livet. AR och MR gör det möjligt att utöka vardagen med mängder av information. Man stannar kvar i den fysiska verkligheten men kan samtidigt få tillgång till alla möjliga former av information, från vägkartor till hur man lagar en trasig pump. I dagsläget är det svårt att avgöra vilken som blir störst. Båda sektorer är i begynnelsefasen.
Och i begynnelsen finns också en del barnsjukdomar. Det är inte ovanligt att producenter av VR på olika sätt får justera dem för att användare fått svindel, blivit illamående eller chockerats på ett obehagligt sätt. Oliver Kibblewhite på Rewind bidrog med ett uppmärksammat inlägg där han hävdade att VR-producenter måste ta större hänsyn. Sol kommenterar.
– Det finns i dag olika system och riktlinjer för att försäkra att användare inte utsätts för opassande innehåll. Inom VR används samma system som inom videospel och IARC (International Age Rating Coalition) är ett internationellt åldersklassificeringssystem som även används till appar och digitala spel. Jag håller helt med Oliver, att vi som producenter har ett stort ansvar, men också de som demonstrerar och visar VR-upplevelser, antingen i reklam- eller utbildningssyfte. Personalen som möter allmänheten har en skyldighet att informera om vad som väntar och vad de kommer att uppleva. Inte minst med tanke på att det ofta är deras första gång och för en del människor är det en omtumlande upplevelse.
3D Projection Mapping
3D Projection Mapping är ytterligare ett område där Rewind hävdar sig starkt, säger Sol och berättar att det är ett sätt att med hjälp av projicering skapa en interaktiv immersive experience, i vilken storlek som helst, från ett mindre stånd på en mässa till Eiffeltornet.
– Bland de mest spektakulära projekten finns ett vi utförde åt Nissan. Ett simulerat, interaktivt fotbollsspel där användaren fick testa sin skicklighet under uppsikt av Yaya Toure. Uppgiften gick ut på att deltagarna fick sparka en riktig fotboll mot tre virtuella mål, med olika svårighetsgrader. Varje spelares insatser mättes, det vill säga reaktionstid, bollens fart, hur väl de lyckats och ur detta utsågs vid varje spelomgång en vinnare.
Sol berättar om den teknologi som användes.
– Vi använde oss av en realtids spelmotor, vilken dock är en affärshemlighet, med vars hjälp vi projicerade en 10K:s panoramabild som motsvarar fem stycken 1080p-skärmar. För att spelaren verkligen skulle känna sig som en del av den virtuella världen använde vi oss av rörelsespårning på honom eller henne. På så sätt placerades spelaren på planen. Förutom spel- och rörelsesystemen använde vi också en specialbyggd sensor som inte bara gav telemetrin liv när bollen sparkades, utan också visade var den hamnade på en spelväggen. På så sätt kunde alltså resultaten registreras omedelbart. Resultaten laddades upp på Nissans servrar och kunde tillgås via dess spelapp.
Rewind har också utfört en del mer udda projekt, bland annat för Ikea.
– Det var ett försöksprojekt för en av Ikeas brittiska butiker. Idén uppstod i samband en undersökning som gjorts och som visade att två av tre britter kämpar med dålig kroppsbild och osäkerhet. Spegeln var försedd med sensorer som registrerade närvaro och kom med uppmuntrande kommentarer: ”Wow! du tränar nog på gym!” och ”Det där var ett otroligt fint skägg”. Ett kul projekt men mest ett experiment.
Vill ta sin bit av det sociala ansvaret
Studion är inte bara inriktad på betalda projekt. För två år sedan startade Rewind VRTogether. Orsaken är att studion vill ta sin bit av det sociala ansvaret och ge något tillbaka till samhället i stort.
– VR ger möjlighet att berätta historier på nytt sätt och att på så sätt engagera folk. Det är ett fantastiskt verktyg att kunna använda. Världen står inför stora problem. De historier som behöver berättas mest är dock ofta de svåraste att ge vingar. Hur som helst, vi hade för avsikt att in emellan de kommersiella projekten göra något för att förbättra världen. Vi trodde att det fanns andra inom sektorn som kände likadant så vi satte upp en enkel webbsida och snart hade flera hundra kreatörer anmält sitt intresse. VRTogether är fortfarande i ett tidigt stadium men det har placerats några fantastiska projekt på webbsidan så det ska bli spännande att se hur det hela utvecklar sig.
