360 Grad Video: Hinter den Kulissen

Drei Männer mit Sonnen­brillen und schwarzen Transport-boxen laufen über den Münchner Flug­hafen. Ihr Ziel: Chang­zhou, China. Ihre Mission: der Dreh der ersten 360 Grad 3D-Führung durch eine Solar­mo­dul­fa­brik. Über das Ergebnis – die virtu­elle Tour durch die Ferti­gungs­hallen – haben wir bereits berichtet.  Jetzt werfen wir einen Blick hinter die Kulissen: Wie entsteht ein inter­ak­tiver 360-Grad-Rundgang?

WAS IST EIN INTERAKTIVES 360 GRAD VIDEO?

Eines hat sich mitt­ler­weile herum­ge­spro­chen: Virtual Reality ist nicht nur etwas für Games, sondern vor allem für inter­ak­tives Story­tel­ling. Die Stärke von VR liegt in der mensch­li­chen, persön­li­chen Verbin­dung zu dem, was um den Zuschauer herum geschieht. VR hat eine Unmit­tel­bar­keit und Direkt­heit, mit der kein anderes Medium mithalten kann und ermög­licht so ganz beson­dere Einblicke. Genau diese Einblicke und die Trans­pa­renz waren es, die Trina Solar seinen Kunden auf der ganze Welt ermög­li­chen wollte – mit einer inter­ak­tiven 360 Grad 3D-Tour durch ihren Haupt­sitz in Changzhou.

Virtual Tour

Das Konzept war schnell klar: die Tour sollte kein klas­si­sches Publicity-Video mit Makro­auf­nahmen von fleißig arbei­tenden Robo­tern und einer klang­vollen Stimme aus dem Off sein, sondern dem Zuschauer einen Eindruck aus erster Hand liefern. Etwa mit einer persön­li­chen Begrü­ßung durch den Trina-CEO Jifang Gao in seinem Büro. Zahl­reiche Stationen warten auf den virtu­ellen Besu­cher – vom Sili­zi­um­guss bis zur Quali­täts­kon­trolle der Module – immer mitten im Geschehen und mit persön­li­chem Guide. Weiteres High­light der Tour: ein Besuch in den Rein­räumen der Forschung und Entwick­lung mit Chef­wis­sen­schaftler Pierre Verlinden. Eine so ausführ­liche Tour bekommen norma­ler­weise nicht einmal die Besu­cher vor Ort.

Als Sahne­häub­chen haben wir ein paar Augmented-Reality-Elemente in die virtu­elle Welt gepackt. Ja, das geht.  Mit den AR-Funktionen kann der Zuschauer zusätz­liche Infor­ma­tionen abrufen – ganz einfach durch einen Blick auf das digi­tale Element.

AUS ZWÖLF MACH EINS

Zwölf GoPro-Kameras, ein Kamera-Rig aus dem 3D-Drucker, fünf Richt­mi­kro­fone, ein High-end Laptop, eine Oculus Rift und ein Klicker. Wir haben es geschafft, das alles nach China zu bringen. Zuerst ein Blick auf die Grund­lagen: Wie wird aus einzelnen Videos ein 360-Grad-Film? Unser “How to”-Video gibt Euch die Antwort darauf.

Fünf der zwölf Kameras im Rig – hori­zontal ange­ordnet – nehmen einen Bild­aus­schnitt von etwas unter 75 Grad auf, was dann in der Summe 360 Grad ergibt. Je eine Kamera oben und unten ist für Himmel und Unter­grund zuständig. Die einzelnen Bilder werden dann über Algo­rithmen zu einem großen Video “zusam­men­ge­klebt”: das soge­nannte Stitching.

Wer mitge­zählt hat, wird gemerkt haben: wir haben noch fünf Kameras übrig. Hier wird es tricky: diese fünf Kameras nehmen eben­falls ein 360-Grad-Panorama auf. Diese Version ist um genau 64 Milli­meter verschoben. Das ist der durch­schnitt­liche, mensch­liche Augen­ab­stand. Auf diese Weise erhalten wir zwei voll­stän­dige 360-Grad-Stereopanoramas – eines für jedes Auge. Auf diese Art wird stereo­sko­pi­sches Sehen ermöglicht.

VERSTECKT HINTER ROBOTERN

Soweit zur Theorie, jetzt aber zur Praxis. Vieles ist bei 360-Grad-Aufnahmen anders als bei klas­si­scher Film­pro­duk­tion. Wo sonst Equip­ment und Regis­seure “hinter der Kamera” sind gibt es bei 360 Grad kein “dahinter” sondern nur mitten­drin. Eine Tatsache, die uns im Laufe des Film­drehs zu Meis­tern im Versteck­spiel werden ließ. Auch ist ein 360-Set natür­lich viel schwie­riger zu kontrol­lieren als ein einzelner Bild­aus­schnitt. Ein Umstand, der nicht unbe­dingt einfa­cher wird, wenn alle Komparsen ausschließ­lich chine­sisch spre­chen und das Film­team gerade diese Sprache nicht beherrscht. Aber gerade das kann auch eine Stärke sein: anstatt gestellter, künst­lich wirkender Szenen nimmt man reale Situa­tionen auf. Die meisten Betei­ligten nahmen das seltsam blin­kende Licht unseres Kamera-Rigs nicht mal als Kamera wahr und würdigten es nur eines beiläu­figen Blicks.

Camera Rig 360 Video

Doch nicht nur bei den Sets gab es neuar­tige Heraus­for­de­rungen. Da 360-Grad-Filmaufnahmen noch ein recht junges Genre sind gibt es keine fertigen, profes­sio­nellen Hard­ware­lö­sungen. Jeder Hand­griff muss an jeder der zwölf GPro Hero 4 Blacks ausge­führt werden. Alleine schon alle Kameras zu starten wird dabei zur Heraus­for­de­rung. Einen Sucher gibt es nicht, wir haben uns eine eigene Lösung gebas­telt. Die sonst stan­dard­mä­ßige Über­tra­gung auf einen externen Monitor für den Direktor fällt flach, dafür reicht bei den gene­rierten Daten­mengen schlichtweg die Band­breite nicht. Es erin­nert ein wenig an Analog­fo­to­grafie: erst beim Betrachten der ersten Test-Stitchings in der Oculus Rift am Abend im Hotel­zimmer kann man abschätzen, ob die Aufnahmen etwas geworden sind.

Virtual Reality Production  

Gerade dieses fehlende Feed­back, direkt bei der Produk­tion, fordert ein gutes Verständnis des Mediums VR und der Möglich­keiten und Limi­tie­rungen der verwen­deten Tech­no­logie: Wo ist der 3D-Eindruck beson­ders gut? Wie hoch soll die Kamera stehen? Wie weit kann sich der Zuschauer später bequem umschauen?

360 3D Samsung Gear VR

Zehn Tage vergingen wie im Flug. Schneller als wir Glücks­keks auf Chine­sisch sagen konnten, saßen wir wieder im Flieger nach München. Im Gepäck: mehr als ein Terra­byte an Video­daten oder anders ausge­drückt 45 Stunden Filmmaterial.

ALGORITHMEN UND HANDARBEIT

Ähnlich dünn wie bei der Hard­ware sieht es auch im Bereich Post Proces­sing aus. Durch­gän­gige Work­flows für 360-Grad-Footage gibt es nicht, statt­dessen ist “Do it yourself” ange­sagt. Kameras kali­brieren, Stitching-Schablonen erstellen, Video­ma­te­rial rendern, anschauen und zurück zur nächsten Itera­ti­ons­schleife. Wo anderswo bereits Algo­rithmen die Aufgaben auto­ma­ti­sieren gilt bei 360 VR: um erst­klas­sige Ergeb­nisse zu erzielen ist nach wie vor viel Hand­ar­beit und ein gutes Auge nötig. Wir sind schon gespannt, ob Google mit seinem kürz­lich vorge­stellten Projekt Google Jump etwas verän­dern wird. In der Post Produc­tion schlug übri­gens auch die große Stunde des Klickers: bei der Aufnahme jeder Szene wurde dieser einmal laut und deut­lich geklickt, jetzt konnten anhand dieses Klicks die verschie­denen Video­spuren per Algo­rithmus zeit­lich exakt synchro­ni­siert werden.

360 3D VIDEO MIT DER SAMSUNG GEAR VR

Ursprüng­lich war die Virtual Tour für die Oculus Rift geplant. Doch dann flat­terte die erste Samsung Gear VR rein und uns war schnell klar: die Anwen­dung ist wie geschaffen für die Gear VR. Doch zuvor musste eine weitere Heraus­for­de­rung über­wunden werden: beim Abspielen von 4K-Videos, 3D-Sound und inter­ak­tivem Content durften wir nicht unter die für komfor­table VR essen­ti­ellen 60 Frames pro Sekunde fallen. Gar nicht so leicht, wenn das mit der begrenzten Rechen­leis­tung eines Mobil­te­le­fons geschehen soll. Mit der Hilfe von Code Snip­pets – geschrieben von Oculus-Ikone John Carmack persön­lich – gelang es uns schließ­lich, einen inter­ak­tiven 360-Grad-Player zu realisieren.

Unser Frame­work konnten wir dann auch nutzen, um die digi­talen Elemente mit Zusatz­in­for­ma­tionen inner­halb der 360-Grad-Tour zu plat­zieren, sowie um passende Unter­titel zu reali­sieren. Erste Tests zeigten schnell, dass klas­si­sche, fix veran­kerte Unter­titel für Virtual Reality keinen Sinn machen. Zu sehr klebt der Blick des Nutzers an der Schrift. Stadt­dessen befes­tigten wir den Unter­titel als digi­tales Element – ähnlich einem Head-up Display im Blick­feld des Zuschauers. Damit können sich die Zuschauer auf die Umge­bung konzen­trieren ohne ein Wort zu verpassen. Stört der Unter­titel dennoch, dann kann ihn der Zuschauer mittels Tap auf das Touchpad ein- und ausblenden.

Die nächste 360-Grad-Tour ist bereits im Kasten und wir verraten nur so viel: ein deut­scher Sport­wa­gen­bauer auf der Renn­strecke. Wir nehmen Euch mit auf den Track – hier auf WeAreAR.

 

 

 

Leave a Reply

Your email address will not be published. Required fields are marked *