In Zusammenarbeit mit dem Mittelrhein-Museum und dem Theater Koblenz haben die Studierenden im vergangenen Semester einen 360° Film konzipiert und abgedreht. Die erarbeiteten Materialien werden nun im Sommersemester 2020 zu einer interaktiven Virtual Reality-Anwendung weiterentwickelt.
Ziel des Projektes ist es, die Zuschauerinnen und Zuschauer mitten ins Bühnengeschehen zu versetzen. Diese gemeinhin verwehrte Perspektive präsentiert das Theater auf eine völlig neue Weise. Die eigens dafür geschaffene Inszenierung zeigt nicht nur die szenischen Möglichkeiten des Theaters, sondern auch die alltäglichen Abläufe, die im Hintergund der Aufführungen stattfinden. Gleichzeitig werden bewusst die Grenzen des Realen in der virtuellen Welt erweitert.
Der 360° Film ist ein relativ junges Medium und birgt neue Herausforderungen, sowohl bei der Inszenierung, der Planung und Durchführung der Dreharbeiten als auch in der Postproduktion. So kann die Blickrichtung nicht wie beim konventionellen Film durch die Wahl des Bildausschnittes vorgegeben werden. Zudem ist es durch das omnidirektionale Blickfeld nicht möglich, dass sich Mitglieder der Crew oder auch die Regie in Sichtweite der Action aufhalten. Die anfallenden Datenmengen sind ebenfalls enorm: deshalb ist das ständige Austauschen von Speicherkarten am Set notwendig, hierbei wurden neben den Leuten am Set noch zusätzlich zwei Personen zur Übertragung und Sicherung der Daten abgestellt, um einen reibungslosen Ablauf zu ermöglichen.
In der Postproduktion selbst müssen zunächst die sechs überlappenden Perspektiven der sphärischen Kamera zu einem Bild kombiniert werden. Die Stitching Software erzeugt hierzu ein äquirektangulär projiziertes 360° Bild, das sich bei Wiedergabe zurück auf eine Kugel projizieren lässt. Durch die stark überlappenden Blickwinkel lässt sich jede Raumrichtung durch den Nodalpunkt von mindestens zwei Kameras betrachten, hierdurch wird das Erzeugen eines omnidirektionalen Stereobildes möglich, das dann als Bildpaar gespeichert wird. In einer Anaglyphansicht ist die Disparität anhand der Farbränder gut zu erkennen.
Durch eine ungünstige Wechselwirkung zwischen der vorhandenen LED-Beleuchtung und der Kamera kam es in einigen Bildbereichen zu Flackern. Wir beheben dies durch selektive zeitliche Glättung. Ein anderes unvermeidbares Problem birgt das Stativ der Kamera, welches im Bild am unteren Rand sichtbar ist. Durch händische Retusche musste hier der Boden an die jeweilige Lichtsituation angepasst, rekonstruiert und in das Video eingesetzt werden. In einzelnen Fällen tritt durch den Stitchingprozess zusätzlich eine vertikale Disparität zwischen den Stereobildern auf. Diese ließe sich durch eine Gitterentzerrung beheben. Weitere entstehende Artefakte wurden mit aus den Kameraufnahmen gewonnenen Bildmaterialien abgedeckt.
Für das Einarbeiten digitaler Animationen wurde der Innenraum des Theaters photogrammetrisch erfasst und rekonstruiert. Dadurch lassen sich die Kamera und animierte Elemente korrekt im Raum verorten, wie zum Beispiel unsere Laserstrahlen, die über den Boden fegen. Auch für digitale Set Erweiterungen waren wir uns nicht zu Schade, mithilfe eines Greenscreens ist in diese Szene ein komplett im Computer entstandenes stereoskopisches Szenenbild eingearbeitet. Unsere einleitende Kamerafahrt ist ebenfalls virtuell entstanden und bricht bewusst die Geometrie der Szene auf. Umgesetzt wurde sie durch das Projizieren sphärischer Bilder auf statische Kugeln und eine animierte virtuelle Kamera. Nach einer Farbkorrektur wurde das Filmmaterial als Echtzeitgrafik in der Unreal Engine zu einem interaktiven Programm für eine VR-Brille kombiniert, das es den Zuschauer:innen an einigen Stellen erlaubt, direkt in das Geschehen einzugreifen.