Future Presence  - 6DoF-Orchester-Aufnahmen

Aufnahmen des Mendelsohn Orchestra im Meistersaal in Berlin für VR-Projekte

Autor und Fotos: Peter Kaminski

Im Juli 2022 fand im Meistersaal in Berlin eine 6DoF-Aufnahme des Mahler Chamber Orchestra für eine Virtual-Reality-Produktion statt, über die wir hier berichten möchten. Gespielt wurde Mendelssohn "Der Sommernachtstraum". Das Ganze dient dem Orchester sowohl als Promotion-Werkzeug , es ist aber sicherlich aber auch als ein "Research & Developement Projekt" zu verstehen, da man an vielen Stellen letztendlich auch technisches Neuland betritt.

Zunächst einmal zum Orchester, dem Mahler Chamber Orchestra (MCO), welches 1997 gegründet wurde und Musiker aus 27 verschiedenen Ländern beherbergt und sehr viele Konzerte gibt, mit einem Schwerpunkt in Europa aber auch weltweit. In der Pandemi-Zeit blieben Auftrittsmöglichkeiten aus und man begann sich auch mit anderen Themen zu beschäftigen, auch mit dem Thema, wie man sich selber darstellen kann und wie man neue Medien dazu nutzen kann. Es entstand in diesem Zusammenhang eine Zusammenarbeit mit Henrik Oppermann, der als Tonmeister schon an der Umsetzung einer ganzen Reihe von 3D-Audio und VR-Projekten beteiligt war. Er ist der Gründer von Schallgeber und auch der Head of Sound von Sennheiser's Ambeo Immersive Audio Team. Der erste Kontakt zwischen dem MCO und ihm fand 2019 statt.

Man entwickelte die Idee ein Orchester in 6 DoF für die Verwendung in einer VR-Anwendung aufzunehmen. Als erstes wurde ein Mozart Quintet in einer Berliner Kirche aufgenommen, um erste gemeinsame Erfahrungen zu machen. Nach diesem Projekt "Future Presence I" folge dann eine Aufnahme der Komposition "The Unanswered Question" von Charles Ives. Dann im Juli 2022 folge dass die Aufnahme für "Future Presence III" mit dem Sommernachtstraum von Mendelssohn in Berlin im Meistersaal.

6 Degrees of Freedom

Viele werden sich jetzt die Frage stellen was denn 6 Degrees of Freedom (Abk.: 6DoF) zu bedeuten hat. Dazu muss man etwas ausholen. Die Darbietung von VR-Projekten erfolgt in der Regel in dem der Zuschauer eine "VR-Brille" trägt um die visuellen Inhalte wahrzunehmen und ein Kopfhörer für die Audiowiedergabe - in dem Fall eben binaural. Der Begriff 6DoF kommt eigentlich aus dem Bereich der Robotik und wurde in der VR-Welt übernommen, da man es hier eigentlich mit einem identischem Problem zu tun hat, nämlich die Bewegung von Objekten in einem Raum. Bei der Robotik ist dies zum Beispiel ein beweglicher Arm, bei VR eben der Zuschauer, der sich in einem Raum bewegt und dabei virtuelle Eindrücke zugespielt bekommt, die der jeweiligen Position im virtuellen Raum entsprechen.

Aber es ist nicht nur die Position im Raum, sondern auch die Neigung des Kopfes. Es gibt also die drei Achsen X (rechts/links), Y (oben/unten) und Z (vorne/hinten) für die Raumkoordinaten und um diese Achsen herum jeweils eine Rollbewegung (Pitch, Yaw, Roll). Damit lässt sich also im Falle der VR-Anwendung die Position des Kopfes im realen, bzw. virtuellen Raum beschreiben sowie seine Neigung um die drei Raumachsen.

Die Anwendung beim Audio ist so, dass das Audio entsprechend vorbereitet und über eine VR Engine dann abgespielt und in Bezug auf die aktuellen 6DoF-Koordinaten ich Echtzeit gerendert wird, um den entsprechenden Audioeindruck synchron zum visuellen Eindruck zu erzeugen. Dieses ist natürlich eine sehr vereinfachte Darstellung des Workflows.

Aufnahmekonzept

Die Aufnahmen für das Projekt Future Presence III wurden in dem Meistersaal in der Nähe des Potsdamer Platzes durchgeführt - in dem Gebäude wo auch die Emil Berliner Studios und das legendäre Hansa Studio untergebracht sind. Das Gebäude wurde 1913 gebaut und der Konzertsaal ist direkt Bestandteil des Gebäudes gewesen. Meistersaal übrigens deswegen weil Gesellen nach Bestandener Prüfung hier ihre Meisterbriefe erhalten haben. Im Krieg wurde der Saal nicht beschädigt. 1976 richteten die Hansa Studios in dem Gebäude fünf Studios ein und der Meistersaal wurde zum Studio 2. Ab 2009 erfolgte ein Umbau und seit dem wird er primär als Event Location genutzt - aber eben auch für Aufnahmen.  Die Größe des Saals beträgt 266 qm.

Das Projekt "Future Presence" ist nicht das erste 6DoF-Projekt mit Orchester. Diese gab es auch schon zuvor, aber meistens mit mehreren Ambisonics-Mikrofonen dritter Ordnung im Orchester. Bei Future Presence hat man aber den Anspruch einer deutlich höheren Raumauflösung. Der Zuhörer sollte im virtuellen Raum auch sehr nah an das Instrument heran können und auch dann noch einen authentischen und detailierten Klang wahrnehmen.

So fällt die Mikrofonierung deutlich größer aus, als bei bisherigen 6DoF-Orchesteraufnahmen. Es kamen bei den Aufnahmen ausschließlich Mikrofone von Sennheiser und Neumann zum Einsatz. Im Orchester wurde mit zwei bis drei Meter Abstand 22 MKH 800 Twins eingesetzt. Diese haben den Vorteil, dass beide Kapseln ja getrennt herausgeführt werden und sich so auch die Richtcharakteristik des Mikrofons an der Position noch in der Post-Production geändert werden kann. Weiter wurden 48 der neuen Neumann MCM-Instrumentenmikrofone eingesetzt, die mit den entsprechenden Instrumentenklemmen an den Instrumenten befestigt wurden. Bei einigen, wenigen Instrumenten wurden die MCMs auf Mikrofonständer eingesetzt, aber alle eben mit einer sehr nahen Mikrofonierung zum Instrument.

An der Percussion wurden noch Neumann KM 184 genutzt und an einigen Positionen statt MKH 800 noch fünf MKH 8040. Da diese klanglich sehr an die Twins angelehnt sind, konnte man diese problemlos an einigen Stellen für die Twins nutzen, denn soviele MKH800 Twin standen für die AUfnahmen eben nicht zur Verfügung.   

Es wurde auch ein klassisches Hauptmikrofon mit zwei MKH 800 Twin (s. Abb. oben) sowie zwei Raummikrofone mit MKH 8040 aufgenommen - insgesamt also über 80 Mikrofone und wegen der Twins über 110 Audiokanäle. Die Hauptmikrofone hatten primär die Aufgabe dem Tonmeister einen klanglichen Gesamteindruck des Orchesters zu vermitteln.

Ein auf jeden Fall zu erwähnender Vorteil eines solchen Aufbau ist, dass man aus dem Material diverse Zielformate über ein entsprechendes Rendering bedienen kann, von Stereo über 3D-Audio, also Binaural oder auch zum Bespiel Dolby Atmos, bis hin zu VR.  

Als Audiointerfaces kamen zwei Merging Technologies Horus mit je 48 Preamp/Inputs sowie ein Hapi mit 16 Eingängen zum Einsatz, die im Saal aufgebaut wurden. Dazu wurde ein Anubis von Merging Technologies noch für das Monitoring genutzt. Über ein Ravenna-Netzwerk wurden die Interfaces an zwei Reaper-DAW-Plätze (Main und Backup) angebunden (s. Abb. oben). 

Post-Production und Aufführung

Zunächst einmal zum grundsätzlichen Workflow. Mit der Reapter DAW wurden die Aufnahmen durchgeführt aber keine wesentlichen Bearbeitungen vollzogen. Als Gaming Engine wird Unitiy genutzt. Damit simuliert man den virtuellen Raum aus den Video und Audiodaten. Hier spricht man daher besser von Caturing als klassischerweise von "Aufnahmen". Um die Audiodaten für die Gaming Engine entsprechend vorzubereiten nutzt man VR Audio Engines, bzw. Spatializer, in diesem Fall Rapture3D von Blue Rippel Sound, bzw. DearVR UNITY von Dear Reality.

Der 3D-Raum wird in einer GUI nachgebaut. Hier wird auch das Abstrahlverhalten der Instrumente für jedes einzelne Instrument beschrieben. Die beiden Beispiele (Übersicht oben und Abstrahlverhalten eines einzelnen Instrumentes in der Abbildung unten) stammen noch von dem Quintet, also der ersten Future Presence Aufnahme.

Sowohl bei Reaper als auch bei den VR Audio Engines und Unitiy werden immer die selben Filter für die Binauralisierung eingesetzt, so dass während des ganzen Workflows vom Recording bis zur VR-Simulation mit Unity immer gleiche binaurale Abhörbedingungen gegeben sind.

Interview mit Henrik Oppermann

Wir hatten auch die Gelegenheit vor Ort und auch noch nach den Aufnahmen mit Henrik Oppermann zu sprechen, besonders was das Konzept und die Post-Production anging.

proaudio.de: Du hast Dich bei den Aufnahmen ja bewußt für Einzelmikrofone und nicht für Ambisonics-Mikrofone entschieden und auch die Mikrofonanordnung kann man ja nur bedingt als klassische Aufstellung bezeichnen. Kannst Du dazu noch etwas näheres sagen?

Henrik Oppermann: Wir nutzen quasi zwei Layer eines mit den Neumann MCM um die nahe Distanz und die Details abzubilden und eine zweite Ebene, die sich eher an einem klassischem Recording-Setup orientiert mit MKH 800 Twins. Mit traditionellen Aufnahmemethoden ist es sehr schwer diese Distanzmodellierung für VR-Anwendung zu erzielen. Man hat es hier mit einer Reihe von neuen Regel zu tun. Man muss da über viele Dingen nachdenken. Beim Quintet hatte jeder der fünf Musiker ein MKH 800 Twin Mikrofon. Der große Vorteil ist hierbei, das man durch die zwei Kanäle der beiden Kapseln die Richtcharakteristik auch nachträglich in der Bearbeitung ändern kann. Dies kann man in der Game Engine nutzen um die wahrgenommene Distanz zu modellieren. So kann man in der wahrgenommenen Nähe eine Nierenrichtcharakteristik nutzen und wenn der virtuelle Abstand zur Klangquelle größer wird auf langsam Kugelrichcharakteristik überblenden. Dieses Morphing wird in der Gaming Engine "Unity" durchgeführt

proaudio.de: Bei 3D-Aufnahmen denkt man natürlich auch direkt über an eine Höhenstaffelung. Ihr habt aber nicht Mikrofone in unterschiedlichen Höhen für eine Staffelung eingesetzt. Wir simuliert ihr denn dies?

Henrik Oppermann: Das ergibt sich aus allen anderen Mikrofonen im Zusammenspiel. Es ist so dass man wenn man durch den virtuellen Raum wandert der Zuhörer im Wesentlichen die einzelnen Instrumente an seiner Position wahrnimmt. Der Höhen-Layer ergibt sich quasi aus den Einzelmikrofonen. Wenn man in die Einzelmikrofone an den Instrumenten reinhört, als den am Instrument befestigten Neumann MCMs, dann hat man schon einen guten Fokus auf dieses Instrument und man hört gar nicht mehr so viel vom gesamten Orchester. Die hohe Separation erreicht man auch dadurch das wir deutloich näher an die Instrumente herangegangen sind als man das normalerweise bei Orchesteraufnahmen tun würde.

proaudio.de: Für dies Post-Production ist sicherlich ein Leistungsfähiger Rechner erforderlich oder? Die Datenmengen und Datenraten sind ja doch bei der Anzahl von Kanälen extrem hoch. 

Henrik Oppermann: Ja da lässt in der Tat nur ein hochperfomanter Rechner einsetzen. Ich verwende einen PC mit 3,9 MHz CPU-Takt, 64 logischen Cores und eine AMD Radeon RX6900 XT Grafikkarte. Auch für die Wiedergabe wird ein leistungsfähiger Labtop eingesetzt aber die hohe Anforderung ist hier eher im Videobereich zu suchen als im Audio. Daher werden die Die Musiker auch in der VR-Umgebung lediglich abstrakt dargestellt um die Rechenleistung in Grenzen zu halten. Bei dem Orchester - also dem Future Presence III - wird die Abstraktion noch größer ausfallen, da die Datenmengen ja auch noch wesentlich größer sind.

Fazit

Geplant ist es, die Aufführung, wenn man die Umsetzung der VR-Simulation mal so bezeichnen will, im April 2023 im Radialsystem in Berlin stattfinden zu lassen. Es stellt sich natürlich aucn noch die Frage wen man denn mit einem solchen Projekt erreichen möchte. Neben der Promotion spielt sicherlich auch ein Ausbildungsaspekt eine Rolle, zum Beispiel für angehende Orchestermusiker. Aber auch andere haben so einmal die Chance ein Orchester aus einer ganz anderen Perspektive wahrzunehmen, eben mal nicht von der normalen Konzertbesucherposition. Natürlich hat man nicht den Anspruch den gewohnten Hörprozess und die gewohnte Hörposition mit VR zu den Akten zu legen. Es ist mehr ein ergänzendes Wahrnehmungs- und Erlebnissangebot.

www.mahlerchamber.com
www.schallgeber.com