3D-Audio in Games: Produzent und Sounddesigner Andreas Kolinski im Interview
von Marc Bohn, Artikel aus dem Archiv
Anzeige
Andreas Kolinski ist seit 2002 Dozent am Institut für Musik und Medien der Robert Schumann Hochschule in Düsseldorf, wo er in seinem Lehrauftrag im Bereich Medienkomposition u.a. Game Music und digitales Film-Sounddesign/Klangsynthesen unterrichtet. 2006 war er bereits an der Produktion für das PC-Game Gothic 3 beteiligt, wo mit den Bochumer Symphonikern ein echtes Orchester aufgenommen wurde. Als Produzent und Sounddesigner arbeitete er für diverse Spieleentwickler wie Crytek, Deck 13 und JoWooD. Dabei sind Trailer-Musiken, adaptive Komposition sowie die Integration der aktuellen 3D-Audio-Technologien fester Bestandteil seiner Produktionen und Lehre. Im Interview erzählt Andreas, wie die Integration von Audiomaterial in eine Game Engine abläuft und über die Chance von 3D Audio für die Games- und Musikproduktion.
Anzeige
Aktuell arbeitet Andreas als Beta-Tester zusammen mit Patrick Arnold und Philipp Reimann (KlangKönner Düsseldorf) und dem Startup dearVR [Sound&Recording 09/2017], das gerade von Sennheiser übernommen wurde, an der Implementation von 3D-Audio in der Audiomiddleware FMOD. Hier beschäftigt er sich hauptsächlich mit den Fragen: »Wie unterscheidet sich der kompositorische Prozess von einer linearen Filmkomposition zu einer adaptiven Game-Komposition« und »Welche Auswirkung hat die Gestaltung von 3D Audio im Raum auf den Spieler?«
Musikproduktion in 3D-Audio für Kopfhörer – Hans-Martin Buff – Wochenrückblick #47
Andreas, 3D-Audio in Games; Wo stehen wir da gerade bei den gefühlten 20 Standards?
AndreasKolinski: Für mich ist es schön zu sehen, dass eine früher entwickelte tontechnische Technologie (erste Binaurale Produktion bereits 1891 Paris/Frankreich), durch aktuelle Entwicklungen von VR-Brillen in der Gamesindustrie wieder eine so große Aufmerksamkeit im Audiobereich bekommt. Nun haben zumindest die Gamer wieder Kopfhörer auf und man kann ihnen ihre virtuelle 3D-Welt auch auf der Audioebene immersiv gestalten.
Dabei wird nicht nur binaural aufgenommen, sondern man macht sich mit speziellen Plug-ins daran, die Produktion im Nachhinein binaural zu gestalten und nennt das dann u.a. 3D-Audio. Das finde ich witzig und passt total in unsere Zeit.
Wo wir heute stehen, haben wir u.a. Microsoft und Sony mit ihrer Entwicklung von Oculus und Co zu verdanken, wo die Leute jetzt eine VR-Brille und quasi als Beiwerk meist preiswerte Kopfhörer aufhaben. Das führt zu einer Art Renaissance einer Audio-Technologie, die jetzt Gottseidank wieder da ist und den Profi braucht und nicht von jedem Mal eben schnell umgesetzt werden kann!
Mit dem Plug-in 3D audio reality engine von dearVR können Audiospuren in einer dreidimensionalen Ebene positioniert und automatisiert werden.
Es ist schön, dass man jetzt als Komponist bereits im Kompositionsprozess mit den entsprechenden Plug-ins über binaurales Panning mit dem Arrangement experimentieren kann. Das geht schon z.B. in Logic X mit den DAW eigenen Plug-ins. Einen Schritt weiter wird man in Zukunft mit dem Plug-in von dearVR gehen können. Hier ist neben der bereits vorhanden Audio-Unit und VST-Version bald auch eine Integration in die Game Audio Engine FMOD erhältlich.
Mit FMOD kann ich als Komponist die Funktionsweise meiner adaptiv komponierten Musik in der Game Engine vorab überprüfen. Adaptiv bedeutet hierbei, dass sich die Musik an das Verhalten des Spielers anpasst, seine Handlungen kommentiert und ihn zu bestimmten Aktionen effektiv hinführt. Eventuelle dramaturgische Schwächen in der Komposition können so leicht aufgedeckt werden. Ich muss nicht warten, bis der Game-Entwickler die Musiksteuerung in die Game Engine implementiert hat.
Dabei auch noch direkt binaural in Echtzeit zu prüfen, ob meine Melodien oder gar mein Sounddesign an der richtigen Stelle am Kopf des Spielers vorbeifliegen, ist schon sehr komfortabel. Das öffnet natürlich den kreativen Prozess, bringt neue Ideen und macht sie für den Komponisten und Sounddesigner überprüfbar.
Leider sind nicht alle Games entsprechend budgetiert. Gerade kleinere Spielstudios scheuen oft die Kosten, manche wissen gar nicht um die Möglichkeiten. Hier kann man als informierter Komponist häufig für Aufklärung sorgen.
Es gibt noch ein großes Potenzial, 3DAudio in Games weiterzuentwickeln. Aber oft haben andere Gewerke im Game Priorität. Das führende Gamestudio für 3D-Audio hat sich noch nicht wirklich herauskristallisiert. Auf der letzten Digility 2017 in Köln rief man auf den Podiumsdiskussionen die Independent-Szene auf, hier kreativ zu werden. Vielleicht eine Chance. Die Technologie wäre da.
Mit einem binauralen Plug-in kann ich also in meiner Mischung in der DAW einen Sound so platzieren und automatisieren, dass ich mit Kopfhörer beispielsweise das Gefühl habe, er fliegt über meinen Kopf hinweg?
Im Prinzip ja, wenn das dramaturgisch Sinn macht. Das Plug-in von dearVR stellt dir mit seiner Oberfläche (GUI) einen virtuellen Raum zur Verfügung, den man zunächst selbst in seiner Größe definieren kann. Auf der x-, y-, und z-Achse des Raumes kannst du deinen Sound dann platzieren. Das Audiosignal sollte idealerweise mono und unverhallt sein, aber auch enge Stereobilder funktionieren ganz gut. Die Bewegung des Sounds kann dann über die Automation der DAW realisiert werden. Dabei sind freie und kreisförmige Bahnen möglich.
Die realistische Wahrnehmung der Position hängt auch sehr stark von den einstellbaren Reflektionen der virtuellen Wände und der Auswahl der implementierten Impulsantworten ab. Hier kann man aus verschiedenen, sehr gut klingenden Räumen im Plug-in auswählen. Du kannst auch sagen, dass beispielsweise die Rückwand des Raumes nur zwei oder drei Meter zum Objekt entfernt ist. Das hat natürlich auch Einfluss auf den Klang, gerade bei der Gestaltung von komplexen, realistischen Bewegungspfaden.
Das macht natürlich grundsätzlich auch bei der Erstellung von binauralen Mischungen von Musik, die nicht ins Game wandert, richtig Spaß! Das sollte jeder mal selbst ausprobieren.
Die Audio Game Engine FMOD mit horizontalem und vertikalem Ansatz
Will man seine Arbeit direkt im Game überprüfen, wäre das mit der Unity-3D-Version des Plug-ins möglich. Falls das Spiel in Unitiy 3D erstellt wurde. Ist übrigens wie auch FMOD in der einfachen Version als Freeware downloadbar. Da kann dann tatsächlich der Sounddesigner mit dem Plug-in im Game den Sound steuern und seine Flugbahnen überprüfen.
Das Schöne am dearVR Plug-in ist die Interaktivität, es ist nicht statisch und dabei fällt der gute Klang des Plug-ins besonders ins Ohr. Spätestens bei der Automatisierung spielt man ja die ganze Zeit an der Phasenlage herum, und da ist es natürlich wichtig, dass man keine klangeinfärbenden Artefakte bekommt, die den Genuss der Automationsfahrt beeinträchtigen können. Das macht das Plug-in richtig gut, zumal wenn man eine geeignete Impulsantwort ausgewählt hat und die Raum-Reflektionen gut einstellt.
Wird denn schon vor der Produktion festgelegt, dass es eine Stereo- und eine 3DVersion geben soll?
Das ist natürlich vom immer Projekt abhängig. Wenn man an einem Tripple A-Game arbeitet, das am Rande der Technologie-Grenze designet werden soll, versucht man alles mitzunehmen. Du wirst immer zwei Versionen brauchen, der Aufwand ist dann natürlich viel höher. Man kann natürlich versuchen, aus der binauralen Version Stereo zu machen, aber das bringt eigentlich nichts. Ich vergleiche das gerne mit einer 5.1-Filmmischung, die man mit einem Plug-in auf 2.0 runterbricht. Das klingt anders, als wenn du 5.1 nochmal vernünftig auf Stereo abmischt. Aktuell werden hauptsächlich die Konsolen-Spiele so aufwändig produziert.
Wo siehst du das Thema 3D-Audio in fünf Jahren? Glaubst du, dass es wohnzimmertauglich wird?
Ich habe bei 3D-Audio eine ähnliche Hoffnung wie damals beim Aufkommen der DVD-Video und DVD-Audio, also bei Surround fürs Wohnzimmer, als es hieß: Da hätten die Profis endlich mal wieder ein neues Audio-Format mit dem die Branche aus dem ›Tal‹ herauskommen könnte. Hier ist es vielleicht ähnlich, aber dann sprechen wir nicht mehr nur über binaurales Produzieren mit Kopfhörern, sondern auch über z.B. Ambisonic. Immersive Audio bzw. objektorientierte Wiedergabesysteme sind hier die Stichworte. Es gibt seit einiger Zeit interessante Entwicklungen z.B. am IRCAM in Paris, wo sinfonische Räume mit Ambisonic-Systemen ausgestattet wurde. Die Installationen, die es dort bisher gibt, haben um die 60 Lautsprecher, die über eine Software punkt- und phasengenau angesteuert werden müssen. Das Fraunhofer Institut arbeitet mit seinem Spatial-Sound Wave ebenfalls an einem System, das mit weniger Speakern auskommt.
Ich bin sehr gespannt, was da gerade auch im Consumer-Bereich noch kommt. Das wäre wichtig, um letztendlich auch einen Bedarf an immersiven Audio beim Nicht-Gamer zu wecken.
Ich glaube nicht, dass sich alle Musikliebhaber auf Dauer Kopfhörer aufsetzen werden, um Musik binaural zu erleben. Die Erfahrung wie nachhaltig das ist, haben wir bereits machen dürfen. Klangräume mit Immersive-Audio fähigen Beschallungssystemen wie Konzertsäle, Theater, Kinos etc. sind in Zukunft mit Sicherheit spannender.
