Sonifikation: Anwendungsfälle datenbasierter Verklanglichung

von Lars-Andre Nießen

Hörbare Daten

Bei der Auswertung abstrakter Daten und ihrer Zusammenhänge hat sich über viele Jahre die Methode der Visualisierung, also der grafischen Aufbereitung in Form von z. B. Diagrammen, etabliert. Dabei ignorierte man lange die Tatsache, dass der Mensch ständig von Klängen umgeben ist und sich im Alltag an ihnen orientiert. Die Identifikation einiger Vorzüge des menschlichen Gehörs gegenüber dem Sehsinn sowie die Einsicht, dass die Überführung von Abstrakta in sinnlich Erfahrbares einen Erkenntnisgewinn herbeiführen kann, haben im Jahr 1992 Wissenschaftler_innen verschiedener Fachrichtungen im Rahmen der interdisziplinär ausgerichteten ersten internationalen Konferenz zum Auditory Display (ICAD) dazu veranlasst, eine Methode zu formulieren, nach der Datenbestände hörbar statt sichtbar gemacht werden sollten: die Sonifikation.

Das seitdem wachsende Interesse an der akustischen Datenanalyse ist keineswegs bloße Spielerei, sondern zeigt gewisse Vorteile gegenüber der Nutzung grafischer Repräsentationen gerade in Bereichen, in denen die Visualisierung an ihre Grenzen stößt. Die Sonifikation nutzt die menschliche Fähigkeit des holistischen, selektiven, lernfähigen, hochaufgelösten und omnidirektionalen Hörens, um mit hoher Empfindlichkeit verschiedene akustische Parameter, deren Veränderung und somit viele Informationen in kurzer Zeit aufnehmen und verarbeiten zu können. Sie eignet sich daher vor allem zur Analyse von Daten, die wegen ihrer Menge visuell schwer erfassbar sind und daher Zusammenhänge im umfangreichen Datensatz möglicherweise kaum erkennen lassen.

Je nach Einsatzbereich, Datengrundlage und beabsichtigtem Klangergebnis haben sich verschiedene Sonifikationstechniken etabliert. So bezeichnet man als Audifikation mehrere Verfahren, um die zeitliche Abfolge vieler Daten mit periodischen Komponenten direkt in Klang zu überführen (beispielsweise seismische oder neurophysiologische Daten mit Hilfe der Elektroenzephalografie). Sogenannte Auditory Icons und Earcons verklanglichen nicht direkt Daten, sondern ein datengetriebenes Ereignis, und werden daher als akustische Ereignismarker in der Mensch-Maschine-Interaktion eingesetzt. Bei der Parameter-Mapping-Sonifikation überträgt man Datenattribute auf klangliche Parameter (Tonhöhe, Tondauer, Rauschanteil usw.), sodass auch komplexe Datensätze akustisch dargestellt werden können. Die modellbasierte Sonifikation ermöglicht die explorative Analyse großer Datenmengen durch die Transformation des Datensatzes in ein virtuelles, interaktives Klangobjekt.

Frühe Sonifikationen

Was zunächst äußerst theoretisch anmuten mag, erfreut sich in den letzten Jahren der praktischen Erprobung in immer neuen Anwendungsbereichen. Obwohl die Wissenschaft erst seit einigen Jahren die Vorzüge der Sonifikation konsequent zu nutzen lernt, ist die Technik älter, als man es auf den ersten Blick vermuten würde. Ein frühes Beispiel der Datensonifikation präsentierte der Psychoakustiker Sheridan D. Speeth 1961 mit seinen „Seismometer Sounds“. Anhand dieser Methode zur Audifizierung und leichteren Analyse aufgezeichneter seismischer Aktivitäten machte sich Speeth die Ähnlichkeit von seismischen und akustischen Wellen zunutze, um damit natürliche Erdbeben von den Folgen nuklearer Tests unterscheiden zu können. Dies war vor allem im Kalten Krieg von Bedeutung, da die besagten Tests aufgrund des sonst anfallenden radioaktiven Niederschlags zumeist unterirdisch durchgeführt wurden und somit visuell schwer zu beobachten waren. Seismische Ereignisse werden bis heute – häufig in einer Mischung aus akustischer und optischer Datenschau – nach diesem Muster festgehalten.

Ein anderes frühes Beispiel der Sonifikation, das noch älter und ebenfalls mit Radioaktivität verbunden ist, ist das Geiger-Müller-Zählrohr, verkürzt Geigerzähler genannt. Das Zählrohr dient dem Aufspüren radioaktiver Strahlung, indem es die beim radioaktiven Zerfall auftretenden Gammastrahlen detektiert und in hörbare Impulsfolgen übersetzt.

Aktuellere Anwendungsbeispiele

Als akustische Form der Datenrepräsentation und damit als klingendes Pendant zur Visualisierung nehmen die Einsatzbereiche der Sonifikation stetig zu. Es ist unmöglich, hier einen Überblick über sämtliche Anwendungsgebiete zu geben. Dennoch sollen im Folgenden einige Bereiche exemplarisch benannt werden, in denen die Sonifikation intentional und analytisch eingesetzt wird, sowohl im Sinne einer eigenständigen Repräsentationstechnik als auch in Ergänzung diverser Visualisierungsstrategien. Im letzteren Fall entstehen hybride und multisensorische Repräsentationen.

Sonifikation setzt vor allem da an, wo sie wegen der Datenmenge eine sinnvolle Alternative bzw. Ergänzung zu visuellen Darstellungsformen liefern kann. Beispielsweise lassen sich Sportbewegungen sonifizieren, wodurch Sportler_innen akustische Rückmeldungen zur Ausführung zyklischer Bewegungen erhalten und ein Trainer die sportliche Aktivität besser überwachen kann. Dies eignet sich besonders für Sportarten, bei denen zur Analyse des Bewegungsablaufs viele verschiedene sensorisch erfasste Messgrößen möglichst detailliert registriert und dargestellt werden sollen. Entsprechendes geschieht etwa wie bei der Sonifikation von Ruderbewegungen oder in Situationen, in denen ein Außenstehender nur eingeschränkte Sicht auf das Geschehen hat, z. B. im Schwimmsport.

Solche und ähnliche Verfahren bieten sich ebenfalls für medizinische Rehabilitationsmaßnahmen an. Patient_innen vermögen Bewegungsabläufe neu zu erlernen und durch klangliches Feedback zu verbessern.

In Bereichen, in denen viele Daten anfallen, z. B. bei Big-Data-Analysen, kann die Sonifikation eine effiziente und effektive Möglichkeit zur explorativen Datenanalyse darstellen, die Zusammenhänge schnell erkennen lässt. In der Analyse von Logistikprozessen können durch Sonifikation zeitliche Korrelationen innerhalb der Datenstruktur besser abgebildet und verstanden werden.

Da das Bedienen komplexer Maschinen der multisensorischen Aufmerksamkeit bedarf, verwundert es nicht, dass auch die Industrie Sonifikationstechniken für sich entdeckt hat und überall dort einsetzt, wo das Gehör Informationen aufnehmen muss, die das Auge in einem gegebenen Moment nicht erfassen kann, weil die Aufmerksamkeit gerade anders ausgerichtet ist. Den meisten Nutzer_innen fällt dies kaum noch auf, zumal wir solche Geräusche in unseren Höralltag integriert haben. Insbesondere beim Autofahren findet man sich vielen Eindrücken ausgesetzt, die situativ auf verschiedene Sinne verteilt werden müssen. So gibt uns ein Blinkergeräusch Rückmeldung darüber, dass wir einen Abbiegevorgang ankündigen. Und moderne Parkassistenten geben die Entfernung zum nächsten Objekt in Gestalt einer klanglichen Impulskette wieder.

Die Sonifikation als Interaktionshilfe trifft man auch abseits massenindustrieller Kontexte an, z. B. bei der Interface-Entwicklung für die Blindenkommunikation. Techniken der Sonifikation ermöglichen sehbehinderten Menschen zudem die Ausübung von Sportarten, die zur präzisen Durchführung den Sehsinn erfordern würden, wie es etwa beim Biathlon der Fall ist. Durch eine Entfernungssonifikation erhalten blinde Sportler_innen am Schießstand Echtzeitinformationen über die Entfernung zur Zielscheibe.

Sonifikation im multisensorischen Kontext

Viele der genannten Anwendungsbeispiele zeigen, dass Sonifikationen häufig dann sinnvoll sind, wenn es darum geht, zahlreiche Informationen multisensorisch zu verarbeiten und dabei die Reizdichte auf einem Sinneskanal zu minimieren. Im Unterschied zum Visual Display funktioniert das Auditory Display nicht bereichsbeschränkt, sondern omnidirektional, was Klang zu einem geeigneten Träger wichtiger Zusatzinformationen macht. Hybride Darstellungsformen aus Klang und Grafik könnten hier den größten Nutzen bringen. Neurolog_innen der Duke University legen in einer aktuellen Studie nahe, dass sich das Gehör aus physiologischen und kognitiven Gründen in seiner Aufmerksamkeitslenkung am Sehsinn orientiert. Ohr und Auge sind demnach gewissermaßen neurologisch gekoppelt, weshalb sich das Trommelfell in Abhängigkeit von der Blickrichtung auszurichten scheint. Für die Zukunft von Sonifikationsverfahren könnte diese Erkenntnis bedeuten, dass nicht nur der zeitlich-klingenden Dimension, sondern vor allem der räumlichen Dimension steigende Bedeutung beigemessen werden müsste.

Verwendete Quelle:
The Sonification Handbook, hrsg. von Th. Hermann, A. Hunt und J. G. Neuhoff, Berlin 2011.

Eine Ökologie des Akustischen

von Lars-Andre Nießen

Klang nimmt in der Kommunikation von Stimmung, Bedeutung und Kontext eine zentrale Rolle ein. Jeder dürfte es schon erlebt haben, dass uns sowohl in der Realität als auch in virtuellen Welten das Hören einer Soundscape, d. h. einer spezifisch beschaffenen akustischen Umgebung, gedanklich oder körperlich beeinflusst hat. Medial konstruierte Soundscapes, etwa in Filmen oder Hörspielen, vermögen uns in Windeseile an einen anderen Ort oder in eine andere Zeit zu versetzen. Phänomene wie diese können sowohl unbewusst als auch beim bewussten Hinhören auftreten. Die Bewusstwerdung von klingenden Umgebungen ist Dreh- und Angelpunkt der akustischen Ökologie. Angestoßen wurde diese Forschungsrichtung vom kanadischen Komponisten und emeritierten Professor für Kommunikationswissenschaft Raymond Murray Schafer in den späten 1960er-Jahren. Ausgehend von der Dominanz einer Kultur des Sehens formulierte er die Sorge um immer weiter abnehmende auditive Fertigkeiten. Eine Lösung für das Problem erblickte er darin, spezielle Formen der Gehörschulung im Curriculum von Bildungsinstitutionen zu verankern und so die sonologische Kompetenz und das Klangbewusstsein der Gesellschaft zu schärfen. An der Simon Fraser Universität in der Nähe Vancouvers initiierte Schafer das World Soundscape Project, ein international ausgerichtetes Forschungsvorhaben, das sich ganz der Dokumentation und Analyse akustischer Umwelten widmete. Entsprechende Ergebnisse machte er 1977 in seinem wohl bekanntesten Buch The Tuning of the World publik, in dem er unter anderem vorschlug, dass der Mensch seine akustischen Lebensräume gleich einer musikalischen Komposition behandeln und verantwortungsvoll gestalten sollte.

Die Soundscape und ihre Eigenschaften

Ist heutzutage von Soundscapes die Rede, sind damit zuweilen auf Naturaufnahmen basierende Klangkompositionen gemeint. Doch als Schafer den Begriff prägte, bezeichnete er damit viel grundlegender die Charakteristik bereits existenter tönender Umgebungen. Schafer und seine Mitarbeiter wollten die umgebungsbestimmenden Klangereignisse analytisch beschreiben und definierten dazu drei Klangtypen, die in einer Soundscape auftreten können: den Grundlaut (Keynote), den Signallaut (Sound signal) und den Orientierungslaut (Soundmark). Der erste Klangtypus bezeichnet konstant vorhandene Hintergrundgrundgeräusche in Analogie zur musiktheoretischen Funktion des Grundtons, welcher die Tonalität eines Stückes bestimmt. Der zweite Klangtypus umfasst vordergründige Geräusche, die die Aufmerksamkeit des Hörenden binden (z. B. Kirchenglocken und Sirenen). Orientierungslaute, die besonders für Gemeinschaften von Bedeutung und regionalspezifisch sind, wurden – in Anlehnung an Landmarken – Soundmarks genannt. Sie bilden den dritten Klangtypus (z. B. Glockenklänge von Weidetieren und traditionsbasierte Klänge). Das Zusammenspiel dieser Klangereignisse ermöglicht die Identifizierung einer ortsgebundenen Soundscape, ähnlich der Identifikation von Ortschaften anhand der lokalen Architektur oder Kleidung.

Seit Beginn der industriellen Revolution seien diese charakteristischen Soundscapes nach und nach in homogenem Lärm untergegangen. Der angenommene Kontrast zwischen präindustriellen und postindustriellen Soundscapes führte Schafer zu einer weiteren Unterscheidung, und zwar in Hi-Fi- und Lo-Fi-Soundscapes.

Hi-Fi-Soundscapes zeichnen sich ihm zufolge dadurch aus, dass Klänge einander wenig überlagern und einen distinkten Vorder- und Hintergrund bilden, wodurch sie als eigene Entitäten wahrgenommen werden können. Schafers Analysen, aber auch spätere Untersuchungen von Naturforschern wie Bernie Krause, deuten darauf hin, dass über längere Zeiträume Frequenznischen entstehen, die von unterschiedlichen Lebewesen besetzt werden. Durch urbane Expansion laufen Tierpopulationen Gefahr, vertrieben zu werden oder auszusterben, da der Stadtlärm die spektralen Nischen für Paarungsrufe sowie weitere Kommunikationslaute übertönt. Wegen der Distinktheit von Schallereignissen in Hi-Fi-Soundscapes lassen sich nahezu alle Frequenzen deutlich vernehmen. Der akustische Horizont ist vergleichsweise weit.

In Lo-Fi-Soundscapes hingegen finden sich viele Klänge maskiert, sodass wichtige akustische Informationen verloren gehen und sich dadurch der Hörraum stark verkleinert – bis hin zur vollständigen Isolation des Hörenden von seiner Umgebung. Im ungünstigsten Fall verwandelt sich alle akustische Information in Anti-Information, oder einfach gesagt: in Lärm. Während Hi-Fi-Soundscapes also bezüglich Lautstärke, Spektrum und Rhythmus ausgeglichen sind, errichten Lo-Fi-Soundscapes eine isolierende, vor allem tieffrequente Geräuschwand.

Bernie Krause über Soundscapes und Tierstimmen:

Die Soundscape in der Gesellschaft

Aus Sicht der akustischen Ökologie ist Klang Träger von Informationen und Mediator zwischen Individuum und Umwelt. Je weiter sich die Soundscapes industrialisierter Landstriche in Richtung Lo-Fi bewegen, desto weniger Bewusstsein gibt es für die klanglichen Details der Umgebungen und desto eindimensionaler erscheinen sie, bis sie sich nur noch entlang von Gegensatzpaaren wie laut – leise, wahrnehmbar – nicht wahrnehmbar oder gut – schlecht unterschieden lassen. Je mehr Natur der Industrialisierung und Urbanisierung zum Opfer fällt, desto weniger Bedeutungen halten akustische Umgebungen bereit. Somit nimmt es nicht wunder, dass Menschen beispielsweise mittels Doppelverglasung (bauliche Isolation) oder stationären und mobilen Musikabspielgeräten (Isolation durch Musik als virtuelle Soundscape) nach Wegen suchen, ihre akustische Umwelt zu kontrollieren und durch eigene Hi-Fi-Soundscapes zu ersetzen. Psychologisch gesehen eröffnet sich durch Musik, wenn man sie als eine Art Audioanalgetikum nutzt, die Möglichkeit zur Wiederherstellung von Emotionalität, da in Lo-Fi-Soundscapes die Gefühlsexpression gehemmt ist und stressbedingte Erkrankungen gefördert werden. Unter Verwendung technisch gespeicherter Musik wird die akustische Umgebung aber auch zur Ware. Angesichts der weltweiten Distribution von Sprache und Musik durch Sendeanstalten sprach Schafer von einem akustischen Imperialismus und erfand zur Beschreibung der Dissoziation zwischen ursprünglichem Klang und seiner Reproduktion den Begriff der Schizophonie. Befragungen zufolge seien technisch reproduzierte und verstärkte Klänge, gefolgt von Verkehrslärm, eine wesentliche Ursache für persönliche Frustration und Nachbarschaftsstreitigkeiten. Schafer nahm an, dass zwischen den Mitgliedern einer Gemeinschaft ein Lautstärkekampf herrscht, welcher wiederrum als Lärmgenerator wirkt, sodass die Umgebungslautstärke pro Jahr um 0,5 bis 1 dB steigt. Bis heute setzt sich Schafer für eine Verfeinerung der Hörfähigkeit sowie die Wertschätzung von Naturgeräuschen ein. Er plädiert für eine gezielte Gestaltung urbaner Lebensräume, die die Hörkompetenz von Individuen begünstigt und der lärmbedingten Energieverschwendung entgegenwirkt.

Murray Schafer über seine Tätigkeit als Komponist und die (akustische) Umwelt:

Verwendete Quellen:
– Kendall Wrightson, An Introduction to Acoustic Ecology, Soundscape: The Journal of Acoustic Ecology 1/1 (2000), S. 10-13.
– R. Murray Schafer, The Soundscape: Our Sonic Environment and the Tuning of the World, Rochester 1994 (1977).

Omnipräsound

von Janika Achenbach

Auf dem Weg nach Hause in der Straßenbahn. Gerade war Sound Studies-Kurs. 20 Minuten für mich, meine Kopfhörer und Spotify. Herrlich!

Später dann ist Filmeabend mit Mikrowellenpopcorn. Als ich die Steckdosenleiste anschalte, geht nicht nur die Mikrowelle an, sondern auch das Radio. Dort verspricht mir der Moderator den Sound der 80er, gefolgt von Sound of Silence und dem unverwechselbaren Sound eines Künstlers. Mit Popcorn bewaffnet also zurück Richtung Fernseher. „Oh, ProSieben“, bemerke ich die Senderauswahl meiner Mitbewohnerin, ohne das Bild gesehen zu haben. „Ja, da kommt ein guter Film.“ Gelangweilt von dem Film – es passiert aber auch wirklich nichts Spannendes, und alles dauert so lange! – widme ich mich meinem Handy und bemerke etwas später, dass Werbepause ist. Den Blick nicht vom Handy gewandt, weiß ich trotzdem, wo und was ich kaufen soll: ein Heimkino-Soundsystem oder einen Computer mit Intel-Prozessor. Brauche ich gerade nicht, danke. Im Abspann des Films tauchen Regisseur, Drehbuchautor und Sounddesigner auf. Im Vorspann zur folgenden Serie, die ich im Schlaf an ihrem Sound erkennen würde, höre ich die Handschrift des Sounddesigners ganz bewusst heraus.

Sound ist omnipräsent in unserem Alltag. Die Bedeutungen des Begriffes sind vielfältig. Je nach Kontext kann Sound verstanden werden als:

– Schall allgemein;
– Tonebene der elektronischen Medien;
– Geräusch- oder Klangeffekt;
– spezifisch gestalteter Klang einer Ware, eines Industrieprodukts, einer Marke oder eines Unternehmens;
– akustischer Indikator für technische Verfahrensweisen (z. B. Röhren-Sound);
– charakteristische Klangfarbe oder Klangqualität von Musik;
– qualitatives Bewertungskriterium akustischer Vorgänge überhaupt.

Es beschäftigen sich verschiedene Fachrichtungen mit Sounds, darunter Musikwissenschaft, Medienwissenschaft, Psychologie, Ökonomie oder die Ingenieurwissenschaften. In der Musikwissenschaft spielt die Diskussion des Sounds eine immer größere Rolle, seitdem elektronische Gestaltungsmöglichkeiten für Musik bestehen. Ursprünglich stammt der Begriff aus dem Bereich des Jazz und bezeichnet dort den ‚unnachahmlichen‘ Klang eines Künstlers. Auch im heutigen Sprechen über populäre Musik lässt sich diese Verwendungsweise genreübergreifend beobachten. Doch längst hat die Rede vom Sound das Feld der Musik verlassen. In der Medienwissenschaft findet eine Verschiebung von der rein visuellen zur audiovisuellen Betrachtungsebene statt. Bei der industriellen Fertigung verschiedenster Geräte sollen Sounds deren Benutzung vereinfachen und unterstützen. Das Akustikdesign ist darauf aus, die akustischen Eigenschaften eines Raumes zu verbessern und damit das Wohlbefinden beim Aufenthalt zu steigern, etwa in einem Geschäft zur Maximierung der Einkaufsbereitschaft. Ebenfalls psychologisch relevant sind die Auswirkungen gegenwärtiger Soundscapes – inklusive Lärm – auf den Menschen. Die Soundscape-Forschung bzw. akustische Ökologie ist ein transdisziplinäres Forschungsgebiet. Es befassen sich Geographen, Historiker, Soziologen, Psychologen, Pädagogen, Musikwissenschaftler, Akustiker, Kulturwissenschaftler, Ethnologen, Architekten, Stadtplaner und andere Fachleute mit Wandel, Gestaltung und Analyse der uns umgebenden akustischen Umwelten. Um die Lärmbelastung zu minimieren, gibt es Überlegungen, die vorhandenen Klänge gezielt zu gestaltet, keinen unnötigen Schall zu produzieren und die Lautstärke des vorhandenen Schalls einzudämmen.

Dem hörenden Menschen erscheint die auditive Wahrnehmung als grundlegend. Hören ist das Instrument räumlicher Ortung und Orientierung. Deswegen sind Warnvorrichtungen wie Sirenen und Martinshörner wichtige Mittel der akustischen Kommunikation. In diesem Zusammenhang ist es interessant, dass der Begriff des Hörens verschiedene Facetten aufweist. Allein der Unterschied zwischen Hören und Zuhören, obwohl lediglich durch zwei Buchstaben markiert, ist nicht marginal. Das konzentrierte, aktive Zuhören fällt vielen Menschen immer schwerer, was an den Sendeformen der Massenmedien liegen mag. Im Diskurs gibt es die Unterscheidung zwischen wertvollem Hören (gewolltem Zuhören) und nicht-wertvollem bzw. erzwungenem Hören. Musik ist immer und überall verfügbar und wird somit auch viel gehört. Doch geschieht dies häufig nicht aktiv, sondern eher nebenbei. Rundfunk, Fernsehen und andere Mediendispositive konstituieren einerseits unsere akustische Realität. Andererseits ermöglichen sie die Flucht aus ihr. So kann durch Kopfhörer ein privater akustischer Raum geschaffen werden, der die Außengeräusche weitgehend ausblendet.

Medienhistorisch betrachtet war das Radio soundmäßig lange Zeit weiter als das Fernsehen, zum Beispiel im Hinblick auf die Verwendung stereophoner Sendeformate. Seitdem Fernsehgeräte weitaus bessere Möglichkeiten der Klangwiedergabe besitzen, sind die Gestaltungsoptionen vielfältiger geworden. Heutzutage zeichnen Sounddesigner für die klangliche Einrichtung verschiedener Medien wie Hörspiel, Film oder Videospiel verantwortlich. Praktisch beschäftigen sie sich unter anderem mit der Frage, wie Sounds Emotionen beeinflussen, visuelle Reize verstärken oder auch abschwächen können.

Verwendete Quelle: Frank Schätzlein, Sound und Sounddesign in Medien und Forschung, in: H. Segeberg und F. Schätzlein (Hg.), Sound. Zur Technologie und Ästhetik des Akustischen in den Medien, Marburg 2005, S. 24-40.