von Lars-Andre Nießen
Hörbare Daten
Bei der Auswertung abstrakter Daten und ihrer Zusammenhänge hat sich über viele Jahre die Methode der Visualisierung, also der grafischen Aufbereitung in Form von z. B. Diagrammen, etabliert. Dabei ignorierte man lange die Tatsache, dass der Mensch ständig von Klängen umgeben ist und sich im Alltag an ihnen orientiert. Die Identifikation einiger Vorzüge des menschlichen Gehörs gegenüber dem Sehsinn sowie die Einsicht, dass die Überführung von Abstrakta in sinnlich Erfahrbares einen Erkenntnisgewinn herbeiführen kann, haben im Jahr 1992 Wissenschaftler_innen verschiedener Fachrichtungen im Rahmen der interdisziplinär ausgerichteten ersten internationalen Konferenz zum Auditory Display (ICAD) dazu veranlasst, eine Methode zu formulieren, nach der Datenbestände hörbar statt sichtbar gemacht werden sollten: die Sonifikation.
Das seitdem wachsende Interesse an der akustischen Datenanalyse ist keineswegs bloße Spielerei, sondern zeigt gewisse Vorteile gegenüber der Nutzung grafischer Repräsentationen gerade in Bereichen, in denen die Visualisierung an ihre Grenzen stößt. Die Sonifikation nutzt die menschliche Fähigkeit des holistischen, selektiven, lernfähigen, hochaufgelösten und omnidirektionalen Hörens, um mit hoher Empfindlichkeit verschiedene akustische Parameter, deren Veränderung und somit viele Informationen in kurzer Zeit aufnehmen und verarbeiten zu können. Sie eignet sich daher vor allem zur Analyse von Daten, die wegen ihrer Menge visuell schwer erfassbar sind und daher Zusammenhänge im umfangreichen Datensatz möglicherweise kaum erkennen lassen.
Je nach Einsatzbereich, Datengrundlage und beabsichtigtem Klangergebnis haben sich verschiedene Sonifikationstechniken etabliert. So bezeichnet man als Audifikation mehrere Verfahren, um die zeitliche Abfolge vieler Daten mit periodischen Komponenten direkt in Klang zu überführen (beispielsweise seismische oder neurophysiologische Daten mit Hilfe der Elektroenzephalografie). Sogenannte Auditory Icons und Earcons verklanglichen nicht direkt Daten, sondern ein datengetriebenes Ereignis, und werden daher als akustische Ereignismarker in der Mensch-Maschine-Interaktion eingesetzt. Bei der Parameter-Mapping-Sonifikation überträgt man Datenattribute auf klangliche Parameter (Tonhöhe, Tondauer, Rauschanteil usw.), sodass auch komplexe Datensätze akustisch dargestellt werden können. Die modellbasierte Sonifikation ermöglicht die explorative Analyse großer Datenmengen durch die Transformation des Datensatzes in ein virtuelles, interaktives Klangobjekt.
Frühe Sonifikationen
Was zunächst äußerst theoretisch anmuten mag, erfreut sich in den letzten Jahren der praktischen Erprobung in immer neuen Anwendungsbereichen. Obwohl die Wissenschaft erst seit einigen Jahren die Vorzüge der Sonifikation konsequent zu nutzen lernt, ist die Technik älter, als man es auf den ersten Blick vermuten würde. Ein frühes Beispiel der Datensonifikation präsentierte der Psychoakustiker Sheridan D. Speeth 1961 mit seinen „Seismometer Sounds“. Anhand dieser Methode zur Audifizierung und leichteren Analyse aufgezeichneter seismischer Aktivitäten machte sich Speeth die Ähnlichkeit von seismischen und akustischen Wellen zunutze, um damit natürliche Erdbeben von den Folgen nuklearer Tests unterscheiden zu können. Dies war vor allem im Kalten Krieg von Bedeutung, da die besagten Tests aufgrund des sonst anfallenden radioaktiven Niederschlags zumeist unterirdisch durchgeführt wurden und somit visuell schwer zu beobachten waren. Seismische Ereignisse werden bis heute – häufig in einer Mischung aus akustischer und optischer Datenschau – nach diesem Muster festgehalten.
Ein anderes frühes Beispiel der Sonifikation, das noch älter und ebenfalls mit Radioaktivität verbunden ist, ist das Geiger-Müller-Zählrohr, verkürzt Geigerzähler genannt. Das Zählrohr dient dem Aufspüren radioaktiver Strahlung, indem es die beim radioaktiven Zerfall auftretenden Gammastrahlen detektiert und in hörbare Impulsfolgen übersetzt.
Aktuellere Anwendungsbeispiele
Als akustische Form der Datenrepräsentation und damit als klingendes Pendant zur Visualisierung nehmen die Einsatzbereiche der Sonifikation stetig zu. Es ist unmöglich, hier einen Überblick über sämtliche Anwendungsgebiete zu geben. Dennoch sollen im Folgenden einige Bereiche exemplarisch benannt werden, in denen die Sonifikation intentional und analytisch eingesetzt wird, sowohl im Sinne einer eigenständigen Repräsentationstechnik als auch in Ergänzung diverser Visualisierungsstrategien. Im letzteren Fall entstehen hybride und multisensorische Repräsentationen.
Sonifikation setzt vor allem da an, wo sie wegen der Datenmenge eine sinnvolle Alternative bzw. Ergänzung zu visuellen Darstellungsformen liefern kann. Beispielsweise lassen sich Sportbewegungen sonifizieren, wodurch Sportler_innen akustische Rückmeldungen zur Ausführung zyklischer Bewegungen erhalten und ein Trainer die sportliche Aktivität besser überwachen kann. Dies eignet sich besonders für Sportarten, bei denen zur Analyse des Bewegungsablaufs viele verschiedene sensorisch erfasste Messgrößen möglichst detailliert registriert und dargestellt werden sollen. Entsprechendes geschieht etwa wie bei der Sonifikation von Ruderbewegungen oder in Situationen, in denen ein Außenstehender nur eingeschränkte Sicht auf das Geschehen hat, z. B. im Schwimmsport.
Solche und ähnliche Verfahren bieten sich ebenfalls für medizinische Rehabilitationsmaßnahmen an. Patient_innen vermögen Bewegungsabläufe neu zu erlernen und durch klangliches Feedback zu verbessern.
In Bereichen, in denen viele Daten anfallen, z. B. bei Big-Data-Analysen, kann die Sonifikation eine effiziente und effektive Möglichkeit zur explorativen Datenanalyse darstellen, die Zusammenhänge schnell erkennen lässt. In der Analyse von Logistikprozessen können durch Sonifikation zeitliche Korrelationen innerhalb der Datenstruktur besser abgebildet und verstanden werden.
Da das Bedienen komplexer Maschinen der multisensorischen Aufmerksamkeit bedarf, verwundert es nicht, dass auch die Industrie Sonifikationstechniken für sich entdeckt hat und überall dort einsetzt, wo das Gehör Informationen aufnehmen muss, die das Auge in einem gegebenen Moment nicht erfassen kann, weil die Aufmerksamkeit gerade anders ausgerichtet ist. Den meisten Nutzer_innen fällt dies kaum noch auf, zumal wir solche Geräusche in unseren Höralltag integriert haben. Insbesondere beim Autofahren findet man sich vielen Eindrücken ausgesetzt, die situativ auf verschiedene Sinne verteilt werden müssen. So gibt uns ein Blinkergeräusch Rückmeldung darüber, dass wir einen Abbiegevorgang ankündigen. Und moderne Parkassistenten geben die Entfernung zum nächsten Objekt in Gestalt einer klanglichen Impulskette wieder.
Die Sonifikation als Interaktionshilfe trifft man auch abseits massenindustrieller Kontexte an, z. B. bei der Interface-Entwicklung für die Blindenkommunikation. Techniken der Sonifikation ermöglichen sehbehinderten Menschen zudem die Ausübung von Sportarten, die zur präzisen Durchführung den Sehsinn erfordern würden, wie es etwa beim Biathlon der Fall ist. Durch eine Entfernungssonifikation erhalten blinde Sportler_innen am Schießstand Echtzeitinformationen über die Entfernung zur Zielscheibe.
Sonifikation im multisensorischen Kontext
Viele der genannten Anwendungsbeispiele zeigen, dass Sonifikationen häufig dann sinnvoll sind, wenn es darum geht, zahlreiche Informationen multisensorisch zu verarbeiten und dabei die Reizdichte auf einem Sinneskanal zu minimieren. Im Unterschied zum Visual Display funktioniert das Auditory Display nicht bereichsbeschränkt, sondern omnidirektional, was Klang zu einem geeigneten Träger wichtiger Zusatzinformationen macht. Hybride Darstellungsformen aus Klang und Grafik könnten hier den größten Nutzen bringen. Neurolog_innen der Duke University legen in einer aktuellen Studie nahe, dass sich das Gehör aus physiologischen und kognitiven Gründen in seiner Aufmerksamkeitslenkung am Sehsinn orientiert. Ohr und Auge sind demnach gewissermaßen neurologisch gekoppelt, weshalb sich das Trommelfell in Abhängigkeit von der Blickrichtung auszurichten scheint. Für die Zukunft von Sonifikationsverfahren könnte diese Erkenntnis bedeuten, dass nicht nur der zeitlich-klingenden Dimension, sondern vor allem der räumlichen Dimension steigende Bedeutung beigemessen werden müsste.
Verwendete Quelle:
The Sonification Handbook, hrsg. von Th. Hermann, A. Hunt und J. G. Neuhoff, Berlin 2011.