News

Spiele spielen – und dadurch später Leben retten?

Spiele spielen, um später besser operieren zu können? Studierende der Universität Bremen haben gemeinsam mit Forscherinnen und Forschern verschiedener Disziplinen ein Spiel entwickelt, mit dem eine Art „Wegweiser durch Töne“ trainiert wird. Dieser könnte eines Tages in der Medizin helfen.

Chirurginnen und Chirurgen erhalten heute ganz andere technische Unterstützung bei Operationen als noch vor 10 oder 20 Jahren. Bildgebende Verfahren beispielsweise ermöglichen eine räumliche Orientierung durch 3D-Computermodelle. Anhand des Modells wird der Eingriff geplant, zum Beispiel die optimale Einstichstelle, der beste Einstichwinkel und die optimale Stichtiefe einer Ablationsnadel, mit der ein Tumor zerstört werden soll. Während der OP wird dann die Spitze der chirurgischen Nadel verfolgt und als virtuelle Nadel im Computermodell angezeigt. Das hilft Operierenden anhand des Modells am Bildschirm, die Nadel wie geplant zu platzieren.

Der neue Ansatz ist ein akustischer

„Wir haben einen komplett anderen Ansatz – nämlich einen akustischen“, sagt Dr. Tim Ziemer. Der Musikwissenschaftler beschäftigt sich im Bremen Spatial Cognition Center (BSCC) der Universität Bremen mit der technischen Umsetzung der Psychoakustik in räumlichen Audiosystemen. Zusammen mit dem Kognitionswissenschaftler PD Dr. Holger Schultheis, der Psychologie-Doktorandin Tina Vajsbaher und elf Master-Studierenden entwickelte er ein Android- und Windows-Spiel, das bald auf weiteren Plattformen laufen soll. Kern ist ein fremdartiger Sound – die „Psychoakustische Sonifikation“. Der Begriff bezeichnet die Darstellung von Daten via Klang.

Die verschiedenen Merkmale dieses Klangs verraten den Spielenden eine Position im dreidimensionalen Raum. Im Laufe des Spiels erlernt man, die einzelnen Dimensionen des Klangs zu interpretieren: Wie weit links oder rechts, oben oder unten, vorne oder hinten ist das Ziel? Zudem lernen Spielende erst zwei und am Ende sogar alle drei Dimensionen so zu kombinieren, dass sie blind im dreidimensionalen Raum navigieren können.

Töne hören bei der OP

„Den Spielenden macht das Ganze hoffentlich einfach nur viel Spaß. Sie werden unterhalten, schulen ihr Gehör, versuchen Experten-Status zu erreichen und den High-Score zu knacken“, sagt Tim Ziemer. „Die Tatsache, dass sie durch ihr Spielen in Zukunft vielleicht sogar Leben retten können, ist ein zusätzlicher Antrieb.“ Denn die akustische Orientierung im Raum soll Chirurginnen und Chirurgen eines Tages ebenso bei der komplexen räumlichen Zielfindung bei minimalinvasiven Eingriffen helfen wie die Visualisierung.

Das Spiel mit seinen insgesamt fünf Abschnitten soll weitere Informationen darüber bringen, wie Menschen mit der psychoakustischen Sonifikation umgehen: „Auf welchem Niveau steigt der ungeübte Nutzer ein, und wie sehen Lernkurven aus? Wie schnell wird der Nutzer wie präzise, wie anfällig ist er für Verwechslungen der Achsen oder Richtungen, und wo liegt die Leistungs-Obergrenze?“, erläutert Tim Ziemer. „Wie lange setzen sich Menschen dem Klang aus? Machen Menschen systematische Fehler bei der Interpretation des Klangs, die wir durch ein optimiertes Sound-Design vermeiden können?“

Hören ist weniger anstrengend als Sehen 

Ziel dieser „spieleunterstützten Forschung“ ist es, dem „optischen Wegweiser“ einen „akustischen Wegweiser“ hinzuzufügen. „Doppelt hält besser“, erläutert Holger Schultheis. „Wir wollen die psychoakustische Sonifikation eines Tages bei komplizierten Operationen zusätzlich bereitstellen.“ Das Problem der bildgebenden Verfahren ist, dass die räumliche Orientierung sehr viele Hirnressourcen in Anspruch nimmt. Der Computerbildschirm zeigt die räumliche Konstellation nämlich nicht aus Sicht der Operierenden. Diese müssen die Grafik mental skalieren, rotieren und verschieben und insbesondere die Tiefendimension aus der zweidimensionalen Bildschirmdarstellung ableiten. „Das bedeutet viel Training, und Eingriffe können anstrengend sein. Der akustische Wegweiser verringert die Belastung der Chirurginnen und Chirurgen und kann dadurch die Patientensicherheit erhöhen“, so Schultheis. „Die Unterstützung durch unser Verfahren würde außerdem noch präzisere Eingriffe ermöglichen und die Operation von Tumoren erlauben, die gefährlich nahe an großen Arterien, wichtigen Nerven oder empfindlichen Membranen liegen.“

„Die Töne sagen den Chirurginnen und Chirurgen in Echtzeit und aus ihrer Perspektive, ob die Nadel nach links/rechts, oben/unten oder vor/zurück muss – und auch genau wie weit“, erläutert Tim Ziemer. „Das ist zu jeder Zeit und auf Wunsch im Bereich von Zehntelmillimetern möglich. Die psychoakustische Sonifikation ist eine Weltneuheit, für die wir bereits Preise bekommen haben.“ Das Team hat gezeigt, dass Menschen nach einem 30-Minuten-Training mit dem „Ton-Wegweiser“ ein vier Millimeter großes Ziel in einem 20-mal 20 Zentimeter großem Raum genauso zuverlässig finden wie mit visueller Hilfestellung.

Informationen aus dem Spiel wichtig für Weiterentwicklung

„Durch die Informationen, die wir mit dem Spielen außerhalb des OPs sammeln, können wir den Einsatz der Töne im OP optimieren. Im Moment bereiten wir auch Experimente in einer chirurgischen Umgebung vor“, so Holger Schultheis. „Aber an Experimenten sind nur einige Dutzend Teilnehmerinnen und Teilnehmer beteiligt, und sie dauern immer nur ein bis zwei Stunden. Um Aussagen über Langzeit-Trainingseffekte und eine größere Population zu treffen, brauchen wir die Daten aus dem Spiel.“

Neben der Chirurgie sind auch weitere Szenarien für den Einsatz der Psychoakustischen Sonifikation denkbar – beispielsweise das Steuern von Drohnen und Unterwasserrobotern oder das Monitoring von Patientendaten.


Weitere Informationen:

http://curat.informatik.uni-bremen.de/
Auf dieser Webseite finden sich weitere Informationen, Demo-Videos und der Download-Link zum Spiel
www.uni-bremen.de


Fragen beantworten: 

Dr. Tim Ziemer 
Universität Bremen
Bremen Spatial Cognition Center (BSCC)
Tel.: +49 421 218-64280
E-Mail: ziemeruni-bremen.de

PD Dr. Holger Schultheis
Universität Bremen
Bremen Spatial Cognition Center (BSCC) und Institut für Künstliche Intelligenz
Tel. +49 421 218-64292
E-Mail schulthinformatik.uni-bremen.de

Szene aus dem Spiel, das Masterstudierende gemeinsam mit Forschenden der Universität Bremen für die „Psychoakustische Sonifikation“ entwickelt haben.