MULTIMODALE AUFMERKSAMKEIT UND INTEGRATION
Leitung

Dr. rer. nat. Tömme Noesselt

Mitarbeiter

Dipl. Psych. Daniel Bergmann (Doktorand)
Dipl. Psych. Sascha Tyll (Doktorand)
Dipl. Psych. Maria Hake
Cand. Psych. Bjoern Bonath
Cand. Psych. Kati Schwieckert
Cand. Psych. Victoria Kwiatkowski
web: http://neuro2.med.uni-magdeburg.de/~audiovis/


Kooperationen

Jon Driver, Institute for Cognitive Neurosciences, University College London, UK
Charles Spence, Department of Psychology, Oxford University, UK
Steve A. Hillyard, Department of Neurosciences, University of California San Diego, USA


Thema

Ereignisse in der realen Welt außerhalb von Verhaltenslaboren werden oft mit mehr als nur einer Sinnesmodalität wahrgenommen. Unser Gehirn muss also diese Sinneseindrücke integrieren, um eine kohärente Wahrnehmung unserer Umwelt zu ermöglichen. Unsere Arbeitsgruppe untersucht die neuronalen Grundlagen der perzeptuellen und kognitiven Prozesse, die der Konstruktion eines singulären multisensorischen bewussten Erleben zugrunde liegen:

Jeder Mensch hat schon viele Situationen erlebt, in denen eine solche multisensorische Integration entweder funktionierte oder nicht zustande kam. Bei fast keinem Gewitter integrieren wir Blitz und Donner zu einem kohärenten Objekt, also zwei Auswirkungen, die durch ein Ereignis verursacht werden. Der entscheidende Faktor für das Ausbleiben einer multimodalen Integration sind hier die unterschiedlichen Laufzeiten von Licht und Schall (300 000 m/s vs. 300 m/s). Ergebnisse aus Verhaltensstudien deuten darauf hin, dass der "Horizont" wahrgenommener Gleichzeitigkeit bei Entfernungen von mehr als 10 Metern zwischen Stimulusquelle und Beobachtenden verschwindet. Jedoch spielen nicht nur zeitliche, sondern auch räumliche Faktoren eine wesentliche Rolle bei der multisensorischen Integration. Der Bauchrednereffekt verdeutlicht den Einfluss dieser räumlichen Faktoren: Immer wenn ein Ton zeitgleich mit einem Lichtblitz auftritt, jedoch von einer anderen Stelle, so nehmen wir die Tonquelle zum Licht hin verschoben wahr. Dieses Phänomenon ist die Grundlage des Bauchrednertricks, bei dem wir eine Puppe sprechen hören.

Doch auch wenn die multisensorische Integration zu Illusionen führen kann, so bietet sie einen Informationsgewinn, der unsere Wahrnehmung subjektiv sicherer macht. Auch diese subjektive Sicherheit mag in einer veränderten Wahrnehmung ihren Ausdruck finden. So erscheint ein Lichtblitz heller, wenn er zusammen mit einem Ton dargeboten wird. Der diesem Phänomen zugrundeliegende Mechanismus, also eine Veränderung der Wahrnehmungsfähigkeit bzw. eine Modulation höherer kognitiver Prozesse, ist jedoch noch nicht erforscht.

Unsere Arbeitsgruppe untersucht die neuronalen Korrelate von räumlichen, zeitlichen und Stimulusintensitätsbezogenen Effekten multisensorischer Integration. Dabei wird hauptsächlich funktionelle Magnetresonanztomographie (fMRI) und Magnetenzephalographie (MEG) eingesetzt. Im Folgenden sollen zwei fMRT-Studien unserer Arbeitsgruppe dargestellt werden, die paradigmatisch für die Untersuchung multisensorischer Integration sind. Dabei wurden in der ersten Studie einfache Reize (Lichtblitze and Töne) benutzt. Zunächst identifizierten wir die kortikalen Areale, die sowohl durch visuelle als auch und auditorische Stimuli moduliert wurden, also potentielle multisensorische Areale, da hier visuelle und auditorische Informationen repräsentiert sind. Diese Areale befanden sich in präfrontalen und posterior parietalen Arealen sowie dem superioren temporalen Sulcus (STS). Nur innerhalb des multisensorischen STS fanden wir eine erhöhte neuronale Anwort für synchron präsentierte audiovisuelle Stimuli relativ zu asynchron präsentierten.

bild

Abb. 1: Modulationen innerhalb des multisensorischen STS durch audiovisuelle Zeitbezüge: (a) Lichtblitze und Töne (b) komplexe Sprachstimuli

Außerdem zeigten primär unisensorische Areale (calcarinerSulcus (V1) und Heschls Gyrus (A1) eine erhöhte neuronale Antwort für synchron präsentierte audiovisuelle Stimuli. In einer zweiten Studie untersuchten wir, ob diese Modulation auch zu beobachten wäre, wenn wir anstelle von einfachen Stimuli komplexe Sprachstimuli benutzen. Wieder fanden wir eine Modulation im multisensorischen STS. Zudem konnte diese Modulation in Regionen separiert werden, die bevorzugt auf Stimuli reagieren, in denen der visuelle Stimulus vor dem auditorischen lag und vice versa. Diese Regionen waren einer Region benachbart, in dem audiovisuelle Synchronizität verarbeitet wurde. Alles in allem sprechen diese Ergebnisse dafür, dass Zeitstrukturen im posterioren STS verarbeitet werden. Dabei entspricht das Muster der Zeitstrukturrepräsentationen einem "Zeitstrahl".

Doch nicht nur zeitliche Nähe, sondern auch stimulusintensitätsbasierte Beziehungen können die audiovisuelle Integration modulieren. In einer dritten Studie manipulierten wir die Salienz visueller Stimuli (niedrig vs. hochkontrastig). Die Probanden mussten entscheiden, ob ein visueller Reiz präsentiert wurde und die Hälfte der visuelen Stimuli wurden zusammen mit einem Ton präsentiert. Unsere Verhaltensergebnisse zeigen, dass sich die perzeptuelle Sensitivität erhöhte, wenn die Niedrigkontraststimuli zusammen mit Tönen dargeboten wurden, während dieser Effekt bei Hochkontraststimuli nicht zu beobachten war. Unsere Ergebnisse passen zu einem Modell Bayesscher Inferenzen bei multisensorischer Integration, d.h. ,dass Zusatzinformationen nur dann verhaltensrelevant werden, wenn die Informationen einer primär attendierten Modalität nicht ausreichen, um eine Entscheidung zu treffen. In Übereinstimmung mit unseren behaviouralen Ergebnissen fanden wir eine Modulation in frühen visuellen und auditorischen Arealen sowie eine Modulation innerhalb des multisensorischen STS.

bild


Abb. 2:Modulationen innerhalb des multisensorischen STS durch visuelle Niedrigkontraststimuli kombiniert mit Tönen: (a) Überlappung visueller und auditorischer Repräsentationen. (b) Modulation innerhalb dieses potentiell multisensorischen Areals durch Niedrigkontraststimuli kombiniert mit Tönen.

Die Ergebnisse unserer bisherigen Studien deuten darauf hin, dass der STS an der Integration von auditorischen und visuellen Informationen zu einem kohärenten Perzept beteiligt ist. Zudem zeigt Beteiligung "unisensorischer" Areale, dass dieser multisensorische Objektkonstruktionsprozess auch Areale moduliert, die auschließlich durch eine Sinnesmodalität gereizt werden. Daher stellen diese Befunde klassische Theorien der Parzellierung des menschlichen Neokortex in niedrige unisensorische Areale und hohe Assoziationsgebiete in Frage. Die wahrscheinlichste Erklärung unserer bisherigen Befunde ist, dass multisensorische Integration in multisensorischen Arealen (wie dem STS) entsteht und diese Infromation dann in unimodale Areale rückprojeziert wird, um die Salienz der zum mutlisensorischen Objekt gehörigen unimodalen Stimuluseigenschaften zu erhöhen.