VISUELLE WAHRNEHMUNG REALITÄTSNAHER SZENEN

Leitung

Dr. rer. nat. Jochem Rieger


Mitarbeiter

Dipl. Psych. Franziska Schalk (Doktorandin)
Cand. Ing. Markus Heiny (studentische Hilfskraft)
Alexander Biess (studentische Hilfskraft)
Cand. Inf. Christioph Reichert (Diplomand)

web: http://www-e.uni-magdeburg.de/rieger/

web:1st Workshop on Brain Machine Interfacing


Kooperationen

Prof. Dr. Ivan Bodis-Wollner (SUNY-Downstate, NY, USA)
Prof. Dr. Karl Gegenfurtner (Justus-Liebig Universität, Giessen)
Prof. Dr. Christoph Hermann (Otto-von-Guericke Universität, Psychologie)
Prof. Dr. Konrad Kruse (Otto-von-Guericke Universtität, Informatik)
Prof. Dr. Bob Fendrich (Klink für Universitätsklinik für Neurologie, and RA at Dartmouth College, NH, USA)
PD Dr. Jens-Max Hopf (Universitätsklinik für Neurologie)
Dr. Tömme Noesselt (Universitätsklinik für Neurologie)
PD Dr. Mircea Ariel Schoenfeld (Universitätsklinik für Neurologie)


Thema

Die visuelle Wahrnehmung ist im Alltag der wichtigste Informationskanal, der es uns ermöglicht, uns in der Umwelt zu orientieren. Wir untersuchen die neuronalen Grundlagen der Erkennung von Objekten in natürlichen Szenen, wie das visuelle System die dazu notwendigen Informationen aus natürlichen Szenen gewinnt und welche Regelmäßigkeiten in der Umwelt dabei ausgenutzt werden. Dazu benutzen wir Magnetenzephalographie (MEG) und funktionelle Kernspintomographie (fMRI) zur Messung der Gehirnaktivität und messen die Augenbewegungen. Wir kombinieren diese Messungen mit psychophysischen Methoden, um gleichzeitig die Wahrnehmung der Probanden zu erfassen. Unter natürlichen Sehbedingungen führen wir, meist unbewusst, pro Sekunde etwa drei ballistische Augenbewegungen (Sakkaden) aus. Diese Augenbewegungen ermöglichen die schnelle Abtastung der Umgebung. Sie haben aber auch zur Konsequenz, dass sich das Bild auf der Netzhaut in kurzen Zeitabständen drastisch ändert. Dennoch kann das menschliche Gehirn die Netzhautbilder in sehr kurzer Zeit analysieren und gar die nächste Sakkade auf einen sinnvollen Ort in der Umgebung lenken. Wir untersuchten daher diese Dynamik der schnellen Szenenverarbeitung, indem wir Probanden kurz die Fotos natürlicher Szenen (z.B. Menschen auf einer Straße, ein Reh auf einem Feld) und kurz darauf einen bedeutungslosen Störreiz zeigten. Der Reiz ersetzte, analog zur Situation in einer Sakkade, das retinale Bild in der Szene. Uns interessierte dabei die Frage, wie schnell im Gehirn die Inhalte der Szenen extrahiert werden können und wie sich die neuronale Repräsentation des Szeneninhaltes in der neuronalen Verarbeitung ändert. Wir konnten zeigen, dass nur 24 ms ungestörter kortikaler Verarbeitung ausreichten, um die Szenen überzufällig häufig wieder zu erkennen. Nach nur 90 ms ungestörter Verarbeitung wurden die Fotos sicher erkannt. Die parallel mit MEG aufgezeichnete Gehirnaktivität zeigte, dass neue visuelle Informationen, die innerhalb der ersten 160 ms nach dem Erscheinen der Szene auf die Retina projiziert werden, die kortikale Verarbeitung der Szene stören. Das legt die Vermutung nahe, dass die retinotope Szenenrepräsentation in frühen visuellen Arealen in diesem Zeitraum in eine abstraktere Repräsentation überführt wurde, deren weitere Verarbeitung unanfällig gegen bedeutungslose Störreize war (Rieger et al., 2005).

Weiterhin haben wir untersucht (Rieger et al., in Begutachtung), welche Informationen nach so kurzen Verarbeitungsdauern verfügbar sind. Wir fanden heraus, dass nach nur 50 ms Informationen über physikalische (Orientierung) und kognitive (Bedeutung) Merkmale eines Objektes und seiner räumlichen Umgebung vorlagen. Nach ähnlich kurzer Zeit beginnt auch Farbe eine Rolle zu spielen (Gegenfurtner und Rieger, 2001, Current Biology). Bisher geht man meist davon aus, dass die Informationen aus dem Objektkontext die Objekterkennung beschleunigen, z.B. ein Wald als Hintergrund erleichtert die Wahrnehmung eines Rehs (z.B. Bar, 2004, Nature Neuroscience Reviews). Gemäß unserer Daten trifft dies jedoch nur zu, wenn der Szenenkontext schon kurz vor dem Objekt gezeigt wird. Weiterhin fanden wir heraus, dass ein natürlicher Kontext die Objekterkennung kaum verzögert, nur um etwa 10 ms, wenn Objekt und Kontext gleichzeitig präsentiert werden. . Das zeigt, dass das visuelle System Objekte sehr effizient aus dem Hintergrund heraussegmentieren kann. Diese Ergebnisse könnten als Unterstützung für die Hypothese gewertet werden, dass sich das visuelle System evolutionär so entwickelt hat, dass es Eigenheiten in der räumlichen Struktur natürlicher Szenen ausnutzt, um die Szenen sehr sparsam und effizient zu kodieren (Ohlshausen & Field, 1996, Nature). Diese Theorie sagt jedoch Änderungen der Gehirnaktivität in der frühen Szenenverarbeitung vorher, wenn der Szeneninhalt auf eine Weise unkenntlich gemacht wird, die den Bildkontrast erhält (durch Randomisierung der Fourier-Phasen). Dies konnte weder in MEG, noch in fMRI-Messungen bestätigt werden. Unsere Untersuchungen legen nahe, dass im menschlichen Gehirn Strategien zur schnellen Objekterkennung benutzt werden, die die Erkennung anhand einfacher, typischer Objektmerkmale ermöglichen und die Selektion der für die Objekterkennung adäquaten räumlichen Skalen ermöglicht, in denen Konflikte zwischen räumlich benachbarten Objekten minimiert werden (Hopf et al., 2006). In einem weiteren Projekt untersuchen wir die dynamische Integration von Objekten aus Teilen, die sukzessive einem schmalen Fenster präsentiert werden. Diese Situation entsteht z.B. wenn sich ein Objekt hinter anderen Objekten bewegt, zwischen denen eine schmale Lücke die Sicht erlaubt. In solch einer Situation kann es vorkommen, dass das Objekt zu keinem Zeitpunkt als Ganzes sichtbar ist. Trotzdem wird es als ein sich kohärentes, sich bewegendes Objekt wahrgenommen und seine globale Form erkannt. Helmholtz (1867) und später andere formulierten die Hypothese, dass wir einem solchermaßen verdeckten Objekt mit den Augen folgen und dabei zeitlich nacheinander sichtbare Abschnitte des Objekts auf benachbarte Bereiche der Retina abbilden, wodurch das Objekt auf die Retina ?gemalt? wird. Wir testen diese Theorie, indem wir die Situation, dass sich ein Objekt hinter einem schmalen Fenster bewegt, auf einem Bildschirm simulierten. Mögliche Effekte der Augenbewegungen kompensierten wir, indem wir das Fenster im gleichen Maß verschoben, wie die Probanden die Augen bewegten. Dadurch wird das Fenster stets an derselben Stelle der Netzhaut abgebildet und das ?Malen? des Objekts auf die Retina verhindert. Entgegen der Vorhersage der Theorie von Helmholtz wird das Objekt unter diesen Umständen immer noch gut erkannt (Fendrich et al., 2005). Weiterhin konnten wir zeigen, dass kein Zusammenhang zwischen Augenbewegungen und den wahrgenommenen räumlichen Verzerrungen der Objektform bestehen. Auch die Breite des simultan wahrgenommenen Objektausschnittes wurde nur geringfügig durch Augenbewegungen beeinflusst. Diese Untersuchungen legen nahe, dass die dynamische Integration der zeitlich sukzessiv sichtbaren Objektelemente postretinal, im Gehirn, stattfindet. Zusammen mit der Arbeitsgruppe Magnetresonanztomographie haben wir kürzlich einen video-basierten, MR-kompatiblen Eye-Tracker entwickelt, der die Untersuchung der neuronalen Grundlagen der dynamischen Objektintegration ermöglicht (Kanowski et al. 2006).

Die meisten unserer dargestellten Untersuchungen wurden im Rahmen des DFG-Projekts ?Neuronale Prozesse der räumlichen Informationsverarbeitung in natürlichen Szenen? durchgeführt, das im Jahr 2006 um weitere drei Jahre verlängert wurde.



Abb. 1: Natürliche Szenen mit zunehmender Phasenrandomisierung verursachen die selbe Aktivierung in frühen visuellen Arealen wie intakte Szenen, obwohl der Szeneninhalt unkenntlich wird. Oben: Evozierte magnetische Felder zeigen erst nach 100ms Verarbeitungsunterschiede an. Unterschiede in frühen visuellen Arealen sollten zeitlich früher auftreten. Unten: Die fMRI-BOLD-Antwort im ersten kortikalen visuellen Areal (V1) ändert sich nicht, wenn der Bildinhalt unkenntlich wird.