Effekte auditiver Hinweisreize auf räumliche mentale Repräsentationen

Zusammenfassung

Die Embodied Cognition Theorie folgt der Annahme, dass die mentalen Repräsentationen von Objekten in engem Zusammenhang mit den damit verbundenen Interaktions- und Handlungsmöglichkeiten stehen. Die mentalen Repräsentationen eines Konzeptes sind demnach modalitätsspezifisch lokalisierbar und an körperliche Zustände gebunden. Unter der Annahme des Embodied Cognition Ansatzes sollte durch die sensomotorische Interaktion, wie beispielsweise der Blickrichtung, eine Wolke, die sich zumeist im oberen Sichtfeld befindet, auch mental oben repräsentiert werden, wobei eine Pfütze, die sich vornehmlich im unteren Bereich des Sichtfeldes befindet, eher unten repräsentiert werden sollte. In Experimenten wurden Kongruenzeffekte zwischen der prototypischen Lage eines Objektes und der Richtung der Antwortreaktion beobachtet. Aus neueren Untersuchungen lässt sich die Annahme ableiten, dass sich der mentale vertikale Raum durch räumlich variierte auditive Hinweisreize automatisch aktivieren lässt. Hierzu beurteilten die Probanden in der vorliegenden Untersuchung die Sinnhaftigkeit von dargebotenen Wörtern mit Bezug nach oben oder unten, nachdem ihnen ein auditiver Hinweisreiz von oben oder unten präsentiert wurde. Die vertikale Position der Hinweisreize und Wörter war für die Aufgabenbearbeitung irrelevant. Die Ergebnisse zeigen keinen Kongruenzeffekt und unterstützen damit nicht die Annahme, dass sich die automatische Aktivierung des mentalen vertikalen Raums bei der Wortverarbeitung durch die Darbietung auditiver Hinweisreize beeinflussen lässt.

Effekte auditiver Hinweisreize auf räumliche mentale Repräsentationen: Erfolgt die Aktivierung der vertikalen Raumdimension bei der Wortverarbeitung automatisch?

Wenn wir Wörter wie Hochhaus, Wolke oder Adler lesen, bei denen es sich um Objekte handelt, die sich üblicherweise im oberen Bereich unseres Blickfeldes befinden, stellen wir uns diese dann auch oben vor? Werden diese also im mentalen Raum oben repräsentiert? Und wie ist es bei Wörtern wie Pfütze, Stein und Keller, werden diese mental unten repräsentiert? Und falls ja, lässt sich die vertikale mentale Raumdimension automatisch aktivieren?

Wenn Individuen an ein vergangenes Erlebnis oder ein früher wahrgenommenes Objekt denken, entsteht häufig ein mentales Bild dieses Erlebnisses oder Objekts vor deren geistigem Auge. Bei der Frage, wie dieses Bild mental repräsentiert ist, spielt die Wahrnehmung des Objektes eine entscheidende Rolle. In klassischen Auffassungen von Kognition wird angenommen, dass mentale Repräsentationen abstrakt, arbiträr und amodal sind. Das Wissen eines Individuums setzt sich demnach aus einem Netzwerk abstrakter Konzepte in Form amodaler Propositionen zusammen (Collins & Quillian, 1969) und bildet eine Abbildung der Wirklichkeit. Wahrgenommene Konzepte werden unter dieser Hypothese in ihre einzelnen Komponenten zerlegt und bei deren mentaler Repräsentation wieder zusammengefügt. Es wird angenommen, dass die bewusste Perzeption abstrakte Codes erzeugt, die sich willkürlich auf die wahrgenommenen Konzepte beziehen, welche sie repräsentieren (Kintsch, 1988; Newell & Simon, 1988).

Im Laufe der vergangenen Jahre haben sich vermehrt Theorien durchgesetzt, sogenannte Embodied Cognition Ansätze, welche der Annahme folgen, dass die mentalen Repräsentationen von Objekten in engem Zusammenhang mit den damit verbundenen Interaktions- und Handlungsmöglichkeiten stehen und nicht ausschließlich durch amodale Codes erzeugt werden. Mentale Repräsentationen sind aus Sicht des Embodied Cognition Ansatzes weder abstrakt noch arbiträr, sondern modal: Nicht-symbolische (z.B. perzeptuelle) Repräsentationen und symbolische (z.B. linguistische) Repräsentationen haben das gleiche Format. Die mentalen Repräsentationen sind in gewisser Weise dem vorgestellten Gegenstand analog. Dadurch steht dieses Modell im Gegensatz zu klassischen Auffassungen von Kognition. In der Philosophie existieren diese Ansätze zur Verkörperlichung bereits sehr lange. Die Auffassung Descartes bezüglich der Existenz zweier miteinander in Wechselwirkung stehender, voneinander verschiedener „Substanzen“ – Geist und Materie – ist heute als Cartesianischer Dualismus bekannt (Descartes, 1986). Aktuelle Ansätze in der Psychologie gehen auf den der ökologischen Wahrnehmungspsychologie zurück (Gibson, 1979), welche die Trennung von Handlung und Wahrnehmung aufhebt und die Annahme vertritt, dass Wissen nicht nur in abstrakten amodalen Formen vorliegt. Wie Objekte oder Ereignisse repräsentiert sind, wird demnach durch sensomotorische Prozesse mediiert und hängt von den individuellen sensorischen Erfahrungen ab (Barsalou, 2008; Fischer & Zwaan, 2008; Glenberg, 1997; Wilson, 2002). Der Ansatz der Embodied Cognition basiert auf der Annahme der Verkörperlichung der wahrgenommenen Konzepte und ist der Auffassung, dass sensomotorische Erfahrungen die Kognitionen beeinflussen. Damit wird im Gegensatz zu klassischen Ansätzen die konzeptuelle Verarbeitung nicht mehr losgelöst von Wahrnehmung und Motorik betrachtet, vielmehr wird diesen eine zentrale Rolle der basalen Prozesse für höhere kognitive Funktionen zugesprochen.

Der Embodied Cognition Ansatz geht davon aus, dass die mentalen Repräsentationen von Objekten und Konzepten auf denjenigen Hirnzuständen beruhen, welche bereits während der Wahrnehmung oder Interaktion des Objektes oder Konzeptes mit dem Individuum aktiv waren (Barsalou, 1999). In seinem Ansatz der Perceptual Symbol Systems nimmt Barsalou (1999) an, dass die Interaktion zwischen Individuum und Umwelt zu einer Aktivierung der assoziierten sensomotorischen Areale im Gehirn führt und dieselben Hirnareale bei der Aktivierung der mentalen Repräsentation erneut aktiviert werden. Diese perzeptuellen Codes beinhalten somit individuelle handlungsbezogene Informationen über die jeweiligen Objekte und Konzepte. Barsalou (1999) betont die Interaktion eines Individuums mit der Umwelt und nimmt an, dass mentale Repräsentationen eines Konzepts modalitätsspezifisch lokalisierbar und „embodied“, d. h. an körperliche Zustände gebunden, sind. Eine Teilmenge der neuronalen und körperlichen Aktivierung wird demnach extrahiert und in Form von Symbolen oder Bildern im Gedächtnis gespeichert, welche eine Analogie der dazugehörigen Wahrnehmung darstellen und damit auch die räumliche Fundierung des Objektes oder Konzeptes widerspiegeln.

Die Theorien des Embodied Cognition Ansatzes und auch die der Perceptual Symbol Systems versuchen zu verstehen, wie Individuen Informationen aufnehmen und verarbeiten. Untersucht wurden diese Theorien bereits in unterschiedlichen Kontexten. So ist das Verständnis von Sprache eng mit den sensomotorischen Erfahrungen verknüpft, die Individuen mit dem entsprechenden Objekt oder Konzept haben. Zu diesen Erfahrungen gehört auch die räumliche Fundierung eines Objektes, also z.B. ob es üblicherweise im oberen oder unteren Sichtfeld auftaucht. Unter der Annahme des Embodied Cognition Ansatzes sollte durch die sensomotorische Erfahrung, wie beispielsweise der Blickrichtung, eine Wolke, die sich zumeist im oberen Sichtfeld befindet, auch mental oben repräsentiert werden, wobei eine Pfütze, die sich vornehmlich im unteren Bereich des Sichtfeldes befindet, eher unten repräsentiert werden sollte. Sowohl die klassischen Ansätze als auch der Embodied Cognition Ansatz nähern sich auf unterschiedliche Weise der Frage, was mentale Repräsentationen sind. Dabei betonen die klassischen Theorien die Amodalität der Repräsentationen, die losgelöst von der Inputmodalität betrachtet wird. Die abstrakten Konzepte werden zu übergreifenden Strukturen zusammengefasst und bilden Wissen. Aktuelle Ansätze der Kognitionswissenschaft und Linguistik sind von der Grundannahme geprägt, dass kognitive Repräsentationen und Prozesse nicht unabhängig von sensomotorischer Wahrnehmung betrachtet werden können. Kognition und Sprache sind demnach körperbasiert (embodied) und schließen die Interaktion von Individuum und Umwelt mit ein (Levinson, 1996). Belege hierfür lassen sich in einer Reihe von Untersuchungen finden. Die genauen kognitiven Vorgänge, die diesen Beobachtungen zu Grunde liegen, sind allerdings bislang nicht erschöpfend erforscht. In einer Studie von Zwaan und Yaxley (2003) wurde den Probanden jeweils ein Konzept in Form von zwei Begriffen präsentiert, die in einer eindeutigen semantischen Relation zueinander standen. Die Autoren nutzten dafür Nomen, deren räumlicher Bezug zueinander oben und unten war, wie: Ast – Stamm, Dachboden – Keller oder auch Nase – Mund. Wurden diese Wörter räumlich kompatibel dargestellt (z.B. das Wort Ast über dem Wort Stamm bezüglich des Konzeptes Baum), verringerte sich die Zeit, die die Probanden zur Identifikation des Konzeptes benötigten. Es zeigte sich ein räumlicher Kongruenzeffekt (Stroop, 1935). Dieses Ergebnis lässt darauf schließen, dass die Verarbeitung dieser Wörter auch den Informationsgehalt über deren typischen Ort oder deren räumliche Beziehung zu anderen Objekten einbezieht. Da die Probanden in der Untersuchung von Zwaan und Yaxley (2003) jedoch explizit auf das räumliche Verhältnis der Objekte zueinander hingewiesen wurden, lässt sich keine Aussage darüber treffen, ob bei der Verarbeitung der Wörter mit Bezug nach oben oder unten die jeweilige räumliche Dimension automatisch aktiviert wird.

In einer Studie von Estes, Verges und Barsalou (2008) identifizierten Probanden ein visuelles Ziel im oberen oder unteren Bereich eines Computermonitors nach der Darbietung eines Hinweisreizes in Form eines geschriebenen Wortes. Zu Beginn eines Durchgangs wurde den Probanden ein Kontextwort dargeboten (z.B. Cowboy) und direkt danach ein Hinweisreiz. Der Hinweisreiz beschrieb ein Objekt, welches sich üblicherweise im oberen oder unteren Bereich des Sichtfeldes befindet (z.B. Hut für oben oder Schuh für unten). Anschließend sollten die Probanden ein visuelles Ziel, welches oben oder unten auf dem Computermonitor dargeboten wurde, identifizieren. Allerdings zeigten sich in den Bedingungen, in denen die räumliche Dimension von Hinweisreiz und visuellem Ziel übereinstimmte, keine kürzeren, sondern längere Reaktionszeiten, was gegen eine reine Bottom-up-Verarbeitung sprechen kann. Die Autoren diskutierten als mögliche Erklärung einen Effekt der Inhibition of Return. Dieser Effekt zeichnet sich durch eine Verzögerung der Reaktionszeit aus, wenn ein Zielreiz an derselben räumlichen Position wie ein vorausgegangener Hinweisreiz identifiziert werden soll (Klein, 2000). Der Effekt der Inhibition of Return tritt nur auf, wenn der Hinweisreiz zwischen 300 und 500 Millisekunden vor dem zu identifizierenden Zielreiz auftaucht. Bei kürzeren zeitlichen Abständen verkürzt sich dagegen die Reaktionszeit.

Kürzere Reaktionszeiten in kompatiblen Bedingungen wurden in einer Studie von Borghi, Glenberg und Kaschak (2004) beobachtet. Die Probanden konnten schneller entscheiden, ob ein Zielreiz in Form eines geschriebenen Wortes (z.B. Kopf oder Fuß) zum oberen oder unteren Teil eines Objektes gehört, wenn die erforderliche Reaktion (Aufwärts- oder Abwärtsbewegung) kompatibel war. Die Probanden in dieser Studie wurden angewiesen, sich vor jedem Durchgang das Zielobjekt mental vorzustellen. Daher ist es nicht möglich zu beurteilen, ob die Aktivierung des vertikalen mentalen Raums durch automatische Prozesse erfolgte oder ob die Instruktion der Kontextbedingungen notwendige Voraussetzung zur Aktivierung ist (Anderson & Ortony, 1975; Tabossi & Johnson-Laird, 1980). Sollte dieser Kongruenzeffekt im Vorliegen einer automatischen Aktivierung begründet liegen, so müssten, ähnlich wie beim Simoneffekt (Simon & Rudell, 1967) eigentlich irrelevante Aspekte des Stimulus die Aufgabenbearbeitung beeinflussen.

Der Frage, ob diese Aktivierung automatisch erfolgt oder nur Ergebnis einer bewussten visuellen Vorstellung ist, gingen Lachmair, Dudschig, De Filippis, De la Vega und Kaup (2011) nach. Sie konnten zeigen, dass der mentale vertikale Raum durch visuelle Entscheidungsaufgaben aktiviert werden kann. Für ihre Studie nutzen sie Wörter, die Objekte aus dem oberen (z.B. Dach) oder unteren (z.B. Wurzel) Sichtfeld benannten. Die ausgewählten Nomen stammten aus dem Wortschatzportal der Universität Leipzig und waren hinsichtlich Frequenz und Wortlänge kontrolliert. Lachmair et al. (2011) führten vier Experimente durch. Das erste Experiment wurde als lexikalische Entscheidungsaufgabe verwirklicht. Dabei mussten die Probanden entscheiden, ob es sich bei einer dargebotenen Buchstabenkombination um ein Wort oder eine sinnlose Buchstabenkombination handelt (Nichtwort). Dafür wurden zusätzlich zum bereits vorhanden Wortmaterial Nichtwörter (z.B. Wazupi) generiert. Den Probanden wurden nun randomisiert Wörter aus dem oberen oder unteren Sichtfeld dargeboten sowie die Nichtwörter. Dabei hielten die Probanden ihre Hände in einer neutralen, mittigen Ausgangsposition und bewegten diese zum Betätigen der jeweiligen Antworttasten in der einen Bedingung bei der Darbietung eines Wortes nach oben und bei der Darbietung eines Nichtwortes nach unten. In der anderen Bedingung erfolgte die Bewegung umgekehrt. Dabei zeigte sich ein Kongruenzeffekt in den Reaktionszeiten der Probanden. Sie reagierten schneller mit einer Bewegung nach oben bei Wörtern mit Bezug nach oben und umgekehrt schneller auf Wörter mit Bezug nach unten mit einer Bewegung nach unten. Da sich daraus noch keine automatische Aktivierung der vertikalen Dimension ableiten lässt, ließen Lachmair et al. (2011) in einem zweiten Experiment die Probanden auf die Schriftfarbe der Wörter mit Bezug nach oben oder unten reagieren. Je nach Einfärbung der Schrift sollten die Probanden wieder mit einer Bewegung nach oben oder unten reagieren. Auch hier fand sich ein Kongruenzeffekt, welcher auf eine automatische Aktivierung schließen lässt. In einem dritten Experiment wiederholten sie das zweite Experiment und befragten die Probanden anschließend darüber, ob ihnen eine Systematik im Wortmaterial aufgefallen sei. Es gab keine Unterschiede zwischen Probanden, denen diese aufgefallen waren, und Probanden, denen diese nicht aufgefallen waren. Um auszuschließen, dass der Kongruenzeffekt ein Resultat der Auf- bzw. Abwärtsbewegung ist, führte die Arbeitsgruppe den Versuch erneut durch, diesmal allerdings ohne Antwortbewegung. Dabei hatten die Probanden ihre Hände bereits in den jeweiligen Antwortpositionen. Auch hier ergab sich ein Kongruenzeffekt. Aus den Untersuchungen lässt sich die Annahme ableiten, dass sich der mentale vertikale Raum automatisch aktivieren lässt.

Die Auswirkung linguistischer Reize auf nicht-linguistische Prozesse untersuchten Glenberg und Kaschak (2002). Die Probanden ihrer Studie sollten beurteilen, ob dargebotene Sätze semantisch sinnvoll waren oder nicht. Glenberg und Kaschak (2002) fanden eine Interaktion zwischen der Richtung der in den Sätzen beschriebenen Handlungen (z.B. You handed Courtney the notebook oder Courtney handed you the notebook) und der Richtung der Handbewegung (vom Körper weg oder zum Körper hin), die für die Eingabe der semantischen Beurteilung der Sätze erforderlich war. Es zeigten sich längere Reaktionszeiten, wenn die Richtung der beschriebenen Handlung und die Richtung der Handbewegung entgegengesetzt waren als wenn sie übereinstimmten. In der Untersuchung von Ulrich und Maienborn (2010) wurden den Probanden Sätze mit Zeitbezug (Vergangenheit oder Zukunft) präsentiert, die sie hinsichtlich ihrer Sinnhaftigkeit (sinnvoll oder sinnlos) beurteilen sollten. Grundlage der Untersuchung ist die Annahme eines mentalen Zeitstrahls mit dem Verlauf von links (Vergangenheit) nach rechts (Zukunft). Die zeitliche Information der Sätze war für die Bearbeitung der Aufgabe und somit für die Auswahl der Antwortreaktion irrelevant. Nur bei inhaltlich sinnvollen Sätzen sollten die Probanden durch betätigen einer Reaktionstaste (je nach Bedingung mit der rechten oder linken Hand) reagieren, bei sinnlosen Sätzen hingegen nicht. Durch das Tempus des Verbs, des Temporaladverbs oder beider referierte der Satz auf die Vergangenheit oder die Zukunft. Es zeigte sich ein Kongruenzeffekt. Die Probanden wiesen kürzere Reaktionszeiten mit links für vergangenheitsbezogene Sätze und mit rechts für Sätze mit Zukunftsbezug auf; umgekehrt für die entgegengesetzten Zuordnungen. Diese Untersuchungen stützen die Annahme, dass nicht-linguistische Prozesse sensomotorischer Art durch linguistische Verarbeitung gestützt werden. Sollten diese Effekte stabil sein, ist umgekehrt auch eine Unterstützung linguistischer Prozesse durch nicht-linguistische Reize denkbar.

Nach dem Embodied Cognition Ansatz aktivieren linguistische und nicht-linguistische Repräsentationen einander entsprechende Bereiche im Gehirn. Zu dieser mentalen Simulation gehört auch die prototypische Lokalisation des jeweiligen Objektes, also ob es sich üblicherweise im oberen Bereich des Sichtfeldes (z.B. Baumkrone) oder im unteren Bereich des Sichtfeldes befindet (z.B. Pfütze). Dabei werden sowohl bei der Wahrnehmung, als auch bei der mentalen Simulation eines Konzeptes ähnliche neuronale Pfade aktiviert (Barsalou, 1999). Neurophysiologische Vorgänge zeigen im fMRT große kortikale Überlappungen der jeweiligen Aktivierungsmuster bei der Darbietung von Objekten und deren Bezeichnung; beispielsweise des Bildes eines Vogels und des Wortes Vogel (Vandenberghe, Price, Wise, Josephs, & Frackowiak, 1996). Wenn ein Individuum das Wort Vogel wahrnimmt, richtet sich der Fokus seiner Aufmerksamkeit automatisch nach oben (Estes et al., 2008). Doch nicht nur richtungsweisende Hinweisreize, auch semantische Hinweisreize können den Fokus der Aufmerksamkeit in eine bestimmte Richtung lenken. So konnten Šetić und Domijan (2007) zeigen, dass das Wort Adler schneller erkannt wird, wenn es (kongruent zur prototypischen Lokalisation) räumlich oben dargeboten wird und das Wort Schlange schneller, wenn es räumlich unten dargeboten wird. Durch die Präsentation eines Wortes werden neuronale Pfade aktiviert, die auf Erfahrungen basieren und Kontextinformationen enthalten, zu denen auch die Lage des Objektes im visuellen Sichtfeld (z.B. oben oder unten) zählt (Barsalou, 1999). Die Annahme, dass Zeichen und auch Wörter in der Lage sind Aufmerksamkeit zu lenken, konnte bereits durch zahlreiche Untersuchungen untermauert werden. So wird die Aufmerksamkeit häufig durch in der Umgebung vorkommende Hinweisreize geleitet (Berger, Henik, & Rafal, 2005). Wenn ein nach links deutender Pfeil dargeboten wird (Posner, Snyder, & Davidson, 1980) das Wort Links (Hommel, Pratt, Colzato, & Godijn, 2001) ein Kopf, der nach links schaut (Langton, Watt, & Bruce, 2000) oder Augen, die nach links blicken (Kingstone, Smilek, Ristic, Friesen, & Eastwood, 2003), werden anschließend visuelle Zielreize auf der linken Seite schneller identifiziert als auf der rechten. Die Frage, ob auditive oder visuelle Hinweisreize einen Vorteil für die Identifikation eines auditiven oder visuellen Zielreizes bieten, untersuchten Buchtel und Butter (1988). In ihrer Studie wurden die Auswirkungen visueller und auditiver räumlicher Hinweisreize (von rechts und links) auf visuelle und auditive räumliche Zielreize (von rechts und links) in Abhängigkeit unterschiedlicher Zeitintervalle zwischen Darbietung des Hinweis- und des Zielreizes untersucht (dieses Intervall wird als Stimulus Onset Asynchrony, kurz SOA, bezeichnet). Die SOA wurde zwischen 50 und 1000 ms variiert. Dies zeigte einen Kongruenzeffekt. Die Reaktionszeiten der Probanden waren kürzer, wenn einem Zielreiz von rechts ein Hinweisreiz von rechts vorausgegangen war ebenso, wenn Hinweis- und Zielreiz von links präsentiert wurden; sowohl in visuellen und auditiven, als auch in intermodalen Bedingungen. Die Reaktionszeiten in den Bedingungen mit auditiven Hinweisreizen waren kürzer, als in Bedingungen mit visuellen Hinweisreizen. Auch reagierten die Probanden schneller, wenn die SOA zwischen Hinweisreiz und Target bei 400 ms lag, als wenn sie länger oder kürzer war.

[...]