Anwendung neuronaler Netzwerke und Matrixspeicher zur Erklärung von Umlernvorgängen während des Tragens einer Umkehrbrille

Inhaltsverzeichnis

Einleitung

1. Die Kohler´schen Versuche mit Umkehrbrillen
1.1. Einführung
1.2. Zusammenfassung der Untersuchungsergebnisse
1.3. Bedeutung der Kohler´schen Brillenversuche für die moderne Wahrnehmungsforschung

2. Aufbau und Funktionsweise des visuellen Systems
2.1. Die Stationen der visuellen Verarbeitung
2.1.1. Die funktionelle Organisation retinaler Ganglienzellen
2.1.2. Die Sehbahn und ihre Projektionen
2.1.3. Die Signalverarbeitung im Corpus Geniculatum Laterale
2.1.4. Die Signalverarbeitung im visuellen Kortex
2.1.5. Die Verarbeitung in den höheren visuellen Arealen
2.2. Ontogenetische Entwicklung und Plastizität im visuellen System
2.3. Objektrepräsentationen und Objekterkennung im visuellen System
2.3.1. Moderne Theorien des Sehens
2.3.1.1. Eine Arbeitshypothese: »Sehen als Zuordnen von internen Repräsentationen zu Objekten der Außenwelt«

3. Computersimulierte neuronale Netzwerke
3.1. Einleitung
3.2. Vergleich zwischen natürlichen und künstlichen neuronalen Netzwerken
3.3. Geschichtlicher Überblick der Entwicklung neuronaler Netzwerke
3.4. Struktur und Funktionsweise mehrschichtiger neuronaler Netze
3.4.1. Allgemeiner Aufbau
3.4.2. Der Lernvorgang in einem neuronalen Netzwerk
3.4.3. Der Informationsverarbeitungsvorgang in einem Prozessorelement
3.5. Das Backpropagation-Netzwerk
3.5.1. Aufbau eines Backpropagation-Netzwerks
3.5.2. Die generalisierte Delta - Lernregel
3.5.3. Backpropagation-Netzwerke als vereinfachte Modelle für menschliche Wahrnehmungssysteme
3.6. Interne Repräsentationen in neuronalen Netzwerken und Matrixspeichern
3.6.1. Interne Repräsentationen in neuronalen Netzwerken
3.6.2. Interne Repräsentationen in Matrixspeichern
3.6.2.1. Mathematischer Formalismus und Funktionsweise von Matrixspeichern
3.6.2.2. Entwicklung eines musterassoziierenden Matrixspeichers
3.6.2.3. Matrixspeicher als Modelle für die Großhirnrinde
3.6.2.3.1. Das Assoziativ-Speichermodell der Hirnrinde von Günther Palm
3.6.2.3.2. Anwendung des Palm´schen Assoziativspeichermodells
3.6.3. Zusammenfassung

4. Die Computer-Simulation des neuronalen Umlernvorgangs während des Tragens einer Umkehrbrille
4.1. Einleitung
4.2. Beschreibung des Seh- und Umlernvorgangs durch einen musterassoziierenden Matrixspeicher
4.2.1. Der musterassoziierende Matrixspeicher M.A.M.
4.2.2. Durchführung der Simulation
4.2.2.1. Zuordnung interner Repräsentationen zu aufrechten Objekten
4.2.2.2. Zuordnung interner Repräsentationen zu verkehrten Objekten
4.3. Zusammenfassung und Diskussion der Assoziativspeicher-Simulationsergebnisse
4.4. Simulation des neuronalen Umlernvorgangs durch ein Backpropagation-Netzwerk
4.4.1. Erzeugung des Backpropagation-Netzwerks
4.4.2. Training des Netzwerks durch die Lernmusterdateien für aufrechte und verkehrte Muster
4.4.3. Analyse der synaptischen Gewichtungen
4.4.3.1. Untersuchungsfrage
4.4.3.2. Erhebung der Gewichte
4.4.3.3. Statistische Auswertung
4.4.3.3.1. Testauswahl
4.4.3.3.2. Durchführung des T-Tests für unabhängige Stichproben
4.4.4. Simulation des Überlernens von Assoziationen
4.5. Zusammenfassung und Diskussion der Netzwerk-Simulationsergebnisse
4.6. Annahme eines »Neuronalen Erklärungsmodells« zum Umlernvorgang während des Tragens einer Umkehrbrille

Literaturliste

Bildnachweise

Anhang

Quellcode des Programms M.A.M.

Lernmusterdateien der Muster: »Buchstaben, Symbole, Ziffern«

Gewichtungen der synaptischen Verbindungen nach erfolgreichem Training

Einleitung

Die Brillenversuche haben eine lange Tradition und demzufolge gibt es ei­ne Fülle von Abhandlungen zu diesem Thema. Diese Arbeiten befassen sich jedoch hauptsächlich mit der Beschreibung der kontinuierlichen Ad­aption des Menschen an den - durch Prismen- und Spiegelbrillen - ver­än­derten Input an das visuelle System auf rein verhaltensbeob­achtender Ebe­ne (siehe das Kapitel 1.2).

Der Frage, wie sich diese Adaption auf neuronaler Ebene vollzieht, wurde bisher noch nicht nachgegangen.

Zu diesem Zweck müßten visuelle Systeme von Individuen, die sich erfolg­reich an die veränderten Umweltbedingungen angepaßt haben, mit sol­chen verglichen werden, bei denen ein Umlernen nicht stattgefunden hat. Nun sind solche Untersu­chungen aber mit erheb­lichem metho­dischen Aufwand verbun­den, da man ja die Veränderungen in der zellulären Struk­tur des visuellen Sy­stems in erster Linie mit Hilfe^[1] histologischer Methoden beschreiben müßte.

Als Alternative bietet sich nun eine Technologie an, die in den letzten Jahren stark an Bedeutung gewonnen hat und sich in ihrer vergleichsweise einfachen Handhabung mögli­cherweise für diese Art von Untersuchungen eignet: Die Nachbildung menschlicher Wahrnehmungssysteme mit Hilfe computersimulierter neuronaler Netzwerke (Hinton, 1992; Kohonen, 1984).

Obwohl die simulierten Netzwerke im Vergleich zu ihren natürlichen Vorbil­dern meist drastisch verein­facht sind (Schweizer, 1986), so lassen sich in bezug auf Aufbau, Funkti­onsweise und Ver­halten gewisse Parallelen nicht leugnen (siehe das Kapitel 3.2). Diese Ähnlichkeiten gehen so weit, daß einige der führenden Netzwerk-Forscher der Meinung sind, daß solche Simulationen durchaus eine hohe explikative Potenz aufweisen (Hinton, 1992).

Zumindest stellen die Erkenntnisse aus Netzwerk-Simulationen eine sinnvolle Ergänzung zu den traditionellen Untersuchungsmethoden dar.

In diesem Sinne wurde Im Rahmen dieser Diplomarbeit ansatzweise ver­sucht, bestimmte Teilaspekte des neuronalen Umlern­vorgangs während des Tragens einer Umkehrbrille, mit einem computersi­mulierten neuronalen Netzwerk nach­zubilden und die entstandenen neuronalen Strukturen auf Unterschiede zu untersuchen (Kap.4.4).

1. Die Kohler´schen Versuche mit Umkehrbrillen

1.1. Einführung

Die Versuche mit Umkehrbrillen haben eine fast hundertjährige Tradition. Schon 1896 ex­perimentierte George Stratton mit einem Linsensystem, das ein seitenver­kehrtes und auf dem Kopf stehendes Bild erzeugte (Rock, 1985). Obwohl Stratton seine mehrtägigen Selbstversu­che nur einäugig durch­führte, und obwohl ein Lin­sensystem neben der Bildumkehr noch an­dere, unkontrollierbare Effekte erzeugt (chromatische Aberration, Ver­zer­rungen, usw.), konnte er trotzdem eine allmähliche Anpassung an diese veränder­ten Umweltbedingungen beobachten. Er kam zu dem Schluß, daß im Laufe der Zeit ein vollständiges Aufrechtsehen wieder ge­lernt wer­den kann, wenn man das Linsensystem nur lange genug trägt. Stratton wies au­ßer­dem auf die Wichtigkeit des Tastsinn es für das Wie­der­erlernen des Aufrechtsehens hin.

Ewert experimentierte schon mit beidäugigen Linsensystemen und konnte ebenfalls den Nachweis erbringen, daß durch eine Anpassung des äuße­ren Verhaltens ein Zu­rechtfinden in der durch das Linsensystem veränder­ten Umwelt möglich ist. Die Frage des Erlernens des aufrechten Sehens wurde von Ewert aber vernachlässigt (Kohler, 1951).

William Stern benutzte 1927 Prismenbrillen zur Bildumkehr. Da aber Pris­men in noch viel stärkerem Maße als die beschriebenen Linsensysteme Bildver­fäl­schungen er­zeugen, wurde deutlich, daß für weiterführende Untersu­chun­gen bessere Techniken der Bildumkehr entwic­kelt werden müssen.

Theodor Erismann benutzte erstmalig im Jahre 1928 eine Spiegelbrille für die Bild­umkehr, die den Vorteil hatte, das auf dem Kopf stehende Bild un­ver­fälscht und sei­tengetreu darzu­stellen. Da diese Um­kehrbrille aber die Sicht auf den Boden und die Füße der Probanden verdeckte, wurden noch keine mehr­tägigen Dauerversuche durch­geführt.

Am Institut für Psychologie der Universität Innsbruck wurde im Jahre 1947 diese sogenannte Eris­mann´sche Umkehr­brille dahin­gehend verbessert, daß nun der Blick des Bril­lenträgers auf die eigenen Füße und auf körper­nahe Ob­jekte frei war (Abb.1.1).

Die Umkehrbrille war nun » straßenfähig « (Kohler, 1951), und somit in idea­ler Weise für mehrtägige Dauerver­suche ge­eignet.

Kohler unterzog sich und andere Versuchspersonen in weiterer Folge im­mer wieder mehrtä­gigen Dauerbrillenversuchen mit die­ser Umkehr­brille und konnte dadurch den Nachweis er­bringen, daß das menschliche vi­suel­le Sy­stem - trotz der durch die Umkehrbrille veränderten Umwelt­be­din­gungen - in der Lage ist, das Aufrechtsehen wieder zu erlernen.

Es bleibt noch zu er­wähnen, daß die Versuche mit Umkehr­brillen nur ei­nen kleinen Teil der umfangreichen und originellen Forschungsarbeit Kohler´s und Erismann´s auf dem Gebiet der visuellen Wahrnehmungs­modifi­kation durch optische Vorsatzge­räte ausmachten. Neben die­sen Umkehrbrillen­ver­suchen wurden weit aufwendigere Versuche mit Farb­halbbrillen, Pris­men- und Halbprismenbrillen durchgeführt, wobei Kohler selbst einmal eine Pris­menbrille 124 Tage ununterbrochen trug.

1.2. Zusammenfassung der Untersuchungsergebnisse

Während des Tragens der Umkehrbrille führten die Versuchspersonen Ta­ge­buch über ihre Erlebnisse und Veränderungen der visuellen Wahr­nehmun­g; parallel dazu wurde ihr äußeres Verhalten aufgezeichnet. Die Ergeb­nisse dieser Untersuchungen sind in der folgenden Glie­derung zusammen­gefaßt:

- Während der ersten Tage des Tragens der Umkehrbrille sahen die Vpn. die Um­welt auf dem Kopf stehend. Die Vpn. waren in dieser Phase noch höchst unsicher und mußten begleitet werden, um Unfälle zu ver­meiden.
- Nach ca. drei Tagen waren die Vpn. in der Lage, sich in ihrer noch ver­kehrt gese­henen Umwelt zurechtzufinden. Die Vpn. hatten gelernt, ihr »äußeres Verhalten« (Kohler, 1951) den verändert wahrgenomme­nen Um­weltbedingungen anzupassen. Die Gesichtseindrücke er­schienen aber nur dann aufrecht, wenn die gesehenen Gegenstände gleich­zei­tig ab­geta­stet werden konnten, oder wenn diese sich in näch­ster Nä­he des ei­ge­nen Körpers der Brillen­träger befanden.
- Nach ungefähr neun Tagen sahen die Vpn. wieder eindeutig auf­recht.
Nach dem Abnehmen der Umkehrbrille wurde der vorher beschriebene Um­lernprozeß quasi im »Zeitraffertempo« durchlaufen:
- In den ersten Minuten sahen viele Vpn. die nun richtig orientierte Um­welt noch mi­nuten­lang eindeutig verkehrt.
- Das äußere Verhalten konnte sehr schnell den veränderten Umwelt­be­dingungen angepaßt werden.
- Noch einige Tage nach der Abnahme der Umkehrbrille konnten Au­gen­blicke des Ver­kehrtsehens oder der Desorientierung beobachtet wer­den.

Es wurde bereits erwähnt, daß unter bestimmten Bedingungen schon nach dreitägigem Tra­gen einer Umkehrbrille ein zeitweiliges Aufrechtse­hen mög­lich ist; diese Bedingungen sind in der folgenden Gliederung zusam­menge­faßt:

- Abtasten des gesehenen Gegenstandes: Wenn die Vpn. verkehrt gese­he­ne Ge­genstände abtasten konnten, dann wurden diese Gegenstän­de plötzlich als auf­recht wahrgenommen. Auch das indirekte Abta­sten über einen verlängerten Taststock hatte diesen Effekt. Wich­tig ist hier zu er­wähnen, daß die eigenen Hände immer zuallererst als auf­recht wahr­ge­nommen wur­den.

Diese Beobachtungen Kohler´s decken sich mit den Ergebnissen aus den späte­ren Unter­suchungen von Held, der nachweisen konnte, daß eine Anpassung an durch eine Prismen­brille veränderte Umwelt nur dann möglich ist, wenn sich die Vpn. aktiv motorisch mit dieser aus­ein­ander­setzen können (Held, 1986).

- Schwereempfindungen: Die Vpn. sahen immer dann aufrecht, wenn vi­suel­le Eindrücke mit Schwereempfindungen einzelner Körperteile oder des gesamten Körpers einhergin­gen. Dazu schreibt Kohler:

Ein weiterer Faktor waren Schwereempfindungen, wel­che das verkehrte Bild auf­zurichten vermochten; ein Gewicht an einer Schnur wurde ´unten´ gesehen, so­bald die Vp. das En­de selbst in die Hand nahm; auch Gegen­stände, die dahin­ter la­gen, er­schienen sofort aufrecht, wenn das Pen­del ´in Ord­nung´ war. Betonte Schwe­reempfindungen des ganzen Kör­pers, wie z.B. beim Auf­wärtsfahren im Auto, ´kehrten die Landschaft um´ und stellten das Bild richtig.

(Kohler,1951)

- Aktivierung von internen Wissensrepräsentationen: Für Kohler ist die Ak­ti­vie­rung von Wissensrepräsentationen, die er unter dem Begriff der »gewohnt aufrechten Bilder« sub­sumiert, eine weitere Ursache für das zeitweilige Aufrechtsehen; er schreibt dazu:

Als sehr wirksamer Anlaß für das aufrechte Sehen erwies sich wei­ters das ´gewohnt-auf­rechte´ Bild: eine Kerze, die zu­nächst ver­kehrt gesehen wurde, mit dem Docht nach un­ten, war plötz­lich auf­recht, wenn man sie anzün­dete. Auch der Rauch einer brennenden Zi­garette vermochte die Si­tua­tion auf der Stelle umzukehren; plötz­lich war für die Vp. dort ´oben´, wo der Rauch hinging u. dgl. m.

(Kohler, 1951)

Verallgemeinernd kann man zusammenfassen, daß immer dann auf­recht gesehen wurde, wenn neben dem visuellen Input zusätzliche In­formatio­nen über das Gesehe­ne in die Wahr­nehmung miteinbezogen werden konnten.

1.3. Bedeutung der Kohler´schen Brillenversuche für die mo­derne Wahrnehmungsforschung

Nach Ritter konnten aus den Kohler´schen Brillenversuchen hauptsächlich drei Erkenntnisse gewonnen werden, die von entscheidender Bedeutung für die moderne Wahrnehmungsforschung waren:

- Das visuelle Wahrnehmungssystem besitzt entgegen aller bis dahin gülti­gen Lehrmeinungen eine große Plastizität und Lernfähigkeit.
- Im visuellen Wahrnehmungssystem existieren offenbar »intelligente« Ver­arbeitungsmechanismen, die selbst bei Störungen der Informati­onsauf­nahme in der Lage sind, Eigenschaften und Merkmale der Um­welt rich­tig zu entschlüsseln.
- Das motorische System ist für eine erfolgreiche Adaption an verän­derte Umweltbedingungen von entscheidender Bedeutung:

Damit Lernvorgänge in Gang kommen, die eine umge­bungsrichtige Wahrnehmung entstehen lassen, muß eine aktive, motorische Auseinandersetzung mit der Umwelt stattfinden. ... Offenbar sind die Rückmeldungen über das eigene motorische Handeln entscheidend dafür, daß Ad­aption und Lernen im Wahrnehmungssystem zu­stande kommen.

(Ritter, 1986)

2. Aufbau und Funktionsweise des visuellen Sy­stems

2.1. Die Stationen der visuellen Verarbeitung

2.1.1. Die funktionelle Organisation retinaler Gangli­en­zellen

Bereits auf der Netzhaut erfolgt eine einfache Ver­rech­nung der visuellen In­formation. So^[2] konvergieren 108 Stäbchen und Zäpfchen der Netz­haut auf nur 106 re­tina­le Ganglienzellen (Abb.2.1). Das bedeutet, daß je­weils 100 Sinnes­zel­len mit einer Ganglienzelle verschal­tet sind. Diese 100 Stä­b­chen und Zäpfchen bilden nun auf der Netz­haut ein soge­nanntes Re­zeptives Feld (Hubel, 1989). Dieses Re­zep­tive Feld (RF) ist rund und besteht aus ei­nem RF-Zen­trum und aus einer RF-Peripherie (Abb.2.2).

Nachdem immer jeweils eine Ganglienzelle für ein RF zu­ständig ist, spricht man vom Re­zeptiven Feld einer Ganglien­zelle. Da in der Netzhaut 106 Ganglien­zellen existieren, kann man an­nehmen, daß eben­soviele RF vor­handen sein müssen. Die RF der einzelnen Gangli­en­zel­len liegen nun aber nicht flie­senartig neben­ein­an­der, sondern sie weisen eine starke Überlap­pung auf (Abb. 2.6). So erregt ein Lichtreiz von nur 0,1 mm Größe noch eine Vielzahl von in der Netz­haut neben­einanderlie­gen­den Gangli­enzellen. So­mit sammeln benachbarte Ganglien­zellen Informa­tion von ähnli­chen, aber nicht völlig identi­schen Retina­berei­chen (Bliem et al., 1981).

Die Aktivität einer Ganglienzelle ist abhängig vom Ort der Reizung ihres re­zeptiven Feldes; man unterscheidet hierbei:

- On-Zentrum-Neurone (On-Zentrum-Ganglienzellen), die mit erhöhter Ak­ti­vi­tät auf die Reizung ihres RF-Zentrums, und mit erniedrigter Aktivi­tät auf die Reizung ihrer RF-Peri­pherie reagieren,

und

-^[3] Off-Zentrum-Neurone, die mit erniedrigter Aktivität auf die Reizung ihres RF-Zen­trums, und mit erhöhter Aktivität auf die Reizung ihrer RF-Periphe­rie reagieren.

2.1.2. Die Sehbahn und ihre Projektionen

Die Axone der retinalen Ganglienzellen tre­ten ge­bündelt aus den Augen aus und bil­den die beiden Sehnerven. Diese laufen an der Schä­delba­sis auf­einander zu und tau­schen in der Seh­kreu­zung etwa die Hälfte ihrer Ner­venfa­sern aus (Abb.2.3). Das linke Gesichts­feld bei­der Au­gen wird dadurch in die rechte Sehrin­de pro­jiziert und umge­kehrt (Birbaumer, 1990).

Nach der Sehkreuzung verlaufen die Gan­gli­ena­xone zum Corpus genicu­la­tum laterale (CGL), ei­nem Kernge­biet des^[4] Thalamus, an dessen Neu­ro­nen sie synaptisch en­den. Das CGL stellt somit die erste und einzige Schalt­stelle auf direktem Weg zwi­schen Netzhaut und Hirn­rinde dar.

Der »Ausgang« des CGL führt als Seh­strahlung zur Area 17 der Sehrinde, von wo aus Projek­ti­onsbah­nen zu den Areae 18 und 19 ihren Aus­gang neh­men.

2.1.3. Die Signalverarbeitung im Corpus Ge­niculatum La­terale

Das CGL ist aus sechs Neuronenschichten auf­gebaut, wobei die Schich­ten 1, 4 und 6 dem rechten, und 2, 3 und 5 dem linken Auge zu­geordnet sind. Dies bedeutet, daß die Si­gnal­ver­arbeitung jeweils dreier Schichten im we­sentlichen von ei­nem Auge bestimmt wird. Daraus kann man schlie­ßen, daß auf dieser Ebene noch keine binoku­lare Verarbeitung der visuellen Si­gnale zum Zwecke des stereo­skopi­schen Sehens erfolgt; dies geschieht erst im vi­suellen Kortex.

Die Rezeptiven Felder der Ganglienzellen des CGL sind jenen der retina­len Ganglienzellen sehr ähnlich. Man unterscheidet hier ebenfalls zwi­schen On- und Off-Zentrum-Neuronen.

2.1.4. Die Signalverarbeitung im visuellen Kortex

Die Sehrinde ist - wie der üb­rige Kortex - aus sechs Zell­schichten (I...VI) auf­gebaut. Die Ner­venfasern der Seh­strahlung enden vor allem in den Seh­area­len der Zell­schicht IVc, von wo aus die In­formati­onsverarbeitung im Kor­tex ihren Ausgang nimmt.

Die Neurone des visuellen Kor­tex sind funktionell in soge­nannte^[5] Zell­säulen oder -plat­ten un­terteilt.

Es wechseln sich nämlich Säulen von Neuronen, die vorwie­gend In­forma­tio­nen aus dem lin­ken Auge verar­beiten (L in Abb.2.4), regel­mäßig mit sol­chen ab, bei de­nen die Verarbeitung aus dem rechten Auge (R) do­mi­niert. Diese parallel zur Kortexoberfläche ver­lau­fenden Säu­len werden des­halb Okuläre Dominanz­säulen ge­nannt. Innerhalb die­ser Säulen las­sen sich wei­tere »Untersäulen« nachwei­sen, die senkrecht zur Kor­texoberflä­che ori­entiert sind. Die Neu­rone in­ner­halb einer solchen »Untersäule« reagieren nur auf retinale Reize dersel­ben^[6] Orientierung (z.B. auf ei­nen um 10 Grad geneigten Licht­balken). Man nennt des­halb eine solche Säule auch Orientierungsprä­fe­renzsäule. Jede Orientierungspräferenz­säule inner­halb ei­ner Okulären Do­mi­nanzsäule ist nun auf eine et­was andere Reizorien­tie­rung spe­ziali­siert.

Die bevorzugten Reizorien­tie­rungen ändern sich da­bei von Säule zu Säule um je­weils 10 bis 20 Grad (In der Abb.2.4 wird dies durch die ver­schie­den ori­en­tierten klei­nen Stri­che inner­halb der Ori­en­tie­rungs­prä­fe­renz­säu­len an­ge­deu­tet).

In 15 bis 20 Orientierungs­prä­fe­renzsäulen innerhalb einer okulären Domin­anz­säule für das linke (L) oder das rechte (R) Auge, sind somit alle mög­li­chen Reiz­orientierun­gen ei­nes Retin­abereiches enthal­ten. Die Orientie­rungspräfe­renzsäu­len zweier nebenein­an­der­liegender okulären Domin­anz­säulen zu­sammenge­nom­men, er­gibt ei­ne soge­nannte Hy­perkolumne (dick ausgezo­gener Bereich in Abb.2.4). Eine sol­che Hyperko­lumne stellt damit einen Ana­lyse­mechanis­mus für alle mögli­chen Reizori­entie­rungen für korre­spondierende Netzhaut­be­reiche beider Augen dar. Ne­benein­anderlie­gen­de Hyperkolumnen ver­sorgen auch ne­ben­ein­ander­liegende Netz­hautbe­reiche.

Innerhalb einer Orientierungspräferenzsäule kann man aufgrund der Struk­tur ihrer Rezeptiven Felder und der damit verbundenen Verhaltens­weisen fol­gende Einteilung zwischen den Neu­ronen aller Zellschichten treffen (Hubel, 1989):

- Einfache Zellen: Diese Neurone liegen hauptsächlich in den Schich­ten IVb und IVa und besitzen ellipsoide RF mit On- und Off-Arealen. Die ein­fa­chen Zellen reagieren nur dann, wenn eine Hell-Dunkel-Kontur (Kante) mit einer bestimmten Orientierung auf ei­nen genau definier­ten Ort der Retina fällt.
- Komplexe Zellen: Diese reagieren - wie die Einfachen Zellen - am be­sten auf eine Kante mit einer bestimmten Orientierung. Innerhalb des RF ei­nes Komplexen Neurons ist die Reizposition - aufgrund des Fehlens von On- und Off-Arealen - im Gegensatz zur Ein­fa­chen Zelle jedoch unwich­tig. Ei­ne Komplexe Zelle reagiert also dann maximal, wenn sich eine Kante mit einer bestimmten Orientierung irgendwo innerhalb ei­ner be­stimmten Netzhautregion (dem RF des Komplexen Neurons) be­findet. Komplexe Zellen finden sich hauptsächlich in den Schichten II, III, V und VI des vi­suellen Kortex.
- Hyperkomplexe Zellen: Hyperkomplexe Zellen reagieren maximal auf be­wegte Ecken oder rechte Winkel einer bestimmten Orientierung in­ner­halb ihrer RF. Diese Zellart ist besonders zahlreich in den Schichten II und III anzutreffen.

2.1.5. Die Verarbeitung in den höheren visuellen Area­len

Die bisher besprochene visuelle Ver­arbeitung findet in der Area 17, der so­ge­nannten primä­ren Sehrin­de statt. Neben dieser primären Seh­rinde exi­stie­ren aber noch eine Viel­zahl weite­rer^[7] visueller Felder, die in der Fachlite­ratur mit dem Buch­sta­ben V (für vi­suel­les Feld) und ei­nem Laufin­dex bezeich­net wer­den. In der Sehrin­de des Affen (Abb.2.5) werden bis zu 15 visuel­le Fel­der vermutet (Thompson, 1990), und wahr­schein­lich be­sitzt der Mensch min­de­stens ebensoviele. Das Feld V1 ent­spricht der pri­mä­ren Sehrinde, al­so der Area 17. Alle üb­rigen vi­suellen Fel­der sind die­ser pri­mären Sehrin­de über­ge­ordnet; so be­zieht das Feld V2 sei­nen Input aus V1, V3 aus V2 und V1, usw. Die Felder des visuel­len Kortex sind damit sowohl se­riell (z.B. V1 ê V2 ê V3) als auch parallel (z.B. V1 ê V2, V1 ê V3) mitein­ander ver­schaltet.

In den höheren visuellen Feldern werden die In­formationen aus V1 hin­sicht­lich sol­cher Parameter wie Orientierung, Form, Größe, Farbe, Bewe­gung, La­ge auf der Netzhaut in beiden Augen, wei­ter analy­siert. Diese Analyse er­folgt stu­fenweise über die se­rielle Ver­schaltung zwi­schen den einzel­nen vi­suellen Fel­dern. Gleichzeitig aber erfolgt über die parallele Ver­schal­tung eine Inte­gration der ein­zelnen Verarbei­tungsprozes­se.

Einige höhere visuelle Areale scheinen auf die Analyse komplexerer For­men als Ecken oder rechte Winkel spezialisiert zu sein; so konnten Grossberg u. Mitarb. eine Zelle im VTE-Feld (Abb.2.5) eines Affen identifizie­ren, die immer dann maximal reagierte, wenn ihrem Rezeptiven Feld ein Reiz in Form einer erho­benen Affenhand präsentiert wurde (Thompson, 1990).

Daß solche Ergebnisse jedoch mit Vorsicht zu interpretieren sind, wird im Kapitel 2.3 aufzuzeigen versucht.

2.2. Ontogenetische Entwicklung und Plastizität im vi­su­el­len Sy­stem

Die Sehbahnen und Sehareale sind zum Zeitpunkt der Geburt bei allen hö­heren Säugern bereits aus­gebildet, doch die Feindifferenzierung (Aufbau der Dominanz- und Orientierungs­säulen) erfolgt erst postnatal innerhalb ei­ner genau definierten Zeit­spanne (^[8] Kritische Periode). Diese Selbstorganisa­ti­on des visuellen Kortex ist dabei in starkem Maße umwel­tabhängig und so­mit äußerst empfindlich gegenüber Störungen.

So können Katzen, denen während der vierten und der fünften Lebenswo­che ein Auge chirurgisch verschlossen wurde, später nicht mehr beidäugig se­hen; das zeitweilig verschlossene Auge bleibt lebenslänglich funktionslos. Ana­to­misch läßt sich bei diesen Katzen eine deutliche Schrumpfung der okulä­ren Dominanzsäulen des einstmalig verschlossenen Auges, sowie eine Ver­brei­te­rung der okulären Dominanzsäulen des anderen Auges feststellen (Hubel & Wiesel, 1963).

Auch die Entwicklung des Konturensehens ist auf entsprechende visuelle Reize angewiesen, wie Hubel u. Mitarb. wiederum durch Versuche mit neu­geborenen Katzen nachweisen konnten:

Einige Kätzchen wurden dabei in einer Umgebung aufgezogen, die nur senk­rechte Streifenmuster aufwies. Bei diesen Kätzchen konnte später ein deutliches Überwiegen von Neuronen mit einer Präferenz für senkrechte Orientierun­gen, sowie ein schwerer Mangel an Neuronen mit anderen Ori­entierungs­präferenzen festgestellt werden. Diese Tiere zeigten dem­ent­sprechend auch ein Verhalten, das auf eine verminderte visuelle Wahr­nehmungsfähig­keit schließen ließ.

Analog dazu, konnten Menschen, die durch Horn­haut­trübung in frü­he­ster Jugend erblindeten, später - nach erfolg­reicher Opera­tion - das richti­ge Se­hen nicht wieder erlernen. Nur einige wenige Patienten erlernten unter größter Anstrengung, einfache Muster zu erkennen und sich - mit Hilfe ihres Gesichtssinnes - grob zu orientieren. Viele der Patienten bra­chen die Re­habi­litationsversuche ab und lebten lieber weiterhin als Blin­de (Singer, 1990).

Diese Versuchsergebnisse veranlassen zu der Annahme, daß das fertig entwickelte vi­suelle System wenig lernfähig ist. Wenn die sensible Phase für die Differen­zierung der okulären Dominanz- und der Orientierungszell­säulen abgelau­fen ist, bleiben die innerhalb dieser Zeit angelegten neu­ronalen Strukturen le­benslänglich bestehen. Es war Kohler´s Verdienst, durch seine Brillenversuche aufzuzeigen, daß auch das adulte visuelle System noch von einer erstaunlichen Plastizität ist.

Für die normale Entwicklung des visuellen Systems spielt offenbar auch das motorische System eine wichtige Rolle, wie die Untersuchungen Held´s zeigen: Held zog zwei wenige Tage alte Kätz­chen so auf, daß in einem entsprechend konstruierten Apparat, sich das eine Kätzchen rela­tiv frei bewegen konnte, während das andere diesel­be Umgebung nur passiv aus einer »Gondel« miterlebte. Entließ man die so aufgezogenen Jungtiere in ihre gewohnte Umgebung, dann zeigte sich, daß die »aktiven« Kätzchen sich schneller und effektiver in einer neuen Umgebung zurecht­fanden, als die »passiven« Kätzchen (Held, 1963).

Held´s Untersuchungsergebnisse machen deutlich, daß nur durch die ak­ti­ve motorische Auseinandersetzung mit der Umwelt eine normale Ent­wick­lung des visuellen Systems möglich ist.

Schon Kohler machte - wie bereits erwähnt - die Beobachtung, daß das Abtasten eines - auf­grund einer Umkehrbrille - verkehrt gesehenen Ge­genstandes, ein plötzli­ches Auf­rechtsehen desselben bewirkte. Später konnte Held nachweisen, daß für die erfolgreiche Adaption an durch Um­kehr- und Pris­menbrillen veränderte Um­weltbe­din­gungen, die motorische Interak­tion unbedingt erforderlich ist (Held, 1963).

2.3. Objektrepräsenta­tionen und Objekterken­nung im vi­su­ellen System

Die Tatsache, daß es im Kortex Neurone gibt, die anscheinend spezifisch auf komplexe For­men reagieren (Kap.2.1.5), hat viele Leute dazu veran­laßt zu speku­lieren, daß es auch Neurone in höhe­ren visuellen Arealen ge­ben müsse, die auf die Er­kennung einzelner Objekte spezialisiert sind. An­er­kannte Neurobiolo­gen, wie z.B. David Hu­bel selbst, haben jedoch für der­artige Spe­kulationen nicht viel übrig:

Spezialisieren sich die Zellen auf zentraleren Verarbei­tungs­stu­fen immer weiter, bis man schließlich auf einer bestimm­ten Stufe Zellen findet, die nur noch auf das Ge­sicht eines indivi­duellen Menschen, beispielsweise der eigenen Groß­mutter, reagieren? Diese Vorstellung, die man als Groß­mut­terzel­lentheorie bezeichnet hat, kann man nur schwer­lich ernst nehmen. Sollten wir etwa ge­trennte Zellen für ei­ne lä­chelnde Großmutter, eine wei­nende Großmutter und eine nähende Großmutter erwar­ten? Und unterschiedliche Zellen für ver­schiedene Kon­zepte oder Definitionen von ´Großmutter´ - die Mutter der Mutter oder die Mutter des Va­ters? Und wenn wir Großmutterzelle n hätten, wohin wür­den sie projizieren?

(Hubel, 1989)

Eine Alternative zur Großmutterzellentheorie läßt sich aus den - 1962 von Hubel und Wiesel vorgeschlagenen - Verschaltungsmechanismen zur Erklä­rung der Entstehung von RF für Kanten und Winkel der einfa­chen, kom­ple­xen und hyperkom­plexe Zel­len, ableiten:

- Das Rezeptive Feld einer einfa­chen kor­tika­len Zelle, könnte durch die Kon­vergenz mehrerer CGL-Neu­rone, mit sich überlap­pen­den konzentri­schen ON-Off-RF, zustande kom­men (Abb.2.6). Die On-Zen­tren (+) dieser RF müßten dabei in Übereinstimmung mit der Orien­tie­rungs­achse des Re­zep­tiven Feldes der einfa­chen kortika­len Zelle eine ge­rade Li­nie auf der Netz­haut bilden (strichlierter Bal­ken in Abb.2.6).
- Das RF einer Komplexen Zelle kann durch die Konvergenz meh­rerer Ein­fa­cher Zellen erklärt wer­den (Abb.2.7). In unserem Fall er­gibt das »Zusammenschalten« der RF von 3 Einfachen Zellen mit einer Prä­ferenz für horizon­tal ori­entierte Kanten, ein größeres RF einer Komple­xen Zelle, wel­ches über den ge­sam­ten Be­reich für hori­zon­tal orien­tier­te Kan­ten sen­si­bel ist (strichliertes großes Rechteck in Abb.2.7).
- Durch die Konvergenz einer in­hi­bi­torisch (hemmend) und einer exzi­tato­risch (erregend) wir­ken­den Komplexen Zelle auf eine Hyper­kom­plexe Zelle kann die Ent­ste­hung eines RF für horizon­ta­le Eckenreize er­klärt wer­den (Abb.2.8). Der in Abbildung 2.8 darge­stellte Kanten­reiz über beide RF der Komple­xen Zellen führt zu keiner maxi­ma­len Erre­gung der Hyper­kom­ple­xen Zelle, da der inhibi­tori­sche Input den exzita­tori­schen Input ni­vel­liert. Ein auf das linke RF-Areal (ausgezogenes lin­kes Rechteck in Abb.2.8) be­grenzter Kanten­reiz würde je­doch zu einer ma­ximalen Erregung der Hy­per­komple­xen Zelle füh­ren, da die inhibitorische Komplexe Zelle nicht ak­tiviert wird.

Aus diesen Schaltplänen geht hervor, daß niemals nur eine Zelle an der Wahrnehmung eines einfachen visuellen Reizes beteiligt ist, sondern im­mer ein ganzes Netz von Neuronen. So sind nach dem obigen Modell bei der Wahrnehmung einer Kante über einen größeren Netzhautbereich (Abb.2.7) mindestens 16 Zellen gleich­zeitig aktiv (12 CGL-Neurone kon­vergieren auf drei Einfache Zellen, welche wiederum auf eine Komplexe Zelle konver­gieren). Wenn nun bei einem neurobiologischen Experiment nur die Aktivi­tät einer die­ser Zellen abgeleitet werden würde, dann könn­te fälschli­cherweise der Eindruck entstehen, daß genau diese Zelle für die Wahrneh­mung einer Kante zuständig sei. Unter diesem Aspekt sind auch die in Kapitel 2.1.5 erwähnten Expe­rimente von Grossberg u. Mitarb. zu sehen.

Man kann sich vorstellen, daß durch die »Zusammenschaltung« vieler klei­nerer Neuronennetze mit einfachen Rezeptiven Feldern, ein größeres Netz entsteht, welches genau dann maximal aktiviert ist, wenn ein be­stimmtes Objekt, bei­spielsweise eine Vase, im Gesichtsfeld erscheint.

Hubel bezeich­net solche Neuronennetze als »Konstellationen«:

... [ ^[9] Als] Alternative [zur Großmutterzellentheorie] ist anzu­neh­men, daß ein Objekt jeweils eine bestimmte Konstel­la­tion von Zellen zum Feu­ern anregt, die allesamt auch ande­ren Kon­stel­latio­nen angehören kön­nen. Wie wir wissen, führt die Zer­störung eines kleinen Gehirnstücks im allgemei­nen nicht zum Verlust spezifischer Gedächtnisin­halte, und wir müssen des­halb davon ausgehen, daß die Zellen einer Kon­stella­tion nicht in einem einzigen cortica­len Gebiet lo­kali­siert, sondern auf viele Ge­biete verteilt sind. Die nä­hende Großmutter ist dann eine grö­ßere Konstellation, wel­che die Definition von Groß­mutter, Groß­mutters Gesicht und die Tä­tigkeit Nähen umfaßt.

(Hubel, 1989)

Diese Zellkonstellationen oder neuronalen Netzwerke kann man auch als das ana­tomische Substrat interner Objektrepräsentation en sehen. Somit könnte theoretisch jedem Objekt der Außenwelt ein Netzwerk aus Neu­ro­nen im visuellen System zugeordnet werden. Da sich je­doch die Objekte einer Klasse - beispielsweise Vasen - ähneln, würden sich auch die Konstel­la­tionen aktivierter Neurone für die einzelnen verschiedenen Vasen über­lappen; d.h. man kann eine »Schittmenge« von Neuronen aus allen Zell­konstellationen annehmen, die bei allen Vasenformen akti­viert ist. Dieser »kleinste gemeinsame Nenner« von Neuronen würde das ana­tomische Substrat des Schemas »Vase« darstel­len.

2.3.1. Moderne Theorien des Sehens

Aufbauend auf den Entdeckungen Hubels und Wiesels haben sich einige Computerwissenschaftler Gedanken über das Sehen gemacht (Hofstadter, 1989; Dreyfus, 1987).

Hofstadter schließt sich der Hubel´schen Theorie der »aktivierten Zellkon­stel­lationen« direkt an:

Vielleicht wird ein Gegenstand, den man betrachtet, im­pli­zit durch seine ´Signatur ´ im Sehkortex identifiziert, d.h. durch ei­ne Reaktion von einfachen, komplexen und hyper­komple­xen Zellen zusammenge­nommen. Vielleicht braucht das Gehirn gar keine weiteren Erken­nungsin­stru­mente für eine beson­dere Form.

(Hofstadter, 1988)

Dreyfus betont die Wichtigkeit der internen Repräsentationen für das Se­hen. Er glaubt, daß Sehen und Erkennen durch einen direkten Assoziati­onsprozeß erfolgt:

Wenn wir eine Gestalt betrachten, ermöglicht uns eine As­so­ziation, die Figur als, sagen wir einmal, Großmutter zu identi­fi­zieren. Diese Assoziation beruht ausschließlich auf Gehirn­zu­ständen, die ungefähr den Lichtverhältnissen der be­trachte­ten Figur entsprechen.

(Dreyfus, 1987)

Die Theorien von Hofstadter und Dreyfus kann man zu den sogenannten^[10] PDP-Modellen zählen, auf die im Kapitel 3.6 näher eingegangen wird.

Auch die Hypothese des Neurobiologen Wolf Singer zur Figur-Grund-Un­ter­scheidung im visuellen System schließt direkt an die »Zellkonstellations-Theo­rie« von Hubel an (Singer, 1990):

Singer konnte nachweisen, daß die Antworten von Merkmalsdetektoren auf visuelle Reize rhythmisch sind, und mit einer Frequenz von ungefähr 40 Hertz oszillieren. Wenn nämlich Konturen dargeboten wurden, die sich in­nerhalb des Gesichtsfelds mit derselben Geschwindigkeit in die gleiche Richtung bewegten, dann begannen die oszillierenden Antwor­ten von räumlich ver­teilten Merkmalsdetektoren mit ähnlichen Rich­tungs- und Ori­entierungsprä­ferenzen, in Phase zu schwingen. Figur-Grund-Unter­schei­dungen sind dem­nach für das visuelle System dadurch möglich, daß be­stimmte Neuronen­gruppen (Merkmalsdetektoren) - ab­hängig von der Art des visuellen Reizes - von asynchrone in synchrone Aktivierungs­zustände übergehen. Die syn­chron aktivierten Neuronen­gruppen kodie­ren die Fi­gur, die asynchron akti­vierten den Grund (Singer, 1990).

Diese, sich durch Phasenkohärenz auszeichnenden Neuronengruppen, nennt Singer »Ensembles« und entsprechen den Hubel´schen Zellkonstellatio­nen. Singer glaubt, daß die verschie­denen Zellensembles mit jeweils un­terschiedlichen Frequenzen os­zillieren; dadurch wird eine Vermischung ih­rer Antworten bei der Darbie­tung mehre­rer Objekte (Superpositionsproblem) verhindert.

2.3.1.1. Eine Arbeitshypothese: »Sehen als Zuordnen von inter­nen Reprä­senta­tionen zu Objekten der Außenwelt«

Es wurde bereits erwähnt, daß die Rezeptoren für einfache geometrische Formen wie Kanten, Ecken oder rechte Winkel immer aus Nervennetzen gebildet werden (Kap.2.2). Man könnte diese neuronalen Netzwerke auch als die ana­tomische Realisierung von internen Repräsentationen einfacher geometri­scher Formen betrachten.

Wenn in einem bestimmten Netzhautbe­reich eine solche einfache geo­metrische Form auftaucht, dann wird demnach im visuellen Kortex die ent­sprechende in­terne Repräsentation aktiv. Da sich die Objekte der Außen­welt immer aus mehreren einfachen geometrischen Formen zu­sammen­setzen, werden beim Betrachten dieser Objekte auch gleichzei­tig mehrere interne Reprä­sentationen einfacher geometrischer Formen aktiv sein. Die Gesamtheit aller, beim Be­trachten eines bestimmten Ob­jekts gleichzeitig akti­ven internen Reprä­sen­tationen, ergeben die in­terne Re­präsentation des gesamten betrachteten Objekts.

Die Nervennetze, in welchen diese internen Repräsentationen angelegt sind, werden von den verschiedenen Autoren mit unterschiedlichen Be­zeichnungen belegt: Hubel spricht von »Konstellationen« (Kap.2.2), Singer von »Ensemble s« (Kap.2.2.1), Hofstadter von »Signatur en« (Kap.2.2.1), und Palm von »Assembl ies« (Kap.3.6.2.3.1).

Es wurde bereits ausgeführt, daß es theo­retisch möglich ist, jedem Objekt der Außenwelt ein solches Nerven­netz zu­zuordnen (Kap.2.2 und 2.2.1). Darauf aufbauend, soll der Vorgang des Sehens - im Sinne mo­derner PDP-Theorien - folgendermaßen als Arbeitshypothese formuliert werden:

Sehen könnte als Assoziation (Zuordnung) der entsprechenden inter­nen Repräsentationen mit den Objekten der Außenwelt funktionieren.

Unter diesem Gesichtspunkt wird im Kapitel 4 versucht, den Seh- und Um­lernvorgang während des Tragens einer Umkehrbrille durch ein einfaches musterassoziie­rendes Matrixspeichermodell zu beschreiben.

3. Computersimulierte neuronale Netzwerke

3.1. Einleitung

^[11] Computersimulierte neuronale Netzwerke haben eine fast fünfzigjährige Geschichte und erleben nun, nach einem Einbruch während der 70´er Jahre, einen enormen Boom (siehe das Kapitel 3.3).

Sie werden mittlerweile in vielen Bereichen der Technik, Industrie und For­schung eingesetzt und sind dort nicht mehr wegzudenken. Als einige typi­sche Einsatzbereiche wären hier Objekterkennung, Signalfilterung, Quali­tätskontrolle, Kreditrisikoabschätzung und die Aktienkursprognose zu nen­nen.

In all diesen Bereichen bewältigen neuronale Netzwerke die an sie ge­stell­ten Aufga­ben we­sentlich effizienter als eigens dafür entwickelte^[12] Algorith­men oder prozedurale Computerprogramme (siehe das Kapitel 3.4).

In der neurobiologischen Forschung werden neuronale Netze im­mer häufi­ger zur Hypo­thesengenerierung und -validierung eingesetzt (Anderson, 1989). Optimi­sten glauben sogar, daß dadurch in na­her Zukunft ein Groß­teil von neuro­biologi­schen Versuchen an Tie­ren überflüssig werden (Schöneburg, 1990).

Auch der beginnende Einsatz neuronaler Netze in der psychologischen Grundlagen­forschung, wie beispielsweise die Arbeiten Teuvo Kohonen´s zum menschlichen Ge­dächtnis oder zur Farbwahrnehmung (Kohonen, 1984), macht es möglich, traditionelle Theorien und Modelle zu prüfen und even­tuell wei­ter­zuentwickeln.

Daß Ergebnisse aus Simulationen mit neuronalen Netzwerkmodellen je­doch nicht uneingeschränkt zur Interpretation der Verarbeitungsvorgänge in biologischen Systemen herangezogen werden können, wird im Kapitel 3.2 zu diskutieren versucht.

Unter diesem Aspekt ist auch der in dieser Arbeit im Kapitel 4.4 beschrie­bene Versuch zu werten, den neuronalen Umlernvorgang während des Tragens einer Um­kehrbrille mit Hilfe eines neuronalen Netzwerks nachzubil­den.

3.2. Vergleich zwischen natürlichen und künstlichen neu­ronalen Netzwerken

Neuronale Netzwerke sind in Struktur und Funktionsweise ihren biologi­schen Vorbil­dern nachempfunden. Sie sind Systeme aus kleinen, untereinan­der ver­bun­denen Verar­beitungseinheiten (= Prozessorelemente) und sind in der Lage, durch Anpassung der Stärke der Verbindungen zwi­schen den einzel­nen Pro­zessorelementen, zu lernen.

Strukturelle Ähnlichkeit und Lernfähigkeit sind aber nicht die einzigen Paral­le­len zu natürlichen neurona­len Netz­werken; die folgende Aufzählung soll ei­nen Überblick über die Ge­meinsamkeiten natürlicher und künstli­cher Netzwerksysteme geben:

- Parallelität: Das menschliche Gehirn enthält bei einem Durch­schnitts­ge­wicht von 1300 Gramm ca. 10 Milliarden ^[13] Neuronen.

Je­des Neuron ist mit 1000 bis 10.000 anderen Neu­ronen über ^[14] synaptische Verbindun­gen in Kon­takt (Abb.3.1). Viele dieser Neuro­nen sind gleich­zeitig aktiv, und ein Neuron kann sogar gleichzei­tig an mehre­ren Verar­beitungsvor­gän­gen betei­ligt sein (siehe das Kapitel 3.6).

In dieser hohen Konnektivität und Parallelität liegt die Leistungsfähig­keit des menschli­chen Gehirns be­gründet. Computersimulierte neu­ronale Netze be­ste­hen zwar aus weitaus weniger Neuro­nen (= Pro­zes­sorele­mente) als das menschli­che Gehirn, sind aber innerhalb eines klar definierten Aufgabenbereichs, für den sie speziell trainiert werden können, trotzdem sehr leistungsfähig.

Da die meisten neuronalen Netzwerke noch auf seriellen Rechnern nach der^[15] von-Neu­mann - Ar­chitektur simuliert wer­den, kann in solchen Fällen nicht von einer »echten« Pa­ralleli­tät gespro­chen werden. Rech­ner nach dieser Architek­tur können nämlich immer nur die Akti­vität ei­nes Prozessorele­ments zur selben Zeit be­rechnen, und dann zur Abar­bei­tung des näch­sten Ele­mentes springen; sie machen dies aber so schnell, daß von einer »quasi - Gleichzei­tig­keit« gesprochen werden kann.

Um neuronale Netzwerke mit auch nur einigen tausend Neu­ronen zu simulie­ren, reichen die gängigen Rechnermodelle nicht mehr aus; des­halb ist man dazu übergegan­gen, Multiprozessorsystem e mit 10.000 oder mehr Pro­zessoren, von denen jeder ein Neu­ron simuliert, zu konstru­ie­ren (Anderson, 1989).

- Fehlertoleranz: Biologische neuronale Netzwerke zeigen auf zwei Arten feh­lertole­rantes Verhalten; zum einen können sie fehlerbehaftete oder un­vollständige Daten richtig verar­beiten (Mustervervollständigung), zum anderen funktionie­ren sie selbst dann noch, wenn eine beträchtliche Anzahl von Neuronen zerstört wird (Lashley, 1950). In einem späteren Kapitel (Kap.3.6) wird demon­striert, daß com­putersimulierte Netzwerke sich auf ähnliche Weise fehlertolerant verhalten können.
- Globale Speicherung: Bereits 1929 schrieb der englische Neurophysio­lo­ge Karl Spen­cer Lashley über das Problem der Lokalisation des Ge­dächtnis­ses:

Es ist nicht möglich, den gesonderten Ort einer Ge­dächt­nis­spur irgendwo im Nervensy­stem aufzuzeigen.

und weiter meinte er:

... daß innerhalb eines funktionellen Bereichs die Zellen des ge­samten Bereichs die Fä­higkeit erlangen, in be­stimm­ten festgeleg­ten Mustern zu reagieren, die jede be­liebige Ver­tei­lung in dem Bereich haben können.

(zitiert aus Schreiber, 1988)

Diese Theorie der Verteilung von Gedächtnisinhalten über große Teile der Hirn­rinde ist bis heute gültig und aktueller denn je (Gardner, 1984). Auch computer­simu­lierte neuro­nale Netze spei­chern^[16] Muster global, also über alle Pro­zes­so­relemente verteilt, ab (siehe das Kapitel 3.6.2).

Diese verteilte Speicherung von Gedächtnisinhalten verleiht biologi­schen und künstlichen neuronalen Netzwerken ihre hohe Fehlertole­ranz.

Trotz all dieser Gemeinsamkeiten stellt sich für viele, in diesen Forschungs­bereich Involvierte, die Frage: »Sind neuronale Netze tatsächlich Modelle des menschlichen Gehirns?« (Anderson, 1989).

Diese Frage scheint durchaus berechtigt, angesichts der Tatsache, daß der Aufbau der Prozessorelemente und die Art der Verbindungen zwischen diesen Verarbeitungseinheiten, bei allen bisher entwickelten neuronalen Netzwerken - im Vergleich zu biologischen Systemen - eine mehr oder weniger starke Vereinfachung darstellt; Schweizer schreibt dazu:

Erklärter Zweck ... der ... Simulationsinstrumente ist es, die Funktion von Nervensystemen ... zu studieren - und das, ..., indem man die funktionalen Eigenschaften der Nervenzel­len, die man ohnehin nur unvollkommen kennt, auch noch drastisch vereinfacht und zum Teil gar ignoriert.

(Schweizer, 1986)

Obwohl die jüngst entwickelten Netzwerkmodelle den physiologischen Gegebenheiten mehr und mehr Rechnung tragen (Anderson, 1989; Hinton, 1992), scheint eine physiologisch exakte Nachbildung schier unmöglich zu sein.

Wendet man sich jedoch von einer starr physiologischen Sichtweise ab, und betrachtet die gängigen Netzwerkmodelle in ihrer Funktionalität als Ganzes, dann scheinen diese Modelle durchaus für die psychologische und neurobiologische Grundlagenforschung geeignet zu sein (Hinton, 1992).

Weiters muß man bedenken, daß diese Netzwerkmodelle Hirnfunktionen weit besser nachbilden, als alle bisherigen Model­le der traditionellen ^[17] KI-Forschung, deren Vertreter noch nie zimperlich wa­ren, direkte Vergleiche zwischen ihren Modellen und bestimmten Hirnfunk­tionen anzustellen (Gardner, 1984). Abschließend dazu schreibt Schweizer:

Trotz der außergewöhnlichen Vereinfachung zeigen diese [ ^[18] neuronalen] Netzwerke im Gegensatz zu den vorgenann­ten Simulationssystemen eine klar erkennbare Funktionscha­rakteristik, die eine neurobiologische, ja sogar psychologi­sche Interpretation nicht nur zuläßt sondern geradewegs herausfordert.

(Schweizer, 1986)

Unter diesen Gesichtspunkten sollen auch die in dieser Arbeit beschriebe­nen Simulationen betrachtet werden.

3.3. Geschichtlicher Überblick der Entwicklung neuro­na­ler Netz­werke

Theorie und Technik computersimulierter neuronaler Netze sind keine In­no­vation der 80´er Jahre, sondern haben vielmehr eine fast 50-jährige Tradi­tion.

Das Jahr 1941 kann als die Geburtsstunde des Digitalcomputers bezeich­net werden; in diesem Jahr wurde nämlich der erste programmgesteuer­te Re­laisrechner (»Z3«) von dem deutschen Ingenieur Konrad Zuse gebaut.

Schon knapp zwei Jahre danach veröffentlichten McCul­loch und Pitts eine theoretische Abhandlung, in der sie bewiesen, daß ein Netzwerk aus ein­fa­chen Verarbeitungsein­heiten (binäre Schwellenwertelemente, =Mc­Culloch-Pitts-Neurone) anspruchsvol­le Operationen ausführen kann, die sonst nur durch komplizierte Algorithmen be­schreibbar sind.

Dieses erste künstliche neuronale Netzwerk war jedoch noch nicht lern­fä­hig, da die Ver­bindungen zwischen den Binärneuronen noch starr wa­ren.

Erst durch eine 1949 von Donald Hebb formulierte Lernregel, wurde erst­mals eine schlüssige Theorie für die physiologischen Vorgänge während des Ler­nens vorgelegt, die die Entwick­lung lernfähiger künstlicher neuro­naler Netze ermöglichten sollte. Die Grundannahme dieser Hebb´schen Lernregel ist fol­gende:

Lernen geschieht durch die Veränderung der Verbindungen zwischen den Nervenzel­len, indem immer dann die Verbindung zwischen zwei Neuronen verstärkt wird, wenn diese gleichzeitig aktiv sind (zitiert aus: Schöneburg, 1990).

Diese Theorie von Hebb gilt, in ein wenig differenzierterer Form, bis heute.

Renommierte Neurobiologen wie z.B. Eric Kandel oder Gerald Edelman, ver­treten ebenfalls die Ansicht, daß Lernen weniger in der Ausbildung neuer Synapsen, als vielmehr in der Veränderung der Stärke bereits be­stehender synaptischer Verbindun­gen, begründet liegt (Gardner, 1984).

Eine weitere fundamentale Theorie hat Wichtiges zur Entwicklung neuro­na­ler Netze beige­tragen: die 1950 publizierte Theorie des^[19] Holographischen Gedächtnisses von Karl Lashley.

Lashley kam nach jahrelangen Lernversuchen mit Ratten zu dem Schluß, daß das Ge­dächtnis nicht - wie bisher angenommen - in einem bestimm­ten Teil­gebiet des Gehirns verankert, sondern vielmehr über die ge­samte Hirn­rinde verteilt ist (Lashley, 1950).

Aufbauend auf den Theorien dieser modernen Hirnforscher wurden Mitte der 50´er Jahre die ersten Computersimulationen neuronaler Netzwerke durchgeführt.

1958 stellte Frank Rosenblatt ein neuronales Netz von bis dato einmaliger Lei­stungs­fähigkeit vor; das Perceptron. Diese Netz war lernfähig, konnte ein­fa­che Muster klassifizieren und verhielt sich dabei feh­lertolerant.

Rosenblatt´s Perceptron löste einen wahren Boom an Netzwerk-Neuent­wick­lungen aus, von denen einige bereits praktisch eingesetzt werden konnten (beispielsweise das 1960 von Bernard Widrow und Marcian Hoff entwickelte^[20] Madaline, als Filter zur Unterdrückung von Echoef­fekten bei Ferngesprä­chen).

Doch leider wurde diese erfreuliche Entwicklung 1969 durch das Buch »Perceptrons« der KI-Päpste Marvin Minsky und Seymour Papert vom M.I.T (M assachusett´s I nsti­tut of T echnology) in ihrem weiteren Verlauf ge­hemmt.

In ihrem Buch deckten sie einige Schwächen der gängigen Netzwerkmo­del­le auf und kamen zu dem Schluß, daß es Zeitverschwendung wäre, sich wei­terhin so intensiv mit neuronalen Netzen zu be­schäftigen (Schöneburg, 1990).

Da diese beiden Computerwissenschaftler zur damaligen Zeit einen er­heb­lichen Ein­fluß hatten, wurde die Entwick­lung neuronaler Netze für 15 Jahre fast gänzlich stillge­legt. Erst in der Mitte der 80´er Jahre sollten die neuro­na­len Netze wieder jene (verdiente) Aufmerksamkeit erlangen, die sie Mitte der 50´er Jahre be­reits innehatten. Heute bereuen Minsky und Papert ihre damalige Schluß­fol­ge­rung bitter­lich, und Minsky bezeichnet diese wörtlich als » Overkill « (Welchering, 1989).

Glücklicherweise ließen sich einige wenige Netzwerk-Forscher von dieser vernich­tenden Kritik nicht beirren und konnten dadurch revolutionäre Netz­werke konstruie­ren.

So entwickelte der Finne Teuvo Kohonen in den 70´er Jahren leistungsfähi­ge Asso­ziativspei­chermodelle und Selbstorganisierende Netzwerke (Kohonen, 1984).

Inzwischen begannen sich immer mehr Physiker für die Theorie neurona­ler Netze zu inter­essieren und konnten erstaunliche Parallelen zu Entdec­kun­gen der^[21] Festkörperphysik nachwei­sen. Dadurch wurde es möglich, Tech­niken und Metho­den der theoretischen Physik zur Analyse und Kon­struktion neuro­naler Netze heran­zuziehen. Zwei der bekanntesten von Physikern entwic­kelte Modelle sind das Hop­field-Modell (John Hopfield, 1982; Paralle­len zur Spinglas-Theorie) und die Boltz­mann-Maschine (Hinton & Sejnowski, 1985; An­leihen aus Theorien der Kristallzüch­tung).

1985 sollte ein bedeutendes Jahr in der Geschichte neuronaler Netz­werke werden. Es stellt quasi eine endgültige Abrechnung mit der ver­nichtenden Kritik Minsky´s und Papert´s aus dem Jahre 1969 dar.

Die damals aufgedeckten Schwächen neuronaler Netze bezogen sich nämlich alle auf die Tat­sache, daß diese Modelle nur eine Schicht lern­fähi­ger Prozessorelemente (Neurone) hatten. Die damals schon existie­renden mehrschichtigen Modelle wurden keiner so gründlichen Prü­fung unterzo­gen, sondern die Kritik an einschichtigen Mo­dellen wurde unbe­sehen auf mehr­schichtige Netzwerke übertragen.

Im Jahre 85 aber, entwickelten Rumelhart und Hinton einen sehr leistungs­fä­higen Lernalgo­rithmus (Backpropagation-Lernregel), der es ermöglichte, für jede Schicht eines beliebig gro­ßen Netzwerks einen Fehler zu definie­ren, anhand dessen eine Ad­aption der Verbindungs­stärken zwischen den ein­zel­nen Neuronen stattfindet (siehe das Kapitel 3.5).

Es leuchtet ein, daß mehrschichtige Netzwerke um vieles leistungsfähiger als ein­schichtige Modelle sind, und tatsächlich konnten dadurch alle Schwä­chen perceptro­nartiger Netzwerk­modelle endgültig aus der Welt geschaf­fen werden.

Backpropagation-Netzwerke stellen heute die am häufigsten in der Praxis eingesetz­ten Netzwerktypen dar (Barr, 1991).

3.4. Struktur und Funktionsweise mehrschichtiger neuro­naler Netze

3.4.1. Allgemeiner Aufbau

Neuronale Netze der üblichen Art, bestehen aus min­de­sten zwei Schichten von Prozesso­re­le­m­enten (= Neu­ro­nen). Eine Schicht stellt da­bei die Ein­gabe- (Input-), die an­dere die Ausgabe- (Output-) Schicht dar.

Üblicherweise wird die Ein­ga­be­schicht als unten lie­gend definiert, wobei im all­ge­mei­nen Fall jedes Pro­zes­so­relement dieser Schicht mit je­dem Pro­zesso­rele­ment der Ausgabe­schicht ver­bunden ist (Abb.3.2). Ein einzelnes Prozessorele­ment erhält da­bei immer mehrere verschiedene Ein­gangs­werte, gibt aber immer den­selben Aus­gangswert weiter, der wieder­um den Prozessorelemen­ten der dar­überliegenden Schicht als ein Ein­gangs­wert dienen kann.

Wie bereits erwähnt wurde, sind sol­che zweilagige Netzstrukturen für viele Pro­blemstel­lun­gen nicht mehr angemes­sen, weshalb man dazu überge­gan­gen ist, zwischen die Ein- und die Aus­ga­be­schicht weitere Neu­ronen­schichten einzu­bauen. Da diese zusätzli­chen Schichten kei­nen direk­ten Kontakt mehr zur »Außenwelt« haben, werden sie in der Fach­spra­che als »Hidden Layer« (verborgene Schichten) be­zeichnet (Abb.3.3).

Man kann gut beobachten, daß durch das Hinzufügen eines Hidden Layers das Netz deutlich an Komple­xität gewonnen hat; die Zahl der Ver­bindungen zwi­schen den einzel­nen Pro­zesso­relemen­ten hat sich von 9 auf 18 erhöht. Die Anzahl der möglichen Pro­zessorele­mente pro Schicht und die der Hid­den Layer in ei­nem Netz­werk, wird theoretisch nur durch die Spei­cher­ka­pazi­tät und die Re­chen­lei­stung des Com­pu­ters, der die­ses Netz simu­liert, limi­tiert.

3.4.2. Der Lernvorgang in einem neuronalen Netzwerk

Künstliche neuronale Netze lernen - analog zu ihren biologischen Vorbil­dern - indem sie die Stärke der Verbindungen (Synapsen) zwischen den einzel­nen Prozessorelemen­ten (Neuronen) modifizieren.

Zu Beginn des Lernvorganges, sind alle Verbindungen zwischen den ein­zel­nen Pro­zessore­le­menten eines Netzwerks, zufällig stark gewichtet. Durch eine sogenannte Lerndatei, wird dem Netzwerk der Input (z.B. ein einfa­ches Muster) und der ge­wünschte Output vorgegeben. Das neuro­nale Netz wird nun während des Lernvorganges seine Verbindungsge­wichte so­lan­ge modifizieren, bis Input und gewünschter Output einander fehlerfrei zuge­ordnet werden können. Nach dem Lernvorgang (»Training« des neu­ro­nalen Netzes) ist das Netz in der Lage, auch auf unbekannte Eingaben rich­tig zu reagieren, d.h. das Netz ist in der Lage zu abstrahie­ren (Schöneburg, 1990).

Der eben beschriebene Lernvorgang wird auch als beaufsichtigtes Ler­nen bzw. als Lernen mit »Lehrer« bezeichnet, da dem neuronalen Netz zu jedem Input der ge­wünschte Output mitge­teilt wird.

Neben dieser Form des Lernens gibt es noch wei­tere Lernformen, auf die hier kurz eingegangen werden soll:

Lernen mit »Bewerter«: dem lernenden Netz wird während des Lernvor­ganges lediglich mitgeteilt, wie gut oder schlecht seine jeweiligen Re­sul­tate (Output) sind; der gewünsch­te Output wird dem Netz vorent­hal­ten.

Unbeaufsichtigtes Lernen: Netze, die das unbeaufsichtigte Lernen be­herr­schen, werden auch als Selbstorganisierende Netze (Kohonen, 1984) be­zeichnet, da sie in der Lage sind, ihre Verbindungs­gewichte nur auf­grund des vorgegebenen In­puts zu modifizieren.

3.4.3. Der Informations­verarbeitungsvorgang in einem Pro­zesso­relement

Neuronale Netze können erstaun­li­ches leisten; trotzdem sind deren klein­ste Einheiten, die Prozessore­le­mente, relativ unkompliziert aufge­baut.

Genaugenommen besitzen Pro­zes­so­rele­mente gar keine Struktur, son­dern sind le­diglich durch eine An­ein­anderrei­hung einzelner Verarbei­tungs­schritte defi­niert (Abb.3.4).

Wenn ein neuronales Netzwerk lernt oder Eingaben bearbeitet, dann ge­schieht - vereinfacht dargestellt - in den einzel­nen Pro­zessore­lementen folgendes:

Die Eingaben (= Ausgaben der dar­unter­liegenden Neuronen) werden mit den Gewichten mul­tipliziert; die Ergebnisse dieser Mul­tiplikation wer­den wiederum auf­summiert und mit ei­nem Schwellen­wert verglichen; über­schreitet das Er­geb­nis den Schwel­lenwert (in unserem Fall Null), dann liefert das Prozessore­lement eine Ausgabe von Eins, ansonsten ist der Out­put Null; die­ser Out­put kann nun wieder der In­put an darüberlie­gen­de Pro­zessore­le­mente sein, oder aber, sofern das betrach­tete Prozes­sorele­ment in der Aus­gabe­schicht liegt, ein Teil der Gesamtant­wort des neu­rona­len Net­zes sein.

Üblicherweise wird jedoch die Informationsverarbeitung innerhalb eines Pro­zessore­lementes anhand eines international standardisierten mathe­ma­ti­schen Formalismus´ beschrieben; die Abbildung 3.5 soll einen Überblick über die einzelnen Verarbei­tungsschritte verschaffen:

Abbildung in dieser Leseprobe nicht enthalten

Zeichenerklärung:

Abbildung in dieser Leseprobe nicht enthalten^[22]

Der Informationsverarbeitungsvorgang eines Prozessorelements läuft nun im Detail in fol­genden Schritten ab:

Die an den Eingängen anliegenden Signale werden durch die Input­funk­tion NETi modifiziert:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.1

Zeichenerklärung:

NETi . Inputfunktion der Empfängerzelle i.

i ... Empfängerzelle

j ... Senderzelle

oj . Output der Senderzelle j.

t-1, t . 2 aufeinanderfolgende Zeitpunkte im Informationsverarbeitungsvorgang der betrachteten Zelle.

wij synaptisches Gewicht zwischen Senderzelle j und Empfängerzelle i.

neti .. Netto-Eingangssignal der Empfängerzelle i.

Die Funktion 3.1 ist in einer allgemeinen Form angegeben; es existieren je­doch mehrere, speziell auf bestimmte Netzwerktypen zugeschnittene, kon­krete Inputfunktionen (Schöneburg, 1990):

- Summenfunktion
- Produktfunktion
- Maximalwertfunktion
- Minimalwertfunktion
- Majoritätsfunktion

Da die Summenfunktion eine der gebräuchlichsten Inputfunktionen dar­stellt, wird diese hier eingehender behandelt:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.2

Die Summen-Inputfunktion multipliziert die Ausgangswerte der Senderzel­len (oj) mit den sy­naptischen Gewichten der Empfängerzelle (wij) und sum­miert dann diese Produkte zu dem Netto-Eingangssi­gnal neti auf.

In der Abbildung 3.1 nicht eingetragen ist die sogenannte Lernregel. Die Lernregel ei­nes neu­ronalen Netzes legt fest, wie sich die synaptischen Gewichte wij während des Lernens verändern sol­len. Die Funktion 3.3 zeigt die allge­meine Form einer Lernregel:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.3

Zeichenerklärung:

wij .. Gewicht d. Verbindung zw. Senderzelle j und Empfängerzelle i.

wij Korrektur für das synaptische Gewicht wij.

Ganz konkret sagt die Funktion 3.3 folgendes aus:

Das neue synaptische Gewicht zwischen Zelle j und i zum Zeitpunkt t ist ei­ne Summe aus dem synaptischen Gewicht des vorigen Lernschritts wij (t-1) (= altes synaptisches Gewicht) und dem Korrekturwert d für das sy­napti­sche Gewicht wij.

Die Berechnung des Korrekturwertes dwij unterscheidet sich von Netzwerk­modell zu Netzwerkmodell und bestimmt die eigentliche Lern­fähigkeit ei­nes neuronalen Netzes (siehe das Kapitel 3.5.2).

Im nächsten Schritt der zellulären Informationsverarbeitung wird aus neti und der Aktivität der Zelle i zum Zeitpunkt t-1 (= vorheriger Aktivierungszu­stand der Zelle) durch die Akti­vie­rungsfunktion Fi der neue Aktivie­rungs­zustand a der Zelle i zum Zeitpunkt t be­rechnet:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.4

Analog zur Funktion 3.1 gibt es nun wiederum mehrere konkrete Aktivie­rungsfunk­tionen, von denen hier die wichtigsten kurz genannt werden sol­len:

- lineare Aktivierungsfunktion
- sigmoidale Funktion
- Sinusfunktion
- lineare Schwellenwertfunktion

Da die sigmoidale Funktion die in Back-Propagation-Netzwerken am häu­fig­sten verwen­dete Aktivierungsfunktion ist, soll sie an dieser Stelle einge­hen­der behandelt werden:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.5

Zeichenerklärung:

ai . Aktivität der Zelle i.

e .. Eulersche Zahl (e = 2,71828)

g .. »gain« (engl.: Gewinn, Zunahme); bestimmt die Steilheit des Kurvenverlaufes (siehe Abb. 3.6).

neti .. Netto-Eingangssignal der Zelle i.

Die Abbildung 3.6 zeigt die Abhängigkeit der Sigmoid-Funktion vom Para­me­ter » gain « (Schöneburg, 1990):

Je größer der Parameter »gain«, desto steiler verläuft die Sigmoid-Funkti­on; ist »gain« kleiner als 1, dann geht der sigmoi­dale Kurven­verlauf in ei­nen li­nearen Kur­ven­ver­lauf über (strichlierte Gerade in Abb.3.6). Die Sigmoid-Funkti­on ge­hört zu den semilinearen Funktionen, da sie mit den li­nearen Funk­tio­nen das ste­tige An­steigen gemeinsam hat.

Aufgrund des sigmoidalen Kurven­verlaufs werden die Eingangswerte ei­ner Zelle i (neti) in vorteil­hafter Weise modifiziert:

- Jeder beliebige Eingangswert wird auf das Intervall zwischen Null und Eins der Aktivität ai abgebil­det (punktierte Linien in Abb.3.6).
- Eingangswerte, die nahe bei Null (Schnittpunkt der Koordinatenach­sen) liegen, werden durch die Steilheit der Kurve in diesem Bereich stärker auseinandergezo­gen und damit besser getrennt.
- Sehr große positive oder negative Eingangswerte führen immer zu Ak­ti­vi­täten ai nahe Eins bzw. nahe Null.

Als letzten Schritt in der Informationsverarbeitung des betrachteten Pro­zes­so­relemen­ts, be­stimmt eine Ausgabefunktion fi, welchen Output o das Pro­zes­sorelement i an die nachge­schalteten Zellen, bzw. an die »Außenwelt« lie­fert.

Diese Ausgabefunktion fi wird in ihrer allgemeinen Form folgendermaßen angege­ben:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.6

Meistens wird der Aktivierungszustand a des Prozessorelements i, direkt als Output an die nachgeschalteten Prozessorelemente weitergegeben; dann hat die Ausgabe­funktion die folgende Form:

Abbildung in dieser Leseprobe nicht enthalten

Eine weitere, häufig eingesetzte Ausgabefunktion ist die »winner-take-all«-Funkti­on, durch die gesichert wird, daß nur dasjenige Prozessorelement ei­ner Neuronen­schicht seinen Output an die nächste Schicht weiterge­ben darf, welches auch den größten Aktivierungszustand auf­weist.

3.5. Das Backpropagation-Netzwerk

Backpropagation-Netzwerke zählen heute zu den leistungsfähigsten Netzwerkmo­dellen und sind deshalb sehr gut für Muster-Assoziations-Si­mu­la­tion en, wie jene, welche in dieser Diplomarbeit abgehandelt wer­den, geeig­net.

Diese Leistungsfähigkeit wird durch die Verwendung des 1986 von D. E. Ru­melhart, G.E.Hinton und R.J.Williams veröffentlichten »Backpropagation-Al­gorithmus« ermöglicht (Rumelhart, McClelland, 1986).

Durch diesen Algorithmus wurde es möglich, auch die Gewichte der »von außen« nicht zu­gänglichen verdeckten Schichten adaptiv zu ma­chen, in­dem der Fehler der Outputschicht zu den Elementen der vorher­gehen­den Schicht zurückpropagiert (»^[23] backpropagated«) und diesen zuge­schrieben wird.

Auf den Aufbau und die Funktionsweise des Backpropagation-Algo­rith­mus wird im Kapitel 3.5.2 genauer eingegangen.

3.5.1. Aufbau eines Backpropagation-Netzwerks

Backpropagation-Netzwerke bestehen aus einer Eingabe - einer Aus­ga­be - und mindestens einer verdeckten Schicht (Abb.3.2). Die An­zahl der mögli­chen Prozes­sorele­mente pro Verarbei­tungsschicht, sowie die Anzahl ver­deck­ter Schichten ist beliebig und wird theoretisch nur durch die Re­chen­leistung und den Hauptspeicher des Rechners be­grenzt, auf dem dieses Netzwerk si­mu­liert wird.

Die Eingabeschicht liegt dabei immer unten und die Ausgabeschicht oben; die Ver­bindungen laufen nur von unten nach oben, niemals in Ge­genrich­tung; diese Netze arbeiten daher rückkoppelungsfrei. Auf­grund dieser Tat­sache ordnet man das Backpropagation - Netz­werk deshalb den »feed-forward«-Netzwerken zu (Schöneburg, 1990).

3.5.2. Die generalisierte Delta - Lernregel

Die Lernregel von Backpropagation-Netzwerken baut auf der sogenann­ten Delta-Lern­re­gel der Adaline-Netzwerke auf. Bei dieser Lernregel wird in je­dem Lern­schritt der tat­sächliche Output des einzelnen Prozessorele­men­tes mit dem ge­wünsch­ten Output verglichen.

Ergibt sich eine Differenz, dann werden die Gewichte adaptiert, anson­sten ist der Lernvor­gang beendet.

Da der gewünschte Output dem neuronalen Netz durch eine Lerndatei mit­geteilt wird, ist es leicht möglich, den gesamten Fehler E des Netz­werks bei einem gegebenen In­put zu definie­ren:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.7

Zeichenerklärung:

zi . erwünschter Output für das Element i.

oi . tatsächlicher Output des Elementes i.

Aus obiger Formel wird ersichtlich, daß der Gesamtfehler eines Netzwer­ks nichts anderes ist, als die Summe der quadrierten Abweichungen des tat­sächlichen Outputs jedes einzelnen Pro­zessorelements, vom er­wünschten Output jedes einzelnen Ele­ments.

Das Netz kann diesen Fehler durch die schrittweise Anpassung (Lernschritte) der Verbin­dungsgewichte zwischen den einzelnen Prozesso­re­lementen ver­ringern.

In jedem Lernschritt werden die Verbindungsgewicht e nach folgender For­mel neu berechnet:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.8

Zeichenerklärung:

Abbildung in dieser Leseprobe nicht enthalten

Die Berechnung der Verbindungsgewichte in einem Lernschritt ist - wie man aus obiger Formel entnehmen kann - recht einfach: zu dem Ge­wicht, daß in dem vorigen Lernschritt be­rechnet wurde (wij (t-1)) wird ein Korrek­turwert (sdioi) addiert.

Dieser Korrekturwert enthält als wichtigstes Element den sogenannten Fehler für jedes Element i, der folgendermaßen berechnet wird:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.9

Zeichenerklärung:

F´(neti) .. 1. Ableitung der Aktivierungsfunktion F(net).

zi . erwünschter Output für das Prozessorelement i.

oi tatsächlicher Output für das Element i.

Im vorigen Kapitel wurde bereits auf die Aktivierungsfunktion F (neti), die den Akti­vierungs­zustand a des Prozessorelements i zum Zeitpunkt t be­schreibt, näher einge­gangen.

Es wurde auch schon erwähnt, daß die in Back-Propagation-Netzwerken am häu­figsten eingesetzte Aktivierungsfunktion die Sigmoid-Funktion ist:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.10

Wird diese Funktion nach neti abgeleitet, dann erhält man die Funk­ti­on F´(neti):

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.11

Während eines Lernschritts berechnet das neuronale Netz zuerst die Feh­ler di für die Prozes­sorelemente der Outputschicht. Diese Fehler wer­den dann zur nächsttieferen Schicht (erste ver­deckte Schicht) zurückpropa­giert und in die Berechnung der Fehler di der Prozessorele­mente dieser Schicht mit­ein­bezogen:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.12

Zeichenerklärung:

Abbildung in dieser Leseprobe nicht enthalten

Auch diese Fehler werden zur nächsttieferen Schicht zurückpropagiert und in die Berechnung der Fehler der Prozessorelemente dieser Schicht einbe­zogen. Dieser Vorgang wird so lange wiederholt, bis die Eingabe­schicht er­reicht ist; dann beginnt der nächste Lernschritt. Wieder­um wird der Feh­ler der Outputschicht berechnet, der zur nächsten tiefliegende­ren Schicht zu­rückpropagiert wird, usw...

Das Netz bricht dann den Lernvorgang ab, wenn der Gesamtoutput des Netzes unter ein ge­wisses Fehlerniveau - das vom Benutzer vorgegeben werden kann - fällt.

3.5.3. Backpropagation-Netzwerke als vereinfachte Modelle für menschliche Wahrnehmungssysteme

Nach Hinton, können Backpropagation-Netzwerke als stark vereinfachte Modelle menschlicher Wahrnehmungssysteme betrachtet werden:

... Die Aktivitäten der Eingabeknoten ( ^[24] Eingabe-Pro­zessore­lemente) entsprechen dabei den Sinnesein­drücken, die der Ausgabeknoten den Begriffen für die wahrgenommenen Gegenstände.

(Hinton, 1992)

Anderen Autoren (Schöneburg, Hansen, 1990) erscheinen Backpropa­ga­tion-Netzwerke, aufgrund der Art und Weise wie diese den Fehler für die verdeckten Schichten berechnen (umgekehrter Informationsfluß), biolo­gisch eher unplausibel.

Dieser Einwand kann aber durch die Tatsache abgeschwächt werden, daß im Kortex aller Säugetiere Nervenbahnen identifiziert wurden, die von einer Zellschicht auf die vorhergehende zurückprojizieren und von denen vermutet wird, daß diese die für das Lernen notwendigen Rück­meldungen transportieren (Birbaumer, 1990).

Den stärksten Einwand gegen Backpropagation-Netzwerke als Modelle menschlicher Wahrnehmungssysteme, stellt jedoch die Tatsache dar, daß diese Netzwerke während ihrer Lernphase auf einen Lehrer angewiesen sind, der Aufschluß über die Richtigkeit eines bestimmten Lernschritts gibt.

Gerade aber die Kohler´schen Brillenversuche machen deutlich, daß sämtliche Wahrnehmungssysteme einen Lernvorgang innerhalb eines an­deren Wahrnehmungssystems sowohl einleiten, als auch korrigieren kön­nen (siehe die Kapitel 1 und 4).

Aus den letzteren Gründen erscheint es mir gerechtfertigt, ein dreischich­ti­ges Backpropagation-Netzwerk als stark vereinfachtes Modell für das vi­suelle Wahr­neh­mungssystem anzunehmen, anhand dessen im Kapitel 4.4 versucht wird, die neuronalen Umlern­vor­gänge während des Tragens einer Umkehrbril­le nachzubilden.

3.6. Interne Repräsentationen in neuronalen Netzwer­ken und Ma­trixspeichern

3.6.1. Interne Repräsentationen in neuronalen Netz­wer­ken

Wenn mehrlagige neu­ronale Netzwerke ler­nen, dann legen sie in den ver­deckten Neu­ronen­schichten interne Repräsentationen der Eingangsmu­ster an (Hinton, 1992). Diese inter­nen Reprä­senta­tio­nen sind je­doch keine isomor­phen Ab­bildun­gen eingege­bener Mu­ster, son­dern das neu­ronale Netz­werk ist in der Lage, eine eigene in­terne Kodierung zu fin­den. Diese interne Ko­die­rung ist immer ab­hän­gig von der Anzahl der ver­deck­ten Schich­ten und der An­zahl der Prozes­sorele­mente pro ver­deckter Schicht des neu­ro­nalen Netz­werks; das fol­gende Beispiel soll dies verdeutli­chen (Abb.3.7):

Das obige Netz­werk soll die Muster A bis H lernen; d.h. beim Anle­gen einer dieser acht Bit­folge n an die Eingabe­schicht, soll das Netz­werk die­sel­be Bit­folge über die Aus­gabe­schicht an­zeigen. Da die verdeckte Schicht des Netzwerks aber nur aus drei Prozes­so­re­lementen besteht, müs­sen die acht Muster »komprimiert« intern ab­ge­legt (= repräsen­tiert) wer­den.

Nach dem erfolgreichen Lern­vorgang, hat das Netz die acht Muster intern durch eine^[25] Binärkodierung mit drei »^[26] Bits« (ein Bit pro Pro­zes­sore­lement in der ver­deck­ten Schicht) ge­spei­chert; z.B. könnte das Mu­ster H intern durch den Bi­närkode 111 reprä­sentiert sein. Nach­dem jedes Pro­zes­sore­lement der ver­deckten Schicht entwe­der den Wert Eins oder Null an­nehmen kann, und ins­ge­samt drei »Speicher-Prozesso­rele­mente« existie­ren, gibt es 23 dreistellige Bi­när­codes um die acht Muster ab­zu­speichern; das Netz ist also durch die acht abzu­spei­chernden Mu­ster ausgela­stet.

Obwohl die Eingabemuster intern komprimiert kodiert werden, kann doch von einer analogen internen Repräsentation gesprochen werden, da das neuronale Netz in der Lage ist, aus diesem komprimierten Kode alle Einga­bemuster wieder zu rekonstruieren.

3.6.2. Interne Repräsentationen in Matrixspeichern

Der Vorgang der Anlegung interner Repräsentationen in der verdeckten Schicht in neurona­len Netzwerken, kann sehr gut durch einen sogenann­ten^[27] Matrixspeicher un­tersucht wer­den, da die einzelnen Schichten eines neu­ronalen Netz­werks im Prinzip wie Ma­trixspei­cher funk­tionieren.

Der Begriff Matrixspeicher stammt von dem deutschen Nachrich­ten­techni­ker Karl Steinbuch.

Dieser entwickelte 1961 einen Auto­maten namens Lern­matrix, der im we­sentlichen aus einer Reihe von hori­zontal und vertikal übereinan­der­lau­fen­den Drähten bestand, die an ih­ren Kreuzungspunk­ten über Wider­stände (R11 ... R23) verbun­den wer­den konnten (Abb.3.8). Dieser Au­to­mat konn­te verschie­de­ne, an den vertikalen Drähten an­lie­gende Span­nungsmu­ster, jeweils ei­nem ho­rizonta­len Draht zuzuord­nen (Schreiber, 1988).

Der Automat war damit in der Lage, Muster zu erkennen und zu klassifi­zie­ren.

Leider hatte dieser Matrixspei­cher in der Praxis keinen Erfolg, da die Lei­stungsfähigkeit des Sy­stems wegen der geringen Zel­lenzahl und der lang­samen Bau­teile zu schwach war (Bentz, 1988).

Erst in der Mitte der 70´er Jahre wurde dieses Konzept von dem finni­schen Computerwissenschaftler Teuvo Kohonen wieder aufgegriffen, der damit be­achtliche Erfolge erzie­len konnte (Kohonen, 1984).

Ein Matrixspeicher ist - allgemein ge­sagt - in der Lage, belie­bige Ein- und Ausga­bemuster durch ein­fache ma­themati­sche Operationen as­soziativ zu spei­chern (Abb.3.9), d.h. einan­der zu­zu­ord­nen. Das ein­gespei­cher­te Aus­ga­bemu­ster kann durch das »Einlesen« des Eingabemusters leicht wieder ab­ge­rufen werden. Die ge­spei­cherten Daten wer­den also nicht - wie bei Digi­talrech­nern - über eine^[28] Adresse angespro­chen, sondern wie­derum über ein Mu­ster (= Schlüssel), nämlich dem jeweiligen Einga­bemu­ster selbst.

Grundsätzlich lassen sich zwei Arten der assoziativen Speicherung unter­schei­den:

- Autoassoziation: Das jeweilige Eingabemuster wird mit sich selbst as­sozi­iert; d.h. Ein- und Ausgabemuster sind identisch.
- Heteroassoziation: Jeweils verschiedene Ein- und Ausgabemuster wer­den miteinander assoziiert.

Nach Meinung einiger Computerwissenschaftler (Kohonen, 1984; Palm, 1990; Bentz, 1988; Barr, 1991), lassen sich viele kognitive Funktionen eben­falls als eine Assoziation von bestimmten Ein- und Ausgabemustern be­trachten:

... genau solche Abbildungen ( ^[29] Assoziationen) führen bio­logische Netze ... fortwährend mit hoher Geschwin­dig­keit und Sicherheit laufend durch, ohne daß man sich des­sen überhaupt bewußt wird. Zum Beispiel kann ein Teil ei­nes Bil­des mit dem kompletten Bild in Zusammen­hang ge­bracht (vervollständigt), ein Buchstabe zu einem Laut ge­formt wer­den und vieles mehr. Sehr viele praxis­relevan­te Aufgaben­stellungen lassen sich im Prinzip auf solche Abbil­dungen zu­rückführen: in der Mustererken­nung, Klas­sifizie­rung, Optimie­rung, Signalverarbeitung, ... und kogni­tiven In­formationsver­arbeitung ... ist dies so.

(Barr, 1991)

3.6.2.1. Mathematischer Formalismus und Funktion­s­wei­se von Matrixspeichern

Da in den letzten Jahren intensiv über Assoziativspeicher geforscht wurde, existieren mittlerweile eine Vielzahl verschiedener Modelle, die sich in ihrer Performanz oft erheblich unterscheiden (Bentz, 1988).

Im folgenden wird nun der mathematische Formalismus eines Matrixspei­chermodells dargelegt, das zwar bezüglich Geschwindigkeit und Infor­mati­onsaufnahmekapazität anderen Modellen unterlegen ist, sich dafür aber am ehesten als Kortex-Modell eignet (Palm, 1990):

- Einspeicherung von Ein- und Ausgabemustern: Die Eingabemuster und ihre zugehörigen Ausgabemuster müssen als binäre ^[30] Zeilenvektoren vorlie­gen (Schreiber, 1988). Durch die Multiplikation des^[31] transponierten Ein­gabevek­tors ei mit dem Ausga­bevektor ai erhält man die Zielmatrix Mi:

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.13

Der Index i ist ein Laufindex (i := 1...n), der die korrespondierenden Ein- und Ausgabe­vektoren zählt. Man erhält für jedes Paar i von Ein- und Ausgabevekto­ren eine Zielmatrix Mi.

- Bildung der Speichermatrix: Durch die Addition sämtlicher Zielmatrizen Mi, erhält man die Spei­chermatrix S (Schreiber, 1988):

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.14

In dieser Speichermatrix sind nun alle korrespondierenden Ein- und Aus­gabevek­toren (= Ein- und Ausgabemuster) »gespeichert«.

Abruf der Ausgabemuster: Aus der Speichermatrix S läßt sich nun ein be­stimmter Ausgabe­vektor ai leicht wieder auslesen, indem man den zu­gehörigen Eingabe­vektor ei von links mit der Spei­chermatrix multipli­ziert (nach Schreiber, 1988):

Abbildung in dieser Leseprobe nicht enthalten

Funktion 3.15

Der Eingabevektor wird quasi als Schlüssel benutzt, um den zugehöri­gen Ausgabevektor abzurufen.

Zur Illustration der obigen Darstellung soll das folgende^[32] Beispiel dienen:

Ein Matrixspeicher soll auf einen eingegebenen Begriff mit dessen Ge­genteil ant­worten. Zu diesem Zweck werden die folgenden^[33] Begriffspaare in das Matrixge­dächtnis eingespei­chert:

Salz - Pfeffer

klein - groß

Als erstes müssen die Begriffe als binäre Zeilenvektore n ^[34] kodiert werden:

Abbildung in dieser Leseprobe nicht enthalten

Im nächsten Schritt werden aus den Begriffspaaren durch Multiplikation die Ziel­ma­trizen M1 und M2 gebildet:

Abbildung in dieser Leseprobe nicht enthalten

Durch die Summation der Zielmatrizen M1 und M2 erhält man die Spei­cher­matrix S:

Abbildung in dieser Leseprobe nicht enthalten

In dieser Speichermatrix sind nun die beiden Begriffspaare gespeichert. Die Speichermatrix S kann nun »abgefragt« werden. Durch die Multiplikati­on der Fragevektoren mit der Speichermatrix, erhält man die zugehörigen Ant­wort­vektoren:

Abbildung in dieser Leseprobe nicht enthalten

Diese Antworten sind einwandfrei richtig, denn die Bitfolge »1 0 0« kodiert ja den Begriff »Pfeffer«, und die Bitfolge »1 0 1« den Begriff »groß«.

3.6.2.2. Entwicklung eines musterassoziierenden Ma­trixspei­chers

Nachdem die Funktionsweise von Matrixspeichern dargelegt wurde, soll nun ein mustererkennender Matrixspeicher entwickelt werden, der auf die Ein­gabe eines am Kopf stehenden Buchstabens aus der Reihe »Abbildung in dieser Leseprobe nicht enthalten Abbildung in dieser Leseprobe nicht enthalten Abbildung in dieser Leseprobe nicht enthalten« , diesen richtig orientiert (L T Y) wiedergeben soll.

Die Simulation dieses Matrixspeichers erfolgte unter dem Matrizenberech­nungspro­gramm^[35] Matlab, da dieses Programm aufgrund seiner inter­nen Programmier­sprache die Möglichkeit bietet, komfortabel eigene Funktio­nen zu definieren:

Die drei Zeichenpaare (Abbildung in dieser Leseprobe nicht enthalten-L, Abbildung in dieser Leseprobe nicht enthalten-T, Abbildung in dieser Leseprobe nicht enthalten-Y) werden durch sechs binäre 5 x 5 Ma­tri­zen dargestellt (der besseren Sichtbarkeit wegen sind diese Zeichen durch strichlierte Linien hervorgehoben):

Abbildung in dieser Leseprobe nicht enthalten

Zeichenerklärung:

le .. Eingabe - Abbildung in dieser Leseprobe nicht enthalten

la .. Ausgabe - L

te .. Eingabe - Abbildung in dieser Leseprobe nicht enthalten

ta .. Ausgabe - T

ye .. Eingabe - Abbildung in dieser Leseprobe nicht enthalten

ya .. Ausgabe - Y

Analog zum »Salz-Pfeffer-Beispiel« müs­sen nun die obigen Zeichen-Matri­zen in binäre Vekto­ren um­kodiert wer­den. Es gibt aber eine einfa­chere und auch an­schauli­chere Mög­lichkeit der^[36] Um­kodierung als dieje­nige, die in dem vo­rigen Beispiel be­schrieben wurde (Abb.3.10).

Es werden dabei ein­fach die Zeilen der Zei­chen-Matrix ne­ben­einander in einen Zei­lenvektor ge­schrie­ben. Um diesen Um­schreibe­vorgang zu au­to­ma­ti­sieren, wurde die Funktion »Mave« (Matrix [Abbildung in dieser Leseprobe nicht enthalten] Vektor) mit der internen Pro­grammiersprache von Matlab erstellt:

function y = mave(x)^[37] % Definieren des folgenden Programms als

Funktion.

% MAVE: Matrix - Vektor - Umwandlung ((c) Hartmut H., 1992).

% MAVE wandelt eine beliebig große Matrix in einen linearen

% Zeilenvektor um.

% Beispiel:

% M = [1 2 3] Eingabe einer 2 * 3 Matrix.

% 4 5 6]

% m = mave(M) Anwendung d. Funktion MAVE auf Matrix M.

% m = [1 2 3 4 5 6] Endergebnis.

%

echo off % Unterdrücken der Bildschirmmeldungen.

clc % Löschen des Bildschirms.

[m,n] = size (x)^[38] ; % Berechn. d.Zeilen (m) u.Spalten (n) d.Matrix x.

s = 0; % Definieren des Spaltenzählers für den Zeilenvektor.

for i = 1:m; % Schleife, die Zeilen der Matrix hochzählt.

for j = 1:n; % Schleife, die Spalten der Matrix hochzählt.

s = s+1; % Spaltenzähler für den Zeilenvektor.

y(s) = x(i,j); % Auslesen der Elemente der Matrix x und

Eintrag in Vektor y.

end % Ende der Spaltenzähler-Schleife.

end % Ende der Zeilenzähler-Schleife.

Durch die obige Funktion können nun alle »Buchstaben-Matrizen« in Zei­len­vekto­ren um­gewandelt werden:

>> vle = mave (le)

vle =

1 1 1 1 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0

Auf diese Weise wird auch mit den Matrizen la, te, ta, ye, ya verfahren, so­daß nun alle Matri­zen als Vektoren vorliegen.

Nun können durch die Multiplikation der Frage-Antwort-Vektorpaare, die Ziel­ma­trizen M1 bis M3 gebildet werden:

>> M1 = vle^[39] ' * vla

M1 =

Abbildung in dieser Leseprobe nicht enthalten

Analog dazu, werden die Matrizen M2 und M3 erzeugt. Anschließend wer­den diese Matrizen zur Speichermatrix S aufsummiert:

>> S = M1 + M2 + M3

S =

Abbildung in dieser Leseprobe nicht enthalten

In der obigen Speichermatrix sind nun sämtliche Ein- und Ausgabemuster repräsentiert.

Durch die Multiplikation mit den einzelnen Schlüssel­vektoren (= Eingabe­vektoren), kann diese Speichermatrix S »abgefragt« werden:

>> l = vle * S

l =

13 2 2 2 4 9 2 2 2 0 9 0 4 0 0 9 0 4 0 0 9 9 13 9 9

>> t = vte * S

t =

16 9 9 9 14 2 5 9 5 0 2 0 14 0 0 2 0 14 0 0 2 2 16 2 2

>> y = vye * S

y =

14 5 5 5 12 2 7 5 7 0 2 0 12 0 0 2 0 12 0 0 2 2 14 2 2

Da die Antworten in Vektorform vorliegen, sollen sie - der besseren Les­bar­keit wegen - wie­der in Matrizen umgewandelt werden; dies erfolgt durch die Funktion Vema (Vektor [Abbildung in dieser Leseprobe nicht enthalten] Ma­trix), die quasi eine »Umkehrfunktion« von Mave darstellt:

function y = vema(x)

% VEMA: Vektor-Matrix-Umwandlung; ((c) Hartmut H., 1992).

% VEMA wandelt einen beliebig großen Zeilenvektor in eine

% Matrix um.

% Beispiel:

% v = [1 2 3 4 5 6] Eingeben des Vektors v.

% M = vema (v) Aufrufen der Funktion vema.

% M = [1 2 3 Ergebnismatrix.

% 4 5 6]

%

echo off

clc

[n] = size(x); % Bestimmung d. Spaltenanzahl (n) des Vektors x.

t = 0; % Definieren des Vektor-Spaltenzählers.

z = input('Wieviele Zeilen soll die Matrix haben: ');

s = input('Wieviele Spalten soll die Matrix haben: ');

clc

if z*s > n % Überprüfen der Zeilen- und Spaltenangaben.

error ('Zeilen- oder Spaltenangabe war zu groß !!!')

end

for i = 1:z; % Beginn der Zeilenzähler - Schleife.

for j = 1:s; % Beginn der Spaltenzähler - Schleife.

t = t+1; % Vektor - Spaltenzähler.

^[40] home % Plazierung d.Cursors in linke obere Bildschirmecke.

y(i,j) = x(t),% Auslesen d.Vektorelemente u.Eintrag. in Matrix.

end % Ende der Spaltenzähler - Schleife.

end % Ende der Zeilenzähler - Schleife.

Der Antwortvektor l soll nun durch die obige Funktion in eine Matrix um­ge­wandelt werden:

>> L = vema (l)

Wieviele Zeilen soll die Matrix haben ?: 5

Wieviele Spalten soll die Matrix haben ?: 5

(Das Programm will wissen, wie die neue Matrix dimensioniert sein soll; nachdem die Ein­gabe-Matrix aus fünf Zeilen und fünf Spalten bestand, wer­den hier dieselben Werte gewählt).

L =

Abbildung in dieser Leseprobe nicht enthalten

In der Ausgabematrix ist nicht ohne weiteres das erwünschte »L« zu erken­nen, da diese Ma­trix nach den vielen^[41] Matrixmanipulationen nicht mehr bi­när, sondern analog ist.

Man erkennt aber, daß in der ersten Spalte und in der letzten Zeile der Aus­gabematrix (Fettdruck) höhere Werte eingetragen sind, als in den übrigen Zellen der Matrix. Durch eine ein­fache Filterung kann das L jedoch extra­hiert werden; man muß dazu jeden Zellenwert, der über einer gewissen Schwelle liegt, gleich »1« setzen, und jeden Zellenwert, der unter dieser Schwelle liegt, gleich »0«. Als ^[42] Schwellenwert wird hier der Mittelwert über all jene Zellenwerte berechnet, die größer als Null sind.

Diese Kleinarbeit soll jedoch von der folgen­den Filter-Funktion über­nom­men werden:

function y = filtern(x)

% FILTERN: Matrixfilterung((c) Hartmut H., 1992).

% FILTERN wandelt eine analoge Matrix in eine binäre M. um.

% Beispiel:

% M = [1 2 3 Eingeben einer Beispiel - Matrix.

% 4 5 6]

% F = filtern (M) Aufrufen der Filterfunktion.

% s = 3.5 Berechneter Schwellenwert.

% F = [0 0 0 Gefilterte Matrix.

% 1 1 1]

%

echo off

clc

[m,n] = size (x); % Bestimmung d.Zeilen (m) u.Spalten (n) d.Matrix x.

% Berechnung des Schwellenwerts für die Filterung.

gr=0 % Initialisierung des Zählers für besetzte Zellen.

for i = 1:m;

for j = 1:n;

if x(i,j) > 0, gr=gr+1; % Zählschleife für besetzte Zellen.

end

end

end

vs = sum(x) % Berechnung des Summenvektors der Matrix x.

s = sum(vs)/gr % Matrix-Mittelwert über alle besetzte Zellen.

clc

% Umwandlung der Zelleninhalte der Matrix in Binärzahlen.

for i = 1:m;

for j = 1:n;

home

if x(i,j) > s, y(i,j) = 1, % Wenn Zelleninhalt über

% Schwelle s liegt, dann % in die neue Matrix y eine

% 1 eintragen,

else y(i,j) = 0, % ansonsten eine 0.

end

end

end

Durch die Anwendung der obigen Funktion kann nun die Antwortmatrix L komforta­bel gefil­tert werden:

>> L = filtern (L)

s = 4.5200 (Ausgabe des berechneten Schwellenwerts.)

L =

Abbildung in dieser Leseprobe nicht enthalten

Die Filterung fördert das erwünschte L zutage.

Man erhält somit durch die Multiplikation der Spei­chermatrix mit dem auf dem Kopf stehenden L, das auf­rechte L. Die­selben positiven Ergeb­nisse er­hält man auch mit den Zeichen Abbildung in dieser Leseprobe nicht enthalten und Abbildung in dieser Leseprobe nicht enthalten.

Das wirklich Verblüffende an einem Matrixspeicher ist jedoch dessen Fä­hig­keit, auch auf ver­stümmelte Eingaben die richtige Ausgabe zu lie­fern; diese Fähigkeit soll wie­der an einem konkreten Beispiel untersucht wer­den:

- Eingabe einer fehlerhaften (verstümmelten) Abfragematrix (unvollständiges, auf dem Kopf ste­hendes L):

>> FL =

Abbildung in dieser Leseprobe nicht enthalten

- Umwandlung der Matrix in einen Zeilenvektor:

>> fl = mave (FL)

- Abfragen der Speichermatrix S durch Multiplikation:

>> antwort = fl * S

- Umwandeln des Antwortvektors in eine 5 x 5 Matrix:

>> ANTWORT = vema (antwort)

Abbildung in dieser Leseprobe nicht enthalten

- Filterung der Antwortmatrix:

>> filtern (ANTWORT)

s = 2.8000 (Filter - Schwellenwert)

Abbildung in dieser Leseprobe nicht enthalten

Trotz der Verstümmelung der Anfragematrix, wurde von der Speicherma­trix die rich­tige Ant­wort geliefert.

Wenn man die ungefilterte Antwortmatrix des vollständigen Abbildung in dieser Leseprobe nicht enthalten, mit der un­gefilterten Antwortmatrix des verstüm­melten Abbildung in dieser Leseprobe nicht enthalten vergleicht, dann wird er­sichtlich, daß die Differenzen zwi­schen den »erwünscht besetzten Zellen« (fett gedruckte Werte in untenste­hender Tabelle) und den »unerwünscht besetzten Zellen« (mager ge­druckte Werte), mit der Zunahme der Ver­stümmelung abnehmen; es wird dann im­mer schwieriger, einen Schwel­lenwert zu finden, durch den das gewünschte Zeichen (z.B. das L) aus der analogen Antwort­matrix extrahiert werden kann:

Die »unerwünscht besetzten Zellen« kommen durch das sogenannte »Übersprechen« (»Cross Talk«; Kohonen, 1984) zustande: da die zu lernen­den Zeichen (L, T, Y) nicht an separaten Stellen in der Speichermatrix ab­gelegt werden, sondern jedes Matrixe­lement an der Speiche­rung jedes Zei­chens beteiligt ist, liegen die Muster in einer Speichermatrix wie bei einem Holo­gramm quasi »übereinander« (siehe das Kapitel 3.6.2). Diese Muster kön­nen unterein­ander in­terfe­rie­ren, was dann zu einer »Ver­rauschung« des Ausgabemu­sters führt.

Die Verrauschung des Ausgabemusters steigt dabei proportional zum Grad der Verstümmelung des Eingabemusters.

Die Tatsache der verteilten Speicherung von Mustern über die gesamte Speicher­ma­trix, kor­reliert mit den Beobachtungen Karl Lashley´s, der Ende der 20´er Jahre schrieb:

Die gleichen Nervenzellen, die die Gedächtnisspuren ei­ner ein­zelnen Erfahrung speichern, müssen auch an un­zähligen anderen Aktivitäten teilnehmen.

(Lashley, 1950)

So verhält es sich auch bei den Matrixspeichern: beim Neulernen eines Zei­chenpaares ändern sich immer alle Zellen der Speichermatrix; es gibt keine Speicherzellen, die spezifisch ein be­stimmtes Zeichen kodieren.

Diese verteilte Musterspeicherung wird durch die Multiplikation des jewei­li­gen trans­ponier­ten Fragevektors mit dem zugehörigen Antwortvektor er­reicht, wodurch die beiden Vektoren quasi gegeneinander aufgetragen werden und dadurch die Zielmatrix (z.B. M1) bilden.

Wenn man die Zielmatrix M1 noch einmal genauer betrach­tet, dann fällt auf, daß sowohl der Eingabevektor vle, als auch der Ausgabe­vektor vla jeweils neunmal darin enthal­ten ist (siehe fettgedruckte Zeilen und Spal­ten der Matrix M1). Aufgrund der eben be­schriebenen Eigen­schaft von Ma­trixspei­chern, Muster verteilt und redundant abzuspei­chern, zählt man sie (und natürlich auch die neuronalen Netzwerke) zu den soge­nann­ten PDP-Modellen (PDP = P arallel D istributed P rocessing; parallel ver­teilte Da­ten­verarbei­tung; Rumelhart & McClel­land, 1986).

Diese redundante, verteilte Kodierung, macht die Speichermatrix selbst ebenfalls re­lativ un­empfindlich ge­genüber »Verletzungen«.

Selbst wenn einige Zellen der Speichermatrix verändert oder gelöscht wer­den, kann trotzdem noch das rich­tige Ergebnis abgerufen werden, wie die folgende Demonstration zeigen soll:

Fünf mit »1« oder »2« besetzte Zellen der Speichermatrix S werden durch die »0« über­schrieben:

>> S(1,1) = 0 (Der Wert in Zeile1, Spalte 1 der Matrix S wird durch »0« er­setzt.)

>> S(13,8) = 0, S(4,16) = 0, S(21,21) = 0, S(23,23) = 0

Aus der nun fehlerhaften Speichermatrix wird durch Multiplikation mit dem Schlüs­selvek­tor der Antwortvektor ausgelesen:

>> antwort = vle * S

Die anschließende Umwandlung in eine Matrix durch die Funktion Vema und die Filterung durch die Funktion Filtern, ergibt die richtige Antwortma­trix:

>> Antwort =

Die Speichermatrix S konnte also trotz ihrer »Beschädigung« die richtige Ant­wort liefern. Der Vergleich mit der Antwortmatrix, die die unbeschä­digte Speichermatrix lieferte, zeigt je­doch, daß die Antwortmatrix der be­schädig­ten Speichermatrix ein wenig »unschärfer« ist (Die Werte einiger erwünscht besetzter Zellen sind kleiner ge­worden; siehe die fett gedruckten Werte in unten­stehender Tabelle):

Analog zu den Ergebnissen mit den verstümmelten Eingabevektoren, neh­men auch hier die Differenzen zwischen den Werten der »erwünscht be­setz­ten Zellen« und der »unerwünscht besetzten Zellen«, mit dem Grad der Be­schädigung der Speichermatrix, ab.

Dabei ist es völlig belanglos, welche Zellen der Speichermatrix man be­schädigt; ent­scheidend ist nur die Anzahl.

Auch diese Beobachtungen korrelieren eng mit den Ergebnissen aus Las­hley´s Laby­rinth-Lernversuchen mit Ratten, denen er schrittweise Teile der Hirnrinde entfernte; er schreibt 1929:

Die Fähigkeit das Labyrinth zu erlernen, ist abhängig von der Menge des funktionalen Cortexgewebes und nicht [ ^[43] von] des­sen ana­tomischer Spezialisierung.

(zitiert aus Gardner, 1985)

Lashley brachte seine Untersuchungsergebnisse durch das sogenannte Massenwirkungsgesetz auf den Punkt, das folgendermaßen umrissen wer­den kann:

Die Effizienz, mit der eine Funktion ausgeführt werden kann, reduziert sich propor­tional zum Grad der Verletzung eines Hirnareals (nach Lashley, 1950).

Das Massenwirkungsgesetz kann uneingeschränkt auch auf die Ma­trixspei­cher ange­wandt werden.

Neben der Fehlertoleranz, haben Matrixspeicher - aufgrund ihrer paralle­len Datenverar­bei­tungsweise - noch eine weitere vorteilhafte Eigenschaft; ihre Schnelligkeit. Die Antwortzeit beim Anfragen der Speichermatrix mit einem Schlüsselvektor ist immer gleich kurz, egal, ob die Antwort gelernt wurde, oder nicht.

Diese Eigenschaft ha­ben die Matrixspeicher ebenfalls mit biologi­schen, neu­ronalen Speichern gemeinsam; Bentz schreibt dazu:

Wenn ich Ihnen die Frage stelle : ´Wissen Sie die Höhe (im Vergleich zur Meereshöhe) des Amsterdamer Flug­ha­fens Schi­phol?´, so werden Sie (mit großer Wahr­schein­lichkeit) ´nein´ sagen. Zu dieser Antwort sind Sie spontan fähig. We­der Sie noch ich haben den Ein­druck, daß Sie Ihr gan­zes Orts- und Zah­lengedächtnis durchforsten müs­sen, um zur Antwort zu kom­men.

(Bentz, 1988)

3.6.2.3. Matrixspeicher als Modelle für die Groß­hirn­rinde

Aufgrund ihrer Eigenschaften und Fähigkeiten, werden Matrixspeicher gerne als Mo­delle für das menschliche Gedächtnis (Kohonen, 1977; Schreiber, 1987; Bentz, 1988) oder sogar als Modelle für die gesamte Hirn­rinde (Palm, 1990) herangezogen.

Kritiker wenden ein, daß sämtliche Matrixspeichermodelle auf relativ kom­plizierte mathe­matische Verfahren zurückgreifen (Matrizenrechnung) und diese Modelle des­halb als zu ab­strakt einzustufen sind. Dem ist zu entgeg­nen, daß das einfache Matrixspei­cher-Modell Karl Stein­buchs (Kap.3.6.2), selbständig in der Lage ist, Vektor- und Matrizenmultipli­katio­nen ap­proxi­mativ durchzuführen (Schreiber, 1988).

Es ist also durchaus nicht abwegig, an­zu­nehmen, daß biologische neuro­nale Netz­werke ebenfalls fähig sind, einfache Matrixopera­tio­nen zu^[44] ap­proximieren.

3.6.2.3.1. Das Assoziativ-Speichermodell der Hirn­rinde von Günther Palm

Palm geht davon aus, daß jedes Reiz-Muster (z.B. Sinneseindruck, Klang, Ge­genstand, Situation, Szene) im Gehirn in neuronale Aktivität, bzw. in neuro­nale Aktivitätsmuster umgewandelt wird. Deshalb stellt der neuro­nale Akti­vitätszustand ein »Abbild« der momentanen Gesamtsituation dar. Aufgrund der Ähnlichkeit gewisser Situationen, kommen bestimmte neuro­nale Aktivi­tätsmuster jedoch häufiger vor als andere. Davon aus­gehend, läßt sich die Entstehung interner Musterrepräsentationen (»Begriffe« nach Palm) fol­gen­dermaßen verstehen:

Vielleicht stehen Begriffe ... für nichts anderes als für das Gemeinsame, das unerwartet oft in vielen Situationen auf­taucht. Solch ein Begriff sollte dann im Gehirn durch ein sich besonders häufig einstellendes und möglichst auch be­son­ders stabiles neuronales Aktivitätsmuster dar­gestellt sein.

(Palm, 1990)

Die Stabilisierung von neuronalen Aktivitätsmustern, die aufgrund von ähn­li­chen Situationen oft rea­lisiert werden, wird durch die Ver­stärkung der Ver­bindungen ge­meinsam aktivierter Neurone erreicht. Es werden somit: » Korrelationen in der Außenwelt ... zu Verbindungen zwischen Neu­ronen« (Palm, 1990).

Aufbauend auf den Theorien Hebb´s, nennt Palm diese stabili­sier­ten neuro­na­len Aktivitäts­mu­ster Assemblies (Gruppen, Vereini­gun­gen).

Diese Assemblies sind zur selbst­tä­tigen Mustervervoll­ständi­gung fähig: wenn näm­lich ein genü­gend großer Teil einer As­sembly aktiviert wird, dann er­faßt die Er­regung über das ein­gefahrenen Netz von Ver­bin­dun­gen auch die an­deren be­teiligten Neurone; die As­sembly »zündet«.

Nach Palm lassen sich diese As­semblies durch Matrixspei­cher folgender­ma­ßen beschreiben (Abb.3.11):

Die Spalten eines Matrixspei­chers entsprechen den neuro­nalen Den­driten und die Ma­trix­zeilen den neuronalen Axo­nen. An den Kreuzungs­punkten von Dendri­ten und Axo­nen werden Synapsen ange­nom­men, deren Ge­wichte durch die Werte in den Ma­trixzel­len angegeben wer­den. Durch die in Abbildung 3.11 einge­zeichnete axo­nale ^[45] Rück­kop­pelungs­schleife er­weitert sich die Lei­stungsfähig­keit der neu­ronalen Assem­blies in be­zug auf die Fähig­keit der Mu­ster­er­kennung, bzw. -vervollständi­gung. Wird nämlich ein Muster nicht auf Anhieb erkannt, dann kann das Aus­gabemuster über die axona­le Rück­koppelungs­schleife erneut als Ein­gangs­muster verwendet werden. Da die­ses Muster dem gesuchten mehr gleicht als das zuerst eingege­bene, er­hält man in diesem Verarbei­tungsschritt eher das korrekte Aus­ga­bemu­ster.

3.6.2.3.2. Anwendung des Palm´schen Assoziativ­spei­cher­modells

Unter Bezugnahme auf das Palm´sche Assoziativspeichermodell soll nun das im Kapitel 3.6.2.2 vorgestellte Matrixspeichermodell neu betrachtet wer­den:

Man muß sich die Ein- und die Ausgabematrizen des mustererkennenden Matrixspeicher-Mo­dells aus Kapitel 3.6.2.2 als Neuro­nennetze vorstellen, bei dem jedes Matrixelement ein Neu­ron darstellt, das entweder aktiv (Wert »1«), oder inaktiv (Wert »0«) sein kann. Die verschiedenen Ein- und Ausga­be­matri­zen (z.B. Abbildung in dieser Leseprobe nicht enthalten-L, Abbildung in dieser Leseprobe nicht enthalten-T, Abbildung in dieser Leseprobe nicht enthalten-Y) sind so­mit nichts anderes als »Aktivitätsmuster« eines neurona­len Netzes. Durch die Multiplikation der zu Vekto­ren umge­wandel­ten korre­spondie­renden Ein- und Ausgabema­tri­zen (= Ein und Aus­gabe -Ak­tivitätsmu­ster) werden diese mit­einander »korreliert«. Durch die Vektor­mul­tiplikation wird nämlich der Akti­vitätszu­stand (»0« oder »1«) jedes Neurons des Fragevek­tors, mit dem Aktivi­tätszu­stand jedes Neurons des Antwortvektors mul­ti­pliziert.

Die Abbildung 3.12 veranschaulicht den Vorgang der Multiplikation (Korrelation) am Beispiel der »Salz-Pfeffer« -Vektoren im Detail:

Abbildung in dieser Leseprobe nicht enthalten

Nur wenn zwei korre­spondierende Neu­rone gleichzeitig aktiv (Wert »1«) sind, ergibt sich in der Zielmatrix (= Korre­lati­onsmatrix) der Wert »1« (1 * 1 = 1). Die­se Neu­rone ent­spre­chen damit den Hebb´schen Neuro­nen.

Nach Hebb wird bekanntlich immer dann die Verbindung zwischen zwei Neu­ronen verstärkt, wenn beide Neu­rone gleichzeitig aktiv sind. Die Ele­mente der Korrelati­onsma­trix stellen so­mit die Stärke der synapti­schen Ver­bin­dun­gen zwischen den ein­zelnen Neu­ronen dar, die ein Muster­paar ko­die­ren.

Die Gesamtheit aller Neuronen und synaptischen Verbin­dungen, die be­stimmte Mu­ster (z.B. L, T, Y) kodie­ren, also stabile neuronale Aktivi­tätsmu­ster repräsentieren, bezeichnet man nach Hebb bzw. Palm als »cell assem­bly« (= Zellverband) oder auch nur als »Assembly«.

In unse­rem Fall erhält man durch die Summation der Korrelationsmatrizen M1, M2 und M3 eine As­sembly (= Speichermatrix S), die die Zeichenpaa­re Abbildung in dieser Leseprobe nicht enthalten-L, Abbildung in dieser Leseprobe nicht enthalten-T, Abbildung in dieser Leseprobe nicht enthalten-Y repräsentiert.

Die Speichermatrix S beschreibt somit eine As­sembly aus 25 x 25 Neuronen mit 625 synapti­schen Verbindungen, de­ren Gewichte in die einzelnen Zel­len der Matrix eingetragen sind.

Wenn man die Speichermatrix S genauer be­trachtet, dann fällt auf, daß einige Zellenein­träge (fettgedruckte Werte) gegenüber dem Mittel­wert über alle besetzten Zellen (1,159) erhöht sind. Diese größeren sy­napti­schen Gewichte kommen durch die Ähnlichkeit gewisser repräsen­tierter Muster (z.B. Abbildung in dieser Leseprobe nicht enthalten und Abbildung in dieser Leseprobe nicht enthalten) zustande. Auf­grund der strukturellen Ähnlich­keit der ent­sprechenden Aktivitätsmuster, sind bestimmte Neuro­ne öfter gleichzeitig aktiv, wodurch sich die synapti­schen Verbindun­gen zwi­schen ih­nen relativ zu den anderen erhöhen (eine spezifi­sche Erhöhung bestimmter synapti­scher Gewichte kann auch nach dem mehrmaligen Lernen ein und des­selben Musters beobachtet wer­den).

Die Gesamtheit der erhöhten synaptischen Gewichte innerhalb einer Spei­chermatrix gibt des­halb einen Hinweis auf den »kleinsten gemeinsamen Nenner« aller repräsen­tierten Muster.

Vergleicht man diesen »kleinsten gemeinsamen Nenner« mit den im Kapi­tel 2.2 beschriebenen Hubel´schen Konstellationen, dann ergibt sich unter der folgenden Bedingung ein weiterer interessanter Aspekt:

Würde man beispielsweise dem mustererkennenden Matrixspeicher eine Reihe verschiedener Häuserformen beibringen, dann stellte der kleinste gemeinsame Nenner aller dieser Häuserformen das Schema »Haus« dar. Die Gesamtheit aller Neuronen, die durch die erhöhten synaptischen Ge­wich­te untereinander verbunden wären, entsprächen dann dem anatomi­schen Substrat des Schemas »Haus«.

3.6.3. Zusammenfassung

Zusammenfassend lassen sich über interne Repräsentationen in neurona­len Netzwer­ken und Matrixspeichern folgende Aussagen machen:

- Interne Repräsentationen sind die Gesamtheit der Korrelationen zwi­schen einzel­nen gelernten Mustern, wobei der Begriff »Muster« für jede Art von Eingabe steht, wie z.B. Bild, Wort, Klang (Kap.3.6.2.3.2).
- Interne Repräsentationen werden in sogenannten Assemblies, also in Gruppen von Neuronen, die durch synaptische Verbindungen unterschiedlicher Gewichtungsstärke zusammengefaßt sind, angelegt (Kap.3.6.2.3.2).
- Die Art der Kodierung von internen Repräsentationen ist abhängig von der Pri­märstruktur des neuronalen Netzes (Anzahl der vorhandenen Neuronen und synaptischen Verbindungen) (Kap.3.6.1).
- Die Kodierung erfolgt über die Anpassung der synaptischen Gewichte des neuro­nalen Netzes und ist immer redundant (Kap.3.4.3 und 3.6.1)
- Die internen Repräsentationen haben einen analogen Charakter (Kap.3.6.1).

4. Die Computer-Simulation des neuronalen Um­lernvorgangs während des Tragens einer Um­kehr­bril­le

4.1. Einleitung

Bereits in der Einleitung zum allgemeinen Teil dieser Arbeit, wurde auf die Schwierigkeiten hingewiesen, neuronale Umlernprozesse »in vivo« zu un­tersuchen. Als Alternative zu den bereits erwähnten invasiven Methoden, be­kommt der Kognitionswissenschaftler durch die Computersi­mulation neuronaler Netzwerke ein Werkzeug in die Hand, mit dem neuro­nale Um­lernprozesse simuliert und analysiert werden können.

In dieser Arbeit wurde versucht, den neuronalen Umlernvorgang im visuel­len System wäh­rend des Tra­gens einer Umkehrbrille nachzubilden und da­bei die, durch den Umlernprozeß induzierten, neuronalen Ver­ände­run­gen zu untersuchen.

Es muß jedoch betont werden, daß für diese Simulation sämtliche in den Kapi­teln 3.2 und 3.5.3 erwähnten Einschränkungen gelten, die auf die stark vereinfachten Netzwerkstrukturen zurückzuführen sind.

Weiters konnten bei dieser Simulation vielerlei Aspekte der Umkehrbrillen­versuche nicht oder nur rudimentär berücksichtigt werden.

So konnten beispielsweise mit dem zur Verfügung stehenden Simulator nur Assoziationen mit unbewegten, sehr einfachen Bildern durchgeführt wer­den; der Aspekt der Eigen- und Objektbewegung blieb damit unberück­sichtigt. Neuronale Netzwerke, die bewegte Bilder verarbeiten, wären allerdings nur mit riesigem technischen Aufwand zu realisieren (Touretzky; Pomerleau, 1989).

Auch die Interaktion mit dem, für das Umlernen so wichtigen motorischen System, konnte nur ansatzweise in das Simulationsmodell einbezogen wer­den (»Lernen mit Lehrer«). Eine Simulation, die diesem Umstand gerecht werden würde, müßte aus mindestens zwei parallel laufenden neuronalen Netzwerken bestehen, bei dem das eine Netzwerk das Lernen im visuellen System und das andere das Lernen im motorischen System nachbildet. Dabei müßte dem simulierten motorischen System die »Supervision« über das Lernen im simulierten visuellen System zugeteilt werden. Dies erfor­derte jedoch einen weitaus leistungsfähigeren Netzwerk-Simulator als je­nen, der für die vorliegende Arbeit zur Verfügung stand.

Aus den genannten Gründen ist das im Rahmen dieser Arbeit verwendete Modell zur Simulation neuronaler (synaptischer) Umlernvorgänge im visuel­len System, als »stark verein­facht« zu bezeichnen.

Es sind sich jedoch die meisten Autoren darüber einig, daß solcherart ver­ein­fachte Modelle - sofern sie nicht physiologischen Gegebenheiten wi­dersprechen - trotzdem zum Erkenntnisgewinn herangezogen werden kön­nen (Hinton, 1992; Palm, 1990; Schweizer, 1986). Aus diesem Grund wurden die in dieser Simulation erzielten Ergebnisse verwendet, um Vermutungen darüber anzustellen, wie sich das Umlernen im visuellen System während des Tragens einer Umkehrbrille auf neuronaler Ebene abspielen könnte.

In einem ersten Simulationsschritt wurde versucht, den Seh- und Umlern­vorgang, gemäß den Ausfüh­run­gen in den Kapiteln 2.3.1.1 und 3.6.2.3.1, durch einen, im Rahmen dieser Arbeit erstellten, musterassoziierenden Matrixspeicher als Assoziationsprozess zu beschreiben (Kap.4.2).

Um jedoch abzuklären, wie diese Assoziation auf neuronaler Ebene reali­siert wird, ist ein solcher musterassoziierender Matrixspeicher nicht mehr ausreichend. Damit kann nämlich der neuronale Umlernvorgang nicht auf eine Art und Weise simuliert werden, wie es für eine strukturanalytische Untersuchung notwendig wäre, da die Assoziation der Ein- und Ausgabe­muster durch den Formalismus der Matrixmultiplikation und -addition de­terminiert wird (Kap.3.6.2.1).

Neuronale Netz­werke hingegen erlernen diese Assoziation durch die selbsttätige Modifikation der synaptischen Gewichtungen bereits beste­hender neuronaler Verbindungen, wodurch eine »lernstoffspezifische« Struk­tur herausgebildet wird, die untersucht werden kann.

Aus diesem Grund wurde ein Backpropagation-Netzwerk für die weiteren Simulationen verwendet (Kap.4.4).

Mit diesem Netzwerk wurde somit ein sehr einfaches Modell des menschli­chen visuellen Systems simuliert, um jene strukturellen Veränderungen auf neuronaler Ebene zu untersuchen, die sich durch das Umlernen während des Tragens einer Umkehrbrille ergeben könnten.

4.2. Beschreibung des Seh- und Umlernvorgangs durch ei­nen mu­sterassoziierenden Matrixspeicher

Im Kapitel 2.3.1.1 wurde bereits dargelegt, daß Sehen als Zuordnen von inter­nen Repräsentationen, zu den entsprechenden Objekten der Au­ßen­welt, definiert werden kann. Weiters wurde im Kapitel 3.6.2.3.1 das Palm´sche Asso­ziativspeicher-Kortexmodell vorgestellt.

Darauf aufbauend, wurde im Rahmen dieser Diplomarbeit, ein musteras­soziierender Matrixspeicher (M.A.M.)^[46] pro­grammiert, anhand dessen ver­sucht wurde, die Kerntheorien der genannten Kapitel zu validieren.

4.2.1. Der musterassoziierende Matrixspeicher M.A.M.

Der M uster a ssoziierende M atrixspeicher M.A.M. wurde vollständig in Turbo^[47] Pascal 6.0 programmiert und liegt dieser Diplomarbeit in kompi­lierter Form, auf einer 3½ bzw. 5¼ -Zoll Diskette, bei (Der dokumentierte Quellcode ist im Anhang dieser Arbeit abgedruckt). M.A.M. funktioniert gemäß den in den Kapiteln 3.6.2.1 und 3.6.2.2 vorgestellten Prinzipien der Musteras­soziation. Zu­sätzlich wurde jedoch eine Palm´sche Rückkoppe­lungsschlei­fe (siehe das Kapitel 3.6.2.3.1) imple­mentiert.

Abbildung in dieser Leseprobe nicht enthalten

(Abb.4.1).

Über den Menüpunkt A können bis zu acht verschiedene Musterpaare, mit ei­ner Größe von bis zu 7 x 7 ^[48] Pixeln, eingegeben werden. Über den Menüpunkt B kann die Assembly (Speichermatrix) betrachtet werden, in welcher die zu­vor eingegebenen Muster intern repräsentiert werden. Die synaptischen Gewichte dieser Assembly können über den Menüpunkt C wahlweise als Balken- oder Tortendiagramm grafisch dargestellt werden. Um die Fehler­toleranz der betrachteten Assembly zu testen, wurde der Menüpunkt D im­plementiert, über den die einzelnen synaptischen Gewich­te der Assembly komfortabel modifiziert werden können.

Über den Menüpunkt E schließlich, können dem System Objekte (Muster) präsentiert werden, denen M.A.M. daraufhin eine interne Objektreprä­sen­tation zuordnet. Gelingt eine solche Zuordnung nicht auf Anhieb, kann der Zuordnungsversuch über eine Palm´sche Rückkoppe­lungs­schlei­fe (Kap.3.6.2.3.1) wiederholt werden.

4.2.2. Durchführung der Simulation

4.2.2.1. Zuordnung interner Repräsentationen zu auf­rechten Ob­jekten

Zuerst wurden die internen Repräsentationen der drei 7 x 7 Pixel großen, einfachen Muster aus Abbildung 4.2, über den Menüpunkt A (Abb.4.1), angelegt:

Im Eingabefeld (Abb.4.3) kann der Cursor über die Tasten e (Oben), s (Links), f (Rechts) und d (Unten) an die gewünschte Stelle plaziert wer­den, wobei mit der + -Taste ein Pixel gesetzt bzw. wieder gelöscht wer­den kann.

Durch das Drücken der X-Taste kann das Eingabefeld verlassen wer­den, woraufhin sich das folgende Dialogfeld öffnet: »Autoassoziation (j/n)?:«. Beantwortet man diese Frage mit ja, dann wird das im Einga­befeld eingegebene Muster in´s Ausgabefeld übertragen und somit die­ses Muster mit sich selbst assoziiert (siehe das Kapitel 3.6.2).

Auf diese Art und Weise wurden die internen Repräsentationen der Mu­ster »Sektglas« (Abb.4.2), »Pudel« und »Stuhl« angelegt.

Über den Menüpunkt E können Muster (Objekte) vorgegeben werden, de­nen M.A.M. daraufhin versucht, die entsprechenden internen Reprä­sen­ta­tionen zuzuordnen (Abb.4.4):

Abbildung in dieser Leseprobe nicht enthalten^{[49] [50]}

Dem im Abfragefenster vorgegebenen Objekt »Pudel«, ordnete M.A.M. völlig korrekt die interne Repräsentation »Pudel« zu und stellte diese im Ant­wortfenster dar. Auch die Objekte »Sektglas« und »Stuhl«, bereiteten M.A.M. keinerlei Schwierigkeiten.

Selbst auf die Eingabe eines unvollständigen Objekts, gelang die richtige Zuordnung (Abb.4.5):

Ist ein Objekt jedoch zu sehr verstümmelt, wie jenes in Abbildung 4.6, dann kann der Asso­ziativ­spei­cher eine kor­rekte Zu­ordnung nicht auf An­hieb er­rei­chen.

Da das in Abbildung 4.6 ein­gegebene Sockel­stück des »Sektglases« (Abfragefenster), Ähn­lichkeit mit dem linken Bein des Ob­jekts »Stuhl« auf­weist, ordnete M.A.M. diesem Muster sowohl die Repräsen­tation »Sektglas«, als auch die Repräsentation »Stuhl« zu.

Dies resultierte in ei­ner Überlage­rung beider Muster im Antwortfeld (Abb.4.6, rechts). Über die be­reits er­wähnte Palm´sche Rückkop­pelungsschleife (Kap.3.6.2.3.1), konnte jedoch trotzdem eine kor­rekte Zuordnung erreicht werden: Nach dem Drücken der X-Taste erscheint das Dialogfeld »Rückkoppelung (j/n) ?:«. Be­antwortet man diese Frage mit ja, dann wird das sich im Antwortfenster befindli­che Muster als Eingabemuster ver­wendet und somit eine neuer­liche Zuord­nung gestartet.

Das resultierende Antwortmuster (Abb.4.7) war nahezu korrekt; es enthielt nur noch einen Pixel der Repräsentation »Stuhl«. Wurde dieses Muster er­neut rückgekoppelt, erfolgte schließlich die richtige Zuordnung der Re­prä­sen­tation »Sektglas« (Abb.4.8).

Die Rückkoppelungsschleife soll einen sogenannten reverberato­rischen Schaltkreis (siehe das Kapitel 3.5.3) simulieren, der gleichzeitig als Verstärker und Filter funktioniert; durch das »Wegfiltern« des einen Musters, wurde das andere verstärkt und somit ein bestimmter Wahrnehmungseindruck » stabili­siert«.

Es wurde bereits im Kapitel 3.6.2.2 dargelegt, daß eine fehlerfreie Zuord­nung von internen Objektrepräsentationen zu Objekten der Außenwelt selbst dann noch möglich ist, wenn Teile der Assembly, in welcher diese Reprä­sentationen angelegt sind, zerstört wurden.

Über den Menüpunkt D können die einzelnen synaptischen Gewichte der besagten Assembly modifiziert werden (Abb.4.9):

Mit den Cursor-Steuerungstasten e, s, d, f und der + -Taste, können belie­bige synaptische Gewichte ausgewählt und modifiziert werden.

Durch das Drücken der E-Taste, erhält man einen Statusbericht über den Beschädigungsgrad der vorliegenden Assembly (Abb.4.9, rechts un­ten). Über die X-Taste kann dieser Menüpunkt verlassen wer­den, um ei­nen erneuten Zuordnungsversuch mit der beschädigten As­sembly zu star­ten.

Leider lassen sich keine konkreten Aussagen darüber machen, bis zu wel­chem Beschädigungsgrad eine Assembly noch voll funktionsfähig bleibt, da dies von zu vielen Faktoren abhängt. So spielt sowohl die Art der Ko­die­rung der internen Musterrepräsentationen, als auch die Anzahl und Größe dieser Muster eine Rolle. Somit variiert der größtmögliche - noch kompen­sierbare - Beschä­digungs­grad innerhalb eines Matrixspeichermodells, von Anwendung zu Anwen­dung. Bei der Assembly, welche die internen Re­präsentationen »Sektglas«, »Pudel« und »Stuhl« kodiert (Abb.4.9), konnten beispielsweise bis zu 3 % der synaptischen Gewichte modifiziert werden, während bei an­de­ren Mustern der größtmögliche Beschädigungsgrad deutlich niedriger lag (ca. 2 %).

4.2.2.2. Zuordnung interner Repräsentationen zu ver­kehrten Ob­jekten

Um das wiedererlernte Aufrechtsehen nach dem mehrtägigen Tragen ei­ner Umkehrbrille zu simulieren, wurden über den Menüpunkt A, ver­kehrte Muster mit aufrechten Mustern assoziiert (Abb.4.10).

Die Muster werden in diesem Unterprogramm wiederum über die + -Taste und die Cursor-Steuerungstasten e, s, d, f, in das Eingabefeld eingetra­gen. Nach dem Drücken der X-Taste zum Verlassen des Eingabefel­des, er­scheint die Abfrage: »Wollen Sie invertieren (j/n)?:«. Durch das Drücken der j-Taste, wird das auf dem Kopf stehende Muster im Eingabe­feld quasi »nach unten geklappt« und im Ausgabefeld einge­tragen.

Auf diese Weise wurden die Repräsentationen der Muster »Sektglas«, »Stuhl« und »Pudel«, angelegt.

Über den Menüpunkt E wurden in weiterer Folge die verkehrten Objekte »Pudel«, »Sektglas«, »Stuhl« vorgegeben, denen M.A.M. völlig korrekt die ent­sprechenden aufrechten Repräsentationen zuordnete (Abb.4.11).

4.3. Zusammenfassung und Diskussion der Assoziativspei­cher-Simula­tionsergebnisse

Entsprechend den Ausführungen in den Kapiteln 3.6.2.1 und 3.6.2.3.1, wurde ein mu­sterassoziierender Matrixspeicher erstellt, anhand des­sen versucht wurde, den Sehvorgang - wie im Kapitel 2.3.1.1 ausgeführt - als »Zuordnung von internen Re­prä­sentationen zu Objekten der Außenwelt«, zu beschreiben.

Zu diesem Zweck wurden die internen Repräsentationen einfacher Mu­ster angelegt, die der musterassoziierende Matrixspeicher den entspre­chenden aufrechten oder verkehrten Eingabemustern korrekt zuordnete.

Wendet man dieses Assoziativspeichermodell auf die Kohler´schen Um­kehrbrillenversuche an, dann könnte das Aufrechtsehen trotz Umkehrbrille durch eine neuerlernte Assoziation der verkehrten Umweltobjekte, mit be­stehenden aufrechten internen Objektrepräsentationen erklärt werden.

Es wurde bereits in der Einleitung (Kap.4.1) ausgeführt, daß für eine Abklä­rung, wie diese Assoziation auf neuronaler Ebene realisiert wird, ein solcher musterassoziierender Matrixspeicher, im Gegensatz zu neuronalen Netz­werk-Simulationen, ungeeignet ist.

Deshalb wurde für die weiteren Simulationen ein Backpropagation-Netz­werk herangezogen.

4.4. Simulation des neuronalen Umlernvorgangs durch ein Back­pro­pagation-Netzwerk

Gemäß den Ausführungen in Kapitel 3.5.3, wurde zur Simulation des neuro­nalen Um­lernvorgangs während des Tragens einer Umkehr­brille, ein drei­schichti­ges Backpropagation-Netzwerk verwendet. Die­ses Netzwerk wurde auf ei­nem gängi­gen Netzwerksimulator der Firma Neuro Informatik GmbH, Berlin erzeugt.

Es wurde bereits im Kapitel 3.5 darauf hingewiesen, daß die Backpropa­ga­tion-Netz­werke zu den leistungsfähigsten Netzwerkmodellen zählen und in Industrie und Forschung vornehmlich für Musterverarbei­tungsauf­ga­ben eingesetzt werden. Ein weiterer Vorteil ist die relativ ein­fache Funkti­ons­wei­se dieses Netzwerktyps, was eine genauere Analyse der sy­napti­schen Ge­wichtungen ermöglicht.

4.4.1. Erzeugung des Backpropagation-Netzwerks

Mit dem erwähnten Netzwerksimulator wurde ein dreilagiges Backpro­pa­gation-Netz­werk mit je 20 Neu­ronen pro Schicht erzeugt:

Abbildung in dieser Leseprobe nicht enthalten

Aus dem rechten Ausgabefenster in Abbildung 4.12 kann man entneh­men, daß insgesamt 840 synaptische Verbindungen zwischen den Neuro­nen über­einanderlie­gender Schichten aufgebaut wurden.

Da bei Netzwerken des Backpropagation-Typs immer jedes Neuron ei­ner untenliegenden Schicht mit jedem Neuron der darüberliegen­den Schicht verbunden ist, ergaben sich somit:

- 20 * 20 (= 400) Verbindungen zwischen den Neuronen der Eingabe- und der verdeckten Schicht,

und

- 20 * 20 Verbindungen zwischen den Neuronen der verdeckten- und der Ausgabeschicht.

Das machte insgesamt 800 Verbindungen für das gesamte Netzwerk. Die restlichen Verbin­dungen entstanden durch das sogenannte^[51] Bias-Ele­ment (siehe das Kapitel 3).

Die Abbildung 4.13 soll einen Einblick in die dreidi­mensionale Topologie des er­zeug­ten Netzwerks geben:

Jede Schicht des Netzwerks war 4 Neuronen »breit« und 5 Neuronen »tief«. Es wurde be­reits im Kapi­tel 3.5.1 erwähnt, daß bei Netzwer­ken de­s Back-Pro­pagation-Typs immer nur Neu­rone unmittelbar überein­an­der­liegender Schichten direkt mitein­ander verbunden sind; diese Ver­bindungen konn­ten in der ne­ben­stehenden Grafik nur ange­deutet werden, da alle 840 Ver­bindun­gen un­möglich zeich­neri­sch darstellbar sind.

Das erzeugte Back-Propagation-Netzwerk mußte lernen - analog zu den Simulationen mit dem musterassoziierenden Matrixspeicher - be­stimmten aufrecht oder verkehrt eingegebenen Mustern (Abb.4.14, 4.15 und 4.16), die entsprechenden aufrechten internen Repräsentationen zuzuordnen.

Alle Muster wurden durch 5 x 4 Matrizen (5 Kästchen groß und 4 Käst­chen breit) dar­ge­stellt.

Bei dem hier vorgestellten Netzwerk-Simu­lator müssen die zu lernenden Muster dem Netzwerk über eine sogenannte Lern­mu­sterdatei mitge­teilt werden. Diese^[52] ASCII-Datei gibt dem lernenden Netz­werk vor, welcher Output auf ei­nen ge­gebenen In­put erfolgen soll (Lernen mit Lehrer). Das Netz­werk än­dert in der Lern­phase seine Verbin­dungs­stärken zwischen den Neuro­nen so lange ab, bis der Output auf ein be­stimmtes Ein­ga­be­muster mit dem ge­wünschten Out­put über­einstimmt.

Der folgende Abdruck zeigt einen Ausschnitt aus der Lernmusterdatei für die aufrechten Muster (ein Abdruck der vollständigen Lernmusterdateien für aufrechte und verkehrte Muster fin­det sich im Anhang):

# ^[53] #

Abbildung in dieser Leseprobe nicht enthalten

Im Kopf der Lernmusterdatei müssen jeweils drei Parameter definiert wer­den:

- Die Anzahl der zu lernenden Musterpaare, die in dieser Datei enthal­ten sind (Lern_muster).
- Die Anzahl der Neurone, aus denen die Input-Schicht zusammenge­setzt ist (Input_elemente).
- Die Anzahl der Neurone, aus denen die Output-Schicht zusammenge­setzt ist (Output_elemente).

Die Muster selbst werden durch Matrizen der Größe 5 x 4 (fünf Zeilen und vier Spalten) ein­gege­ben, wobei die »1« eine Aktivierung und der ».« keine Ak­tivierung des entspre­chenden Neu­rons in der Input-, bzw. Output-Schicht bedeu­tet. Das Muster aus Einsen und Punkten stellt damit ein sogenanntes Aktivi­tätsmu­ster für die 20 Neu­rone der Input- bzw. Output-Schicht dar. So setzt sich z.B. das Symbol »Stuhl« (Abb.4.17) aus 10 aktiven (schwarze Käst­chen) und 10 inaktiven Neu­ro­nen zusammen. Durch die zwei Aktivitätsmu­ster unter »Input« und »Output« wird - wie bereits erwähnt - dem Netzwerk mitge­teilt, mit wel­chem Output es auf einen definierten Input zu reagie­ren hat.

Nach dem abgeschlossenen Lernvorgang kann das trainierte Netz über ei­ne sogenannte Ein- Ausgabeschnittstelle (Abb.4.18) getestet werden.

Das Input- und das Output-Fenster stellen die Ein- bzw. Ausgabeschicht des neuronalen Netzwerks dar. Durch die SPACE -Taste können im Input­fenster, durch das Setzen von Pi­xeln, Figuren einge­geben werden. Jeder gesetzte Pixel »erregt« ein Neuron der Input-Schicht; die eingegebene Fi­gur ent­spricht damit einem Aktivitätsmuster in der Input-Schicht des Backpropa­gation-Netzwerks. Das Netzwerk ordnet diesem Aktivi­tätsmu­ster ein gelern­tes Aktivitätsmuster, also eine interne Objektrepräsentation zu, wel­che im Output-Fenster dargestellt wird.

Zur Demonstration wurde ein Teil der »Pudel«-Figur eingegeben (Abb.4.18); trotz der nur unvollständigen Eingabe, konnte das Netzwerk die korrekte interne Repräsentation zuordnen und diese im Output-Fen­ster darstellen.

4.4.2. Training des Netzwerks durch die Lernmuster­da­teien für aufrechte und verkehrte Muster

Insgesamt wurden zwei dreischichtige Netzwerke erzeugt, von denen das eine mit der Lernmusterdatei für aufrechte, und das an­dere mit der Lern­musterdatei für verkehrte Muster trainiert wurde (Abb.4.19).

Bei beiden Netzwerken wurde der zu unterschreitende und damit die Lern­zeit determinierende^[54] Output-Fehler auf dem - vom Simulator vorgegeben - Standardwert von 0,01 belassen (Abb.4.19, rechts un­ten). Die Standard­werte für die bei­den^[55] Lernkonstanten wurden ebenfalls nicht verändert.

Nach abgeschlossenem Training wur­den die entstandenen synaptischen Gewichtungen beider Netzwerke miteinander vergli­chen.

4.4.3. Analyse der synaptischen Gewichtungen

4.4.3.1. Untersuchungsfrage

Es wurde angenommen, daß sich zwi­schen beiden erzeugten Netzwer­ken, bei einer bestimm­ten Klasse von Ge­wichten, die folgenden Unter­schiede ergeben:

Da das Netzwerk, welches mit den verkehrten Mustern trainiert wurde, in der Lage ist, verkehrten Mustern auf­rechte Muster zuzuordnen, wurde die Vermutung angestellt, daß hier Ver­bindungen zwischen Prozessorele­men­ten übereinan­derliegender Schichten, die von »vorne« nach »hinten« (und umge­kehrt)^[56] kreuzen (Abb.4.20), stärker gewichtet sind, als jene Verbindun­gen des Netz­werks, welches mit auf­rechten Mu­stern trainiert wurde. Es wurde an­ge­nommen, daß diese »kreuzenden Verbindungen« wichtig für die As­sozia­tion der ver­kehr­ten mit den aufrechten Mustern sind.

4.4.3.2. Erhebung der Gewichte

Die Gewichte der erwähnten kreuzenden Verbindungen wurden, nach abge­schlossenem Training der beiden Netzwerke, über den im Simulator im­plementierten Gewichtseditor (Abb.4.21) eingesehen.

In der Gewichtsmatrix sind alle Verbindungsgewichte zwischen den Pro­zes­sorelementen einzelner Schichten eingetragen. Durch das Abfahren der einzelnen Matrixelemente mit dem Cursor, können die exakten sy­napti­schen Gewichtungen zwischen einzelnen Prozessorelementen sicht­bar gemacht und für eine spätere statistische Ana­lyse notiert werden (Abb.4.21, rechts unten).

Abbildung in dieser Leseprobe nicht enthalten^[57]

Für die statistische Analyse wurden alle Gewichte aus einem Darstel­lungs­bereich zwischen 1 und 10 berücksichtigt. Insgesamt ergaben sich somit 105 Gewichte für das mit aufrechten und 101 Gewichte für das mit ver­kehr­ten Mustern trainierte Netzwerk (siehe Anhang).

4.4.3.3. Statistische Auswertung

4.4.3.3.1. Testauswahl

Zur Entscheidung, ob ein parametrischer oder nicht-parametrischer Test zur Anwendung kommen sollte, wurde der Kolmogorov-Smirnov-An­pas­sungstest zur Prüfung auf Normalverteilung angewendet (Kolles, 1989).

Da die Gewichte beider Netzwerke sowohl negative als auch positive Werte annahmen und somit bimodale Verteilungen vorlagen, wurden die positiven und die negativen Gewichte getrennt voneinander analy­siert.

Pro Netzwerk waren damit die folgenden Gruppen auf Normalverteilung zu überprüfen:

Die zu prüfenden Hypothesen lauteten:

- H0: empirische Verteilung = Normalverteilung
- H1: empirische Verteilung Normalverteilung

Die Durchführung des Kolmogorov-Smirnov-Anpassungstests erfolgte un­ter Zuhilfenahme des Statistikprogramms^[58] Statgraphics 5.0 (Abb.4.22).

Abbildung in dieser Leseprobe nicht enthalten

Da die nominellen Signifikanzniveaus (»Approximate significance level« in Abb.4.22) sämtlicher Gruppen die vorgegebene^[59] Irrtumswahrscheinlichkeit = 10 % überschritten, konnte für alle Grup­pen die H0 beibehalten werden.

Somit folgten sämtliche empiri­schen Verteilungen der Normalvertei­lung.

Aufgrund dessen und der Tatsache, daß die synaptischen Gewichte auf Intervallskalenniveau vorliegen, wurde der T-Test für ^[60] unabhängige Stich­proben für die weiteren statistischen Analysen gewählt.

4.4.3.3.2. Durchführung des T-Tests für unabhängige Stich­proben

Aufgrund des auf Seite 86 Gesagten wurden die folgenden Hypothesen aufgestellt:

- H0: (aufr. pos. bzw. neg. kreuzende Gewichte) = (verk. pos. bzw. neg. kreuzende Gewichte)

Der Mittelwert der »kreuzenden« positiven bzw. negativen Gewichte des mit aufrechten Mustern trainierten Netzwerks unterscheidet sich nicht vom Mittelwert der entsprechenden Gewichte des mit verkehr­ten Mu­stern trainierten Netzwerks.

- H1: (aufr. pos. bzw. neg. kreuzende Gewichte) < (verk. pos. bzw. neg. kreuzende Gewichte)

Der Mittelwert der »kreuzenden« positiven bzw. negativen Gewichte des mit aufrechten Mustern trainierten Netzwerks ist signifikant kleiner als der Mittelwert der entsprechenden Gewichte des mit verkehrten Mustern trainierten Netzwerks.

Zuerst wurde der T-Test für die positiven Gewichte der beiden Netzwerke durchgeführt (Abb.4.23):

Da das errechnete nominelle Signifikanzniveau die vorgegebenen Irr­tums­wahrscheinlichkeit = 5 % überschritt, wurde die H0 beibehalten.

Es ergaben sich somit keine signifikanten Mittelwertsunterschiede zwi­schen den positiven Gewichten kreuzender Verbindungen der mit auf­rechten und verkehrten Mustern trainierten Netzwerke.

Die Berechnung des T-Tests für die negativen Gewichte (Abb.4.24) er­brachte das folgende Ergebnis:

Da das^[61] einseitige nominelle Signifikanzniveau (»Sig. Level« in Abb.4.24) von 4,5 % die vorgegebene Irrtumswahrscheinlichkeit = 5 % unter­schritt, konnte die H0 verworfen und die H1 angenommen werden.

Somit ist der Mittelwert der negativen Gewichte der kreuzenden Ver­bin­dungen des mit aufrechten Mustern trainierten Netzwerks signifikant kleiner als der entsprechende Mittelwert des mit verkehrten Mustern trai­nierten Netzwerks.

Da die Gesamtheit der negativen Gewichte sich einerseits aus den Ge­wichten der Verbindungen zwischen Input-Schicht und Schicht 1 und an­dererseits aus den Gewichten zwischen Schicht 1 und Output-Schicht zu­sammensetzt, wurden weitere T-Tests durchgeführt, um herauszufinden, wel­cher Teil dieser Gewichte für den Mittelwertsunterschied verantwort­lich war (Abb.4.25 und Abb.4.26):

- Gewichte der kreuzenden Verbindungen zwischen Input-Schicht und Schicht 1:

Abbildung in dieser Leseprobe nicht enthalten

Da das nominelle Signifikanzniveau von 53 % die angenommene Irr­tumswahrscheinlichkeit = 5 % überschritt, wurde die H0 beibehal­ten.

Die Mittelwerte der Gewichte der Verbindungen zwischen Input-Schicht und Schicht 1 unterschieden sich somit nicht signifikant von­einander.

- Gewichte der kreuzenden Verbindungen zwischen Schicht 1 und Out­put-Schicht:

Abbildung in dieser Leseprobe nicht enthalten

Da das einseitige nominelle Signifikanzniveau von 1,3 %, deutlich un­ter­halb der vorgegebenen Irrtumswahrscheinlichkeit = 5 % lag, konnte die H1 angenommen werden.

Der Mittelwert der Gewichte der kreuzenden Verbindungen zwischen Schicht 1 und Output-Schicht, des mit aufrechten Mustern trainierten Netzwerks, ist somit signifikant kleiner, als der entsprechende Mittelwert, des mit verkehrten Mustern trai­nierten Netzwerks.

4.4.4. Simulation des Überlernens von Assoziationen

Für diese Simulation wurde wiederum ein dreischichtiges Backpropaga­tion-Netzwerk erzeugt, daß nun jedoch nacheinander mit den Lernmu­ster­da­teien für die aufrechten und die verkehrten Muster trainiert wurde. Da­durch sollten die Zustände vor und nach dem Tragen einer Umkehr­bril­le nachgebildet werden, um diese lernzeitmäßig miteinander zu ver­glei­chen. Die folgende Tabelle gibt über die Trainingsreihenfolge Auf­schluß:

Abbildung in dieser Leseprobe nicht enthalten

Beim Vergleich der^[62] Lernzeiten für die aufrechten Muster fiel auf, daß das Netzwerk beim nochmaligen Erlernen (= Überlernen ) der aufrechten Mu­sterassoziatio­nen (Punkt 3 in obiger Tabelle) rund viermal schneller war (20 Sekunden), als beim erstmaligen Erlernen derselben Musterasso­ziationen (1 Minute, 21 Sekunden).

Das bedeutet, daß die synaptischen Gewichte, die für die Assoziation der aufrechten Muster zuständig waren, trotz des Überlernens mit den ver­kehr­ten Mustern, zum Teil erhalten blieben. Beim erneuten Erlernen der­selben aufrechten Musterassoziationen, mußten diese Gewichts­werte nicht gänz­lich neugebildet werden, sondern konnten gewisserma­ßen »restauriert« wer­den, was sich in der erheblich kürzeren Lernzeit aus­drückte.

4.5. Zusammenfassung und Diskussion der Netzwerk-Simu­la­ti­onser­gebnisse

Anhand eines Backpropagation Netzwerks wurde untersucht, ob die von »vorne nach hinten kreuzenden« Verbindungen zwischen zwei Netzwerk­schich­ten, bei dem Netzwerk, welches mit verkehrten Mustern trainiert wurde, stärker gewichtet sind, als bei jenem Netzwerk, welches mit auf­rechten Mustern trainiert wurde.

Diese Hypothese konnte für die positiven Gewichte nicht bestätigt wer­den, wohl aber für die negativen.

Da es sich bei negativen Gewichten jedoch um inhibitorische Gewich­te handelt, müssen zur Interpretation dieses Ergebnisses die folgenden Überle­gun­gen angestellt werden: Bei dem mit aufrechten Mustern trainierten Netz­werk waren die »kreuzenden« Bahnen - im Gegensatz zu dem mit ver­kehr­ten Mustern trainierten Netzwerk - mit hohen negativen Werten gewich­tet, was sich in einem kleinen Mittelwert äußerte (Abb.4.24).

Die »kreuzenden« Bahnen des erstgenannten Netzwerks übten demnach, im Gegensatz zum zweitgenannten Netzwerk, eine starke inhibitorische Wirkung aus.

Es wird deshalb angenommen, daß das vorliegende Backpropagation-Netzwerk eine Assoziation von verkehrten mit aufrechten Mustern durch­führt, indem es Verbindungen, die zwischen zwei Schichten von Prozessore­lementen »von vorne nach hinten ziehen«, mit starken Gewichtungen be­legt (Abb.4.20).

4.6. Annahme eines »Neuronalen Erklärungsmodells« zum Umlern­vorgang während des Tragens einer Umkehrbrille

Die in den vorigen Kapiteln dargestellten Simulationsergebnisse sollen in diesem Kapitel dazu verwendet werden, Vermutungen darüber anzustel­len, wie sich das Umlernen im visuellen System während des Tragens einer Umkehrbrille, auf neuronaler Ebene abspielen könnte. Zu diesem Zweck wird der neuronale Umlernvorgang innerhalb eines computersimulierten Netzwerks mit einem hypothetisch angenommenen neuronalen Umlern­vorgang, der während des Tragens einer Umkehrbrille stattfinden könnte, in Beziehung gesetzt. Für die folgenden Ausführungen gelten sämtliche Vorbehalte, die in den Kapiteln 3.2 und 4.1 zur Sprache kamen.

Es wird angenommen, daß während des Tragens einer Umkehrbrille ge­lernt wird, den durch eine Umkehrbrille verkehrten Umweltobjekten die ent­sprechenden, in neuronalen Assemblies angelegten, aufrechten Repräsen­tationen dieser Objekte zuzuordnen (Kap. 4.2.2).

Der Umlernvorgang selbst ist dabei stark von Informationen aus anderen Wahrnehmungssystemen (Tastsinn, Gleichgewichtssinn, usw.) abhängig (Kohler, 1951; Ritter, 1986; Held, 1986). Diese Wahrnehmungssysteme über­neh­men - analog zum »Lernen mit Lehrer« bei dem besprochenen Backpro­pagation-Netzwerk - die Rolle eines Lehrers, der vermutlich Rückmeldun­gen über die Rich­tigkeit einer Assoziation (eines Lernschritts) gibt.

Es wird angenommen, daß sich das Neuerlernen dieser Assoziationen auf synaptischer Ebene abspielt. Dabei könnte - analog zum be­schriebenen Backpropagation-Netzwerk - eine kompensatorische Schal­tung aus sich überkreuzenden Bahnen entstehen, die die Assoziation der verkehrten Au­ßenmuster mit den aufrechten internen Objektrepräsentationen ermög­licht.

Diese kompensatorische Schaltung könnte auch nach dem Ablegen der Umkehrbrille noch eine Zeitlang bestehen bleiben, wodurch das mehrmi­nütige Verkehrtsehen unmittelbar nach Brillenabnahme erklärt werden kann (Kap.4.4.4).

Da sich diese Neuverschaltung jedoch - aufgrund ihres kurzen Bestehens - noch nicht in so starkem Maße etabliert hat, wird diese vermutlich rasch wieder ab­gebaut, wodurch wiederum zum Aufrechtsehen zurückgefun­den wird.

Literaturliste

1. Alkon, D.L.: Gedächtnisspuren in Nervensystemen und künstliche neu­ro­nale Netze., Spektrum der Wissenschaft, 9/1989.
2. Anderson, J.R.: Kognitive Psychologie., Heidelberg, Spektrum der Wis­sen­schaft, 1988.
3. Anderson, J.R.: Neuronale Netzwerke., Amsterdam, Time-Life, 1989.
4. Barr, T.: Netze im Aufwind., C´T, 4/1991.
5. Bentz, H.J.: Ein Gehirn für den PC., C´T, 10/1988.
6. Birbaumer, N.; Schmidt, R.F.: Biologische Psychologie., Berlin, Sprin­ger, 1989.
7. Bliem, H.; Moser, H.; Wild H.; Koller, A. (Hrsg.): Von der Nervenzelle zum Gehirn., Institut für Zoophy­sio­logie und Institut für Psychologie der Uni­versität Innsbruck, 1981.
8. Bloos, L.: Die Computer des nächsten Jahrtausend., Happy Compu­ter, 1/1989.
9. Brockhaus, F.A.: Brockhaus, Naturwissenschaften und Technik., Mann­heim, Brockhaus, 1989.
10. Brown, R.H. (Hrsg.): Artificial Intelligence., M.I.T. Press, 1979.
11. Dreyfus, H.L.; Dreyfus, S.E.: Künstliche Intelligenz., Reinbek, Rowohlt, 1987.
12. Eckmiller, R.; Werntges, H.: Neuronale Computer., C´T, 10/1988.
13. Gardner, H: Dem Denken auf der Spur., Stuttgart, Klett-Cotta, 1989.
14. Hinton, G.E.: Wie neuronale Netze aus Erfahrung lernen., Heidelberg, Spektrum der Wissenschaft, 1992.
15. Hofstadter, D.R.: Gödel, Escher, Bach., Stuttgart, Klett-Cotta, 1988.
16. Hubel, D.H.: Auge und Gehirn., Heidelberg, Spektrum der Wissen­schaft, 1989.
17. Hubel, D; et al.: Gehirn und Nervensystem., Heidelberg, Spektrum der Wissenschaft, 1987.
18. Janosch, B.; Patrick, T.: Denkendes Silizium., C´T, 9/1989.
19. Kinzel, W.; Deker, U.: Denken nach Menschenart., Bild der Wissen­schaft, 1/1988.
20. Kirchner, W.: Neuronales Netzchen., C´T, 9/1989.
21. Kohler, I.: Über Aufbau und Wandlungen der Wahrnehmungswelt. Österr. Akademie d. Wis­senschaften., 1951.
22. Kohonen, T.: Self-organization and associative memory., Berlin, Sprin­ger, 1984.
23. Kolles, H.: Statistische Auswertungen in der Medizin., München, Jungjo­hann Verlagsgesellschaft, 1989.
24. Lashley, K.S.: The neuropsychology of Lashley., New York, McGraw-Hill, 1950.
25. Leckebusch, J.: Intelligenz im Netz., DOS, 9/1991.
26. Maelicke, A.: Vom Reiz der Sinne., Weinheim, VCH, 1990.
27. Malsburg, Ch.,v.: Flexible Automaten in neuronaler Architektur., Spek­trum der Wissen­schaft, 1/1988.
28. Minsky, M.: K-Lines., Cognitive Science, 4/1980.
29. Nauta, W.J.H.; Feirtag, M.: Neuroanatomie., Heidelberg, Spektrum der Wissenschaft, 1990.
30. Oehler, R.: Der Griff zum Gehirn., Bild der Wissenschaft, 12/1990.
31. Palm, G.: Assoziatives Gedächtnis und Gehirntheorie., Spektrum d. Wiss., 6/1988.
32. Poppe, G.: Autocad 11., Vaterstetten bei Münschen, IWT-Verlag, 1991.
33. Redding, G.M.; Wallace, B.: Effects on Prism Adaption of Duration and Timing of Visual Feedback during Pointing., Journal of Motor Be­ha­viour, 22/1990.
34. Reichert, H.: Neurobiologie., Stuttgart, Thieme, 1990.
35. Ritter, H; Martinetz, T.; Schulten K.: Neuronale Netze., Bonn, Addison-Wes­ley, 1990.
36. Ritter, M. (Hrsg.): Wahrnehmung und visuelles System., Heidelberg, Spek­trum der Wis­sen­schaft, 1986.
37. Rock, I.: Wahrnehmung., Heidelberg, Spektrum d. Wiss., 1985.
38. Rumelhart, D.E.; McClelland, J.L.: Parallel distributed processing., Cam­bridge, MIT-Press, 1986.
39. Sarnow, K.: Netze selber knoten., C´T, 2/1992.
40. Schmidt, H.: Vom Computer zum Elektronengehirn., Bild der Wissen­schaft, 12/1990.
41. Schöneburg, E.; Hansen, N; Gawelczyk, A.: Neuronale Netzwerke., Haar bei München, Markt-u.Technik-Verl., 1990.
42. Schreiber, S.B.: Natürliche Intelligenz (1)., C´T, 4/1987.
43. Schreiber, S.B.: Großer Auftritt für eine kleine Matrix., C´T, 7/1987.
44. Schreiber, S.B.: Mach´s doch selber!, C´T, 9/1987.
45. Schreiber, S.B.: Ein Computer lernt buchstabieren., C´T, 7/1988.
46. Schulze, H.H.: Computer Lexikon., Reinbek, Rowohlt, 1989.
47. Schweizer, H.J.: PN-II, Einleitung zum Handbuch., Ergänzung zur Habili­tationsschrift, vorgelegt am Institut f. Psychologie d. Universität Inns­bruck., 1986.
48. Seelen, W. v., et al.: Sehende Computer., C´T, 11/1988.
49. Seelos, H-J.: Wörterbuch der Medizinischen Informatik., Berlin, de Gru­yter, 1990.
50. Singer, W.: Gehirn und Kognition., Heidelberg, Spektrum der Wissen­schaft, 1990.
51. Stanley, J.; Bak, E.: Neuronale Netze., München, Systhema, 1992.
52. Thompson, R.F.: Das Gehirn., Heidelberg, Spektrum der Wissenschaft, 1990.
53. Touretzky, D.S.; Pomerleau, D.A.: What´s Hidden in the Hidden Layers?, BYTE, 8/1989.
54. Vogel, G.; Angermann, H.: DTV-Atlas zur Biologie., DTV, 1985.
55. Welchering, P.: Neuronale Netze., Happy Computer, 1/1989.
56. Werner, J.: Medizinische Statistik., München, Urban & Schwarzen­berg, 1984.
57. Wirbeleit, F.: Diskrete Annäherung., C´T, 2/1992.
58. Würtz, R.P.: Gesichtserkennung mit dynamischen neuronalen Net­zen., Spektrum der Wis­sen­schaft, 4/1992.
59. Zerbe, K.: Do-it-yourself-Gehirnchen., C´T, 12/1989.
60. Zink, Ch. (Bearb.): Pschyrembel, Klinisches Wörterbuch., Berlin, Walter de Gruyter, 1990.

Bildnachweise

Kapitel 1:

- Abbildung 1.1: ^[63] aus Kohler, 1951.

Kapitel 2:

- Abbildung 2.1: aus Vogel, 1985, modifiziert.

- Abbildung 2.2: nach Hubel, 1988, modifiziert.

- Abbildung 2.3: aus Pschyrembel, 1990, modifiziert.

- Abbildung 2.4: nach Birbaumer, 1989, modifiziert.

- Abbildung 2.5: aus Thompson, 1990, modifiziert.

- Abbildung 2.6: nach Hubel, 1988, modifiziert.

- Abbildung 2.7: nach Hubel, 1988, modifiziert.

- Abbildung 2.8: nach Hubel, 1988, modifiziert.

Kapitel 3:

- Abbildung 3.1: aus Eckmiller, 1988, modifiziert.

- Abbildung 3.2: Häfele, 1992.

- Abbildung 3.3: Häfele, 1992.

- Abbildung 3.4: nach Schöneburg, 1990, modifiziert.

- Abbildung 3.5: nach Eckmiller, 1988, modifiziert.

- Abbildung 3.6: nach Schöneburg, modifiziert.

- Abbildung 3.7: Häfele, 1992.

- Abbildung 3.8: nach Schreiber, 1987.

- Abbildung 3.9: nach Barr, 1991, modifiziert.

- Abbildung 3.10: Häfele, 1992.

- Abbildung 3.11: nach Palm, 1990, modifiziert.

- Abbildung 3.12: Häfele, 1992.

Kapitel 4:

- Abbildung 4.1: ^[64] Screenshot; Häfele, 1992.

- Abbildung 4.2: Screenshot; Häfele, 1992.

- Abbildung 4.3: Screenshot; Häfele, 1992.

- Abbildung 4.4: Screenshot; Häfele, 1992.

- Abbildung 4.5: Screenshot; Häfele, 1992.

- Abbildung 4.6: Screenshot; Häfele, 1992.

- Abbildung 4.7: Screenshot; Häfele, 1992.

- Abbildung 4.8: Screenshot; Häfele, 1992.

- Abbildung 4.9: Screenshot; Häfele, 1992.

- Abbildung 4.10: Screenshot; Häfele, 1992.

- Abbildung 4.11: Screenshot; Häfele, 1992.

- Abbildung 4.12: Screenshot; Häfele, 1992.

- Abbildung 4.13: Häfele, 1992.

- Abbildung 4.14: Häfele, 1992.

- Abbildung 4.15: Häfele, 1992.

- Abbildung 4.16: Häfele, 1992.

- Abbildung 4.17: Häfele, 1992.

- Abbildung 4.18: Screenshot; Häfele, 1992.

- Abbildung 4.19: Screenshot; Häfele, 1992.

- Abbildung 4.20: Häfele, 1992.

- Abbildung 4.21: Screenshot; Häfele, 1992.

- Abbildung 4.22: Screenshot; Häfele, 1992.

- Abbildung 4.23: Screenshot; Häfele, 1992.

- Abbildung 4.24: Screenshot; Häfele, 1992.

- Abbildung 4.25: Screenshot; Häfele, 1992.

- Abbildung 4.26: Screenshot; Häfele, 1992.

Anhang

Quellcode des Programms M.A.M.

Lernmusterdateien der Muster: »Buchstaben, Symbole, Ziffern«

Gewichtungen der synaptischen Verbindungen nach erfolgreichem Training

Anhang

Quellcode des Programms M.A.M.

M.A.M. wurde^[65] fast vollständig in Turbo Pascal 6.0 programmiert und ist auf allen PC´s der^[66] AT-Klasse (286, 386, 486), mit mindestens 640 KB RAM und^[67] Grafikadapter (Hercules, CGA, MCGA, EGA, VGA), lauffähig.

M.A.M. funktioniert gemäß den Ausführungen in den Kapiteln 3.6.2.2 und 3.6.2.3.1, welche ergänzend zu der vorliegenden Quellcode-Dokumenta­tion herangezogen werden können.

PROGRAM MAM;

Abbildung in dieser Leseprobe nicht enthalten

Lernmusterdateien der Muster: »Buchstaben, Symbole, Zif­fern«

Die folgenden Lernmusterdateien aufrechter und verkehrter Muster, wur­den für das Training des im Kapitel 4.4 beschriebenen Backpropagation-Netzwerks verwendet.

Die Lernmusterdateien liegen im ASCII-Format vor und haben den folgen­den Aufbau:

- Im Lernmusterdatei-Kopf muß angegeben werden, wieviele Muster in der Datei enthalten sind (Lern_muster) und aus wievielen Input- bzw. Output-Prozessorelementen das zu trainierende neuronale Netzwerk besteht (Input_elemente, Output_elemente).
- Im Lernmusterdatei-Hauptteil werden die zu assoziierenden Muster als Matrizen aus Einsen und Punkten dargestellt, wobei die Eins für ein akti­vier­tes, und der Punkt für ein inaktiviertes Neuron steht.

Aufrechte Muster

Abbildung in dieser Leseprobe nicht enthalten

Gewichtungen der synaptischen Verbindungen nach er­folg­reichem Training

Nachfolgend sind die synaptischen Gewichtungen der »von vorne nach hintenden kreuzenden« Verbindungen, der beiden mit aufrechten bzw. verkehrten Mustern trainierten Backpropagation-Netzwerke aufgeführt.

Aufrechte Muster

Abbildung in dieser Leseprobe nicht enthalten

Verkehrte Muster

Abbildung in dieser Leseprobe nicht enthalten

Stichwortverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

[...]

---

^[1] Sämtliche nichtinvasive Methoden, wie beispielsweise EEG-Ableitungen (evozierte Potentiale, Brainmapping, usw.) oder moderne bildgebende Verfahren (CT, NM­R, PET, usw.), verfügen (noch) nicht über das nötige Auflösungsvermögen, um neuronale Verän­de­rungen auf zellulärer oder sogar sy­naptischer Ebe­ne sichtbar zu machen.

^[2] Konvergenz bedeutet »Zusammenfließen« bzw. Sammeln von Information; dies wird durch die Pro­jektion vieler Neurone auf eine geringere Anzahl Neurone realisiert. Analog dazu bedeutet Di­vergenz »Auseinanderfließen« bzw. Verteilen von Information. Das konvergente und das diver­gente Verschal­tungsprinzip läßt sich im gesamten Nervensystem aller Arten beobachten und stellt ein Grundprinzip der neuronalen Informationsverarbeitung dar (nach Bliem et al., 1981).

^[3] Diese Beschreibung bezieht sich auf die RF der Neurone für das Schwarz-Weiß-Sehen. Die RF der Neurone für das Farbensehen sind sehr ähnlich aufgebaut. Man unterscheidet Neurone des Rot-Grün-Systems von Neuronen des Gelb-Blau-Systems (Hubel, 1989). Zentrum und Peripherie der RF dieser Neurone sind dabei Farb-antagonistisch organisiert: so reagiert z.B. ein Neuron des Rot-Grün-Systems nur dann maximal, wenn ein roter Lichtreiz in sein RF-Zentrum, bzw. wenn ein grüner Lichtreiz in seine RF-Peripherie trifft. Neurone des Gelb-Blau-Systems haben analog dazu ein »gelbes RF-Zen­trum« und eine »blaue RF-Peripherie« (Birbaumer, 1989).

^[4] Der Thalamus ist die größte graue Kernsubstanz des Zwischenhirns. Er ist die übergeordnete Schalt­station für die folgenden zur Großhirnrinde ziehenden sensorischen Systeme: Seh-, Hör- und somato­sensorisches System. Überdies steht der Thalamus durch entsprechende Fasersysteme mit dem Kleinhirn, dem extrapyramidalen System und dem Rückenmark in Verbindung (nach Thompson, 1990).

^[5] Die im folgenden beschrie­benen Erkenntnisse über den Aufbau und die Funktionsweise der neu­ro­nalen Strukturen im vi­suellen Kortex sind der langjährigen For­schungsar­beit der Neurobio­logen David Hubel und Tor­sten Wiesel zu verdanken, die dafür 1981 mit dem Nobelpreis für Me­dizin ausge­zeichnet wurden.

^[6] Von dieser Regel ausgenommen sind jedoch die Neurone der Zellschichten IVc; diese Neurone besitzen nämlich Rezeptive Felder, die jenen des CGL und der Retina ähnlich sind, und reagieren deshalb auch nicht orientierungs­spezifisch (in der Abbildung 2.4 wird dies durch den kleinen Kreis angedeutet) (Birbaumer, 1989).

^[7] Ein visuelles Feld ist als eine vollständige Kartierung der Netzhaut auf einem Kortexareal definiert (Thompson, 1990).

^[8] Die Dauer der sog. Kritischen Periode unterscheidet sich dabei von Art zu Art: bei Katzen wird sie als die Zeitspanne zwischen der 3. und der 12. Lebenswoche angegeben (Hubel, 1989); bei Men­schen­affen dauert sie vom Zeitpunkt der Geburt bis zum 12. Lebensmonat (Reichert, 1990). Beim Men­schen selbst reicht die kritische Phase bis zum Schulalter (Singer, 1990).

^[9] Anmerkungen des Verfassers sind in eckigen Klammern eingeschlossen.

^[10] PDP = P arallel D istributet P rocessing = parallel verteilte Datenverarbeitung.

^[11] Da der Ausdruck »Computersimulierte neuronale Netzwerke« etwas umständlich ist, soll stattdes­sen künftig der Ausdruck »neuronale Netzwerke« verwendet werden. Natürliche (biologische) neu­ronale Netzwerke werden künftig als »biologische neuronale Netze« bezeichnet.

^[12] Ein Algorithmus ist eine Rechenanweisung, also die Festlegung eines Rechenvorganges durch eindeutige Regeln. Man unterscheidet endliche (begrenzte) und unendliche Algorithmen. Auf Computern werden sogenannte Algorithmussprachen (= Programmierspra­chen) zur Be­schreibung endlicher Algorithmen angewendet. Wenn für einen Ablauf ein Algo­rithmus gebildet werden kann, dann kann auch ein Computerprogramm erstellt werden, das die­sen Ablauf nachbil­det. Somit stellt jedes Computerprogramm selbst einen endlichen Algorith­mus dar (Schulze, 1989).

^[13] Nachdem die Neuronenzahl des menschlichen Gehirns nur geschätzt werden kann, dif­ferie­ren die Angaben darüber bei den verschiedenen Autoren zum Teil erheblich. Einige Schät­zungen ge­hen sogar bis zu 100 Milliarden Neuronen (Schöneburg, 1990).

^[14] Synapsen sind die Kontaktstellen zwischen den Neuronen eines Nervennetzes. Über sie werden Aktionspotentiale von einer Nervenzelle auf die nächste übertragen. Man unterscheidet exzitato­ri­sche (erregende) von inhibitorischen (hemmenden) Synapsen.

^[15] 1945 beschrieb der Computertechniker John von Neumann den klassischen Aufbau und die Funk­ti­onsweise eines Rechners mit den Bestandteilen Zentraleinheit (CPU; Gliederung in Prozessor und Hauptspeicher) und Datenkanäle (Schulze, 1989). Fast alle heute gängigen Computermodelle sind nach dieser Ar­chitektur strukturiert.

^[16] Der Begriff »Muster« steht im Rahmen der Theorie neuronaler Netzwerke nicht für Bilder, sondern vielmehr für Datenmuster. Ein Datenmuster ist nichts anderes als eine Anordnung gleichberech­tig­ter Datenwerte; z.B. diese Bitfolge: 0 0 1 0 1 1 0 0 1.

^[17] K ünstliche I ntelligenz: Forschungsrichtung, die traditionellerweise versucht, die natürliche Intelli­genz des Menschen durch spezielle Algorithmen, bzw. durch prozedurale Programmierung (Advanced Programming) zu simulieren (Schulze, 1989). Seit der Mitte der 80´er Jahre werden von KI-Forschern zunehmend auch neuronale Netzwerke eingesetzt; die Forschung mit und an neuronalen Netzwerken gilt heute als ein Teilgebiet der KI.

^[18] Anmerkung d. Verfassers.

^[19] Dieser Ausdruck stammt aus der Laserlicht-Fotografie. Hier wird durch eine spezielle Zerlegung von Laserlicht erreicht, daß ein Gegenstand dreidimensional auf einer Bildplatte abgebildet wird. Das Besondere dabei ist jedoch, daß die Information über jeden Bildpunkt über die gesamte Bild­platte verteilt ist; d.h. daß in jedem Bruchstück des ursprünglichen Bildes das Gesamtbild ent­halten ist. Außerdem können auf einer einzigen Fotoschicht mehrere Bilder gleichzeitig gespei­chert wer­den (Gardner, 1984).

^[20] Madaline = M ultiple Ada ptive Li­n ear E lement.

^[21] Die Festkörperphysik beschäftigt sich mit der Aufklärung der Kristallstrukturen, sowie mit den Bin­dungsverhältnissen zwischen benachbarten Atomen bei den sogenannten Festkörpern (= Stoffe im festen Aggregatzustand, mit definierter Form und Volumen) (nach Brockhaus, 1989).

^[22] Jenes Prozessorelement, daß seinen Ausgangswert (Output) an ein nachgeschaltetes Prozesso­re­lement weitergibt, heißt Senderzelle (j ).

Jenes Prozessorelement, daß diesen Output der Senderzelle j als Input verarbeitet, heißt Empfän­gerzelle i der Senderzelle j.

^[23] propagate = fortpflanzen, ausbreiten.

^[24] Anmerkung d. Verfassers.

^[25] Kode, der aus Binärzeichen (= Zeichen aus einem Zahlenvorrat von nur zwei Zeichen) besteht.

^[26] Bit = binary digit = binäre Ziffer, die nur die Werte Null oder Eins annehmen kann.

^[27] Matrix = Zweidimensionaler Zahlenkörper aus m Zeilen und n Spalten von Zahlen (Schulze, 1989).

^[28] Bei den Arbeitsspeichern herkömmlicher Computer werden die einzelnen Speicherplätze durchnummeriert. Diese Platznummern (= Adressen) ermöglichen den Zugriff auf den Speicherin­halt des jeweiligen Speicherplatzes.

^[29] Anmerkung des Verfassers.

^[30] Vektor = dimensionaler Zahlenkörper aus einer Reihe von Einzelwerten. Man unterscheidet Zei­lenvektoren von Spaltenvektoren (Schulze, 1989). In der hier verwendeten Darstellungsform werden Vektoren als eindimensionale Matrizen verstanden.

^[31] transponieren = Vertauschen von Zeilen und Spalten eines Vektors oder einer Matrix.

^[32] Die Durchrechnung dieses Beispiels erfolgte mit dem Mathematik-Paket Mathcad for Windows (© MathSoft, 1991). Die Ergebnisse der Berechnung wurden über die Windows-Zwischenablage impor­tiert.

^[33] Da jeweils verschieden Frage- und Antwortvektoren miteinander assoziiert werden, handelt es sich bei diesem Beispiel um eine Heteroassoziation (siehe das Kap.3.6.2).

^[34] Die vorliegende Kodierungsart wurde willkürlich gewählt; genausogut hätte jeder andere mehrstellige Binärkode verwendet werden können. Grundsätzlich gilt jedoch: je redundanter die Kodierung, desto leistungsfähiger verhält sich der Matrixspeicher.

^[35] Matlab = Mat rix Lab oratory (© MathWorks Inc., 1989).

^[36] Bentz et al. empfehlen »spärlichere« Kodierungsarten, um eine hohe Assoziativ-Speicherleistung zu erreichen. Die vorliegende Art der Kodierung wurde gewählt, um eine möglichst gute Vergleich­barkeit mit natürlichen Systemen zu gewährleisten.

^[37] Das Prozentsymbol % dient bei der Programmierung unter Matlab zum Einfügen von Kommen­ta­ren.

^[38] Das Semikolon unterdrückt die Bildschirmausgabe des Ergebnisses der jeweiligen Berechnung.

^[39] Das Hochkomma bewirkt unter Matlab eine Transponierung einer Matrix oder eines Vektors.

^[40] Durch den »home« - Befehl wird das Programm veranlaßt, die zu bildende Matrix bei jedem Spal­ten - Schleifendurchlauf in die linke obere Bildschirmecke zu plazieren. In Kombination mit der Pro­grammzeile y(i,j) = x(t), deren Bildschirmausgabe durch die Verwendung des Kommas an­statt des Se­mikolons nicht unterdrückt wird, ergibt sich dadurch ein sogenanntes »Movie«; d.h. man kann das »Auffüllen« der Matrix mit den Vektorelementen mitverfolgen.

^[41] Durch die Aufsummierung der einzelnen binären Zielmatrizen ergibt sich eine analoge Sum­menmatrix. Aus diesem Grund erhält man durch die Multiplikation der jeweiligen Eingabematrix mit der Summenmatrix eine analoge Antwortmatrix.

^[42] Es wären durchaus noch andere Schwellenwert-Berechnungsmethoden denkbar; die vorlie­gende Methode der »Bildung des Mittelwerts über alle besetzten Zellen« besticht jedoch aufgrund ihrer Einfachheit und ihrer noch am ehesten gegebenen Entsprechung mit physiologischen Gege­benheiten (siehe das Kapitel 3.4.3)

^[43] Anmerkung d. Verfassers.

^[44] Eine Approximation ist ein Näherungsverfahren zur Berechnung komplizierter mathematischer Wer­te mit Hilfe der numerischen Mathematik (Schulze, 1989).

^[45] Die axonale Rückkoppelungsschleife ist in der Neurophysiologie auch als reverberatorischer Kreisverband (»reverberatory circuit«; Hebb, 1949) bekannt, in dem bestimmte Erregungsmuster ei­nige Zeit zirkulieren und dadurch verstärkt werden (Birbaumer, 1990).

^[46] Ich möchte an dieser Stelle Heidrun H. für Ihre Unterstützung beim Programmieren von M.A.M. danken.

^[47] M.A.M. ist auf allen PC´s der AT-Leistungsklasse mit mindestens 640 KB RAM und Grafikadapter (Hercules, CGA, MCGA, EGA, VGA) lauffähig. Der dokumentierte Quellcode des Programms ist im Anhang dieser Diplomarbeit abgedruckt.

^[48] Pixel = Bildpunkt. Kleinstes Element der Darstellung von Zeichen oder Bildern auf Monitoren oder Druckern (Schulze, 1989).

^[49] Schwelle = Mittelwert über alle Zellen, die größer als Null sind (siehe das Kapitel 3.6.2.2).

^[50] Wenn man eine 7 x 7 - Matrix gemäß den Ausführungen in Kapitel 3.6.2.2, in einen Zeilenvektor umwan­delt, dann erhält man einen Vektor mit 49 Komponenten. Da - der Übersichtlichkeit we­gen - zwi­schen jede Vektorkomponente ein Leerzeichen gehört, ergibt das eine Zeichenkette von 97 Zei­chen Länge. Nachdem im Textmodus nur 80 Zeichen nebeneinander darstellbar sind, ist somit so­wohl der Ein- als auch der Ausgabevektor zu lang zur Bildschirmdarstellung.

^[51] Der BIAS ist ein Prozessorelement mit der konstanten Aktivität von 1; er besitzt nur Ausgänge und keine Eingänge. Mit Hilfe des Bias-Elements wird sichergestellt, daß bestimmte Prozessorelemente immer einen Input ungleich Null erhalten (nach Schöneburg, 1990).

^[52] Abkürzung für A merican S tandard C ode of I nformation I nterchange (= amerikanischer Norm­code für Nachrichtenaustausch). Der ASCII-Kode ist ein normierter 7 (8) -Bit-Kode, der dem Da­tenaus­tausch zwischen Soft- bzw. Hardwareprodukten verschiedener Hersteller dient (nach See­los, 1990).

^[53] Zwischen zwei »#« können Kommentare in die Lernmusterdatei eingefügt werden.

^[54] Es wurde bereits erwähnt, daß Backpropagation-Netzwerke beim Lernen, während jedes Lernzy­klus´, den tatsächlichen Output mit dem erwünschten Output vergleichen und aus der Differenz den sog. Output-Fehler berechnen. Unterschreitet dieser errechnete Outputfehler den vom Benutzer willkürlich festlegbaren Outputfehler, dann wird der Lernvorgang abgebrochen und somit das Trai­ning beendet. Je kleiner der Outputfehler angesetzt wird, desto länger lernt das Netzwerk und um­so leistungsfähiger wird es.

^[55] Die Lernkonstante bzw. Lernrate ist als eine reelle Zahl zwischen Null und Eins definiert und gibt an, wie stark ein einzelner Lernschritt in die Veränderung der Gewichte eingeht (Schöneburg, 1990) (siehe das Kapitel 3). Ein neuronales Netzwerk lernt umso länger, je kleiner die entsprechenden Lernraten angesetzt sind.

^[56] Unter von »vorne nach hinten kreuzenden Verbindungen« werden hier all jene Verbindungen zwi­schen zwei Prozessorelementen übereinanderliegender Netzwerk-Schichten verstanden, die in Rich­tung der z-Achse mindestens zwei Prozessorelemente »überspringen« (Abb.4.20). Die Verbindung zwi­schen dem Prozessorelement 4 der Input-Schicht und dem Prozessorelement 40 der verdeckten Schicht, wäre beispielsweise eine solche »kreuzende Verbindung«; sie »überspringt« die Prozessore­lemente 8, 12 und 16.

^[57] Schicht 1 = erste verdeckte Schicht.

^[58] © STSC, Inc., 1991.

^[59] Um den -Fehler (fälschlich beibehaltene H0 und damit unrechtmäßige Anwendung parame­trischer Verfahren) kleinzuhalten, wurde die Irrtumswahrscheinlichkeit auf 10 % festgesetzt (Kolles, 1989).

^[60] Da zwei Netzwerke erzeugt wurden, die mit verschiedenen Lernmustern trainiert wurden, sind die erhobenen Gewichtungen voneinander unabhängig.

^[61] Da die aufgestellte Alternativhypothese »1 < 2«, eine gerichtete Hypothese darstellt, konnte am Statgraphics Auswertungsbildschirm das Schaltfeld »vs. Alt:« (Alternativhypothese) auf LT (lower than) gesetzt werden, was eine Halbierung des nominellen Signifikanzniveaus bewirkte (Kolles, 1989).

^[62] Da die Lernzeiten mit der Rechenleistung des zur Simulation verwendeten Computertyps variie­ren, müssen - um eine Vergleichbarkeit zu gewährleisten - dessen technische Daten aufgeführt werden: sämtliche in dieser Arbeit besprochenen Simulationen wurden auf einem IBM-kompatiblen PC mit einer 80486´er CPU (33 MHZ Taktfrequenz, 256 KB Cache-Memory) durchgeführt.

^[63] »aus« bedeutet: Vorlage wurde eingescannt und mit Paintbrush (© Microsoft, 1992) nachbearbei­tet.

^[64] Sämtliche Screenshots wurden mit Capture 1.0 (© Jewell Technologies Inc., 1989) erstellt.

^[65] Lediglich die Routine zur automatischen Prozessorprüfung (siehe d. folgende Fußnote) enthält ein wenig Assembler-Code.

^[66] M.A.M. führt eine automatische Prozessorprüfung durch; ist nicht mindestens ein 80286 Prozessor vorhanden, erfolgt ein Programmabbruch mit der Meldung: »Programm läuft erst ab einem 286´er-System !« (© für diesen Programmteil: Borland, 1989).

^[67] Das vorliegende Programm ist mit einer automatischen Grafikkarten-Detektion ausgestattet und schaltet selbsttätig in den entsprechenden Grafikmodus (© für diesen Programmteil: Borland, 1989).