Folgende Drittmittel wurden durch den SFB 360 für die Jahre 1995 und 1996 eingeworben. Drittmittelgeber war in beiden Jahren die Deutsche Forschungsgemeinschaft (DFG):
Sprecher des SFB:
Prof. Dr. Gert Rickheit
Fakultät für Linguistik und Literaturwissenschaft
Stellvertretender Sprecher:
Prof. Dr. Gerhard Sagerer
Technische Fakultät
I. Forschungsarbeiten
a)
Antragsteller: Prof. Dr. Helge Ritter, Prof. Dr. Gerhard Sagerer Wiss. Mitarbeiter: Dipl.-Phys. Gunther Heidemann (DFG) Dipl.-Inform. Reinhard Moratz (DFG)b) Im Projekt A1 "Hybride Wissensrepräsentation" des SFB 360 wird ein computergestütztes visuelles Objekterkennungssystem entwickelt, das die für das SFB-Szenario relevante Erkennung von Baufixobjekten leistet. Da keine auf dieses Problem speziell zugeschnittene Lösung angestrebt wird, sondern ein auch in anderen (z.B. industriellen oder medizinischen) Bereichen anwendbares System, wurde ein lernfähiger hybrider Ansatz gewählt. "Hybrid" bedeutet hierbei die Kopplung semantischer, vom menschlichen Programmierer erstellter Netze mit künstlichen neuronalen Netzen, die aus Trainingsbeispielen selbständig Wissen erwerben.
Nachdem ein erster Hybriderkenner fertiggestellt wurde, der Hypothesen eines holistischen neuronalen Erkenners zur Suchraumeinschränkung für das semantische Netz ausnutzt, wird die Weiterentwicklung gegenwärtig vor allem auf den Gebieten der Generierung präattentiver Aufmerksamkeitssteuerung, der selbstorganisierenden Bildung von Objektklassen und der neuronalen Objektmodelle vorangetrieben.
Die präattentive, das heisst in diesem Kontext modellfreie Steuerung der "Aufmerksamkeit" des holistischen, neuronalen Teils des Erkennungssystems erfolgt durch die Generierung von Fokussierungspunkten. Hierzu wurden zwei einander ergänzende Ansätze untersucht: Die Berechnung einer "Interessantheitskarte" (saliency map) durch Bewertung lokaler Grauwert- oder Farb-Symmetrien und eine farbbasierte Segmentierung, welche die Vorteile eines bottom up getriebenen Regionenwachstums und eines top down gesteuerten splitting-Verfahrens vereint.
Ein weiterer Schwerpunkt ist die Weiterentwicklung des holistischen Erkennungssystems. Bisherige Verfahren, die künstliche neuronale Netze zur Objektklassifikation einsetzen, leiden oftmals an der Notwendigkeit, grosse Trainingsstichproben von Hand zu klassifizieren. Daher werden im Projekt A1 Verfahren entwickelt, die es erlauben, das holistische Erkennungssystem zunächst unüberwacht zu trainieren, so dass sich durch Selbstorganisationsprozesse die Einteilung verschiedener Objekte oder Bildprimitive in Klassen von selbst ergibt. Im Anschluss daran kann der Benutzer mit relativ geringem Aufwand eine Benennung der gebildeten Klassen vornehmen.
Diese Vorgehensweise erscheint auch unter kognitiven Gesichtspunkten adäquater als die ad hoc Vorgabe fester Objektklassen. Sie erfordert jedoch die Entwickung geeigneter Verfahren, welche die holistisch gewonnen Bildprimitiva mit der symbolischen, vom Menschen strukturierten Ebene des semantischen Netzes verknüpfen. Hierzu wird ein Ansatz untersucht, der sog. parametrisierte selbstorganisierende Karten (PSOM) als neuronale 3D-Objektmodelle verwendet. Damit soll ein hybrides Objekterkennungssystem entwickelt werden, dessen Anwendbarkeit über die vom SFB-Szenario gegebenen Vision-Problematik hinausreicht.
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten
a)
Antragsteller: Dr. Stefan Posch, Prof. Dr. Helge Ritter Wiss. Mitarbeiter: Dipl.-Ing. Anke Maßmann (DFG) Dipl.-Inform. Robert Rae (DFG)b) Ziel des Teilprojektes A2 innerhalb des Sonderforschungsbereiches ist es bestimmte Teilaspekte der menschlichen Wahrnehmung von Bildern zu modellieren. Vorbild ist dabei die Fähigkeit des Betrachters reguläre Strukturen zur Perzeption emergenter Eigenschaften auszunutzen. Diese im wesentlichen unbewußt ablaufenden Organisationsprozesse resultieren in einer Sinneswahrnehmung, die anders ist als die Summe der Einzelempfindungen. Der vorliegende Text möge dafür als Beispiel dienen: obwohl es sich nur um einzelne Buchstaben handelt, werden dennoch Wörter als "Ganzheiten" oder "Gestalten" sichtbar. Phänomene dieser Art werden seit Anfang unseres Jahrhunderts von Gestaltpsychologen analysiert.
Der Einsatz dieser Gruppierungsprozesse in Vorstufen eines komplexen Bildverarbeitungssystems bedeutet eine wesentliche Reduktion von Komplexität und eine Minderung von Mehrdeutigkeiten für nachfolgende Verarbeitungsstufen. Die Realisierung des technischen Systems ist motiviert durch Arbeiten von Gestaltpsychologen, die eine Reihe von Eigenschaften der menschlichen Wahrnehmung in den "Gestaltgesetzen" formuliert haben. Ein Beispiel hierfür ist das "Prinzip der Nähe", wonach Teile gemäß ihrem räumlichen Abstand zu figuralen Einheiten gruppiert werden. Die Aussagekraft der Gesetze ist allerdings eher qualitativer Natur und bedarf einer weiteren Formalisierung.
Im Rahmen des Projektes wurde ein hierarchischer konturbasierter Ansatz untersucht. Dieser basiert auf der Definition einer Hierarchie von Gruppierungshypothesen. Zunächst werden Gruppierungshypothesen aufgrund von lokaler Bildinformation generiert, die anschließend von einem Markov Random Field im globalen Kontext bewertet werden. Dieses Vorgehen wurde inzwischen auf das Gruppieren von Merkmalen in Stereobildern zur Vereinfachung einer 3D-Rekonstruktion erweitert.
Zusätzlich wurden Regionen in den Gruppierungsprozeß aufgenommen. Objekte werden dabei durch ihre Oberflächen repräsentiert, die mittels eines Regionensegmentierungsverfahrens detektiert werden. In Bildfolgen ist besonders die Betrachtung von Objektbewegungen interessant, einzelne Regionen werden aufgrund ihrer gemeinsamen Bewegung als ein zusammengehörendes Objekt gruppiert ("Gesetz des gemeinsamen Schicksals").
Während die Realisierung des gerade besprochenen Gruppierungsansatzes eher technischer Natur ist, wurde in einem weiteren Arbeitspunkt ein biologisch motiviertes Schichtmodell untersucht. Das Modell ist angelehnt an Prozesse, wie sie in geschichteten neuronalen Netzen auftreten und beruht auf dem Zusammenwirken von kompetitiven und kooperativen Wechselwirkungen, die in einer Zerlegung der Basisprimitiva in perzeptive Gruppen resultieren. Die Gruppen werden dabei durch eine nichtlineare Dynamik in (räumlich) verschiedene Schichten sortiert. Einen wesentlichen Einfluß auf den Gruppierungsprozeß hat dabei eine schichtlaterale Wechselwirkung, die den Übereinstimmungsgrad lokaler Merkmale bewertet.
Mit Hilfe einer analytischen Analyse der Gruppierungsdynamik konnten verschiedene Eigenschaften des Modells (wie z.B. Attraktorzustände, Einfluß der lateralen Wechselwirkung und Zeitverhalten) charakterisiert werden. Diese Erkenntnisse konnten dann genutzt werden, um in einem ersten Schritt die Performanz des Schichtmodells zur Gruppierung von realen Bildinhalten zu untersuchen. Eine einfache Merkmalsextraktion wurde in einem weiteren Schritt durch ein biologisch motiviertes "rezeptives Feld" ersetzt. Damit ist es möglich auf wahrnehmungspsychologisch motivierten Reizmotiven Gruppierungsleistungen zu erzielen, die dhnlich der des Menschen ist.
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten
a)
Antragsteller: Prof. Dr. Dafydd Gibbon, Dr. Franz Kummert Wiss. Mitarbeiter: Christel Brindöpke, MA (DFG) Michaela Johanntokrax, MA (DFG)b) Thema des Projektes war die automatische Erkennung diskursrelevanter Eigenschaften von Sprachsignalen. Auswahl und Modellierung der diskursrelevanten Eigenschaften im Hinblick auf Diskursfunktionen sowie akustische Modellierbarkeit waren Arbeitsbereiche des Projektes. Empirische Basis für die automatische Erkennung sowie die Modellbildung sollte spontansprachliches Datenmaterial aus einem Wizard-of-Oz-Szenario sein.
Dementsprechend wurde im Projekt zunächst eine auf die SFB-Domäne abgestimmte Umgebung für Sprachaufnahmen von Mensch-Maschine-Interaktion entworfen und aufgebaut. Basis dieses Wizard-of-Oz-Szenarios war die Simulation eines sprachverstehenden Systems. Die Systemsimulation umfaßte eine akustische Spracheingabe, -ausgabe und eine Bildausgabe. Aufgabe für vierzig Versuchspersonen war es, das System anzuweisen, ein Baufixflugzeug zusammenzubauen. Eine Kontrollgruppe von 10 Personen bekam die Aufgabe, eine in einem anderen Raum befindliche Person anzuweisen, ein Baufixflugzeug zusammenzubauen. Außer dem Wissen der Versuchspersonen, daß ihr Dialogpartner ein Mensch sei, wurden keinerlei Veränderungen der Versuchsbedingungen vorgenommen, so daß sich die Sprachdaten sehr gut für Vergleiche sprachlichen Verhaltens in Mensch-Maschine- versus Mensch-Mensch-Interaktion eignen. Im Anschluß an alle Versuche füllten die Versuchspersonen einen Fragebogen aus, der softwareergonomische Fragen und Fragen zur Einschätzung der kommunikativen Situation umfaßte (Brindöpke et al. 1995b). Die Sprachdaten stehen als Serviceleistung für die anderen Teilprojekte des SFB auf DAT-Band sowie als orthographische Transkription nach der Konvention von Fink et al. (1995) zur Verfügung (Brindöpke et al. 1995a).
Im Bereich der Auswahl und Modellierung diskursrelevanter Eigenschaften wurde zunächst der Untersuchungsgegenstand auf bestimmte prosodische Ereignisse und Diskurspartikeln festgelegt. Als Vorstufe für die Erkennung melodischer Spracheigenschaften wurde eine Label- und Testumgebung entwickelt, die erstens ein modellbasiertes melodisches Labelling erlaubt, zweitens eine modellunabhängige melodische Beschreibung als Vorstufe für die Entwicklung neuer melodischer Kategorien und drittens die Erstellung von Sprachdaten mit kontrolliert veränderter Grundfrequenz. Für die Erkennung diskurskonfigurierender Partikeln wurde nach einer umfangreichen Korpusanalyse und der Definition des hier relevanten Inventars eine Analysestruktur entwickelt, durch die alle für ein sprachverstehendes System relevanten funktionalen, formalen und akustischen Eigenschaften von Diskurspartikeln adäquat beschrieben werden. So wurde eine linguistische Analyse durchgeführt, bei der die Merkmale erarbeitet wurden, die die definierten Kategorien in Hinblick auf ihre dialogsteuernde und -gliedernde Funktion beschreiben (Fischer/Johanntokrax 1995); parallel dazu wurde mit einer akustischen Analyse begonnen, die nach Abschluß Merkmale liefern wird, die die definierten Kategorien signalrelevant beschreiben. Die Informationen aus der linguistischen und akustischen Analyse stellten die Grundlage für die Implementierung des Erkenners dar (Brindöpke et al 1996).
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten
a)
Antragsteller: Dr. Hans-Jürgen Eikmeyer, Prof. Dr. Gert Rickheit, Prof. Dr. Gerhard Sagerer Wiss. Mitarbeiter: Dipl.-Inf. Thomas Fuhr (DFG) Dipl.-Math. Uta Naeve (DFG) Dipl.-Inform. Gudrun Socher (DFG) Dipl.-Psych. Constanze Vorwerg (DFG)b) Zielstellung des Projekts ist die Untersuchung und computertechnische Modellierung von Aspekten der Interaktion visueller und sprachlicher Informationsverarbeitung. Diese Interaktion wurde an den Problemstellungen Objektidentifikation und Objektbenennung untersucht. Methodisch bewegt sich das Projekt in einem Dreieck, das gebildet wird von empirischen psycholinguistischen Untersuchungen, Arbeiten zur Spracherkennung und zum Sprachverstehen sowie Arbeiten im Bereich der Bildanalyse.
Im Bereich der Bildanalyse wurde ein robustes ellipsenbasiertes Verfahren zur Rekonstruktion der 3D-Lagen der Szenenobjekte entwickelt. Die Ergebnisse dieser Szenenrekonstruktion nutzt ein in diesem Projekt erarbeitetes Computermodell zur Berechnung von Richtungsbeziehungen im 3D-Raum. Mittels dieses Modells kann unter Nutzung der rekonstruierten 3D-Objektlagen eine qualitative räumliche Beschreibung aus den visuellen Szenendaten abgeleitet werden. Es wurde ferner eine Wissensbasis erstellt, welche die genannten Bildanalyseprozesse integriert und mit Ergebnissen vorgeschalteter Bildanalysestufen verkoppelt.
Auf Seiten des Sprachverstehens wurde eine Wissensbasis weiter aufgebaut, welche dem Verstehen einfacher Anweisungen wie "Gib mir die gelbe Leiste" oder "Nimm das kleine gelbe Ding rechts der kurzen Schraube" dient. Für jede Objektbenennung wird durch die Sprachanalyse eine interne Beschreibung des Objekts konstruiert, welche die Form, Farbe, Größe und Art des Objekts charakterisiert.
Die aus den Arbeiten zum Sprach- und Bildverstehen resultierenden Wissenbasen wurden zu einer homogenen Wissensbasis zusammengefaßt, welche eine erste Vermittlung sprachlicher und visueller Information gewährleistet. Hiermit ist die Identifikation von Szenenobjekten aufgrund der Semantik sprachlich geäußerter Anweisungen in den visuellen Daten sowie eine dem aktuellen Szeneninhalt angepaßte Erkennung sprachlicher Äußerungen über diese Szene möglich.
Die konzeptuell vermittelte Wechselwirkung zwischen Prozessen der visuellen und der sprachlichen Informationsverarbeitung wurde empirisch für zwei Klassen von Objektattributen untersucht: Farbattribute und Richtungsrelationen.
Im ersten Fall ging es um die Frage, inwieweit Objektwissen die Wahrnehmung der Objektfarbe bzw. deren Benennung beeinflußt. Erste Datenanalysen sprechen hier für die Hypothese, daß Versuchspersonen bei Objekten mit typischer Objektfarbe (z.B. grün) bei Veränderung dieser typischen Farbe (z.B. in bläuliches grün) länger an der Farbbenennung "grün" festhalten als bei Objekten ohne typische Farbe.
Bezogen auf Richtungsrelationen wurde untersucht, welche Benennungen zur Charakterisierung der Richtungsbeziehungen zweier Baufixobjekte auf einer Arbeitsfläche im 3D-Raum typischerweise gewählt werden (freie Benennung). Es zeigt sich, daß nur in eindeutigen Fällen singuläre Richtungsadverbien - vorwiegend "links", "rechts","hinten" und "vorn" - verwendet werden. Ansonsten werden "kombinierte" Richtungsadverbien bevorzugt (z.B. "hinten links"). Längerfristiges Ziel der Untersuchungen zu Richtungsrelationen ist es Aufschlüsse über die den Benennungen zugrundeliegende kognitiv vorgenommene Aufteilung des Raums zu erhalten. Ferner wurde die Akzeptanz des realisierten Computermodells zur Berechnung von Richtungsrelationen (s.o.) empirisch evaluiert. Es ergab sich eine sehr hohe Zufriedenheit der Versuchspersonen mit den Berechnungen des Computermodells. Ein Vergleich der Berechnungsresultate mit den freien Benennungen zeigt jedoch Abweichungen bei bestimmten räumlichen Anordnungen.
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten
a)
Antragsteller: Dr. Hans-Jürgen Eikmeyer, Prof. Dr. Walther Kindt Wiss. Mitarbeiter: Dr. Uwe Laubenstein (DFG) Dr. Ulrich Schade (DFG)b) Ziel des SFB ist die Modellierung relevanter Aspekte natürlicher Kommunikatoren eingeschränkt auf ein Basis-Szenario, in dem zwei Kommunikatoren gemeinsam eine Konstruktionsaufgabe lösen und ihre Aktionen mit Hilfe natürlicher Sprache koordinieren. Hierbei ist es offensichtlich notwendig, auf einzelne Objekte, aus denen ein größeres Ensemble konstruiert wird, aber auch auf Teilensembles von Objekten sprachlich Bezug zu nehmen. Dieses geschieht mit Objektbenennungen, d.h. sprachlichen Ausdrücken, die Sprecher mit dem kommunikativen Ziel produzieren, einem Hörer die Identifikation eines Objektes zu ermöglichen.
Das Projekt B2 modelliert die Produktion solcher Benennungen mit lokalen konnektionistischen Netzwerken. Solche Netze repräsentieren alle relevanten kognitiven und sprachlichen Entitäten und stellen Relationen zwischen den Entitäten durch aktivierende oder hemmende Verbindungen dar. Das verwendete Netzwerk ist in Schichten organisiert, die die für die Produktion relevanten Ebenen wie Semantik, Syntax, Morphologie und Phonologie repräsentieren. Auf der semantischen Ebene sind die Objekte und ihre Eigenschaften, auf den anderen Ebenen sprachliche Beschränkungen, die für die Kombination der Entitäten jeweils gelten. Die Eigenschaften der repräsentierten Objekte können für die Produktion aus der Analyse des bildverarbeitenden Systemes, d.h. aus den Partnerprojekten A1, A2 und B1 übernommen werden.
Das Modell produziert Objektbenennungen unterschiedlicher Ausführlichkeit und berücksichtigt die Variation der Benennung eines Objektes in Abhängigkeit von den Eigenschaften der Objekte in deren Kontext das benannte Objekt vom Hörer identifiziert werden soll. Zur Evaluation wurden aus der Forschungsliteratur bekannte psycholinguistische Resultate herangezogen, aber auch eigene empirische Untersuchungen durchgeführt. Diese Untersuchungen sind kontrastiv in bezug auf Sprachen wie Schwedisch, Französisch und Spanisch. Das Modell erlaubt Vorhersagen, z.B. in bezug auf die Reihenfolge der Adjektive in Benennungen mit Farb- und Größenadjektive wie "die lange blaue Schraube", deren experimentelle Überprüfung in Kooperation mit dem Partnerprojekt B1 durchgeführt wird.
Aus modelltheoretischer Sicht wird angestrebt, den zu modellierenden Bereich mit möglichst wenigen und allgemeinen Prinzipien abzudecken. Alle Modellierungsebenen verwenden als generelle Designprinzipien positives Feedback und laterale Hemmung. Reihenfolgebeschränkungen für Syntax, Morphologie und Phonologie werden mit einem einheitlichen Sequentialisierungsverfahren realisiert.
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten a)
Antragsteller: Prof. Dr. Hannes Rieser, Prof. Dr. Hans Strohner Wiss. Mitarbeiter: Dipl.-Psych. Ingo Duwe (DFG) Dr. Wolfgang Heydrich (DFG) Dipl.-Psych. Klaus Kessler (DFG)b)Im Rahmen des Projekts B3 wird untersucht, wie Agenten (Instruktor, Konstruktor) in aufgabenorientierten Dialogen auf Gegenstände ihrer Domäne referieren. B3 ist ein Kooperationsprojekt zwischen Linguisten und Psycholinguisten, deshalb kommen sowohl linguistische und sprachphilosophisch-logische als auch kognitiv orientierte, psycholinguistische Referenztheorien zum Tragen. Durch die integrative Herangehensweise an das Referenzproblem wird einerseits der externe Bezug auf Gegenstände über die Sprache und anderseits die konzeptuelle Basis dieses Bezugs erfaßt. Traditionellerweise ist das erste eine linguistische und das zweite eine psycholinguistische Fragestellung. Die linguistischen Vorarbeiten zu einer integrierten Referenztheorie hatten empirische Untersuchungen zu den SFB-Korpora (Blockwelten, SFB-Flugzeug), Fokus- und Augenbewegungsuntersuchungen zu den SFB-settings, theoretische Arbeiten zu Referenz und mentalen Zuständen sowie den Aufbau eines Simulationssystems SPEX zum Gegenstand.
Die Untersuchungen zu den SFB-Korpora führten zu einem Zwei-Agenten-Diskurmodell für Aufforderung und Rückmeldung sowie zur Modellierung der dabei involvierten mentalen Zustände (Überzeugungen, Absichten und Intentionen). Die Augenbewegungsuntersuchungen wurden als Basis zur Modellierung des Aufmerksamkeitsfokus des Instruktors verwendet. Die theoretischen Arbeiten befaßten sich mit u.a. mit Dialog- und Diskurstheorie, der Theorie mentaler Zustände (insbesondere mutuality und common ground) und der Theorie des nicht-wörtlichen Sprechens, die für das Referieren mit Metonymien und Metaphern in den SFB-Korpora zentral ist. Das entwickelte Dialogsystem SPEX erlaubt es, Dialoge auf dem Computer zu simulieren, in denen Bauklötze manipuliert werden, auf welche die Agenten mit Metonymien (Rechteck für Quader, Quadrat für Würfel) referieren.
Die kognitive Modellierung der Referenzverarbeitung baut aus psychologischer Perspektive auf dem Konzeptbegriff auf. Konzepte haben unterschiedlich starke Spezifikationen. Wir unterscheiden dabei durch externe Unterspezifizierung gering diskriminative Aktualkonzepte, sowie Referenzkonzepte, die durch den situativen Kontext interner und externer Art spezifiziertere Konzepte sind. Objektmodelle ergeben sich durch die Anpassung von Referenzkonzepten in die Gesamtsituation mittels Weltwissens. In der ersten Phase des Projektes haben sich unter anderem die Variablen Fokus, definite bzw. indefinite Benennungen und die konzeptuellen Relationen als relevant für die Referenzverarbeitung herausgestellt. In der aktuellen Phase geht es vor allem darum diese empirisch orientierten Begriffe im Rahmen unseres Modells zu theoretischen Termini zu erheben.
Alle Konzepttypen und insbesondere Objektmodelle werden als verteilte Muster über subkonzeptuelle Informationen angesehen. Die Generierung der Muster ist von der persönlichen Lerngeschichte und Kontexteinflüssen abhängig. Zu den Kontexteinflüssen zählen die visuell fokussierte Information über die Anwesenheit anderer Objekte, die sprachliche Kennzeichnung eines Objektes, der sprachliche Kontext der Gesamtäußerung, sowie die Antizipation von eigenen Zielen und die Simulation der Partnerperspektive.
Eine maschinelle Simulation unseres kognitiven Modells der Referenz dient der Überprüfung und Spezifizierung der experimentell fundierten Theorie. Der inhärente Konsistenzcheck, der bei einer Programmierung automatisch durch den Nachweis der Ablauffähigkeit stattfindet, ist eines der Ziele dieser Simulation. Eine weitere durch die experimentell-simulative Methode gestellte Aufgabe des Modells soll die Hypothesen-Generierung sein. Diese Hypothesen dienen im empirischen Bereich wiederum als Grundlage der weiteren Forschung.
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten
a)
Antragsteller: Prof. Dr. Gert Rickheit, Prof. Dr. Helge Ritter, Prof. Dr. Gerhard Sagerer, Dr. Lorenz Sichelschmidt Wiss. Mitarbeiter: Dipl.-Psych. Elena Carbone (DFG) Dipl.-Inform. Marc Pomplun (DFG)b) Im Teilprojekt B4 wurden in den vergangenen zwei Jahren Untersuchungen zur Funktion von Augenbewegungen bei kognitiven Prozessen vorgenommen. Im einzelnen wurden folgende Forschungsarbeiten durchgeführt: Vergleichende visuelle Suche: In verschiedenen Experimenten wurde das im Projekt entwickelte Paradigma der vergleichenden visuellen Suche eingesetzt. Hierbei sollen Versuchspersonen den einzigen Unterschied zwischen zwei simultan dargebotenen Verteilungen farbiger geometrischer Objekte finden. Da sich in früheren Experimenten Hinweise auf die Relevanz der Dimension des Unterschieds (Farbe oder Form) ergeben hatten, wurde nun die Frage untersucht, inwieweit Information über die relevante Dimension einen Einfluß auf Blickverhalten und Reaktionszeiten als Indikatoren kognitiver Verarbeitungsprozesse ausüben.
Mengenwahrnehmung bei perzeptueller Gruppierung: In einer weiteren Versuchsreihe im Rahmen einer Diplomarbeit wurden Versuchspersonen simultan zwei zweidimensionale Objektmengen dargeboten - eine Referenzmenge, die durch Linien perzeptuell in mehrere Cluster gruppiert war, und eine Indikatormenge, bei der die Anzahl der Objekte einstellbar war. Die Aufgabe bestand darin, die Anzahl der Objekte in der Indikatormenge der in der Referenzmenge anzugleichen. In den Abweichungen der eingestellten Objektmenge von der Referenzmenge zeigen sich systematische Einflüsse perzeptueller Gruppierung, speziell der Anzahl und Größe der Cluster, auf die Mengenwahrnehmung.
Modellierung von Augenbewegungen mit einem aktiven Kamerasystem: In einem Projektseminar wurden Augenbewegungen von Versuchspersonen beim Einprägen und Vergleichen von realistischen Szenen gemessen und analysiert. Ziel ist die Implementierung eines Blickbewegungsmodells zur Steuerung eines aktiven Kamerasystems. Dabei stellen die empirischen Blickbewegungsdaten die Basis für die Konstruktion und Verifikation des Modells dar.
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten
a)
Antragsteller: Prof. Dr. Gert Rickheit, Prof. Dr. Ipke Wachsmuth Wiss. Mitarbeiter: Dipl.-Inform. Bernhard Jung (DFG) Dipl.-Psych. Klaus Kessler (DFG)b) Die Hauptaufgabe des Teilprojekts "Konzeptdynamik" (CODY) bei der Entwicklung eines Künstlichen Kommunikators im SFB 360 ist ein operationaler Ansatz der dynamischen Konzeptualisierung, welcher durch fortlaufende Aktualisierung der Wissensrepräsentation einem robotischen System ein optimales Verständnis der aktuellen Situation ermöglicht. Im Referenzszenario des SFB geht es speziell um aggregatbildende Konstruktionsaufgaben (Montagen). Deshalb sind speziell Inferenzmöglichkeiten für die Aggregatkonzeptualisierung erforderlich; sie sollen nicht nur die Erkennung gebildeter Aggregate, sondern darüber hinaus deren Interpretation als funktionale Komponenten eines Zielaggregats der Montage bewerkstelligen (beispielsweise ist es bei der Montage eines Flugzeugmodells aus Baukastenteilen möglich, daß ein zunächst als "Schraube" eingeführtes Objekt später die Rolle einer "Achse" einnimmt).
Als zentraler Beitrag des CODY-Projekts wurde dazu der Wissensrepräsentationsformalismus COAR ("Concepts for Objects, Assemblies, and Roles") entwickelt. Die Konzeptmodelle sind grundsätzlich strukturell beschreibender Natur, lassen sich aber mit räumlichen Relationen, die aus Geometrie-Beschreibungen der Montageszene automatisch abgeleitet werden, anreich ern. Mit Hilfe von sog. Aktualkonzepten ermöglicht COAR dem Kommunikator eine fortlaufend aktualisierte Interpretation der Objekte in seiner Umgebung auf der Basis eines dynamischen internen Modells. Demonstriert werden diese Fähigkeiten in einem graphisch-interaktiven wissensbasierten Simulationssystem, dem Virtuellen Konstrukteur; hiermit ist die interaktive Montage komplexer Aggregate aus einfachen Grundbausteinen möglich, die dreidimensional visualisiert werden. Der Virtuelle Konstrukteur umfaßt die 3D-Darstellung einer Montagefläche, Wissensbasen für Gedächtnis- und Aktualkonzepte, einen einfachen Parser für natürlichsprachliche Instruktion sowie einen Browser zur Inspektion der Wissensbasen. In der Simulation konnten einzelne Fähigkeiten des Künstlichen Kommunikators so bereits vor der Verfügbarkeit eines integrierten Systems mit perzeptiven und aktorischen Komponenten in weitem Umfang exploriert werden; erste Ergebnisse wurden ferner bereits mit der A nkopplung einer perzeptiven Komponente (Kamera) erzielt.
Des weiteren wurde ein Ansatz entwickelt, der die frühzeitige Erkennung von Baugruppen und der Rollen, die Bauteile in ihrem Kontext übernehmen, leistet. Er basiert auf der Interaktion vieler einfacher Einzelklassifikatoren, die als Multiagenten-System organisiert sind und durch kooperatives Verhalten eine Gesamtlösung erbringen. Basis dafür ist eine salienzbewertete Zuschreibung von Rollen an Bauteile sowie die vorläufige Konzeptualisierung unvollständiger Baugruppen mit Hilfe spezieller Bewertungsfunktionen.
Ein Ziel der zweiten Projektphase (ab 7/96) ist die Konzipierung "imaginaler Prototypen", die generische Formmodelle von Aggregaten beschreiben und mit deren Hilfe Baugruppen an charakteristischen Form-Merkmalen erkannt werden können. Eine offene kognitionswissenschaftliche Frage betrifft das Format von imaginalen Prototypen. Hierzu werden Hypothesen mit Hilfe psycholinguistischer Experimente (u.a. mentale Rotation, Eyetracking, Priming) überprüft. Ein weiteres Ziel ist die Integration der strukturellen und imaginalen Beschreibungen zu einer hybriden Repräsentation, um Synergieeffekte für die Aggregaterkennung und Rollenzuschreibung ausnutzen zu können. Die empirischen Ergebnisse des psycholinguistischen Projektteils sollen in Computersimulationen mit dem Virtuellen Konstrukteur überprüft werden, wobei auch Anhaltspunkte für weitere Untersuchungen gewonnen werden (experimentell-simulative Methode).
II. Wissenschaftliche Veröffentlichungen
III. Promotionen
Jung, B.: Wissensverarbeitung für Montageaufgaben in virtuellen und realen
Umgebungen. Dissertation, 1996.
I. Forschungsarbeiten a)
Antragsteller: Dr. Hans-Jürgen Eikmeyer, Dr. Henning Lobin, Prof. Dr. Gert Rickheit Wiss. Mitarbeiter: Dr.-Ing. Bernd Hildebrandt (DFG) Dipl.-Psych. Petra Weiß (DFG)b) Um Handlungsanweisungen zu verstehen, müssen die jeweils gegebenen situativen Rahmenbedingungen beachtet werden. In diesem Teilprojekt werden die situativ abhängigen Verstehensprozesse empirisch untersucht, modelliert und simuliert.
In experimentellen Vorarbeiten (Lese- und Imaginationsexperimente) wurde bereits der Einfluß der Faktoren Verb- und Argumentspezifität sowie Eindeutigkeit des situativen Objektkontextes auf die Rezeption von Handlungsanweisungen untersucht. Dabei zeigte sich u.a., daß die Relevanz der Verbinformation kontextabhängig variiert: Insbesondere in kontextuell ambigen Situationen kann Verbinformation zur Referenzauflösung genutzt werden.
Zur Zeit werden Experimente vorbereitet, in denen im Rahmen des Reaktionszeitparadigmas der Einfluß semantischer (Verb- und Argumentspezifität), situativer (Objektkontext) sowie auch syntaktischer Variablen (Verb-Argument-Struktur) untersucht werden. Neben den inhaltlichen Fragestellungen werden hierbei auch methodische Zielsetzungen verfolgt, indem ein geeignetes experimentelles Paradigma für die weitere Projektarbeit entwickelt werden soll.
Als Grundlage für die Simulation wurde auf der Basis der von Steedman entwickelten Variante der Kategorialgrammatik ein Parser entworfen. Da zur Zeit noch keine SFB-bezogenen experimentellen Ergebnisse in C3 vorliegen, fand eine Orientierung an Ergebnissen statt, die im wesentlichen in experimentellen Untersuchungen von sogenannten 'garden-path sentences' bei der Anbindung der Präpositionalphrase erhoben wurden. Ohne daß beim jetzigen Stand des Projektes ein Modell vorweggenommen werden soll, kann der Parser während der Verarbeitung folgende Prinzipien berücksichtigen:
II. Wissenschaftliche VeröffentlichungenM
I. Forschungsarbeiten a)
Antragsteller: Prof. Dr. Dafydd Gibbon, Prof. Dr. Walther Kindt, Dr. Franz Kummert, Prof. Dr. Hannes Rieser Wiss. Mitarbeiter: Dipl.-Inform. Susanne Kronenberg (DFG) Kristina Skuplik, MA (DFG)b) Das Projekt Syntaxkoordination von Sprechern im Diskurs ist neu im SFB 360. Es wurde 1996 bewilligt und hat im Oktober 1996 seine Arbeit aufgenommen. In diesem Projekt wird untersucht, welche "auffälligen" syntaktischen Regularitäten es in natürlichen Konstruktionsdialogen gibt und insbesondere, wie mehrere Agenten es schaffen, gemeinsam eine Äußerung zu produzieren, die in der Situation verwendet werden kann, um die Lösung der Konstruktionsaufgabe voranzubringen. Mit dieser Fragestellung betreten wir einen völlig neuen Bereich in der Analyse der gesprochenen Sprache, nämlich die Beschreibung, wie Sprecher ihre Produktions- und Analysefähigkeiten so synchronisieren, daß ein kooperatives und den Anforderungen der Situation entsprechendes Produkt entsteht. Diese Synchronisationsleistung von Sprechern heißt Koordination. Ein Beispiel möge die Datenlage verdeutlichen:
Gegenwärtig sind wir jedoch noch nicht mit Koordinationsproblemen dieser Art befaßt, sondern mit empirischen Untersuchungen zu "auffälligen" syntaktischen Regularitäten im Korpus der Kostruktionsdialoge. Hier interessieren uns hauptsächlich "Ausklammerungen" und "Nachträge nach rechts" wie in Beispiel (2) zu sehen.
Generell ist in den Konstruktionsdialogen zu beobachten, daß in ihnen Information anch rechts "verschoben" ist. Das kann ursächlich mit dem Verhalten der Agenten erklärt werden, bereits gesetzte und "veröffentlichte" Information nachträglich zu reparieren oder zu modifizieren, wenn der Diskurs dies zuläßt. Dies hat seinerseits natürlich seinen Grund darin, daß die Agenten um effektive Problemlösung und schnelles Agieren bemüht sind.
Parallel zu den empirischen Untersuchungen steht die Auseinandersetzung mit dem Paradigma der Head Driven Phrase Structure Grammar (HPSG) im Vordergrund. Varianten dieses Ansatzes, insbesondere solche für das Deutsche, werden daraufhin untersucht, ob sie eine Beschreibung von Verschiebungen nach rechts erlauben. Daran wird sich eine Diskussion von vorliegenden HPSG-Implementierungen für das Deutsche anschließen. Da C4 ein Computerlinguistik-Projekt ist, geht es letztlich darum, Grammatiken für gesprochene Sprache zu implementieren.
Die Untersuchung der Ausklammerungen und Nachträge nach rechts ist eine Vorbedingung für die Modellierung von genuin kooperativen Produktionen: Das Hinzusetzen von Information - die oft ausgeklammert sein muß, kommt sie doch von einem anderen Agenten - gehört zu den wichtigsten koordinativen Mechanismen in Diskursen.
II. Wissenschaftliche Veröffentlichungen
I. Forschungsarbeiten
a)
Antragsteller: Prof. Dr. Dieter Metzing, Dr. Henning Lobin, Dr. Jan-Torsten Milde Wiss. Mitarbeiter: Dipl.-Inform. Steffen Förster (DFG, bis Juli 1996) Kornelia Peters, MA (DFG) Dipl.-Inform. Simone Strippgen (DFG, ab Nov. 1996)b) Gegenstand des Projektes ist die Rekonstruktion situierter Kommunikatoren als kommunizierende Agenten. Um die Möglichkeit zur unmittelbaren Welteinbettung von Sprache zu schaffen, wird ein simulierter teilautonomer Montageroboter mit sprachverstehenden Fähigkeiten ausgestattet. Dazu dient eine hybride Architektur, bestehend aus einem behaviorbasierten Basissystem und einer übergeordneten deliberativen Komponente. Die behaviorbasierte Robotersteuerung dient auf niedriger Ebene zur Integration von Sprache, Wahrnehmung und Handlung, während die deliberative Komponente u.a. für die Bearbeitung komplexerer Phänomene situierter Sprachverwendung Verwendung findet.
Anweisungen, die mithilfe der deliberativen Komponente verarbeitet werden, werden Instruktionen genannt. Für die Analyse von Instruktionen wurde ein unifikationsbasierter Dependenzparser entwickelt. Die dadurch erzeugten semantischen Repräsentationen dienen der Auswahl und Instanziierung von Aktionsschemata, die explizites Handlungswissen auf einem höheren Abstraktionsniveau enthalten. Dieses Handlungswissen bezieht sich vor allem auf die Dekomposition komplexer Handlungen in einfachere Teilhandlungen und eine damit einhergehende Partitionierung sprachlicher Information, z.B. über beteiligte Objekte und Orte. Die so entstehenden Informationsblöcke werden an das Basissystem weitergegeben. Dadurch wird eine für das Behaviorsystem notwendige Sequenzialisierung von Steuerungsparametern komplexer Handlungsfolgen realisiert. Durch geeignete Rückmeldungen vom Basissystem an die deliberative Komponente wird diesem die Überwachung des Zustands der Aktivität des Behaviorsystems ermöglicht.
Das Behaviorsystem ist für die situativ richtige und zeitadäquate Umsetzung der eingehenden Sensordaten in Aktuatorbefehle verantwortlich. Für das Behaviorsystem ist eine spezielle Modularisierung gewählt worden, die den Anforderungen an das System hinsichtlich Reaktivität, Autonomie, externer Steuerung und dem Szenario entspricht. Es ist in Behaviormodule strukturiert, die wiederum aus Behaviorroutinen bestehen, die für die konkrete Roboter-Objekt-Umwelt-Interaktion sorgen. Die Steuerung dieses Systems von außen, d.h. von der deliberativen Komponente aus oder mittels einfacher Anweisungen, erfolgt mithilfe interner Sensoren, die mit den entsprechenden Daten gefüllt werden. Über die internen Sensoren können die Behaviormodule aktiviert werden, sofern das die restlichen Sensordaten erlauben. Die internen Sensoren werden außerdem von bestimmten Behaviormodulen und -routinen genutzt, um anderen Einheiten des Behaviorsystems Signale zu übersenden.
Neben der Weiterentwicklung der Einzelkomponenten wurde im Zeitraum 95/96 auch ein erster Prototyp des Gesamtsystems realisiert. Hierzu war die Portierung des Simulationssystems und des visuellen Systems auf den neu angeschafften Grafikrechner des Typs SGI PowerIndigo notwendig. Weiterhin mußte das verwendete Kommunikationstool I-Space angepaßt werden. Die Module (u.a. Robotersteuerung, visuelles System, deliberative Komponente, zwei sprachverarbeitende Komponenten, Simulation) können so über den heterogenen Rechnercluster verteilt werden und effektiv zusammenarbeiten. Mit diesem ersten Prototyp konnte die Tragfähigkeit des Ansatzes nachgewiesen werden.
Der Prototyp wurde in der Folge auf einer Reihe von Veranstaltungen vorgestellt, darunter die Präsentation auf dem Gemeinschaftsstand der Landes NRW auf der Hannover Messe Industrie 1996, der Konvens 1996 in Bielefeld und einer Präsentation anhand eines Videos (Peters/Milde) auf dem Anwenderkongreß der Jahrestagung für Künstliche Intelligenz 1996 in Dresden.
II. Wissenschaftliche Veröffentlichungen
III. Promotionen
S. Förster. Steuerbarkeit behaviororientierter Systeme. Dissertation,
Universität Bielefeld, 1996.
I. Forschungsarbeiten
a)
Antragsteller: Prof. Dr. Gerhard Sagerer, Prof. Dr. Helge Ritter, Prof. Dr. Ipke Wachsmuth, Dr. Hans-Jürgen Eikmeyer Wiss. Mitarbeiter: Dr.-Ing. Gernot A. Fink (DFG) Dipl.-Ing. Nils Jungclaus (DFG)b) Die Integration heterogener Mustererkennungssysteme erfordert die Schaffung von Grundlagen für die Lösung komplexer Musteranalyseaufgaben durch verschiedene kooperierende Module. Dafür ist es wichtig, daß Module auf unterschiedlichen Rechnern ablaufen, parallel an Teilproblemen arbeiten und Daten in beliebiger Weise austauschen können.
Das im Rahmen des Teilprojekts D3 entwickelte Kommunikations- und Integrations-System DACS wurde erfolgreich zur Realisierung des ersten Prototypen eines situierten künstlichen Kommunikators eingesetzt. Dazu wurden etwa 15 in anderen Teilprojekten entwickelte Module zu einem Sprach- und Bilderkennenden System integriert, das auf ebensovielen Rechner verteilt laufen kann. Die bewußt einfach gehaltenen Kommunikationsmethoden, die DACS zur Integration von Modulen bereitstellt sowie die integrierten Möglichkeiten zur Systemüberwachung und -steuerung haben die Integration wesentlich vereinfacht.
Die durch die Realisierung des ersten Prototypen gewonnenen Erfahrungen wurden zur Weiterentwicklung von DACS genutzt. So wurde z.B. ein auf Kryptografie basiertes Verfahren zur Sicherung des System vor unbefugten Zugriffen integriert. Ebenso laufen derzeit Arbeiten, die auf der Grundlage der bislang einfach gestalteten Systemarchitektur des Prototypen ein Architekturkonzept für den geplanten nächsten Prototyp zum Ziel haben.
II. Wissenschaftliche Veröffentlichungen
III. Promotionen
Gernot A. Fink. Integration von Spracherkennung und Sprachverstehen. Dissertation,
Universität Bielefeld, 1995.
I. Forschungsarbeiten
a)
Antragsteller: Prof. Dr. Alois Knoll, Prof. Dr. Helge Ritter, Dr. Jörg Walter, Dr. Jianwei Zhang Wiss. Mitarbeiter: Dipl.-Inform. Christoph Dücker (DFG) Dipl.-Inform. Christian Scheering (DFG)b) Ziel des Teilprojekts ist die Umsetzung von Montageanweisungen in Handlungssequenzen eines realen Robotersystems. Dabei wird das Baufix-Szenario des SFB zugrundegelegt. Auf Basis der in den anderen Teilprojekten analysierten Bild- und Sprachinformation steht hier die Erzielung von Robustheit durch Ausnutzung von Redundanz auf der Sensor- und der Manipulatorebene im Vordergrund. Prinzipiell neuartige Fragestellungen und Lösungmöglichkeiten ergeben sich aus der Verbindung von tatsächlich durchgeführter Handlung samt Fehlerrückmeldung mit den in einem situierten Dialog gegebenen Korrekturmöglichkeiten. Da der zu entwickelnde Prototyp die Anweisungen des Instrukteurs in eine Konstruktionssituation umsetzt, kann er von anderen Teilprojekten als Plattform genutzt werden, um deren jeweilige Modellierung in realen Situationen experimentell zu validieren.
Im Zentrum des wissenschaftlichen Interesses steht die Bereitstellung umfangreicher funktioneller Redundanz und ihre Nutzung in unterschiedlichen Situationen zur Erzeugung von robusten Bewegungsstrategien. Diese müssen eine ganze Reihe von inhärenten Ungenauigkeiten berücksichtigen, die sich in einer solchen Aufgabensituation mehrere Aspekte umfassen:
Es ist also ein Grad der Verbindung von sensorischer Perzeption mit Sprache und Aktion erforderlich, wie er bislang noch nicht realisiert werden konnte.
II. Wissenschaftliche Veröffentlichungen
Zur Startseite