Folgende Drittmittel wurden durch den SFB 360 für die Jahre 1995 und 1996 eingeworben. Drittmittelgeber war in beiden Jahren die Deutsche Forschungsgemeinschaft (DFG):
Der Sonderforschungsbereich (SFB) wird seit 1. Juli 1993 von der Deutschen Forschungsgemeinschaft (DFG) gefördert. Die Forschungsprojekte des SFB werden von Mitgliedern der Technischen Fakultät sowie der Fakultät für Linguistik und Literaturwissenschaft der Universität Bielefeld kooperativ durchgeführt. Der SFB beschäftigt sich mit der Modellierung dessen, was ein Mensch leistet, wenn er mit einem Partner kooperativ eine einfache Montageaufgabe in einer bestimmten Situation löst. Zu diesen Intelligenzleistungen gehören die akustische Wahrnehmung des gesprochenen Wortes, die optische Wahrnehmung des Partners und der in der Situation vorhandenen Gegenstände und Vorgänge, das Verstehen des Wahrgenommenen, die Formulierung eigener Äußerungen, wie z.B. von Anweisungen an den Partner, sowie schlie&slig;lich die Planung und Ausführung von Handlungen. Die Modellierung natürlicher Kommunikatoren (Menschen) erfolgt durch künstliche Kommunikatoren (Computersysteme), die das Verhalten von natürlichen Kommunikatoren in relevanten Aspekten rekonstruieren. Hierbei spielt die Integration von Wahrnehmung, Sprache und Handeln in bestimmten Situationen eine zentrale Rolle. Durch einander ergänzende Verarbeitung von Eingaben durch die multimodale (optische und akustische) Erfassung der Situation vermag das Gesamtsystem als Einheit auch dann Ergebnisse zu liefern bzw. zu handeln, wenn einzelne Teilmodule nur gestört arbeiten. In diesen Fällen sichert die modalitätsbezogene Integriertheit der Module im Gesamtsystem den Erfolg in der Bearbeitung der jeweiligen Aufgabe. Eine derartige Robustheit ist für jegliche Kommunikation sehr wichtig.
Sprecher des SFB:
Prof. Dr. Gert Rickheit
Fakultät für Linguistik und Literaturwissenschaft
Stellvertretender Sprecher:
Prof. Dr. Ipke Wachsmuth
Technische Fakultät
I. Forschungsarbeiten
Antragsteller: Prof. Dr. Helge Ritter, Prof. Dr. Gerhard Sagerer Wiss. Mitarbeiter: Dipl.-Phys. Gunther Heidemann (DFG) Dipl.-Phys. Elke Braun (DFG)Teilprojekt A2: Mechanismen perzeptiver Gruppierung
Antragsteller: Dr. Stefan Posch, Prof. Dr. Helge Ritter
Wiss. Mitarbeiter: Dipl.-Inform. Daniel Schlüter (DFG)
Dipl.-Inform. Robert Rae (DFG)
Im erstgenannten Teilprojekt gelang es, lernfähige künstliche neuronale Netze mit explizit vorstrukturierbaren, semantischen Netzen so zu verbinden, daß Vorteile beider Verfahrensweisen kombiniert werden. Hierfür wurden wesentliche Teile eines zweistufigen Computersehsystems realisiert, das komplexe, aus mehreren Teilen zusammengesetzte Objekte analysieren und erkennen kann. Dabei wird "Erkennungswissen" über das Aussehen spezifischer Objekte in der neuronalen Systemkomponente anhand von Trainingsbeispielen erlernt; das nachfolgende semantische Netz setzt darauf auf und gestattet es, vorhandenes Vorwissen, etwa über die Kombinierbarkeit von Objektteilen, einzubringen und für den Erkennungsprozeß nutzbar zu machen. Aus dem Zusammenwirken beider Systemkomponenten ergibt sich ein insgesamt robusterer und leistungsfähigerer Objekterkennungsprozeß.
Im zweiten Teilprojekt steht eine Grundfähigkeit visueller Wahrnehmung im Vordergrund: die Verbindung von einzeln bedeutungslosen Teilelementen eines Bilds, wie etwa Kanten oder Texturelementen, zu figuralen und damit bedeutungstragenden Einheiten. Dabei wurde ein auf sog. Hidden-Markov-Feldern basierender Ansatz zur Erkennung von Objektumrissen und von Bildtiefenverläufen entwickelt. Besondere Gesichtspunkte waren die Berücksichtigung von Symmetrieinformation und wiederum die Verbesserung des Systems durch Lernen anhand von Beispielen. Einen weiteren Beitrag bildete ein auf künstlichen neuronalen Netzen basierender
Ansatz zur Aufmerksamkeitssteuerung eines binokularen Kamerakopfs. Das hier zugrundeliegende Prinzip bildet in grober Form die Verknüpfung unterschiedlicher Arten visueller Information, wie Kanten, Farbe und Bewegung, innerhalb sogenannter neuronaler Merkmalskarten nach. Damit wird ein Reagieren auf auffällige Objekte und ein benutzergeführtes, über Handgesten ausgelöstes Dirigieren von "Blickbewegungen" des Computersehsystems möglich.
III. Promotionen
I. Forschungsarbeiten
Antragsteller: Dr. Hans-Jürgen Eikmeyer, Prof. Dr. Gert Rickheit Prof. Dr. Gerhard Sagerer Wiss. Mitarbeiter: Dr. Uwe Laubenstein (DFG) Dr. Ulrich Schade (DFG)
Teilprojekt B2: Computersimulation von Prozessen der Objektbenennung
Antragsteller: Dr. Hans-Jürgen Eikmeyer, Prof. Dr. Walther Kindt Wiss. Mitarbeiter: Dr. Uwe LaubensteinTeilprojekt B3: Referenz im Diskurs
Antragsteller: Prof. Dr. Hannes Rieser, Prof. Dr. Hans Strohner Wiss. Mitarbeiter: Dipl.-Psych. Berit Brose Dipl.-Psych. Ingo Duwe Dr. Wolfgang HeydrichTeilprojekt B4: Vertikale Organisation von kognitiven, perzeptiven und sensomoto- rischen Fähigkeiten Künstlicher Intelligenz
Antragsteller: Prof. Dr. Gert Rickheit, Prof. Dr. Helge Ritter, Prof. Dr. Gerhard Sagerer, Dr. Lorenz Sichelschmidt Wiss. Mitarbeiter: Dipl.-Psych. Elena Carbone Dipl.-Inform. Hendrik Kösling Dr.-Ing. Marc Pomplun
Im Verlauf eines Konstruktionsdialogs, wie er für das gewählte Szenario typisch ist, werden entsprechend der geäußerten Instruktionen sukzessive Aggregate aus einzelnen Objekten zusammengesetzt. Dabei entstehen Situationen, in denen Kenntnis über das vorhergegangene Geschehen unerläßlich für das Verstehen der aktuellen Äußerung ist. Hierfür ist die Analyse von Bildfolgen und die Interpretation ganzer Dialoge sowie ein Dialog- und Episodengedächtnis nötig. Die Interaktion zwischen diesen beiden Verarbeitungskomponenten war Gegenstand der Forschung in diesem Teilprojekt. Perzeptuell fundierten Attributen kommt eine besondere Bedeutung für die Identifikation von Einzelobjekten und Aggregaten zu. Empirische Untersuchungen über Raum und visuell wahrnehmbare Eigenschaften von Objekten konnten dies eindeutig belegen. Ein weiterer Schwerpunkt waren entstehende Aggregate, ihre teilweise metonymischen Benennungen und Bedeutungsverschiebungen während des Konstruktionsprozesses.
Aufbauend auf einem konnektionistischen Produktionsmodell, das die Variation von Objektbenennungen in Abhängigkeit von Kontextobjekten und ihren Eigenschaften beschreibt, wurden Folgen von Objektbenennungen im Diskurs sowie der Einfluß des Partnermodells modelliert. Diskursverlauf und Partnermodell sind maßgeblich sowohl für die syntaktische Realisierung einer Benennung als auch deren Ausführlichkeit, d.h. die Menge und den Typ der in ihr verbalisierten Eigenschaften. Besondere Folgen von Benennungen, nämlich solche, die dann entstehen, wenn der Partner aufgrund einer ersten Benennung ein Objekt nicht identifizieren kann und daher eine Rückfrage stellt, waren ebenfalls Gegenstand der Modellbildung im Antragszeitraum. Insgesamt ist durch die Arbeiten die Produktion im Diskurs und damit die kommunikative Interaktion in den Mittelpunkt des Interesses gerückt. Die Einbeziehung des Diskurses verlangte, daß im Projekt grundsätzliche Fragen der konnektionistischen Modellierung von Syntax, der konnektionistischen Repräsentation semantischer und pragmatischer Entitäten und der Informationsdynamik bei inkrementeller Textproduktion behandelt wurden.
Die Projektarbeit zum Thema `Referenz im Diskurs' beruht auf der interdisziplinären Integration von kognitionswissenschaftlichen Methodologien. Diese Integration erfolgt einerseits auf der Basis eines diskursorientierten Ansatzes, der die Koordination von Überzeugungen, Intentionen, Handlungen und Sprachvarietäten von Agenten betont, andererseits stehen die konzeptuellen Voraussetzungen von Referenzhandlungen im Zentrum. Die Theorieentwicklung wird in engem Zusammenhang mit der systematischen Anwendung empirischer und simulativer Methoden betrieben.
Visuelle Aufmerksamkeit spielt in konstruktionsrelevanten Such- und Vergleichsprozessen eine wichtige Rolle. Aufmerksamkeit ist dabei zu verstehen als eine Vielzahl kognitiver Mechanismen, die im Rahmen von Konstruktionshandlungen die Selektion relevanter Situationskomponenten durch dynamische Einschränkung des Suchraums unterstützen können. Grundlage der experimentellen Untersuchungen ist die Messung von Augenbewegungen, da diese Rückschlüsse auf den jeweiligen Gegenstand der Aufmerksamkeit erlauben. In einer Reihe von Experimenten mit zunehmend komplexen Stimulusmaterialien sind Einflußfaktoren des Blickbewegungsverhaltens identifiziert und ihr Zusammenwirken bei vergleichender Suche spezifiziert worden. Dabei wurden sowohl `low-level'-Abhängigkeiten (wie etwa der Zusammenhang von Objektverteilung und Augenbewegung) als auch `high level'-Abhängigkeiten (wie etwa der Zusammenhang von Sprache und Augenbewegung) betrachtet.
III. Promotionen
I. Forschungsarbeiten
Antragsteller: Prof. Dr. Gert Rickheit, Prof. Dr. Ipke Wachsmuth Wiss. Mitarbeiter: Dipl.-Inform. Martin Hoffhenke Dipl.-Psych. Klaus KesslerTeilprojekt C3: Handlungsanweisungen. Von sprachlichen Strukturen zur kognitiven Repräsentation
Antragsteller: Dr. Hans-Jürgen Eikmeyer, Dr. Henning Lobin, Prof. Dr. Gert Rickheit Wiss. Mitarbeiter: Dr.-Ing. Bernd Hildebrandt Dipl.-Psych. Petra WeißTeilprojekt C4: Syntaxkoordination von Sprechern im Diskurs
Antragsteller: Prof. Dr. Dafydd Gibbon, Prof. Dr. Walther Kindt, Dr. Franz Kummert, Prof. Dr. Hannes Rieser Wiss. Mitarbeiter: Dipl.-Math. Susanne Kronenberg Kristina Skuplik
Im Teilprojekt C1 wurden im Berichtszeitraum insbesondere imaginale (bildhaft-formbeschreibende) Repräsentationen untersucht, mit denen sich räumliche Merkmale, z.B. über die Lage und Form von Objekten und Aggregaten, in die Konzeptverarbeitung einbeziehen lassen. In psycholinguistischen Untersuchungen wurde experimentell überprüft, wie Repräsentationen von Einzelobjekten in Repräsentationen funktionaler Objekte übergehen, welchen Einfluß imaginale Repräsentationen dabei haben und inwieweit sie unabhängig vom Betrachterstandpunkt oder blickpunktbezogen sind. Hypothesen zum zeitlichen Verlauf solcher Prozesse wurden mithilfe eines auf Basis konnektionistischer Netze entwickelten Prozeßmodells abgeleitet, dessen Annahmen sich als empirisch adäquat erwiesen. Als technische Entwicklung wurde im Informatik-Teil des Projekts ein kaskadiertes System konzipiert, welches anhand sog. imaginaler Prototypen formbasierte Objektklassifikationen durch sukzessive Verfeinerung geometrischer Formmodelle flexibel und robust leistet.
Im Teilprojekt C3 wurde in psycholinguistischen Experimenten und mit Computersimulationen untersucht, wie ein Kommunikator Handlungsanweisungen versteht, d.h. von sprachlichen Instruktionen zu kognitiven Repräsentationen gelangt; dabei sind im SFB-Szenario besonders Handlungsverben (für Konstruktionsaufgaben) interessant. Durch Corpusanalysen wurden syntaktische und semantische Beziehungen zwischen Handlungsverben und Argumenten als Basis lexikalischer Repräsentationen bestimmt. Die linguistische Modellierung von Handlungsanweisungen orientierte sich an der Kategorialgrammatik, mit der Relationen zwischen sprachlichen Einheiten bei enger Interaktion von Syntax und Semantik beschreibbar sind. Es wurde ein kognitives Verarbeitungsmodell konzipiert, das abhängig von sprachlich und situativ aktiviertem Wissen inkrementell ein mentales Modell aufbaut und Informationen an nichtsprachliche Module des Künstlichen Kommunikators weiterleitet. Computersimulationen bilden hierbei die Grundlage für ein linguistisches Verarbeitungsmodul.
Im Teilprojekt C4 ging es um die Syntaxkoordination von Sprechern im Diskurs bei kooperativ zu bewältigenden Konstruktionsaufgaben (aufgabenorientierte Dialoge). Es wurde eine Syntax für Konstruktionen entwickelt, die für derartige situierte Dialoge konstitutiv sind. Hier konnte nur zum Teil an allgemeine Koordinationstheorien angeschlossen werden; mangels kanonischer Ansätze zur Beschreibung der Koordination von Syntaxproduktionen kam deshalb Simulationen mit parallelen Prozessen, die über Generierungs- und Parsingtechniken verfügen, eine zentrale Rolle zu. Es konnte ein effizienter Parser realisiert werden, der auch spontansprachliche Phänomene wie Ausklammerungen und Nachträge (sog. Extrapositionen) verarbeitet. Auf der Ebene der Äußerungen wurden vor allem Regularitäten untersucht, die solchen Phänomenen zugrunde liegen. Auf der Ebene des Dialoges ging es um Äußerungen, die von mehreren Äußerungsproduzenten gemeinsam formuliert werden. Für beide Ebenen wurden Grammatiktheorien entwickelt.
I. Forschungsarbeiten
Antragsteller: Dr. Henning Lobin, Prof. Dr. Dieter Metzing, Dr. Jan-Torsten Milde Wiss. Mitarbeiter: Dr. Kornelia Peters Dr. Simone StrippgenTeilprojekt D3: Systemintegration für Künstliche Intelligenz
Antragsteller: Prof. Dr. Helge Ritter, Prof. Dr. Gerhard Sagerer, Prof. Dr. Ipke Wachsmuth Wiss. Mitarbeiter: Dipl.-Inform. Hans Brandt-Pook Dr.-Ing. Gernot Fink Dr.-Ing. Nils JungclausTeilprojekt D4: Bimanuale Exploration, Koordination und Montage durch multisensorgestützte Verbindung von Sprache und Aktion
Antragsteller: Prof. Dr. Alois Knoll, Prof. Dr. Helge Ritter, Dr. Jörg Walter, Dr. Jianwei Zhang Wiss. Mitarbeiter: Dipl.-Inform. Christoph Dücker Dipl.-Inform. Christian Scheering
Projekt D1: Um situierte Sprachverarbeitung leisten zu können, wurde das System CoRA entwickelt und mit einer hybriden Steuerungsarchitektur ausgestattet, bestehend aus einem behavior-orientierten Basissystem und einer deliberativen Komponente. Ermöglicht wird so die situierte Interpretation von Anweisungen, die nur unter Einbeziehung des aktuellen Handlungskontextes interpretierbar sind.
Projekt D3: Für anspruchsvolle Musteranalysesysteme, die z.B. Bild- und Sprachverarbeitung leisten, ist eine modulare Architektur mit der Möglichkeit zur verteilten Verarbeitung in einem Rechnernetzwerk von entscheidender Bedeutung. Die hierfür in Form des Kommunikationssystems DACS geschaffene Grundlage wurde in zwei wesentlichen Aspekten weiterentwickelt. Zur Verbesserung der Robustheit des Laufzeitsystems wurden für die bislang zentral realisierte Namensverwaltung redundanten Ersatzsysteme realisiert, die im Fehlerfall transparent die volle Funktionalität bereitstellen können. Außerdem wurde ein allgemeines Gedächtniskonzept entwickelt, das es ermöglicht, die an vielen Stellen der Gesamtarchitektur notwendige Speicherung von sowie den Zugriff auf zurückliegende Verarbeitungsinhalte nahezu generisch zu lösen. Die derzeitigen Arbeiten konzentrieren sich auf die Weiterentwicklung der Architektur des Prototypensystems unter verstärkter Berücksichtigung von inkrementeller, fokussierter und gemischt daten- und modellgetriebender Verarbeitung.
Projekt D4: Ein wichtiger Teilbereich der Arbeiten im Projekt D4 galt dem mehrfingrigen Greifen. Mit der Entwicklung taktiler Fingerkuppensensoren wurde eine Basis für taktile Exploration von Objekten geschaffen. Ausgehend von einer Analyse benötigter Bewegungsprimitive für die Manipulation der im SFB verwendeten Baufix-Objekte wurde ein hierarchischer Regleransatz für die Steuerung von Fingerbewegungen erarbeitet. Ein wichtiges Kernelement dieses Verfahrens bildet dabei ein neuentwickelter Typ wachsender neuronaler Netze zur adaptiven Repräsentation des Zustandsraums der Einzelfinger. Weitere Arbeiten in Kooperation mit dem SFB-Teilprojekten A1, A2 sowie D3 galten der Kopplung der Handsteuerung mit der visuellen Verarbeitung, sowohl über eine Handkamera als auch über einen aktiv steuerbaren Binokularkamerakopf.
II. Veröffentlichungen
III. Promotionen
Zur Startseite