Universität Bielefeld - Sonderforschungsbereich 360

Integration von Bild- und Sprachverstehen in einer kognitiven Architektur

Bernd Hildebrandt, Reinhard Moratz, Gert Rickheit und Gerhard Sagerer

Same information in English

Zusammenfassung

In diesem Beitrag wird eine kognitive Systemarchitektur zur symbolischen Interpretation von sprachlichen und visuellen Sensordaten vorgestellt. Dieses System wird zur Zeit im Rahmen des Sonderforschungsbereichs 360 "Situierte Künstliche Kommunikatoren" an der Universität Bielefeld entwickelt. Entscheidend für die Modellierung ist die Integration verschiedener Wissensbasen. Grundlage hierfür ist der Formalismus ERNEST, der eine einheitliche Repäsentation unterschiedlicher Wissensbereiche ermöglicht.
In dem System werden sowohl symbolische als auch subsymbolische Repräsentationen und Inferenzprozesse sowie signalbezogene, wahrnehmungsanaloge Darstellungen modelliert. Bei diesem hybriden Ansatz werden zwei Arten der Kopplung verwendet: zum einen eine Schnittstelle der signalnahenRepräsentation zur Konzeptebene und zum anderen eine Integration von subsymbolischen und symbolischen Inferenzprozessen. Die Integration von Sprache und Bild basiert auf der Theorie mentaler Modelle, derzufolge die integrative und kohärente Repräsentation von Objekten, Ereignissen und Sachverhalten fundamental ist. Über eine gemeinsame Abstraktionsebene, die als mentale Repräsentation interpretiert wird, haben die Verstehensprozesse auf beide Modalitäten gleichermaßen Zugriff. Charakteristisch für diese Architektur ist, daß Prozesse nicht nur zwischen unmittelbar aufeinanderfolgenden Verarbeitungsebenen stattfinden, sondern daß auch direkte Verbindungen der mentalen Repräsentation zu sensornahen Ebenen möglich sind. Hierdurch soll eine schnelle Interaktion zwischen visuellen und sprachlichen Komponenten gewährleistet werden.

Anke Weinberger, 1994-11-28