Experimentelle Evaluation des situierten Kommunikatores -- eine Pilotstudie
Katharina J. Rohlfing und Christian Bauckhage
Motivation/Abstract
Die Tatsache, dass im SFB ein weltweit einzigartiges System geschaffen wurde, das sich mit dem
Menschen über reale Objekte verständigt, birgt zugleich auch eine große
Herausforderung, wenn es darum geht, dieses System zu evaluieren. Die meisten
Evaluationsstudien beziehen sich auf eine dyadische Form der Mensch-Maschine Kommunikation.
Im SFB-Szenario handelt es sich aber um eine triadische Form. Das heißt, dass sich
Mensch und Maschine auf Objekte in der realen Welt beziehen und über diese
kommunizieren. Im Folgenden werden erste Überlegungsschritte zur Evaluation des
situierten Kommunikators und der Hintergrund der Überlegungen dargestellt. Die
Pilotstudie hat das Ziel, die bestehenden Evaluationskriterien für künstliche
Systeme auf den situierten Kommunikator anzuwenden. Zugleich zeigt sie jedoch auch auf,
dass es notwenig ist, bei triadischen Formen von Kommunikation über die bestehenden
Kriterien hinauszugehen. Dementsprechend geht die Diskussion der Studie auf neuere
Entwicklungen der Evaluationsstudien ein, und ermuntert dazu, Kriterien zu
schaffen, die die vollen Leistungen der heutigen multimodalen Systeme berücksichtigen.
(~2.458 k)
Anke Weinberger,
2003-09-01, 2003-09-02