Universität Bielefeld - Sonderforschungsbereich 360

Darf ich Dich Marvin nennen? Instruktionsdialoge in einem Wizard-of-Oz-Szenario: Szenario-Design und Auswertung

Christel Brindöpke, J. Häger, Michaela Johanntokrax, Arno Pahde, Michael Schwalbe und Britta Wrede

Einleitung

Simulierte Mensch-Maschine-Kommunikation bietet seit Anfang der 80er Jahre unter anderem die Möglichkeit, sprachverstehende Systeme bereits während ihrer Entwicklungsphase zu evaluieren. Sie ist seither unter dem Stichwort "Wizard-of-Oz-Experimente" in zunehmendem Maße für die Entwicklung und das Design von sprachverstehenden Systemen eingesetzt worden.

Für das Szenario des SFB 360 (Instruktionsdialoge in der Baufixdomäne) wurde die Simulation eines sprachverstehenden Systems mit akustischer Spracheingabe und -ausgabe entwickelt, das in einem Instruktionsdialog der Baufixdomäne die Rolle des Konstrukteurs übernimmt. Zu einer erfolgreichen Simulation des Konstrukteurs gehören die Simulation sprachlicher Reaktionen und die Simulation der Bauleistung eines maschinellen Konstrukteurs. Ersteres wurde durch die Simulation eines sprachverstehenden Systems gelöst, letzteres durch die Übermittlung von Standbildern der aktuellen Bauaggregate auf den Bildschrim der Versuchsperson. Die Versuchsperson ging davon aus, daß es sich bei den Standbildern um eine Computergrafik handelte, die die noch nicht fertiggestellte Robotikkomponente des Systems ersetzte.

Die entwickelte Simulation war die Basis eines Szenarios für die Aufnahme von simulierter Mensch-Maschine- und Mensch-Mensch-Kommunikation (Kontrollgruppe) in der SFB-Domäne. Aufgenommen wurden insgesamt 54 Dialoge. Davon wurden vier in einer Trainingsphase für simulierte Mensch-Maschine-Kommunikation aufgenommen und zehn in einer Kontrollgruppe, d.h. diese zehn Versuchspersonen wurden darüber informiert, daß sie mit einem Menschen und nicht mit einer Maschine kommunizieren. Ansonsten unterscheiden sich die Bedingungen für die Kontrollgruppe nicht von denen der 40 Versuchspersonen der simulierten Mensch-Maschine-Kommunikation.

Insgesamt umfassen die Aufnahmen ca. 30 Stunden (simulierter) Mensch-Maschine-Kommunikation und ca. 5 Stunden Mensch-Mensch-Kommunikation (inklusive der Pause für Systemreaktionszeiten). Damit sind für die im SFB-Szenario erstellten Instruktionsdialoge direkte Vergleiche von Mensch-Mensch- und Mensch-Maschine-Kommunikation möglich. Im Rahmen des SFB bieten die Daten insbesondere die Möglichkeit, die Anforderungen an einen künstlichen Kommunikator unter den Bedingungen des SFB-Szenarios zu untersuchen.

In den Kapiteln 2 und 3 werden zunächst Forschungsstand und methodische Fragen von Systemsimulation diskutiert. Das Kapitel 4 stellt die Szenarien auf der Grundlage der entwickelten Simulation vor, in denen die Sprachaufnahmen durchgeführt wurden. Kapitel 5 beschäftigt sich mit der Erstellung des Sprachmaterials in den Szenarien. Dazu werden die Aufnahmebedingungen (vgl. Kapitel 5.1), die Sprecherauswahl (vgl. Kapitel 5.2) und die Durchführung der Sprachaufnahmen (Vgl. Kapitel 5.3) beschrieben. Das Kapitel 6 ist der Korpusbeschreibung gewidmet und umfaßt neben einem kurzen Überblick über die bisher geleistete Korpusbeschreibung die Auswertung einiger Aspekte der Wizard-of-Oz-Experimente: Zum einen wird der Aufbau des die Aufnahmen begeitenden Fragebogens erläutert und zum anderen werden erste Ergebnisse im Hinblick auf die Bewertung der Softwareergonomie des (simulierten) Systems, die allgemeine Akzeptanz des (simulierten) Systems und die Expertise der Versuchspersonen im Umgang mit Rechnern dargestellt. Kapitel 7 faßt die wichtigsten Ergebnisse der vorliegenden Arbeit kurz zusammen und gibt einen Ausblick auf sich anschließende Fragestellungen. In den Anhängen A und B befinden sich die Szenario-Spezifikationen im Überblick, sowie weitere Materialien (schriftliche Versuchseinführung, Fragebogen etc.) zu den einzelen Szenaren. Anhang C befaßt sich ausführlich mit der technischen Realisierung der Systemsimulation.


Postscriptfile (~3,1 MB)
Anke Weinberger, 1996-03-14, 1997-10-27