Wozu Satzergänzungstests?

Die Anforderungen der neuen Studienstruktur (Bologna-System) haben in allen Fächern die Belastung des Lehrkörpers durch die Organisation, Durchführung und Korrektur von Prüfungen und Übungen massiv erhöht. Viele Mitglieder des Lehrkörpers setzen daher grosse Hoffnungen darauf, dass ein Teil dieser Belastung durch den Einsatz von Computern vermindert werden können.

Was Prüfungen betrifft (sog. summative Tests), so stellt OLAT in der Tat einige Mittel für das "E-Assessment" zur Verfügung. Diese E-Assessment-Funktionen beschränken sich zur Zeit aber auf die klassischen Auswahltests (Single Choice, Multiple Choice und Kprim) sowie Lückentests. Diese Testformen sind zwar automatisch einfach auswertbar, aber sie auferlegen der Formulierung von Fragen ein sehr enges Korsett. Das macht sie nur beschränkt geeignet, den Prüfungsaufwand zu verringern. Dies gilt ganz besonders für die Philosophische Fakultät, wo Fragen oft nicht durch knappe (eindeutig richtige oder eindeutig falsche) Aussagen beantwortet werden können, geschweige denn durch präzise Zahlwerte oder wohldefinierte Fachbegriffe. Idealerweise lässt man in solchen Situationen Freitextantworten zu (bis hin zu ganzen Aufsätzen), aber die kann man nicht automatisch durch Software bewerten lassen.

Noch problematischer ist die Situation bei den sog. formativen Tests, jenen Tests also, welche nicht zum Bewerten einer Leistung eingesetzt werden, sondern zum individuellen Üben und Vertiefen durch die Studierenden, idealerweise mit Hilfe durch Tutoren. In dieser Situation ist von Seiten der Tutoren aber das Abgeben detaillierter Kommentare und massgeschneiderter Erklärungen gefragt, nicht das Vergeben von Punkten, und das ist noch schwieriger zu automatisieren als die Bewertung von summativen Tests.

Ein besonderer Typ von am Institut für Computerlinguistik der Universität Zürich entwickelten Tests, Satzergänzungstests, nehmen eine Mittelposition zwischen einengenden Auswahl-Tests und maschinell nicht auswertbaren Tests mit Freitextantworten ein. Statt dem blossen Auswählen von vorgegebenen Antworten erlauben Satzergänzungstests das Formulieren von (auch komplexen) sprachlichen Antworten, aber nicht in vollständig freier Form, sondern durch das interaktive Zusammenfügen von in Menüform vorgeschlagenen Satzfragmenten, welche auch Lücken beinhalten können. Und statt einer vorformulierten Antwort wird dann vom System ein detaillierter und sehr spezifischer Kommentar zur benutzererzeugten Antwort generiert.

Schliesslich kann das System auch komponentenweise Zusatzfragen zu den Antworten erzeugen, ganz individuell auf die einzelnen Komponenten der einzelnen Antworten bezogen. Je nach Ausrichtung des Tests können die einzelnen Antwortkomponenten zusätzlich mit Punkten bewertet oder nur natürlichsprachlich kommentiert werden.

Satzergänzungstests können als formative oder als summative Tests verwendet werden

1. Wenn im Sinn von formativen Tests eingesetzt, sind vor allem die hochspezifischen Kommentare zu den benutzergenerierten Aussagen wichtig.
   • Kommentare dienen primär dazu, typische Fehler (faktische Irrtümer, Fehlkonzepte, Widersprüche) zu identifizieren und sie detailliert zu korrigieren.
   • Kommentare können aber auch ganz gezielt Links auf Texte liefern, in denen genau die diagnostizierten Wissensdefizite angesprochen werden.
   • Auch Verknüpfungen zu multimedialen Inhalten sind problemlos möglich.
   • Durch das Verketten von Satzergänzungstest können die Benutzer für jede Fehlerkomponente je in eine spezifische Korrekturschlaufe gesteuert werden (im Bedarfsfall iterativ - so lange, bis alles geklärt ist).
   • In einem speziellen Dialogmodus führen die Eingaben des Benutzers und die Kommentare des Systems zur Bildung längerer Dialoge, die als solche gespeichert werden können und als benutzerspezifisches „Lehrgesprächsprotokoll“ dienen. Anstelle eines Frage-Antwort-Dialogs kann man auch eine offenere Dialogform wählen, in welcher der Benutzer korrekte Aussagen zu einem allgemeinen Thema macht.
2. Wenn im Sinn von summativen Tests verwendet, können statt der (oder zusätzlich zu den) Kommentaren punktemässige Bewertungen errechnet werden. Sie können sehr viel präziser sein als in traditionellen Auswahltests, denn die einzelnen Komponenten der Antwort werden einzeln bewertet, und zwar mit positiver oder negativer Gewichtung, und dann vom System zu einer Gesamtpunktzahl verrechnet.

Schauen Sie sich nun ein Beispiel eines Satzergänzungstests an.