Validating analytic rating scales

Die Verwendung von analytischen Beurteilungsskalen zur Bewertung fremdsprachlicher Leistungen hat an den philologischen Instituten der osterreichischen Universitaten stark zugenommen. Die empirischen Untersuchungen zur Effektivitat solcher Instrumente allgemein und zum definierten Leistungskontinuum im Besonderen sind dagegen rar. Ziel der vorliegenden Studie war es daher, das Leistungskontinuum, wie es durch die English-Language-Teaching-and-Testing-Initiative (ELTT) bestehend aus ExpertInnen der Universitaten Graz, Klagenfurt, Salzburg und Wien in zwei analytischen Beurteilungsskalen – einer fur akademische Prasentationen und einer fur akademische Diskussionen – operationalisiert wurde, zu validieren. Hierfur wurde ein Mehrmethodenansatz zur Skalierung der Niveaubeschreibungen entwickelt, der sowohl Klassische Testtheorie als auch Probabilistische Testtheorie heranzog. Zunachst wurden 21 osterreichische UniversitatslehrerInnen gebeten, eine als Descriptor-Sorting bezeichnete Sortieraufgabe durchzufuhren und dabei einzelne Deskriptoren bestimmten Schwierigkeitsstufen zuzuordnen. Zweitens wurden die aus der Sortieraufgabe gewonnenen Daten im Zuge der sogenannten Descriptor-Calibration mittels Multifacetten-Rasch-Analyse untersucht, um die Interpretationen der Lehrenden empirisch zu validieren. Schlieslich zielte das als Descriptor-Performance-Matching bezeichnete Verfahren darauf ab, die Auffassungen der Lehrenden mit realem Sprachgebrauch zu verbinden. Die Resultate zeigten, dass zwischen den verschiedenen Reihenfolgen der Deskriptoren zwar ein stark linearer Zusammenhang bestand, die Aufteilung der Deskriptoren auf aquidistante Leistungsbandbreiten jedoch zu weniger stark zusammenhangenden Niveauzuteilungen fuhrte. Die Ergebnisse legen nahe, dass die Validierungsverfahren eine einflussreiche Komponente des Beurteilungsprozesses darstellen und daher in theoretischen Leistungsbeurteilungsmodellen entsprechend berucksichtigt werden sollten.