MIRT

Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen (Hartig / Harsch; 2007-2013)

Kurzbeschreibung

Laufzeit seit 2007

 

Bei der Messung von Kompetenzen mit standardisierten Tests können verschiedene alternative psychometrische Modelle verwendet werden. In diesen Modellen kommen zum einen theoretische Annahmen über das zu messende Kompetenzkonstrukt zum Ausdruck, zum anderen wird definiert, welche Messwerte bei der Testauswertung gebildet werden und wie diese zu interpretieren sind. Die Wahl eines angemessenen psychometrischen Modells ist oft keine einfache Entscheidung; eine Vielzahl möglicher Alternativen steht in der Literatur weitgehend unverknüpft nebeneinander. Im beantragten Projekt sollen verschiedene Modelle der Item-Response-Theorie  (IRT) anhand mehrerer Kriterien systematisch miteinander verglichen werden. Hierzu sollen bereits vorliegende Daten aus der DESI-Studie mit verschiedenen alternativen IRT-Modellen analysiert werden, unter anderem Modelle zur Beschreibung von Kompetenzniveaus und zur mehrdimensionalen Erfassung differen¬zierter Teilkompetenzen. Anhand der Ergebnisse soll zunächst eingeschätzt werden, inwieweit sich mit demselben Aufgabenmaterial erfasste sprachliche Kompetenzen auf unterschied¬liche Weise modellieren lassen und welche diagnostischen Aussagen aus den verschiedenen Auswertungen resultieren. Darüber hinaus sollen anhand der Ergebnisse allgemeine Kriterien für die Auswahl von psychometrischen Modellen formuliert werden, die sowohl theoretische als auch praktische Anforderungen berücksichtigen.

 

Forschungsstand 2009

 Bei der Messung von Kompetenzen mit standardisierten Tests können verschiedene alternative psychometrische Messmodelle verwendet werden. In diesen Modellen kommen zum einen theoretische Annahmen über das fokussierte Kompetenzkonstrukt zum Ausdruck, zum anderen wird definiert, welche Messwerte bei der Testauswertung gebildet werden und wie diese zu interpretieren sind. Die Wahl eines angemessenen psychometrischen Modells ist oft keine einfache Entscheidung; eine Vielzahl möglicher Alternativen steht in der Literatur weitgehend unverknüpft nebeneinander. In dem Projekt „Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen“ wurden verschiedene alternative psychometrische Modelle auf bereits vorliegenden Daten aus der DESI-Studie angewendet, um einen Vergleich der mit den Modellen gewonnenen Informationen zu ermöglichen.

Von Hartig (2008) wurde eine vergleichende Übersicht über verschiedene psychometrische Modelle zur Berücksichtigung von Aufgabenmerkmalen publiziert. Ein vergleichender Überblick verschiedener mehrdimensionaler IRT-Modelle auf der Grundlage aktueller Literatur ist in Hartig und Höhler (2008a) dargestellt. Basierend auf den DESI-Daten wurden für das Lese- und Hörverstehen in Englisch als Fremdsprache die Implikationen für die Interpretation und Kommunikation von Testwerten, die aus zwei alternativen mehr¬dimensionalen IRT-Modellen resultieren, in Hartig und Höhler (2008b) illustriert und diskutiert. Hartig, Frey, Klieme und Nold (2008) illustrieren anhand von Daten zum Lese¬verstehen die Verwendung verschiedener eindimensionaler erklärender IRT-Modelle zur Definition von Kompetenzniveaus.

Als Basis für die Spezifikation komplexerer psychometrischer Modelle wurden Aufgaben¬merkmale für Aufgaben zum Lese- und Hörverstehen in Englisch als Fremdsprache definiert und für Aufgaben der DESI-Studie sowie für Aufgaben zur Überprüfung von Bildungs¬standards in Englisch für die Sekundarstufe I eingeschätzt. Die neudefinierten und eingeschätzten Aufgabenmerkmale sind gut geeignet, um empirische Aufgaben¬schwierig¬keiten zu erklären, weniger gut hingegen zur Erklärung der dimensionalen Struktur der Aufgaben. Hierfür sind vermutlich vor allem zwei Limitationen des vorliegenden Aufgaben¬materials verantwortlich: fehlende „reine“ Indikatoren für einzelne Teil¬kompetenzen sowie die Konfundierung verschiedener Aufgabenmerkmale auf Text- und Frageebene.

Insgesamt konnten im Berichtszeitraum, der etwa die Hälfte der ersten Förderphase umfasst, bereits mehrere Projektergebnisse publiziert oder zur Publikation eingereicht werden. Die für die erste Förderphase geplanten Ziele sind aller Voraussicht nach gut zu erreichen. Die aufgetretenen Schwierigkeiten mit der Spezifikation mehrdimensionaler Modelle haben allerdings für die Gestaltung der kommenden Projektphase die Konsequenz, dass früher als geplant mit der Entwicklung neuer Testaufgaben begonnen werden soll.

Forschungsstand 2011

In dem Projekt „Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen“ wurden zunächst verschiedene alternative psychometrische Modelle auf bereits vorliegenden Daten aus der DESI-Studie angewendet, um einen Vergleich der mit den Modellen gewonnen Informationen zu ermöglichen. Um den Nutzen der resultierenden Informationen zu untersuchen, wird aktuell eine Rezeptionsstudie mit Lehrkräften durchgeführt, in der die Ergebnisse aus verschiedenen Analysen systematisch aufbereitet und von den teilnehmenden Lehrkräften hinsichtlich Verständlichkeit und Nutzen eingeschätzt werden. Weiterhin wird in dem Projekt das Ziel verfolgt, ein gemeinsames Modell zur Erklärung von Aufgabenschwierigkeiten für zwei unterschiedliche Aufgabenpools (DESI-Aufgaben und Aufgaben zur Überprüfung der Bildungsstandards) zu entwickeln.

Das Hauptziel der zweiten Projektphase ist die Entwicklung und Anwendung von neuen Testaufgaben für Englisch Lese- und Hörverstehen, in denen schwierigkeitsbestimmende Aufgabenmerkmale systematisch variiert werden. Weiterhin werden die gleichen Aufgaben für Englisch Hör- und Leseverstehen verwendet. Dies ermöglicht die Anwendung von psychometrischen Modellen, mit deren Hilfe detailliertere Aussagen über einzelne Teilleistungsprozesse getroffen werden können und die somit ein differenzierteres Feedback erlauben. Zunächst wurden die Hörverstehensaufgaben entwickelt und erprobt. Die Realisation von einzelnen Merkmalskombinationen erwies sich bei der Aufgabenkonstruktion als Herausforderung. Insgesamt konnte aber zu nahezu allen angestrebten Merkmalskombinationen mindestens ein Item konstruiert werden. Aufgrund der Ergebnisse der anschließenden Item- und Distraktor-Analysen wurden die Items überarbeitet und zur Testung des Leseverstehens aufbereitet. Die Ergebnisse der Pilotierungsdaten zum Leseverstehen indizieren eine gute Reliabilität. Die Entwicklung und Erprobung der neuentwickelten Aufgaben wurde im Dezember 2010 abgeschlossen, ab Februar 2011 werden Schülerleistungsdaten in ca. 100 Realschul- und Gymnasialklassen erhoben.

Bezüglich weiterer Projektergebnisse aus dem Berichtszeitraum wird im Folgenden auf entsprechende Projektpublikationen verwiesen.

Ein vergleichender Überblick über verschiedene Ansätze zur psychometrischen Modellierung mit mehrdimensionalen IRT-Modellen auf der Grundlage aktueller Literatur ist in Hartig und Höhler (2009) dargestellt. In Hartig und Höhler (2010) werden konzeptuelle Überlegungen und Ergebnisse des Projektes, vor allem aus der ersten Projektphase, skizziert.

Bei der Modellierung von Schülerkompetenzen ist zu berücksichtigen, dass die Schülerleistungsdaten oftmals in einer hierarchischen Datenstruktur vorliegen (z.B. Schüler geklumpt in Schulklassen). Konzeptuelle Überlegungen sowie ein empirisches Anwendungsbeispiel zur Abbildung einer solchen hierarchischen Datenstruktur in mehrdimensionalen IRT-Modellen werden in Höhler, Hartig und Goldhammer (2010) dargestellt. Implikationen für die Interpretation und Kommunikation von Testwerten werden anhand des empirischen Anwendungsbeispiels, welches auf DESI-Daten zu Englisch Leseverstehen, Hörverstehen und Sprachbewusstheit (Grammatik) basiert, diskutiert.

Insgesamt konnte im Berichtszeitraum, der etwa die Hälfte der zweiten Förderphase umfasst, der Zeitplan des Projektantrages gut eingehalten werden. Als problematisch hat sich allerdings die Entwicklung eines „reinen“ Hörtests erwiesen. Ansonsten sind die für diese Projektphase geplanten Ziele aller Voraussicht nach gut zu erreichen. Für die kommende Projektphase ist geplant, die erhobenen Daten aus dieser Projektphase direkt an Ergebnisse der ersten Projektphase anzuknüpfen.

 

 

Informationen über alle Projekte

Projektreader mit Kurzbeschreibung und Forschungsstand 2011