Kognitive Diagnosemodelle

Formative Kompetenzmessung mit kognitiven Diagnosemodellen (Rupp / Wilhelm; 2007-2009)

Kurzbeschreibung

Laufzeit: 2007-2009

 

 In diesem Projekt wird untersucht, inwieweit sich die theoretischen Möglichkeiten von kognitiven Diagnosemodellen zur Modellierung von Daten aus kompetenzdiagnostischen Tests praktisch realisieren lassen. Dies soll auf der Basis von bereits bestehenden Testaufgaben für formative Evaluation geschehen, welche für das Fach Mathematik im Primarbereich im Sinne der länderübergreifenden Bildungsstandards entwickelt worden sind. Insbesondere sollen (a) detaillierte Klassifikationsanweisungen für diejenigen Kompetenzen, die von einer Testaufgabe aktiviert werden, mit großer Detailtiefe von Experten entwickelt werden, (b) diese Anweisungen auf standardisierte Testaufgaben angewandt werden, (c) mit Hilfe verschiedener kognitiver Diagnosemodelle komplexe Kompetenzprofile für Schülerinnen und Schülern anhand ihrer Antwortmuster für diese Aufgaben zugewiesen werden, (d) der Zusammenhang dieser Profile mit anderen diagnostischen Leistungsdaten in Bezug gesetzt werden, und (e) verschiedene computergestützte Rückmeldeformate für die Leistungsprofile entwickelt werden. Durch die Ergebnisse dieser Untersuchungen sollen insbesondere die Bedingungen verdeutlicht werden, unter denen kompetenzdiagnostische Rückmeldungen mit kognitiven Diagnosemodellen statistisch abgesichert werden können, so dass sie für standardisierte Testverfahren operativ eingesetzt werden können.


Forschungsstand 2009

Im Rahmen dieses Projekts sollen das theoretische Potential und die Schwierigkeiten neuartiger psychometrischer Modelle, sog. kognitiver Diagnosemodelle (CDMs) näher untersucht werden. Mit der Verwendung der CDMs sind im Wesentlichen zwei Hoffnungen verknüpft. Zum einen sollen sie eine mehrdimensionale Abbildung der Kompetenzen ermöglichen, die auf einer theoretisch begründeten und vorab festgelegten Klassifikation der Aufgaben zu entsprechenden Fähigkeitsdimensionen basiert. Die zweite Erwartung an CDMs ist, dass sie eine statistisch begründete Klassifikation der Schüler bzgl. einer oder mehreren Kompetenzen in sog. Kompetenzprofilen erlauben.

In dieser ersten Projektphase war das vorrangige Ziel, CDMs am Beispiel eines neu entwickelten Mathematiktests erfolgreich einzusetzen sowie diese Modelle mit anderen etablierten statistischen Auswertungsmethoden (IRT-Modellen und konfirmatorischen faktoranalytischen Modellen) zu vergleichen.

Zunächst stand die Entwicklung eines Klassifikationssystems mathematischer Fertigkeiten im Vordergrund. Anschließend wurden Aufgaben entsprechend dieses Klassifikationssystems entworfen. Die entwickelten Aufgaben wurden in einer ersten Pilotierungsstudie im April 2008 an 464 Grundschulkindern der dritten und vierten Klassen erprobt. Es folgte die Anpassung der Aufgaben und eine Normierung von Items mit zufriedenstellenden Itemschwierigkeiten und –trennschärfen in einer zweiten Studie im Juli 2008 an 747 Dritt- und Viertklässlern. In einer dritten Studie im November und Dezember 2008 wurden schließlich deutschlandweit Daten von 2123 Kindern der vierten Klassen an 47 Schulen erhoben, um das neu entwickelte Messinstrument abschließend zu normieren und anhand der Aufgaben zur Erfassung der Bildungsstandards Mathematik in der Grundschule sowie anhand des etablierten Mathematiktests (DEMAT 3+) zu validieren.

Für den ersten Vergleich der CDMs mit den korrespondierenden CFA-Modellen wurde das general diagnostic model (GDM) als ein Vertreter der CDMs gewählt, wobei hierbei das korrespondierende GDM zum CFA-Modell mit der besten Modellpassung geschätzt wurde. Es zeigte sich, dass das GDM per se keine zusätzliche Information über die mehrdimensionalen CFA-Modelle hinaus bereitstellt. GDM erlaubt jedoch eine andere Aufbereitung der Information und erlaubt die direkte Schätzung der Kompetenzprofile der Schüler, die eine Auskunft darüber ermöglichen, welche Teilfertigkeiten vom Kind bereits beherrscht werden und welche noch nicht. Diese Information kann potentiell für Rückmeldungen an Lehrer und Eltern genutzt werden. Des Weiteren können die Häufigkeiten der beobachteten Kompetenzklassen (bspw. „Schüler beherrschen alle vier Rechenarten“ vs. „Schüler können addieren und subtrahieren, aber nicht ausreichend gut multiplizieren und dividieren“) Hinweise auf den Lernprozess des Erwerbs der arithmetischen Fertigkeiten liefern.

In der Validierungsstudie wurde der neu entwickelte Mathematiktest zusammen mit den Bildungsstandardaufgaben in Mathematik für die Grundschule, DEMAT 3+ sowie dem kognitiven Fähigkeitstest (KFT) administriert. Erste Ergebnisse deuten auf mittel hohe Zusammenhänge zwischen dem neu entwickelten Mathematiktest und dem DEMAT 3+, den Bildungsstandardsaufgaben und der Mathematiknote hin.

In den nächsten Analyseschritten streben wir die Anwendung des neuen integrativen Ansatzes der log-linearen Modelle auf die Daten aus der Validierungsstudie an. Anschließend wird die Validität der so berechneten Kompetenzprofile anhand der Zusammenhänge mit den eingesetzten externen Messinstrumenten und mit der Mathematiknote geprüft. Ein weiteres Ziel in diesem Projekt betrifft die Untersuchung geeigneter Modell-fit-Maße, die Auskunft über die Modellpassung und damit die Prüfung der Adäquatheit der CDMs geben.

 

 

Informationen über alle Projekte

Projektreader mit Kurzbeschreibung und Forschungsstand 2011