HEUREKO- CAT

Computergestütztes adaptives Assessment von Schülerkompetenzen beim heuristischen Arbeiten mit Repräsentationen funktionaler Zusammenhänge (Wirtz / Kröhne / Leuders / Bruder; 2007-2013)

Kurzbeschreibung

Laufzeit seit 2007

 

Ziel des Projektes ist die Konstruktion und Überprüfung eines Kompetenzmodells für das mathematische Problemlösen und Modellieren von Schülerinnen und Schülern der Sekundarstufe I in solchen Situationen, in denen Prozesse des Wachstums und der Veränderung mathematisch erfasst werden (overarching idea „change“). Von zentraler Bedeutung sind hierbei die heuristische Verwendung der fundamentalen mathematischen Darstellungsarten (representations) numerisch, graphisch, symbolisch, verbal und der Wechsel zwischen ihnen als bedeutsame Determinante von Problemlöse- und Modellierungskompetenz. National und international bewährte theoretische Fähigkeitsmodelle aus der Mathematikdidaktik werden operationalisiert und in Form eines Kompetenzstrukturmodells empirisch überprüft. Langfristiges Ziel ist die Bereitstellung eines empirisch fundierten Diagnose- und Förderinstrumentariums für die Schulpraxis.


Forschungsstand 2009

In der ersten Phase (2007-2009) des Projektes HEUREKO wurde ein Kompetenzstrukturmodell im mathematischen Inhaltsbereich „funktionale Veränderung“ konstruiert, welches die Fähigkeiten von Schülerinnen und Schülern der Sekundarstufe I beim Problemlösen mit Darstellungsformen (numerisch, graphisch und situativ) und dem Wechsel zwischen ihnen beschreibt Zur empirischen Überprüfung des Modells wurde ein bereichsspezifischer Pool von 80 Items konstruiert, pilotiert und an einer Stichprobe von 872 Schülerinnen und Schülern der 7. und 8. Klasse aus Gymnasien in Baden-Württemberg und Hessen überprüft. Es wurde ein Multi- Matrix-Design verwendet, so dass jedem Schüler nur 34 Items anhand eines Paper-Pencil- Tests präsentiert wurden. Anhand ein- und mehrdimensionaler Rasch-Analysen wurden verschiedene aus der Literatur abgeleitete Kompetenzstrukturmodelle daraufhin überprüft, ob sich die jeweils postulierten Strukturen in den Daten widerspiegeln. Durch Anwendung des „multidimensional random coefficient multinomial logit“ Modells (MRCML), das in der Software ConQuest implementiert ist, wurde ein empirischer Modellvergleich durchgeführt. Ein vierdimensionales Modell, das die Wechsel zwischen und innerhalb von Repräsentationsformen (situativ-grafisch, situativ-numerisch, grafisch-grafisch, numerisch-numerisch) als wesentliche Kompetenzdimensionen annimmt, weist die beste Datenvorhersage auf. Die Separierbarkeit dieser Dimensionen wird weiterhin durch vergleichsweise moderate latente Interkorrelationen unterstützt (r = .57 bis .76). Jedoch konnte lediglich für den Repräsentationswechseltyp ‚situativ-grafisch’ mit .72 eine akzeptable EAV-Reliabilität erreicht werden. Trotz der validierten dimensionalen Struktur muss somit eine weitere Optimierung und Schärfung der Itemgruppen erfolgen, um den psychometrisch fundierten Einsatz des Diagnostikums (insbesondere zur Individualdiagnostik) empfehlen zu können. Durch Analyse mittels Differential Item Functioning konnte gezeigt werden, dass die Schwierigkeit der Skalenitems in Einzelfällen systematisch mit den Ausprägungen im figuralen Denken und dem Geschlecht variiert. Mittels Latent Class Analysen konnte weiterhin nachgewiesen werden, dass man über die vier Dimensionen hinweg 7 typische Kompetenzprofile identifizieren kann. Die Bedeutung und Determinanten dieser Kompetenzstrukturen im Bereich ‚funktionale Veränderung’ werden im Rahmen der zweiten Datenerhebungsphase in den kommenden Monaten differenzierter analysiert. Diese Befunde zeigen, dass neben den dimensionalen Kompetenzaspekten auch typologische Strukturen durch den Itempool identifiziert werden können. Diese können Hinweise auf typische Kompetenzstrukturen geben, die im Sinne einer formativen Diagnostik zur Identifikation von spezifischem Förderbedarf oder Leistungsprofilen eingesetzt werden können Insgesamt weisen die Ergebnisse darauf hin, dass Wechsel von sprachlich-symbolhaften Darstellungen und grafisch-bildhaften Repräsentationen kognitive Strukturen erklären können, die beim mathematischen Problemlösen eine Rolle spielen. Das postulierte Kompetenzmodell kann die Basis für ein Diagnoseinstrument mathematischer Problemlösefähigkeit beim Umgang mit Funktionen bilden und gleichzeitig Ansatzpunkte für die Förderung bieten.

Forschungsstand 2011

Aufbauend auf den Ergebnissen der ersten Projektphase wurde das entwickelte Kompetenzstrukturmodell im mathematischen Inhaltsbereich „funktionale Veränderung“, welches die Fähigkeiten von Schülerinnen und Schülern der Sekundarstufe I beim Problemlösen mit Darstellungen (graphisch, numerisch und situativ) beschreibt, überarbeitet und weiterentwickelt.

Mit dem Ziel eine zufriedenstellende Reliabilität der einzelnen Teildimensionen zu erreichen und das dimensionale Auflösungsvermögen des Tests zu erhöhen, wurden tiefergehende Analysen der einzelnen Dimensionsbereiche durchgeführt und sowohl zusätzliche als auch konstruktvalidere Items entwickelt. Dies geschah mittels einer empiriegestützten Itemenanalyse, in der quantitative und qualitative Verfahren der Itemevaluation miteinander verknüpft wurden.

Es wurden einerseits die Leistungsdaten der ersten Projektphase mithilfe eines mehrdimensionalen zweiparametrigen logistischen Modells reanalysiert. Die auf diese Weise ermittelten Trennschärfekennwerte wurden genutzt, um die Items bezüglich ihrer Skalenpassung zu bewerten und für die weitere Analyse und Weiterentwicklung auszuwählen (Rost, 2004; Reckase, 2009). Andererseits wurden ausgewählte Items mittels qualitativer Videostudien kognitiven Analysen unterzogen. Auf Grundlage dieser beiden Untersuchungen und mit besonderem Augenmerk auf die intendierte Erhöhung der Reliabilität zwischen den Teildimensionen wurden zusätzliche Items entwickelt und pilotiert.

Zur empirischen Überprüfung wurde das erweiterte und überarbeitete Instrument an einer Stichprobe von 1351 Schülerinnen und Schülern der 7. und 8. Gymnasialklassen hinsichtlich seiner dimensionalen Struktur untersucht. Hierzu wurden konkurrierende Modelle mit jeweils unterschiedlicher Dimensionalität und inhaltlicher Bedeutung der Komponenten miteinander verglichen. Der Modellvergleich bestätigte die Ergebnisse der ersten Projektphase. Das Modell, welches die vier Problemlösehandlungen SG, SN, G und N als eigenständige Dimensionen annimmt, wies die beste Datenpassung auf. Die einzelnen Dimensionen weisen mit EAV-Reliabilitäten von .61 bis .69 allerdings einen für den diagnostischen Einsatz immer noch niedrigen Wert auf. Die latenten Korrelationen zwischen den Dimensionen liegen im Bereich von .71 bis .75. Damit konnte das Ziel, die einzelnen Komponenten des Kompetenzstrukturmodells stärker voneinander zu trennen, nicht vollständig erfüllt werden.

Um die Eignung des entwickelten Instrumentes als formatives Diagnostikum auch für den praktischen Einsatz zu erhöhen, wurden weiterhin Kompetenzstufen innerhalb der einzelnen Komponenten des Modells empirisch identifiziert. Hierzu werden in weitergehenden Analysen für die einzelnen Kompetenzbereiche des vierdimensionalen Strukturmodells Niveaustufen identifiziert und beschrieben. Für die beiden innermathematischen Dimensionen G und N konnten bereits vielversprechende Niveaustufenmodelle entwickelt werden, die allerdings noch vorläufigen Charakter besitzen.

Die zweite Fragestellung der Studie befasst sich mit einer überarbeiteten Version des untersuchten Kompetenzstrukturmodells. Hier wird als zusätzliche Repräsentation die algebraische Darstellung von Funktionen in das Modell integriert. Das resultierende Modell postuliert 5 verschiedene Dimensionen bezüglich der Wechsel zwischen graphischer, numerischer, situativer und algebraischer Darstellung einer Funktion. Zusätzlich werden bei dieser Fragestellung vier verschiedene Handlungsanforderungen einer mathematischen Aufgabe betrachtet: Identifizieren, Realisieren, Beschreiben und Argumentieren. Anhand dieser zu untersuchenden Konzepte wurde ein Pool von Aufgaben entwickelt. Ein repräsentativer Teil dieser Items wurde in einer Pilotstudie genauer untersucht. Ungewollte Schwierigkeiten der Schüler mit den Aufgaben konnten somit identifiziert werden. Anhand der Ergebnisse der Pilotierung wurde daraufhin der gesamte Itempool überarbeitet. Diese überarbeiteten Items wurden dann in der Hauptstudie eingesetzt.

In der Hauptstudie wurden vier Testhefte nach dem Multi-Matrix-Design konstruiert und von Schülern der 9. und 10. Jahrgangsstufe bearbeitet. Zusätzlich wurde eine Schülerbefragung zu den Themen Mathematikunterricht und Lerngewohnheiten durchgeführt, sowie ein Grundwissentest, welcher die für den Haupttest notwendigen Grundkompetenzen erfasste. Die Lehrkräfte der beteiligten Schulklassen füllten zudem einen Lehrerfragebogen aus, welcher Informationen zur Klasse erfasste und die Lehrkräfte um eine Einschätzung einzelner Aufgaben bat.

Es ist geplant, das postulierte Kompetenzstrukturmodell mittels einer Rasch-Modellierung zu überprüfen. Dabei werden verschiedene Vergleichsmodelle herangezogen und eine Passung der Modelle zu den empirischen Daten untersucht. Es ist weiterhin geplant, eine Optimierung des Aufgabenpools vorzunehmen, indem eine spezifische Qualitätsanalyse der Items vorgenommen wird. Zusätzlich soll eine genauere Untersuchung der postulierten Schwierigkeitshierarchie der Handlungsanforderungen vorgenommen werden. Weitere Auswertungen werden sich mit den Einflussfaktoren des Mathematikunterrichts, der Lerngewohnheiten der Schüler, sowie der ermittelten Grundkompetenz befassen.

 

Informationen über alle Projekte

Projektreader mit Kurzbeschreibung und Forschungsstand 2011