COCA

Nutzung und Auswirkungen der Kompetenzmessung in mathematischen Lehr-Lern-Prozessen (Blum / Klieme / Leiss / Rakoczy; 2007-2013)

Kurzbeschreibung

Laufzeit seit 2007

In dem beantragten Projekt sollen Nutzung und Folgen standardbezogener und unterrichtsbezogener Kompetenzmessung für schulische Lehr-Lern-Prozesse empirisch untersucht werden. Im ersten Projektjahr werden Aufgaben zu zwei Teilbereichen der Mathematik (Geometrie, Algebra) der 9. Jahrgangsstufe zusammengestellt, mit denen die Entwicklung der mathematischen Teilkompetenzen „Modellierungskompetenz“ und „technische Kompetenz“ exemplarisch dargestellt werden kann. Empirische Erprobung und psychometrische Analysen verknüpfen die unterrichtsbezogenen Aufgaben mit dem Kompetenzmodell der Bildungsstandards. Aus den so skalierten Aufgaben werden Tests gebildet, die sich in der inhaltlichen Breite (Bezug auf Standards vs. Bezug auf Unterrichtseinheiten) unterscheiden, um deren Wirkung auf Motivation und Kognition von Schülern im zweiten Projektjahr experimentell zu untersuchen. Zusätzlich werden  im Experiment im zweiten Projektjahr Effekte des Feedbacks (informierend vs. kontrollierend) und der erwarteten Konsequenzen (simulierte High Stakes vs. Low Stakes) geprüft. Für spätere Projektphasen ist geplant, Nutzung und Folgen von Kompetenzmessung im Unterricht mittels eines Feldexperiments sowie international vergleichend zu studieren.

Forschungsstand 2009

Das übergeordnete Ziel des Projekts besteht darin zu untersuchen, wie Leistungsmessung im Mathematikunterricht gestaltet werden sollte, um sowohl eine präzise und detaillierte Leistungsmessung zu ermöglichen als auch – im Anschluss an das Assessment – positive Wirkungen auf den Lernprozess von Schülerinnen und Schülern zu erreichen. Darüber hinaus beschäftigt sich das Projekt mit der Beschreibung und Erklärung, sowie den Folgen aktueller Leistungsbewertungspraxis im Mathematikunterricht. Diese Forschungsziele werden im Rahmen einer Skalierungserhebung, eines Labor- und eines Feldexperiments untersucht.
Im Mittelpunkt der bisherigen Projektarbeit stand die Planung, Durchführung und Auswertung der Skalierungserhebung. Sie war zunächst als Vorstudie gedacht, um Testaufgaben zu entwickeln und psychometrisch zu skalieren, die später im Labor- und im Feldexperiment eingesetzt werden können.

66 Realschulklassen mit insgesamt etwa 1500 Schülerinnen und Schülern der 9. Jahrgangsstufe nahmen an der Untersuchung teil. 139 mathematische Aufgaben zu zwei Kompetenzdimensionen (technische Kompetenz bzw. Modellierungskompetenz) und drei Themenbereichen (Satzgruppe des Pythagoras, lineare Gleichungssysteme, sowie allgemeine Bildungsstandard-bezogene Themen) konnten auf einer gemeinsamen latenten Dimension abgebildet werden. Alternativ wurden mehrdimensionale Kompetenzmodelle (getrennt nach Themenbereichen bzw. getrennt nach Kompetenzen) erstellt, und auf der Basis von Aufgabenanalysen ließen sich für mehrere Teildimensionen (z.B. für den Themenbereich „Pythagoras“) Kompetenzniveaus abgrenzen. Außerdem wurde ein Test-Equating durchgeführt, bei dem die Co2CA-Testskala auf der Skala der Normierung der Bildungsstandards abgebildet werden konnte.

Über das ursprüngliche Ziel hinaus wurde die Skalierungserhebung um Schüler- und Lehrerbefragungen sowie eine Rückmeldestudie erweitert. Daraus ergaben sich bereits erste Antworten auf die Forschungsfragen zur Nutzung und Folgen der Leistungsmessung im Mathematikunterricht:

- In den untersuchten Realschulklassen dominiert nach Angaben der Lehrkräfte eine verbale Rückmeldekultur, verbunden mit verschiedenen lehrer- und notenzentrierten Bewertungsformen. Partizipative Formen (Selbst- oder Peer-Evaluation) sind insgesamt selten, finden sich aber vergleichsweise häufig bei Lehrkräften, die angeben, sich gut mit diagnostischen Fragen auszukennen. Diese Ergebnisse verweisen darauf, dass Bewertungs- und Rückmeldekulturen von Lehrperson zu Lehrperson bzw. von Klasse zu Klasse variieren, so dass es sich lohnt, Ursachen und Folgen weiter zu prüfen.

- In Mehr-Ebenen-Modellen lassen sich Zusammenhänge mit Motivation und Leistung der Schüler(innen) identifizieren: lehrer- und notenzentrierte Bewertungspraktiken gehen mit niedrigerer, eine aus Schülersicht wahrgenommene ipsative Bezugsnormorientierung der Lehrkraft hingegen mit höherer Motivation einher, während die diagnostische Kompetenz der Lehrperson (hier verstanden als hohe Treffsicherheit bei der Vorhersage von Schülerantworten) mit besseren Testleistungen der Schüler(innen) verbunden ist.

- Neben der Untersuchung der aktuellen Leistungsbewertungspraxis wurden verschiedene Formen der Leistungsrückmeldung experimentell variiert. Erwartungsgemäß zeigte sich, dass verschiedene Feedbackarten unterschiedlich auf die Motivation der Schüler(innen) und auf deren Attribution der Testergebnisse wirken, wobei die kriteriale Rückmeldung vergleichweise positive Effekte hatte. Diese Erkenntnisse werden in die Operationalisierung der Rückmeldebedingungen im Labor- und Feldexperiment einfließen.
In dem Laborexperiment (Herbst 2009) wird die Wirkung verschiedener Feedbackformen (sozial-vergleichend, kriterial, prozessbezogen) auf motivationale, kognitive und metakognitive Variablen erforscht, zusätzlich werden moderierende und mediierende Faktoren analysiert. Darüber hinaus wird der Effekt der inhaltlichen Breite eines Tests auf Motivation und Kognition von Schülerinnen und Schülern experimentell untersucht. Zu diesem Zweck werden aus den in der ersten Förderphase erprobten Aufgaben Tests erstellt, die sich entweder auf die Bildungsstandards beziehen (also inhaltlich breiter angelegt sind) oder auf eine der beiden Unterrichtseinheiten Bezug nehmen (also inhaltlich enger gefasst sind).
Im nachfolgenden Feldexperiment (Herbst 2010-Frühjahr 2011) werden Effekte einer formativen Leistungsmessung längsschnittlich und ökologisch valide untersucht, wobei wiederum sowohl die Testarten als auch – mit Hilfe gezielter Lehrerschulungen – die Rückmeldeformen systematisch variiert werden.

Forschungsstand 2011

Der Berichtszeitraum umschließt ein Laborexperiment (Ende 2009) und ein Feldexperiment (Schuljahr 2010/2011). Untersucht wurden Auswirkungen unterschiedlicher Tests und Rückmeldungen auf Moti-vation und Leistung von Lernenden. Bereits veröffentlichte sowie bis Herbst 2011 einzureichende Publikationen werten das Laborexperiment und eine vorgelagerte Skalierungserhebung (2008) aus, wobei Fragestellungen aus Motivationspsychologie, Feedback-Forschung, Psychometrie und Mathe-matikdidaktik bearbeitet werden.

 

Informationen über alle Projekte

Projektreader mit Kurzbeschreibung und Forschungsstand 2011