Dynamisches Testen

Dynamisches Testen im Bereich der Lesekompetenz: Zur Diagnostik und Beeinflussbarkeit der Lesekompetenz durch Feedback und (meta-) kognitive Hilfen in einer computerbasierten Untersuchung (Artelt / Dörfler; 2007-2011)

Kurzbeschreibung

Laufzeit 2007-2011

 

In diesem Projekt soll das Konzept des Dynamischen Testens auf den Bereich der Lesekompetenz/ des Textverstehens übertragen werden. Dynamisches Testen zielt darauf ab, neben der aktuellen Leistung zusätzlich ein - so die Annahme - ebenfalls interindividuell variierendes Veränderungspotenzial zu erfassen. Hierzu werden beim Dynamischen Testen Hilfen gegeben, die z.B. aus leistungsbezogenem Feedback sowie fehlerspezifischen Denk- und Lernhilfen bestehen. Textverstehen stellt eine komplexe kognitive Anforderung dar, die über Feedback, sowie die Vermittlung von Strategien und Metakognition gefördert werden kann. Neben der Frage, welche Feedbackarten bzw. welche Hilfen dabei auch unter den Bedingungen des Dynamischen Testens leistungs- und lernförderlich sind, soll untersucht werden, ob hierüber ein interindividuell variierendes lesespezifisches Veränderungspotenzial im Sinne der Grundidee des Dynamischen Testens identifiziert werden kann und ob dies ggf. mit bestimmten Arten von Feedback und (meta-)kognitiven Hilfen besser gelingt als mit anderen. Mit Blick auf die Konstruktion eines Dynamischen Tests sollen also diejenigen Interventionen durch experimentelle Bedingungsvariationen identifiziert werden, die in einer computerbasierten adaptiven Darbietung zur Verbesserung des Textverstehens/ der Lesekompetenz führen und zum anderen diejenigen, die den größten diagnostischen Nutzen aufweisen, d.h. zu einer angemessenen Leistungsdifferenzierung der Probanden im Bereich Lesen/ Textverstehen beitragen. Die Untersuchung ist als computergestützte experimentelle Studie angelegt, wobei die Art des Feedbacks bzw. der (meta-)kognitiven Lernhilfen systematisch variiert wird. Teilnehmer sind Schülerinnen und Schüler der Sekundarstufe (vorrangig 6. Klassen). Für die Zuordnung zu experimentellen Gruppen werden u.a. Vorwissen, Intelligenz sowie die Motivation der Schülerinnen und Schüler berücksichtigt.  Die Validität des neu entwickelten Dynamischen Tests im Bereich der Lesekompetenz wird anhand verschiedener Außenkriterien überprüft.

 

Forschungsstand 2009

 Dynamische Tests stellen im Bereich der Leistungsdiagnostik eine Alternative zu herkömmlichen Statustests dar. Während bei Statustests lediglich die aktuelle Performanz erfasst werden kann, bilden dynamische Tests zusätzlich Lernfähigkeit in der untersuchten Domäne ab. Zur Abschätzung dieser interindividuell variierenden Lernfähigkeit werden den Probanden (zumeist nach fehlerhaften Antworten) Feedbacks bzw. Lern-/Denkhilfen angeboten. Dabei interessiert, inwieweit Personen in der Lage sind, ihre Leistung unter Nutzung dieser Rückmeldungen zu verbessern. Das Ausmaß der resultierenden Leistungsveränderung gilt als Indikator der Lernfähigkeit einer Person.

Hauptanaliegen des Projektes ist die Entwicklung eines dynamischen Lesekompetenztests. Die Umsetzung erfolgt in drei Phasen: 1) eine experimentelle Untersuchung zur Einschätzung der Wirksamkeit unterschiedlicher Rückmeldungen auf die Lesekompetenz/ das Textverstehen, 2) die eigentliche Testentwicklung und anschließende Validierung des Lesekompetenztests sowie 3) die abschließende Überprüfung der Praxisbewährung des Instruments.

Während der ersten Projektphase (Oktober 2007 – September 2009) wurde in einem Experiment bereits untersucht, welche Arten von Feedbacks und Lern-/Denkhilfen sich zur Unterstützung des Textverstehens in einer computerbasierten Testumgebung eignen. Darauf aufbauend werden künftig Feedbacks und Lern-/Denkhilfen für weitere Texte und Aufgaben entwickelt, um einen reliablen und validen dynamischen Lesekompetenztest zu erstellen.

Die Testentwicklung der zweiten Projektphase (ab Oktober 2009) beinhaltet u.a. die Evaluierung des Lesekompetenztests an einer Gruppe von ca. 500 zunächst bayerischen Schülerinnen und Schülern der Klassenstufen 5 bis 8. Um eine psychometrisch angemessene Repräsentation der dynamischen Testdaten zu gewährleisten, werden die Daten mit unterschiedlichen IRT-Modellen skaliert und verglichen. In diesem Zusammenhang wird überprüft, inwieweit sich empirisch zwei Fähigkeitsdimensionen Lesekompetenz und Lernfähigkeit separieren lassen. Wesentlich wird überdies der Nachweis inkrementeller Validität des dynamischen Lesekompetenztests im Vergleich zu einer äquivalenten Statustestvariante in Bezug auf verschiedene Kriterien sein.

Die Tauglichkeit des dynamischen Lesekompetenztests für die Förderpraxis soll Gegenstand einer dritten Projektphase (ab Ende 2011) sein. Von Interesse ist dabei beispielsweise, ob sich mit Hilfe des Tests Personen identifizieren lassen, die in besonderer Weise von den angebotenen Feedbacks und Lern-/Denkhilfen des Tests profitieren. Diese sogenannten Gainer sprächen demnach gut auf Fördermaßnahmen im Bereich des Textverstehens an. Allgemein lässt sich so für jeden Schüler ein spezifisches Förderpotenzial ableiten. Desweiteren soll erprobt werden, ob der computerbasierte Test als Instrumentarium von Lehrkräften verwendet werden kann, um eigene Texte und Aufgaben mit entsprechenden Rückmeldungen zu versehen und im Unterricht zu nutzen. Somit würde nach der erfolgreichen Evaluation ein unterrichtlich nutzbares Diagnose- und Förderinstrument zur Verfügung stehen.

 

Forschungsstand 2011

Inhalt des Projekts ist die Übertragung des Konzepts des dynamischen Testens auf den Bereich der Lesekompetenz. Das Besondere der dynamischen Tests ist, dass in den Testprozess Rückmeldungen (Feedbacks bzw. Prompts) implementiert sind. Die Reaktionen der Probanden auf diese Rückmeldungen werden genutzt, um neben einer gewöhnlichen Kompetenzdiagnostik auch die individuelle Lernfähigkeit im jeweiligen Bereich abschätzen zu können.

Ein erster Schritt hin zur Erstellung des dynamischen Lesekompetenztests bestand in der Auswahl und experimentellen Überprüfung verschiedener Arten von Rückmeldungen. Auf Grundlage der Literatur wurden vier verschiedene Arten von Feedbacks/Prompts, die das Spektrum möglicher Feedbackinhalte gut widerspiegeln, ausgewählt und im Rahmen von kognitiven Interviews einer ersten Überprüfung unterzogen. Die positiven Ergebnisse der kognitiven Interviews konnten in der experimentellen Überprüfung jedoch nicht bestätigt werden. Das Experiment ergab, dass keine der ausgewählten Rückmeldungen zu einer Leistungssteigerung führte. Da das erste Experiment infolgedessen keine validen Aussagen zur differenziellen Effektivität der verschiedenen Arten von Rückmeldungen erlaubt, wurde ein zweites Experiment konzipiert und durchgeführt. Dieses zweite Experiment sollte prüfen, ob sich unter Bedingungen, in denen das Commitment bzw. die Bereitschaft, sich auf die Hilfen einzulassen, sehr wahrscheinlich ist, Effekte der Hilfen zeigen. Hierzu wurde eine Bedingung konzipiert, bei der die Probanden nicht allein am Computer arbeiteten, sondern ein Testleiter unmittelbar anwesend war, der die Rückmeldungen zu Fehlern sprachlich übermittelte. Die Ergebnisse sprechen einerseits dafür, dass die testleiteradministrierten Hilfen effektiver waren, andererseits aber auch dafür, dass Prompts, die spezifische, auf die jeweilige Aufgabe zugeschnittene Informationen bzw. Strategien enthalten, geeignet sind, um die Leistung im Textverstehen zu erhöhen. Eine wesentliche Voraussetzung ist allerdings, dass sich die Schüler auf diese Hilfen tatsächlich einlassen, was zumindest in der low-stakes Testsituation ohne den unmittelbaren Aufforderungscharakter eines beobachtenden und Rückmeldungen gebenden Testleiters nicht der Fall war.

Die weitere Arbeit zur Erstellung eines dynamischen Tests der Lesekompetenz wird also einerseits durch den Befund, dass die anspruchsvollen Prozesse des Textverstehens in einer einmaligen Test-und Interventionssituation mithilfe einer Art von Prompt förderbar sind, genährt. Andererseits fordert die Erkenntnis, dass die für die effektive Verarbeitung der Prompts erforderliche Anstrengung ohne weitere Unterstützung nicht notwendigerweise aufgewendet wird, in der weiteren Entwicklung des dynamischen Tests besondere Aufmerksamkeit.

 

 

 

Informationen über alle Projekte

Projektreader mit Kurzbeschreibung und Forschungsstand 2011