Prüfungsdidaktik
- Selbstlernkurs: Kompetenzorientiert Prüfen
- Prüfungskonzepte
- Verbliste zu Taxonomien
- Bewertungsmatrix
- Assessment Analytics
Selbstlernkurs: Kompetenzorientiert Prüfen
Kompetenzen
Der Prozess der Prüfungserstellung beginnt nicht am Ende der Lehrveranstaltung. Bereits bei der Lehrplankonzeption müssen Lehre, Lernzielen und Prüfungen gemeinsam gedacht und geplant werden. Bildlich dargestellt ist es hier im Constructive Alignment nach Johannes und Beatrix Wildt:
Es zeigt, dass alle drei Bereiche miteinander zusammenhängen. Zunächst Lehrende stellen Learning-Outcomes auf, also Kompetenzen und Lernziele, die im Modul erreicht werden sollen. Abhängig davon wird der Lehr-/Lernprozess gestaltet und Aufgaben konzipiert, die mit der Anwendung von erlernten Kompetenzen zu lösen sind.
▶️ Kompetenzorientiert Prüfen I
Taxonomien
Die Lernaktivität der Studierenden hängt stark davon ab, was am Ende der Lehrveranstaltung geprüft wird. Wird Faktenwissen verlangt, werden die Studierenden sehr wahrscheinlich auch nur Faktenwissen lernen. Daher erfordert eine kompetenzorientierte Prüfung auch eine kompetenzorientierte Lehre. Eine gute Orientierung bietet die Lernzieltaxonomie nach Anderson und Kratwohl:
Die angestrebten Kompetenzen sind mit Lernzielen verknüpft. Nach oben zur Spitze der Pyramide hin steigt die Komplexität und der Schwierigkeitsgrad. Idealerweise sollte eine Prüfung aus mehreren Taxonomien zusammengestellt werden, um eine gewisse Qualität der Prüfung zu erreichen und auch die Leistungen der Studierenden besser von einander differenzieren zu können.
Lernziele
Zusammen mit den Veranstaltungsinhalten sollten auch die Lernziele formuliert werden, die dann nützlich bei der Prüfungserstellung sind. Eine Orientierung bieten folgende Leitfragen:
- Was sind die Studierenden am Ende in der Lage zu tun?
- Womit können Studierende das erlernen
- Wozu sollen Studierende das erlernen?
Formulierungshilfen für Fragen
Damit Sie die gewünschten Taxonomien und Kompetenzen ansprechen können, sind auf dieser Seite verschiedene Verbtabellen dargestellt (deutsch und englische Verben). Ebenso ist es unbedingt wichtig, auch den Studierenden in der Hinsicht zu sensibilisieren, damit ihnen genau bewusst ist, was von ihnen verlangt wird. Teilweise muss auch dieses Wissen erst vermittelt werden, welches sich über Übungsaufgaben im Laufe der Veranstaltungen gut umsetzen lässt.
Prüfungskonzepte
Das Prüfen kann mehr sein als Wissen und Verständnis zu überprüfen. Besonders für das formative Prüfen ist es eine Chance, dass man während der Prüfung etwas mitnimmt, auch wenn man nicht besteht. Je nach Zulässigkeit durch die Prüfungsordnungen sollte die Vielfalt an diversen Fragetypen genutzt werden. Ebenfalls sind alternative Prüfungsformen auch ein gutes Mittel. Auf dieser Seite befindet sich bereits eine Sammlung mit vielen Prüfungsformen.
Blueprint
Ein Blueprint ist ein Schema, das vorab für eine Prüfung anlegt wird, um die Inhalte zu gewichten. Damit soll sichergestellt werden, dass die Anteile von Themenbereichen, Taxonomiestufen und der Bepunktung einzelner Fragen ausgeglichen ist. Die Verwendung eines Blueprint erhöht zudem die Reliabität und Validät der Prüfung (werden im folgenden Abschnitt erklärt).
Quelle: https://lehreladen.rub.de/planung-durchfuehrung-kompetenzorientierter-lehre/
kompetenz-pruefen/multiple-choice-pruefungen/
Gütekriterien für Fragen
Das Gütekriterium Objektivität bezieht sich auf die Unabhängigkeit der Prüfung vom Prüfenden und von der Prüfungssituation. Das Prüfungsergebnis soll unabhängig von der Person sein, die die Prüfung durchführt und bewertet. Um die Durchführungsobjektivität sicherzustellen, müssen alle Studierenden die gleichen Informationen über den Prüfungsablauf, die Bearbeitungszeit, die erlaubten Hilfsmittel und Hinweise zur Bearbeitung und Beantwortung der Fragen erhalten. Um auch bei der Bewertung der Prüfung Objektivität (Auswertungsobjektivität) gewährleisten zu können, müssen alle Prüfungen nach den gleichen Bewertungskriterien korrigiert werden. Deshalb sollte vor der Prüfung eine Musterlösung erstellt werden. Die Interpretationsobjektivität zielt darauf ab, dass unterschiedliche Bewerter:innen die gleichen Schlüsse aus dem Testergebnis ziehen, die gleiche Anzahl von Punkten vergeben und so zu den gleichen Noten kommen. Aus diesem Grund sollten die Punktevergabe im Bewertungsraster und die Noten in einem Notenschlüssel festgelegt werden.
Das Gütekriterium Reliabilität ist erfüllt, wenn durch die Prüfungsfragen/-aufgaben zuverlässig der wahre Leistungsstand eines bzw. einer Studierenden in einer Prüfung gemessen wird. Die Reliabilität kann in der Praxis durch folgende Faktoren erhöht werden:
Die Prüfungsdauer sollte so gewählt sein, dass mindestens 80% der Studierenden alle Prüfungsfragen/-aufgaben beantworten können.
Generell sollten die Fragen/Aufgaben nicht zu schwer und nicht zu leicht sein, das heißt, es sollten überwiegend Fragen/Aufgaben mit mittlerem Schwierigkeitsgrad gestellt werden. Eine gute Reliabilität kann durch eine hohe Anzahl an Prüfungsfragen/-aufgaben, bzw. eine umfassende Prüfung, erreicht werden. Je mehr Fragen von den Studierenden beantwortet werden, desto besser kann der Leistungsstand und die Erreichung der Lernziele gemessen werden.
Wenn eine Prüfung als zuverlässig gilt, bleibt die Frage, ob sie das misst, was sie messen soll und somit valide ist. Der inhaltliche Rahmen einer Prüfung ist durch die Modulbeschreibung der Lehrveranstaltung gegeben. Der Schwierigkeitsgrad wird durch die Lernziele und den damit adressierten Taxonomiestufen beschrieben.
Die Validität einer Prüfung erfordert deshalb eine starke Orientierung an der Modulbeschreibung einer Lehrveranstaltung und den ggf. im Laufe der Lehrveranstaltungsdurchführung erfolgten begründeten Anpassungen der Lehrinhalte und Schwierigkeitsgrade.
Optimierung von Fragetypen
Geschlossene Fragetypen erweitern
Bei geschlossenen Fragetypen können nur Antworten aus einer Vorgabe ausgewählt werden. Mit Abstand werden am häufigsten Multiple-Choice-Fragen zur reinen Wissensabfrage eingesetzt. Dadurch kommen aber nur die Lernzieltaxonomien "Erinnern" und "Verstehen" zur Anwendung. Gute Fragen sollen aber auch höhere Stufen adressieren. Die beiden nächsthöheren Stufen können mittels einer Optimierung des Fragenstammes erreicht werden. Die Anreicherung mit Medien ist eine gute Abwechslung und bietet eine Grundlage, auf die sich die Frage beziehen kann. Das kann eine kurze Audio-Datei sein, wo in der darauffolgenden Frage nach einem Inhalt aus dem Gehörten gefragt wird oder auch ein Diagramm oder eine Fallbeschreibung.
Für ein langfristiges Arbeiten mit elektronischen Prüfungen und zum einfachen Erweitern der Fragensammlung kann ein Aufgabenschema erstellt werden: "Erläutern Sie, welche Bedeutung X für Y hat." Mit dem simplen Austausch der Komponenten im Fragestamm kann schnell eine neue Frage oder Alternativversion erstellt werden. Selbstverständlich darf man nicht vergessen, die Antwortmöglichkeiten anzupassen.
Im Grunde gewinnt eine Frage an Qualität, wenn sie eine höhere Kompetenzstufe erreicht und ein Verstehen statt einem Wissen abgefragt wird.
Hier ist ein nicht gut gelungenes Beispiel dargestellt. Eine MC-Frage besteht aus einem Aufgabenstamm und den Antwortoptionen. Dort ist die Aufgabe oder die Frage dargestellt. Diese kann in einem kurzen Kontext eingebettet sein. Zusätzlich sind weitere Bestandteile ergänzend möglich: eine Fallbeschreibung, Datensätze oder Analyse-Materialien wie Diagramme. In diesem Beispiel soll die korrekte Konjugationsform eines Verbes anhand eines sprachverwandten Verbes bestimmt werden. Dabei werden die Taxonomiestufen 3 und 4 adressiert. Es geht bei der Aufgabe eher um das Verstehen und Transferieren statt um das Abrufen von Wissen. Nur ist der Aufgabenstamm zu lang und mit zu vielen unnötigen Aussagen vollgepackt. Ebenso sind die Distraktoren nicht gut gewählt.
Nachfolgend ist ein besseres Beispiel abgebildet. Hier ist der Fragenstamm kurz und knapp gehalten, es gibt keine unnötigen Angaben oder versteckte Hinweise.
▶️ Gute Prüfungsfragen: MC-Fragen
Offene Fragen
Eine gute Frage sollte ohne Nachfragen seitens des Prüflings auskommen. Die Aufgabe sollte also mehrfach durchgelesen und kontrolliert werden, ob alle enthaltenen Fachbegriffe erklärt und die Fragestellung klar definiert ist. Es ist auch besonders peinlich, wenn Fachbegriffe falsch verwendet werden. Dazu gehört ebenfalls die Angabe über den Umfang der zu erwartenden Antwort und ein transparentes Bewertungsraster.
Eine offene Frage kann schnell mit zu vielen Aufgaben überfüllt wirken. Wandeln Sie daher eine umfangreiche Frage in mehrere kleinere Fragen um oder arbeiten Sie mit Teilaufgaben. Hier eignet sich auch die Kombination mit einer geschlossenen, bspw. einer MC-Frage. Die Erläuterung zur Wahl der ausgewählten Antwort findet in der offenen Frage statt.
Für die Konzeption von Aufgaben zu höheren Taxonomiestufen, wie dem Analysieren oder Beurteilen, kann weiteres Material hinzugefügt werden: Diagramme, Karten, Texte oder Tabellen mit Zahlenwerten. Diese Analyse kann mittels erlaubtem Zugriff auf Forschungsdatenbanken und -bibliotheken erfolgen, womit gleichzeitig weitere Kompetenzen geprüft werden. Schließlich ist das schnelle und zuverlässige Auffinden relevanter Informationen und das kompetente Einarbeiten in neue Fachthemen eine Schlüsselkompetenz in zahlreichen Disziplinen.
Offene Fragen stehen aber nicht nur für die Beantwortung mit Texten. Auch Aufgaben zum Schreiben von Programmcodes sind möglich. Der spezielle Fragetyp CodeRunner in Moodle stellt eine Umgebung bereit, in dem Codes von verschiedenen Programmiersprachen geschrieben und ausgeführt werden. Wichtig ist dabei immer an das Constructive Alignment zu denken und die Fragen an den Lernzielen im Kurs auszurichten.
Bei diesem guten Beispiel aus der germanistischen Sprachwissenschaft sollen Monophthongierungen identifiziert werden. Bei dem zweiten Teil der Frage soll die Wahl begründet werden. Dabei erfolgt die Anwendung der Stufe 3 Anwenden (gelerntes Wissen anwenden) und der Stufe 5 Beurteilen (Begründung der Wahl) von der Lernzieltaxonomie von Anderson und Krathwohl. Durch die Kombination aus zwei Teilaufgaben kann der Prüfling sich quasi selbst überprüfen, ob er sein Wissen angewendet. Und durch das Fordern einer Begründung wird der Versuch eines Ratens auf gut Glück zumindest etwas eingeschränkt.
▶️ Gute Prüfungsfragen: Offene Fragen
Überprüfung
Nachdem die erste Version einer Prüfungsfrage erstellt wurde, beginnt nun der Prozess der Überarbeitung. Mit Hilfe einer Suchmaschine oder auch ChatGPT kann kontrolliert werden, ob sich die Lösung der Frage nicht dort leicht finden lässt. Geprüft werden alle Elemente, der Aufgabenstamm, die Distrkatoren und die zusätzlichen Materialien. Man sollte sich auch selbst nach dem „Warum und Wie“ fragen statt dem „Wer oder Was“.
Aufgabenstamm
Die Aufgabe sollte nicht nach den falschen Antworten fragen. Diese könnten sich im Gedächtnis als richtig festsetzen. Eine gute Frage ist selbsterklärend und sollte ohne Nachfragen seitens des Prüflings auskommen. Die Aufgabe sollte also mehrfach durchgelesen und kontrolliert werden, ob alle enthaltenen Fachbegriffe erklärt und die Fragestellung klar definiert ist. Eine fehlerfreie Grammatik und Ausdruck ist dabei selbstverständlich. Die Inhalte sollten kurz und prägnant gehalten, keine doppelten oder überhaupt Verneinungen verwenden werden.
Distraktoren
Die Distraktoren, also Antwortoptionen, sollten klar und verständlich formuliert sein. Dafür ist es wichtig, dass jeder der Distraktoren nur eine Antwort enthält. Indem sich alle Distraktoren in Länge und Struktur ähneln, kann ein Erraten der korrekten Option, meist die längste Antwort, ausgeschlossen werden. Selbstverständlich sollte auch die grammatische Struktur zum Aufgabenstamm bzw. zur gestellten Frage passen. Die Verständlichkeit kann optimiert werden, indem eine Negation in der Aufgabe und bei den Antworten vermieden wird. Statistiken haben gezeigt, dass ab vier Distraktoren die Ratewahrscheinlichkeit deutlich sinkt. Es sollten aber auch nicht zu viele davon erstellt werden, um die Verständlichkeit und Übersicht zu bewahren. Einfach mal die Position der korrekten Antwort variieren, jedoch sollten sie bei entsprechender Fragestellung stets logisch angeordnet werden und sich auch aufeinander beziehen. und die erstellten Distraktoren auf versteckte Hinweise, die die korrekte Antwort verraten könnten.
Review-Prozess
Für die Entwicklung von qualitativ hochwertigen Fragen ist die Etablierung eines Review-Prozesses empfehlenswert. Dabei gibt eine Kollegin oder ein Kollege aus dem gleichen oder einem ähnlichen Fachbereich Feedback zu den Fragen. Bei diesem Korrekturlesen kann dies Checkliste hilfreich sein, die die zu begutachteten Kriterien auflistet:
- Grammatik
- Begriffsverwendung
- Logik
- Distraktoren
- Übereinstimmung mit Lehrziel/Blueprint/Taxonomie
- Punktzahl
Bewertungen
Für formatives wie auch für summatives Prüfen, also mit einer einzigen Abschlussprüfung, ist es empfehlenswert, sich Bewertungskriterien zu erstellen. Sie bauen auf den Lernzielen und Taxonomien auf. Sie erleichtern den Lehrenden eine gerechte Bewertung und den Studierenden eine Orientierung, was in der Prüfung gefordert wird.
Das gegebene Feedback gibt den Studierenden einen detaillierten Einblick in ihren Leistungsstand. Es zeigt auch deren Potenziale und Entwicklungsbedarfe an.
Zum Entwickeln eines eigenen Bewertungsrasters werden zunächst die Minimalanforderungen und danach die Maximalanforderungen festgelegt. Ergänzend definiert man Zwischenstufen und gewichtet die einzelnen Kriterien und vergibt die zu erreichenden Punkte. Auf dieser Seite sind Vorlagen zu Bewertungsmatrix gespeichert.
Bei mehreren Aufgaben in einem Test empfiehlt sich die gleichen Aufgaben nacheinander zu korrigieren. Sind mehrere Prüfende beteiligt, sollten statt einzelner Klausuren die einzelnen Aufgaben zur Bewertung zugeteilt werden. Weiterhin empfiehlt sich besonders bei erstmals verwendeten Fragen eine Sichtung mehrerer Antworten, um eine Orientierung für die Lösungsbewertung zu erhalten.
Bewertungsfehler
Die Bewertung von Prüfungsleistungen basiert nicht selten auf einer subjektiven Wahrnehmung der Lehrenden. Zur Reduzierung und möglichst vollständiger Vermeidung sollten sich Lehrende an festgelegte Bewertungsraster und Gütekriterien halten. Es gibt zudem Bewertungsfehler, die durch Wahrnehmungsverzerrung bedingt sind oder auch Tendenzfehler. Ein weiterer Tipp zur Vermeidung von Bewertungsfehlern ist die anoyme Korrektur, sodass keine Verbindungen zum Prüfling hergestellt werden und die Bewertung positiv oder negativ beeinflussen.
Prüfungskonzepte
Hier soll eine Sammlung von Prüfungskonzepten entstehen, zu der Sie gern beitragen können. Senden Sie uns Ihre Ideen und Prüfungsformen und schauen Sie sich um, wie andere Lehrende prüfen.
Fehler in ChatGPT finden
Gerade um den aktuellen Entwicklungen gerecht zu werden und eine praxisnahe Prüfung zu erstellen, ist hier ein Prompt dargestellt, zur Erstellung eines fehlerhaften Codes in Phyton. Das wäre also eine praktische Aufgabe, den entsprechenden Fehler im Code zu finden und diesen zu korrigieren. Dabei werden auch mehrere Taxonomiestufen angesprochen – erinnern, analysieren, beurteilen und schaffen bzw. anwenden.
Ein anderes Beispiel wäre die Analyse eines literarischen Textes oder die Erstellung von Grafiken und Diagrammen basierend auf eingegebenen Zahlenwerten. Denkbar wäre auch, einen Fehler in ChatGPT zu finden und ihn zu korrigieren, also dem System die korrekte Antwort beizubringen. Denn auch ChatGPT kann nur korrekt antworten, wenn ihm vorher das Wissen dazu mitgeteilt wurde.
Prompt: Schreib mir einen max. 10-zeiligen Programmcode in Phyton. Füge dabei Fehler ein und erkläre Sie mir in einem extra Text.
Aufgabe: Prüfungsfragen erstellen
Studierenden könnten als Prüfungsleistung eigene Prüfungsfragen erstellen. So müssen sie sich mit einer bestimmten Materie + Vokabeln beschäftigen, üben sich in den Soft Skills und Lehrende könnten die Fragen in Zukunft weiterverwenden.
Peer-Review
Lernende erstellen/erarbeiten Konzepte, die im Peer-Review-Verfahren gegenseitig begutachtet werden. Die Konzepte oder Arbeiten werden dann über arbeitet und können erneut durch ein Peer-Review-Verfahren begutachtet oder als Prüfungsleistung vorgelegt werden.
Berechnungen und Analysen im Freitext
Freitextaufgaben werden angereichert mit Diagrammen oder Tabellen. Studierende müssen die Daten auswerten, analysieren, in Zusammenhang bringen oder etwas berechnen.
Ursache-Wirkungs-Diagramm
Die Studierenden analysieren die Ursachen eines Problems mithilfe einer grafischen Darstellung:
Quelle: Universität Bern
Wissenschaftliche Artikel schreiben
Statt ein Referat zu halten und die anschliessende Diskussion zu bestreiten, schreiben die Studierenden einen wissenschaft-lichen Artikel zum Thema:
Quelle: Universität Bern
Text mit Alltagsbeispiel abgeben
Studierende werden gebeten, ein Beispiel aus ihrem Alltag einzureichen, bei welchem eine bestimmte wissenschaftliche Theorie oder ein Konzept eine Rolle spielt und diesen Bezug schriftlich zu begründen:
Quelle: Universität Bern
Rezension
Die Studierenden unterziehen ein literarisches, künstlerisches oder wissenschaftliches Werk einer schriftlichen kritischen Würdigung:
Quelle: Universität Bern
Referat als Video einreichen
Ein Referat wird als Video eingereicht (in Form eines Slide- oder Pencasts):
Quelle: Universität Bern
Projekt schriftlich planen
Die Studierenden planen ein Projekt schriftlich und entwickeln Lösungsvorschläge für mögliche Probleme, die bei der Umsetzung auftreten könnten:
Quelle: Universität Bern
Praktische Tätigkeiten mit Video dokumentieren
Die Studierenden nehmen eine praktische Handlung auf Video auf und reichen sie als Prüfungsleistung ein:
Quelle: Universität Bern
Lösungen zu Fallbeschreibungen erarbeiten
Die Studierenden bearbeiten einen Praxisfall bzw. praxisnahen Fall auf systematische Weise:
Quelle: Universität Bern
Gemeinsam schriftliche Arbeiten schreiben
Die Studierenden schreiben in Gruppen eine schriftliche Arbeit, jede/r ist redaktionell verantwortlich für einen Abschnitt:
Quelle: Universität Bern
Fallbearbeitung mit problemorientiertem Lernen
Die Studierenden bearbeiten einen Praxisfall:
Quelle: Universität Bern
Fachlandkarte erstellen lassen
Die Studierenden erstellen eine Fachlandkarte zum digitalisierten Frontalunterricht, in der sie die Zusammenhänge zwischen den wichtigsten Inhalten darstellen und begründen:
Quelle: Universität Bern
"Definitionen bewerten" statt "definieren"
Das Abfragen von Definitionen (oder ähnlichem Grundlagenwis-sen) ist in der aktuellen digitalen, open book-Situation wenig hilfreich. Es gibt keine Möglichkeit dabei zu überprüfen, ob die Studierenden die Definition nur aus dem Internet kopiert haben. Als Prüfungsaufgabe kann daher eine Definition gegeben werden und die Studierenden müssen diese bewerten, z.B. auf die wesentlichen Bestandteile hinweisen oder umstrittene Elemente erläutern. Alternativ können auch mehrere Definitionen vorgegeben werden und die Studierenden geben eine begründete Entscheidung ab, warum die eine besser ist als die anderen:
Quelle: Universität Bern
Concept map
Die Studierenden erstellen ein logisches Netzwerk zentraler Begriffe eines Textes oder mehrerer Texte:
Quelle: Universität Bern
Begründetes Keyword
Aus einem vorgegebenen Text müssen Studierende ein Stichwort (Keyword) auswählen und schriftlich begründen, warum dieser Begriff in diesem fachlichen Kontext von besonderem Interesse / von besonderer Relevanz ist. Anhand der Begründung können Dozierende ermitteln, inwiefern die Studierenden das Thema verstanden und erschlossen haben:
Quelle: Universität Bern
24h oder 168h Prüfung
Statt eine zeitlich eng befristete Prüfung in den Uni-Räumlich-keiten zu schreiben, könnten auch zeitlich befristete Heimarbei-ten zur Bearbeitung gegeben werden, sog. 24h- oder 168h-Prüfungen:
Quelle: Universität Bern
Letter to Editor
Forschendes Lernen der Studierenden kann durch die Produktion von Schreib- bzw. Forschungsjournalen, Versuchsprotokolle oder Letter-to-the-Editor-inspirierten Texten gefördert werden. Das Auseinandersetzen und reagieren auf einen vorgegebenen Text steigert das Verständnis für die jeweilige Thematik.
Artikel bewerten
Studierende wählen einen Wikipedia-Eintrag oder einen KI-generierten Text und sollen ihn hinsichtlich seiner Stärken und Schwächen bewerten und analysieren.
Verbliste zu Taxonomien
Quelle: LEHRELADEN ist ein Angebot des Zentrums für Wissenschaftsdidaktik der Ruhr-Universität Bochum. https://lehreladen.rub.de/wp-content/uploads/2024/03/verblisten-dt-und-en.pdf
Bewertungsmatrix
Bewertungsmatrix für schriftliche Arbeiten mit Rubriken
Quelle: Universität Lüneburg
Bewertungsbogen für schriftliche Arbeiten
Quelle: Verena Eickhoff, Universität Lüneburg
Assessment Analytics
Ähnlich wie bei den Learning Analytics ist das Assessment Analytics eine Analyse von Prüfungsdaten. Alle während der Durchführung generierten Daten von den Prüflingen und Inhalten dienen dem Feedback an Studierende und Lehrende. Die Analyse soll Ausschluss darüber geben, wie die tatsächliche Leistung der Studierenden und die Qualität der Lehre inkl. Prüfung sind. Ebenfalls zeigen die Daten, wo ggf. nachgebessert werden kann.
Die Einschätzung und Analyse der Ergebnisse kann Aufschlüsse zu den unterschiedlichen Lerngruppen bzw. der Heterogenität allgemein der Studierenden ergeben, um die Lehre entsprechend anzupassen. Durch eine Optimierung der Lehre könnte die Abbrecherquote sinken und einzelne Studierende individuell gefördert werden.
Interpretation der Kennwerte
Hier finden Sie die Analytic-Werte in der Aktivität Test in Moodle: https://kb.el.uni-leipzig.de/books/moodle/page/test-erstellen#bkmrk-5.3-statistiklegen-s.
Leichtigkeitsindex
Der Leichtigkeitsindex gibt an, wie viele Prüflinge die Frage korrekt beantwortet haben.
Bei den Werten 0 oder 0% hat nicht ein Prüfling die Frage korrekt beantwortet. Liegt der Index bei 0,5 bzw. 50% wurde die Aufgabe zur Hälfte richtig gelöst. Bei 1 oder 100% haben alle Teilnehmenden die Frage korrekt beantwortet. Idealerweise sollte der Index bei 30-70% liegen.
Wichtig: Bei mehreren Versuchen hat das auch einen erheblichen Einfluss auf diesen Wert, da dann Fragen eher richtig beantwortet werden.
Trennschärfeindex
Die Trennschärfe bietet eine Orientierung über die Leistung eines einzelnen Prüflings. Dieser Wert bildet den Zusammenhang der erreichten Punktzahl der Frage und der im gesamten Test ab.
Als Richtwerte gelten Werte über 0,3 als gut, zwischen 03 und 0,2 als akzeptabel und Werte unter 0,2 als inakzeptabel. Liegt die Trennschärfe um 0, dann wurde die Aufgabe von guten wie von nicht guten Prüflingen gleich gut/schlecht beantwortet. Bei negativen Werten haben gute Prüflinge die Frage eher falsch beantwortet als nicht so gute Kandidaten.
Damit die Aufgabe eine gute Aufgabe wird, sollte sie zwischen leistungsstarken und -schwächeren Prüflingen differenzieren können.
Standardabweichung
Dieser Fragenwert gibt den durchschnittlichen Abstand aller erreichten Punkte zum Mittelwert der erreichten Punkte an. Eine geringe Standardabweichung bedeutet, dass die Testergebnisse der Teilnehmenden durchschnittlich sehr nahe bei dem Durchschnittswert liegen. Ein hoher Wert lässt dagegen auf eine breite Streuung der Ergebnisse um das Durchschnittsergebnis schließen. Daraus kann man schließen, ob es sich eher um eine hetereogene oder homogene Punkteverteilung handelt.
Die Standardabweichung sollte idealerweise zwischen 12 und 18% liegen.
Crombach oder Crombachs Alpha (Koeffizient interner Konsistenz)
Je näher der Wert für Crombach an 1(%) liegt, desto höher ist die Konsistenz des betrachteten Tests. Dies bedeutet, dass die Schwierigkeit der verschiedenen Fragen tendenziell
ähnlich bzw. konsistent ist und es keine Fragen gibt, welche wesentlich besser oder schlechter ausfallen.
Ziel ist es also, Fragen zu erstellen, die ein ähnliches Fachwissen abfragen und eine ähnliche Schwierigkeit besitzen. Jedoch ist hier auf ein ausgewogenes Gleichgewicht zu achten, dass durchaus auch schwierigere Fragen im Test enthalten sein sollen, um die Leistung der Prüflinge besser differenzieren zu können. In diesem Fall ist ein eher niedriger Wert zu erwarten.
Optimalerweise sollte der Crombachs Alpha über 75% (bzw. 0,7) liegen. Die Spannbreite geht von minus unendlich bis 1/100%.
Schiefe der Punkteverteilung
Sie zeigt an wie weit die Verteilung der erzielten Testergebnisse nach rechts oder nach links geneigt ist. Im Allgemeinen wird ein Wert bis -1,0 empfohlen. Ein noch kleinerer Wert kann auf eine mangelnde Unterscheidung bei Studierenden hindeuten, die überdurchschnittlich gut abschneiden. Ein Wert über 1 kann eine zu geringe Trennschärfe kennzeichnen.
Bewertungsverteilungsgraph
Entspricht die Punkteverteilung einer Normalverteilung? Oder verläuft sie steiler oder breiter?
Fehlerquotient
Der Fehlerquotient sagt aus, ob die Punkteunterschiede zwischen den Personen eher auf Zufall oder auf unterschiedlicher Vorbereitung basieren?
Standardfehler
Dieser Wert wird vom Fehlerquotienten abgeleitet und ist ein Maß dafür, wie viel zufällige Abweichung in jeder einzelnen Testbewertung steckt. Wenn z.B. der Standardfehler 10% beträgt und eine Person im Test 60% erreicht hat, liegt der tatsächliche Wissenstand der Person zwischen 50% und 70%.
Median
Der Median gibt an, welche Punktzahl liegt bei 50% der Punkteverteilung liegen würde.
Beabsichtigte und effektive Gewichtung
Bei der beabsichtigten Gewichtung wird angezeigt, mit welcher Gewichtung die Frage in die Gesamtwertung eingehen sollte. Ein Beispiel wäre, wenn die Frage eine Bewertung von 3 Punkten hat, das diese dann 30 Prozent des ganzen Tests an Punkten ausmacht.
Die effektive Gewichtung gibt an, zu wie viel die erreichte Durchschnittspunktzahl aller Teilnehmenden bei der Frage tatsächlich zum Durchschnittsergebnis des Gesamttest beiträgt. Zur Überprüfung sollte die Frage gestellt werden, ob die effektive Gewichtung nahe der beabsichtigten Gewichtung liegt oder gar mit ihr übereinstimmt. Ist der Wert effektiven Gewichtung deutlich höher, als beabsichtigt, hat die Frage einen größeren Einfluss auf das Testergebnis, als beabsichtigt.
Fragen optimieren
Die oben erklärten Werte und noch viele andere sollen Lehrende unterstützen, ihre Fragen zu optimieren. Die Anzahl schwerer und leichter Fragen kann überprüft werden. Besonders auch wenn mehrere Werte nicht im empfohlenen Bereich liegen, sollte ein Reviewprozess gestartet werden. Dabei kommentiert eine weitere Lehrkraft die Frage und Antwortmöglichkeiten und gibt Hinweise auf Verbesserungen. Eine Orientierung bietet unser Selbstlernkurs zu kompetenzorientiert Prüfen.