Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Grundlagen zum Testen & Prüfen

No description
by

Anne Luedemann

on 15 March 2014

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Grundlagen zum Testen & Prüfen

Grundlagen zum Testen & Prüfen
- am Beispiel Hörverstehen

Wichtige Aspekte für die Praxis
Testkonstrukt und -zweck
=

was will ich überhaupt prüfen? Wie überprüfe ich das? Welche Fertigkeit(en) teste ich (integriertes Testen vs. descrete point testing)? Welche Aufgaben eignen sich?

Richtlinien und Prüfungsstandards
= nach welchen Leitlinien erfolgt die Erstellung, Durchführung und Auswertung der Prüfung? Lösungsschlüssel? gegenseitige Kalibrierung durch Kollegen?

Testanalyse und Begutachtung
= werden die Kompetenzen angemessen abgebildet (Niveau, Inhalt, Aufgabenstellung etc.)?, Hochschulrelevanz? Gibt es problematische Aufgaben? Erprobung in Parallelkursen möglich? Spezifika "Hörverstehen" adäquat berücksichtigt?
Welche Instrumente stehen uns zur Verfügung?
Werkzeuge und Materialien für heute:
Kann-Deskriptoren aus dem Portfolio für den Hochschulbereich & von CercleS (Deutsch / Englisch)

ALTE Code of Practice (Deutsch)

ALTE component checklist for Listening (Englisch)

ALTE component checklist for Listening one TASK (Englisch)

Dutch grid für die Aufgabenanalyse (Deutsch / Englisch)
Ziel(e) des Workshops:
Sensibilisierung für eigenen Testerstellungsprozess
Begutachtung & kritische Analyse von bestehenden Prüfungen
Anwendung der wesentlichen Gütekriterien
Überarbeitung / Entwicklung von Aufgaben

Zwei grundlegende Testfunktionen:
Anne Lüdemann (FZHB)
Vorstellungsrunde
Grundlagen zum Testen & Prüfen
Testformate und Testgütekriterien
Praxisrelevanz
Hilfsmittel & Werkzeuge
Spezifika Hörverstehen
Praxisphase:
GeR-Deskriptoren
Analyse von Prüfungen / Aufgabenentwicklung oder -überarbeitung
Ergebnispräsentationen & Diskussion
Weitere wichtige Qualitätskriterien für standardisierte & dezentrale Prüfungen
Validität
Objektivität
Reliabilität
Lernfortschritts- und Kursabschlusstest
(achievment test, low stakes test)

meist informell, von Lehrkraft erstellt, Bezug auf den Unterricht/Curriculum
oder Lehrwerk, gibt Teilnehmern Auskunft über Effektivität des Lernprozesses.

Feststellungsprüfung
(proficiency test, high-stakes test)
auch als Qualifikationsprüfung (vgl. GeR) bezeichnet, meist standardisierte Sprachtests (z.B. Cambridge, TOEFL, TestDaF etc.), die zur Zertifizierung von Fremdsprachenkenntnissen führen, Lernprozess untergeordnete Rolle, umfangreich in Erstellung und Durchführung, geschlossene Aufgaben charakteristisch
Praktikabilität
Authentizität
Fairness
Transparenz
Objektivität
"Ausmaß in dem die Testergebnisse unabhängig vom Untersucher sind".
(Lienert/Raatz 1998)

unterschiedliche Aspekte:

Durchführungsobjektivität (Testdurchführung immer gleich, festgelegte Regeln & Bearbeitungszeit)
Auswertungsobjektivität (Bewertungsrichtlinien, Lösungsschlüssel für geschlossene Formate)
Interpretationsobjektivität (unterschiedliche Bewerter ziehen dieselbe Schlussfolgerung aus den Testergebnissen, meist zentrale Auswertung, Interpretation und Zertifizierung)




Erfordert ein hohes Maß an Standardisierung des Testverfahrens

Reliabilität & Validität
Reliabilität
= Zuverlässigkeit, (Mess-)Genauigkeit mit der die Eigenschaften erfasst werden
Voraussetzung für reliable Testergebnisse: eine hinreichende Objektivität, u.a. durch die Standardisierung des Testverfahrens
Indikatoren für unzureichende Reliabilität: bei Testwiederholung unterschiedliche Ergebnisse

Validität
= Gültigkeit, Grad der Genauigkeit mit der das Merkmal gemessen wird
im Fokus steht die Zweck & Relevanz: "Misst der Test, was er zu messen vorgibt?" (Lado 1971)

Inhaltliche Validität = repräsentieren die Items die zu erfassende Kompetenz angemessen?
Kriterienbezogene Validität = Übereinstimmungsgrad Testergebnis <-> Außenmerkmal/2.Test
Konstruktvalidität = inwieweit wird die zu messende Eigenschaft erfasst? Hinweise auf ein zugrunde liegendes theoretisches Konstrukt, z.B. "Hörverstehen"
Praktische Relevanz von Gütekriterien in dezentralen Prüfungen
Nützlichkeit
3 Grundlegende
Testgütekriterien
Objektivität
Reliabilität
Validität
test
usefulness
Handlungs-orientierung
Bias
Testkonstrukt
Wie lassen sich Objektivität, Reliabilität, Validität in der Prüfungs-erstellung berücksichtigen?
Wie können Kriterien für gute Prüfungen aussehen und wie können diese in Prüfungen umgesetzt werden?
Welche Aufgabenformate eignen sich unter Berücksichtigung der Qualitätskriterien?
Sammeln Sie gemeinsam 10-15 Min. Stichpunkte !!!
UNIcert = Prochievment Test

basierend auf einer Rahmenordnung / Curriculum,
aber
zertifiziert Fremdsprachenkenntnisse auf Basis der GeR-Niveaustufen

Ablauf für heute:
Validität
Objektivität
weitere Klassifikationen von Sprachtests
Einstufungstest
(placement test) =
Kandidaten unterschiedlichen
Niveaus zuordnen

Diagnostiktest
(diagnostic test) =
Feedbackfunktion für stakeholder, Stärken / Schwächen identifizieren, Förderungsmöglichkeiten

Kompetenztest
/ Sprachwissenstest =

vs.

Performanztest
/ direkter Test =
(meist für produktive Fertigkeiten)
z.B. C-Test, Interview
z.B. DIALANG, schulische Sprachstandserhebungen
z.B. discrete-Point-Tests, testet deklaratives Sprachwissen & gramm. Phänomene, weitgehend dekontextualisiert und isoliert
z.B. Simulationen, SOP-Interview (SOPI), Rückschlüsse hinsichtlich zukünftiger Performanz außerhalb der Testsituation, Abbildung zielspr. Verwendungs-situationen
Für die Testerstellung
Für die Testananalyse
Dutch grid CEFR
Manual for Relating Examinations to the CEFR
Reliabilität
Hörverstehen

Schwierigkeiten beim fremdsprachlichen Hörverstehen:
Hörverstehen läuft in „
Echtzeit
“ ab und ist ein aktiver & subjektiver Prozess
Wortgrenzen nur bedingt markiert (Segmentierung in Wörter notwendig), unterschiedliche Dialekte & Aussprache
zielgerichtet: Hörer und Hörziel bestimmen das verstehen

Probleme:

Hör-VERSTÄNDNIS oder VERSTEHEN ist als Prozess nicht direkt beobachtbar, d.h. beim Testen ein erschließen von beobachtbarem Verhalten auf nicht direkt beobachtbare, mentale Größen ist notwendig
Hören, Textinformationen im Kopf behalten und parallel Aufgaben oder Anweisungen lesen = Gefahr der Überlastung des Arbeitsgedächtnisses, Testen von Behaltensleistungen von Informationen?

Einflussfaktoren
:
Hörstil, Verstehensziel, Weltwissen, Motivation, affektive Faktoren = führen zu unterschiedlichem Textverständnis

einige zentrale Aspekte
Hören ist eine wichtige Einzelfertigkeit in der Kommunikation im Alltag (45% Hören vs. 9% Schreiben nach Feyten: 1991)
Praxisphase
Sichtung der Materialien: Checklisten, Dokumente und Beispielprüfungen


Beschreibung und Begutachtung der Prüfungen mit Analyseraster evtl. Überarbeitung von Aufgaben oder Neuentwicklung


Ergebnisdokumentation, Präsentation der Ergebnisse und Abschlussdiskussion

Exkurs: Testkonstrukt
Was bedeutet Testkonstrukt im hochschulspezifischen Kontext?
Beispiel: Testkonstrukt bei UNIcert
Manual for Language Test Development and Examining
die Befähigung zur Bewältigung
hochschulbezogener
allgemeiner wissenschafts-, berufs- und fachsprachlicher
Situationen
, wie sie im
Kontext eines Studiums
sowohl an einer deutschen wie auch an einer Hochschule im Lande der Zielsprache erwartet werden müssen.
aus: Rahmenordnung UNIcert (Ausbildungsziele)
Richtlinien & Prüfungsstandards
... wird durch Kumulierung von Abschlussleistungen in den einzelnen Lehrveranstaltungen oder nach Absolvieren einer entsprechenden zusammenfassenden Prüfung dokumentiert.

aus: Rahmenordnung UNIcert (Prüfungen)
UNIcert-Prüfungsrichtlinien: Der UNIcert-Abschluss ...
... wird durch eine separate UNIcert®-Prüfung (...) festgestellt, die nach gemeinsamen Richtlinien durchgeführt.
Full transcript