Bijeenkomst 3 OWK4

Programma:

• Doornemen rubric;
• Toets over toetsing;
• Korte pauze (5 min.)
• Theorie Toetsanalyse;
• Aan het werk;
• Terugkoppeling + huiswerk

Nakijken

• Hoe bepaal je of een toets heeft gemeten wat een toets zou moeten meten?
• Heb je toevallig iets anders gemeten?
• Was de toets goed?

Meerkeuzetoetsing

Voor een betrouwbare (statistische analyse) heb je minimaal zo'n 20-30 studenten nodig...

Toetsanalyse

Standaarddeviatie

Frequentieverdeling

De gemiddelde afwijking van het gemiddelde. Met de standaarddeviatie weet je hoe de scores variëren t.o.v. elkaar. De SD moet zo laag mogelijk zijn.

Itemanalyse

Plafondeffect: toets was te makkelijk

Bodemeffect: toets was te moelijk

Waar zit het gemiddelde?

Welk percentage (cumulatieve frequentie) is geslaagd/gezakt?

Wat is de standaarddeviatie?

Uitrekenen:

1. Wat is het gemiddelde?

2. Reken per deelnemer uit: gemiddelde - behaalde score.

3. de score per deelnemer in het kwadraat.

4. bereken het gemiddelde van de scores (variantie)

5. Wortel van de variantie is de SD.

Moeilijkheid per item

Kwaliteit van de afleiders

P(roportie)-waarde tussen 0 (iedereen fout) en 1 (iedereen goed gedaan).

p= (aantal goed) / (totaal aantal)

Gokdrempel?

a(fleider)-waarde is de proportie kandidaten die een fout antwoord kiest. Iedere antwoordmogelijkheid heeft een a-waarde. De som van de p- en a-waarde(-n) = 1

A = 0,05: geen goede afleider

A > P-waarde: afleider wordt vaker gekozen dan het antwoord.

Onderscheidend vermogen van het item

Rit-waarde (tussen -1 en +1): een hoge ritwaarde zegt dat het item goed is gescoord door deelnemers met een hoge score.

0,4> Zeer goed

0,3 - 0,39 Goed

0,2 - 0,29 Twijfelgeval

<0,19: slecht

<0: laag scorende kandidaten scoren op dit item goed.

Vaststellen van het leerresultaat

Redenen:

1. Leerlingen niet benadelen doordat er fouten in de toets staan.

2. Als je weet dat de toets betrouwbaar is, dan heb je ook een verklaring voor goede of slechte resultaten.

3. Verbeteren van je eigen toetsvormen (evaluatie van het leerproces): moet mijn onderwijs of toetsvorm worden aangepast?

4. Past deze toetsvorm wel bij mijn onderwijs?

Toetsvoorwaardelijk

1. landelijke profielen, kennisbases, competenties;

2. Doelen per les/onderwijseenheid;

3. Curriculum en toetsplan (hoe toets je en waarom?)

Toets- en itemanalyse

Toetsontwikkeling

Open vragen

Uitgangspunten

Statistiek: normaalverdeling

Toetsanalyse

1. Constructie van de toetsvormen;

2. Feedback van collega's;

3. Vaststellen normen en cesuur;

4. Opstellen toetsmatrijs.

Frequentieverdeling toetsscores

Gemiddelde toetsscore

Standaarddeviatie toetsscore

Itemanalyse

Toetsanalyse: doe je over de gehele toetsvorm

Itemanalyse: doe je over de items (vragen) in een toetsvorm (vergelijken)

Wenselijke p-waarde: 0,5

Verdeling beoordeling per onderdeel

Nakijken: beoordelaarseffecten

Normverschuiving (Beoordelaar wordt milder)

- Volgorde antwoordvellen wijzigen

Sequentie-effect (Overwaardering goede prestaties na veel slechte prestaties)

- Beoordelen elk onderdeel afzonderlijk i.p.v. gehele opdracht per leerling.

Contaminatie-effect (Toekennen scores maatstaf kwaliteit eigen onderwijs)

- Intercollegiaal uitwisselen van beoordelingsactiviteiten

Halo-effect (Kennis van studenten laten meewegen)

- Anoniem opdrachten nakijken

- Tweede beoordelaar, deze kennen de leerlingen niet

Signifisch-effect (Subjectieve beoordeling open vragen/opdrachten)

- Beoordelingscriteria concreet en meetbaar

- 2e beoordelaar

! Toetsen rond zak/slaaggrens laten beoordelen door tweede beoordelaar!

Toetsafname

Belang van goed toetsen in het vo/mbo?

1. Afname condities

2. Reacties

Opdrachten (rubric)

Toetsanalyse:

Frequentieverdeling

Gemiddelde score en standaarddeviatie

Docentscores (interbeoordelaarsbetrouwbaarheid)

Itemanalyse:

Gemiddelde

Standaarddeviatie

P-waarde (dichotome items)

Bijeenkomst 3: toetsevaluatie

Aan de slag met:

1. Maak een analyse van je opdracht (a.d.v. de mindmaps college 1: zie bibliotheek op de website), waarin je laat zien dat je 'blended' bezig bent.

2. Aan het werk met de opdracht;

Huiswerk:

3. Af op het volgende college: TPACK analyse in de gezamenlijke prezi: http://prezi.com/_ddwv1yimikf/?utm_campaign=share&utm_medium=copy

4. Toetsanalyseopdracht afmaken.