Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Cultura della Valutazione partecipata nell'eLearning accademico

La valutazione per il miglioramento dei servizi formativi. Una ricerca Università-territorio
by

Juliana Raffaghelli

on 10 October 2012

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Cultura della Valutazione partecipata nell'eLearning accademico

CULTURA DELLA VALUTAZIONE PARTECIPATA NELL’ELEARNING ACCADEMICO La valutazione per il miglioramento dei servizi formativi. Una ricerca Università-territorio per la costruzione partecipata di modelli innovativi di assessment Riunione di Programmazione Nazionale - Verona
6 Ottobre 2012 Struttura della Presentazione:
Tecnologie e Cambiamento Educativo - eLearning e Università - eLearning & qualità Traiettoria nella tematica dell’Unità TRENTO
La ricerca PRIN: Background,
problema e domande di ricerca,
approccio metodologico,
programma di lavoro Web e cambiamento socio-culturale Università di Harvard La capacità di far parte di gruppi di studio è il singolo fattore più importante che
predice un apprendimento significativo capisco veramente solo conversando con gli altri (vicini e lontani, nel tempo e/o nello spazio) La conversazione è molto di più che comunicazione, è un processo che può generare forti emozioni, che porta al coordinamento di azioni fra due o più dialoganti, e alla condivisione di azioni con altri. L’emozione contribuisce ai processi cognitivi, non gli è di intralcio
La tonalità emotiva è ontologicamente significativa. L’emozione gioca un ruolo fondamentale nell’intuizione

L’errore di Cartesio, Antonio Damasio, 1994 PARTECIPO,
DUNQUE SONO E-Learning e Università Communities of practice are groups of people who share a concern or a passion for something they do and learn how to do it better as they interact regularly.
Wenger circa 2007 i docenti “pionieri” amano i cambiamenti radicalihanno una “visione” da attuareorientati ai progettiaccettano il rischioamano sperimentareautosufficientisi relazionano orizzontalmente (creano comunità) …e la maggioranza amano cambi graduali
pragmatici
orientati al processo
non amano il rischio
utilizzi già sperimentati
desiderano avere supporto
si relazionano verticalmente (attraverso le gerarchie) NODI CRITICI
Nell’implementazione dell’eLearning a livello dell’Istruzione Superiore Uso del potenziale tecnologico da parte delle HEIs;
Contesto sociale/barriere per l’adozione delle ICT;
Resistenza/mancata ricompensa all’innovazione pedagogica;
Accesso/Skills/Diseguaglianze nell’uso delle ICT;
Nuovi costi associati ai modelli pedagogici;
Mancanza di figure professionali a supporto università/eLearning/qualità Quando un corso è buono ?
Quando un corso universitario è un buon corso?
Quando un corso universitario attraverso eLearning è un buon corso? Il problema della qualità
in educazione L’evoluzione della valutazione della è stata influenzata da modelli industriali
Standards predefiniti
Misurazione sulla base di prodotti terminati
Svuotamento del senso di valutazione
Aspetti intangibili in un secondo piano per gli strumenti di valutazione che ci sono a disposizione
La necessità di trasparenza (accountability) da parte di valutatori esterni
Il gap fra ricerca e pratica pedagogica
Una visione sulla valutazione come certificazione, oggettiva, guidata da un paradigma epistemologico quantitativo Definendo la Qualità Consistenza del Processo
Zero difetti
Fare le cose bene
Raggiungimento delle mete
Con riguardo ai partecipanti

Con riguardo ai formatori:

Quality assurance & Customer satisfaction
Buon rapporto qualità/prezzo
Trasparenza e ottimo uso dei mezzi economici
Transformativa
Cogliere l’apporto di ogni partecipante
(valutazione centrata sull’apprendimento, cambiamento qualitativo del sistema/innovazione)
Empowering/coinvolgimento Una definizione Complessa
di Qualità Quality….you know what it is, yet you don’t know what it is. But that’s self-contradictory. But some things are better than others, that is, they have more Quality. But when you try to say what Quality is, apart from the things that have it, it all goes poof!. There’s nothing to talk about. But if you can’t say what Quality is, how do you know that it even exists? If no one knows what it is, then for all practical purposes it doesn’t exist at all. But for all practical purposes it really does exist. What else are grades based on? Why else would people pay fortunes for some things and throw others in the trash pile? Obviously some things are better than others…but what’s “betterness”? So round and round you go, spinning mental wheels and nowhere finding any place to get traction. What the hell is Quality? What is it? Qualità…tu sai cosa è, ma nello stesso tempo non sai cos’è….
Alcune cose sono meglio di altre, ovvero sono di maggior qualità. Ma quando cerchi di definire cosa sia la qualità, e non solo di portare alcune cose di qualità ad esempio, ecco tutto svanire. Non c’è più nulla di cui parlare. Ma se non si può dire cosa sia la qualità, come si fa a sapere se esiste? Se nessuno sa cosa sia, allora per gli scopi pratici non esiste del tutto. Ed invece per gli scopi pratici esiste. Su che cosa sarebbero basati i voti, altrimenti? Perché le persone pagherebbero moltissimo per alcune cose e butterebbero altre nella spazzatura? Allora alcune cose sono meglio di altre….ma che cosa significa “meglio”?…
Che cosa dunque è la Qualità? In Italy... Work in progress ;-) Università/eLearning/qualità UNITN track-record 2003-2005
Prin-progetto di ricerca di interesse nazionale
eUniversity eLearning e innovazione all’universitàTRENTO.
Milano Cattolica, Perugia, Sassari

2006-2009
Prin-progetto di ricerca di interesse nazionale
Comunità di apprendimento per la didattica universitaria in ambienti open source
ROMA TRE, Perugia, Politecnica delle Marche , Trento Rielaborato da P.Ghislandi sulla base di EQO project, 2005 Williams, B. (2005) sulla base di Robert Pirsig, Lo Zen e l'arte della manutenzione della motocicletta (1974). Università Politecnica delle Marche
PeerReview eLearning Insegnamenti Agraria 6
Economia 4
Ingegneria 4
Scienze 3 Periodo: gennaio giugno 2011 L’approccio alla qualità di trento, prin06: Quali elementi analizzare (il modello) Quando analizzare (i momenti) Chi è interessato ad analizzare (gli stakeholders) Come analizzare (i metodi) istituzione
Facoltà
Corso di laurea
Insegnamento Sloan C
efficacia didattica
soddisfazione studenti
soddisfazione docente
contenimento costi
accessibilità Cosa analizzare (i livelli) ex ante
in itinere
ex post docenti
progetti
stistudenti
manager…… standard
best practice
linee guida
benchmarking
checklist
rubric Le rubric adAstra
analisi
design e realizzazione
design e realizzazione
syllabus
(screen cast)
(comunità di pratica)
Erogazione
valutazione eterodiretta
autovalutazione
collaborazione
peer review
Monitoraggio
qualitativo
feedback docenti
feedback studenti
quantitativo
feedback docenti
feedback studenti Le rubric adAstra

analisi
design e realizzazione
erogazione
monitoraggio Item in ogni rubric: da 20 a 50
Organizzazione
Materiali didattici
Didattica
Comunicazione
Tecnologie
Accessibilità
Verifica apprendimento Rubric Ad Astra Quality on the Line,
MECA-ODL,
Quality Matters,
eLearner Bill of Rights, ... standard
best practice
linee guida
benchmarking
checklist
rubric
Come analizzare (i metodi) Le "rubric" sono state validate:

nell’applicazione in 6 edizioni del corso Tia
tramite interviste semi-strutturate alle progettiste senior della Divisione di Didattica Online dell'Università di Trento;
proponendo l'utilizzo delle rubric ad esperti di formazione tradizionale della Provincia di Trento --che partecipavano ad un programma di formazione realizzato dall'Università di Trento per diventare progettisti di corsi online
Proponendo le rubric ad un gruppo di eTutor di un progetto Firb
. Le "rubric" presentano, in sintesi, le seguenti caratteristiche:

individuano le scelte progettuali che caratterizzano la didattica dei corsi eLearning costruttivisti in contesti di formazione universitaria/ permanente;
forniscono un solido "scaffolding" ed utili indicazioni a progettisti e docenti non ancora esperti, mentre fungono da promemoria per gli esperti, al fine di creare corsi eLearning di qualità;
possono essere applicate nei vari momenti dal progetto al monitoraggio, ma la loro originalità sta nell’applicazione ex ante Sviluppi previsti dopo il PRIN 2006

realizzazione di altre rubric/sottorubric
Influenza dell’affettività sull’apprendimento
Da ADDIE a “Community of Inquiry”
rubric adattabili alle diverse forme di eLearning (web-enhanced, blended, online, …) Questioni aperte dopo il PRIN 2006

rapporto fra un corso di “qualità” ed “efficacia didattica”
applicazione delle rubric e validazione in Comunità di Apprendimento di diverso tipo (materia, demografica studenti, numerosità, altre strategie, multimedialità, etc.) DESIGN PRIN 2009 (2011-2013)
Cultura della valutazione partecipata nell’eLearning accademico

Verona
Milano Bicocca
Milano Cattolica
Pavia
Trento L’efficacia didattica è acquisita dal processo di contestualizzazione dell’apprendimento.
Concetto di Learning Design:

Agente
Scaffolding
Strumenti
Mediazione
Partecipazione
Motivazione / Espressione (Agency)

Risultato: raggiungimento della qualità autentica
(esprime il senso che gli attori vogliono dare ad un dato processo, raggiungendo i valori consensuati più alti) La nuova linea di ricerca Il nostro cambiamento (concettuale)
Non imporre standards di qualità in una cultura organizzativa e pedagogica
Considerare i frameworks internazionali e nazionali come contesto di comparabilità
Generare strumenti di supporto e riflessione per gli attori chiave Qualità come processo mediato: importanza del LEARNING DESIGN LEARNING DESIGN
Creare – Riflettere – Valutare –
Condividere Risultati. Posizionamento critico,
deontologico ed epistemologico
del formatore
come vettore fondamentale
della qualità Quality on the Line, MECA-ODL, Quality Matters, eLearner Bill of Rights, ... Set de rubriche AdAstra: “Per aspera adAtra”

Dimostrare come le stesse possono essere considerate uno strumento di mediazione della riflessione docente sull’innovazione pedagogica connessa alla qualità
Attraverso una valutazione continua ex ante, in itinere, ex post e integrada- dell’implementazione di un nuovo corso universitario di formazione in rete
Il docente deve visualizzare le connessioni tra conoscenza, risorse, strumenti, ambiente, in un progetto che riesca a collegare l’inquadramento pedagogico/formativo e l’adozione di tecnologie educative.
Questo aspetto apre una prospettive di ricerca sulla qualità come scaffolding del processo di disegno (Cooper Conole, in press).
OLTRE LA PROGETTAZIONE: DISEGNO Strumenti per la qualità come strumenti per la riflessione trasformativa
Agency...
In quanto espressione dell’identità del partecipante in un contesto culturale di apprendimento e di pratica (Holland Sannino & Shutter, 2011) Implementare AdAstra vuol dire...
generare processi creativi e trasformativi dove gli studenti, docenti e ricercatori collaborano nella valutazione di qualità dando nuovo senso all’esperienza formativa. Strumenti per la mediazione:
un’ipotesi (tras)formativa alla base della qualità I concetti portanti
Mediazione...
Strumento, nel senso dato per Lev Vygotskij, ma oltre la materialità, il simbolo
(Werscht, 2007)
Scaffolding
In quanto supporto al processo riflessivo del docente nell'elaborare il proprio disegno
(Conole, in press) Generare innovazione pedagogica legata alla valutazione della qualità dell’eLearning nell’istruzione superiore Obiettivi della ricerca
Acquisire una maggiore comprensione sulla problematica della qualità dell’eLearning nell’istruzione superiore (QeLHE)
Fornire “strumenti” che facilitino gli insegnanti nello sforzo per migliorare la qualità di della propria didattica, con particolare riguardo all’implementazione di eLearning di qualità nei propri corsi.
Facilitare processi di costruzione di una cultura valutativa che riconosce la qualità come fenomeno complesso, nei diversi livelli, prospettive e fasi di processo di implementazione di un corso Approccio Metodologico Domande che incardinano la ricerca
Come viene percepita la qualità della didattica, e in particolare, dell’eLearning nel nostro Ateneo?
Come sviluppare una cultura di valutazione partecipata e continua della qualità? The definition
“a systematic but flexible methodology aimed to improve educational practices through iterative analysis, design, development, and implementation, based on collaboration among researchers and practitioners in real-world settings, and leading to contextually-sensitive design principles and theories” (Wang and Hannafin, 2005)
Features of DBR (Cobb, etc. 2003)
1. Theories development about learning process and the means that are designed to support that learning
2. Highly interventionist nature
3. Two faces: prospective and reflective
4. Iterative Design
5. Pragmatic roots What is DBR Benefit of DBR (Messick,1992)
1. consider the role of social context, better potential for influencing educational practice
2. tangible products and programs that can be adopted elsewhere
3. research results that are validated through the consequences of their use, providing consequential evidence or validity What’s DBR (A) Exploratory research on quality cultures and the associated evaluation practices within the University of Trento as case study Disegno della Ricerca: Fase Esplorativa Disegno della Ricerca: Fase Trasformativa Primi passi sul campo Prospettive sulla qualità dell'eLearning all'Università The quality of eLearning, particularly, generate a deep resistance, more than a situation of laggards . Those who implement/appreciate/participate into eLearning courses do it:
a) As outsiders because of a sense of duty with regard to a model that it is being implemented generally at the University, or just to follow a trend; this group is not completely aware of the dimensions of quality, for eLearning is a secondary issue.
b) As outsiders because of the resolution of specific educational problems –make new students to participate, facilitate/ have facilitated access to materials, etc.-. This group is more open to understand the problems connected to quality of eLearning, but still they should expand their vision to a more deep representation of eLearning.
c) As insiders, with a clear personal conviction on innovation, through a transformative perspective of the own professional/social practice. This group has a vision on what quality of eLearning can be, yet they should raise their awareness on the policy context to give better sense to their convictions and to open up dialogue with other stakeholders. This last approach would avoid the isolation of this group and would made their ideas to circulate. Sperimentazione IATI13 Corso Intelligenza Artificiale
Blended - 1 Ciclo M2: Cervelli che parlano
Auto/Eterovalutazione – Selezione dei migliori lavori di gruppo
Selezione di 3 migliori ELABORATI in base ai parametri usati dal docente, ridiscussi dagli studenti, sull’ultimo ELABORATO (settimana SEARLE)
I parametri
Costruzione collaborativa di conoscenza (forum vs. elaborato)
Qualità della scrittura,Rilevanza e significatività e Originalità,Qualità della documentazione delle fonti, Integrazione dei migliori lavori (3) nel materiale del corso IATI14
Gli studenti vincitori hanno diritto a non rispondere in una domanda del test finale Gioca il Jolly
La docente presenta un gruppo di domande
Gli studenti possono, liberamente, partecipare nell’elaborazione di per lo meno 3 risposte a 6 domande
Se 3 domande hanno buone risposte, allora lo studente ha vinto il «Jolly»
Ha diritto a non rispondere ad una domanda nel test finale
Valutazione complessiva della qualità del corso: «Rubric Studenti» Ecco il nostro tentativo... Grazie! Fino a che punto gli studenti si comportano come insiders della qualità del corso?
Quali sono le tensioni che genera nel docente l'apertura dei parametri di valutazione, l'incontrollabilità del disegno? Come le risolve?
Riflessioni del docente sulla ri-progettazione
Riflessioni sull'impatto formativo della valutazione partecipata Analisi autoenografica su MOOC
Full transcript