Scarica generazioni e modelli educational evaluation e più Appunti in PDF di Docimologia - metodi e tecniche di valutazione solo su Docsity!
GENERAZIONI E MODELLI DI EDUCATIONAL EVALUATION
EDUCATIONAL EVALUATION
Docimologia come ricerca intorno ai problemi della valutazione. Scopo è quello di studiare i metodi con cui vengono espressi i giudizi di valutazione per controllarne l’attendibilità sia dal punto di vista concettuale ( qual è la struttura del ragionamento con cui si valuta?) che metodologico ( quali sono le strategie necessarie per assicurare l’oggettività al giudizio di valutazione?) che tecnologico ( con quali strumenti si può assicurare rigore ed oggettività al processo di valutazione?). Si è passati dall’attenzione ai risultati a quella ai processi, dai test agli strumenti qualitativi etc.
Il modello dei quattro livelli di Kirkpatrick
Il modello di Kirkpatrick è apparso per la prima volta tra il 1959 e il 1960 in quattro articoli intitolati Techniques for evaluating training programs apparsi sulla rivista Journal of the American Society of Training Directors organo ufficiale dellaSocietà Americana per la Formazione e lo Sviluppo (ASTD). Solo nel 1994 è stato pubblicato per la prima volta il volume Evaluating training programs. Il modello viene definito dei “quattro livelli” poiché individua quattro ambiti di oggetti, di crescente complessità, i cui dati devono essere raccolti per effettuare la valutazione di un corso di
formazione. Il primo livello è quello della Reazione (reaction). la «soddisfazione del cliente». Il valutatore, a questo livello, deve rilevare le reazioni al programma (corso) di formazione dei partecipanti. Condizione necessaria ma non sufficiente all’apprendimento. Il secondo livello è quello dell’Apprendimento (learning). Cambiamento degli atteggiamenti, miglioramento delle conoscenze e/o incremento delle abilità come «risultato» (results) della frequenza del corso di formazione. Condizione necessaria ma non sufficiente al mutamento del comportamento. L’apprendimento è rilevabile quando è possibile misurare anche uno solo dei fenomeni sopra descritti. Non è quindi necessario rilevare un cambiamento del comportamento per parlare di apprendimento. Per valutare in modo efficace l’apprendimento è necessario che gli obiettivi, in fase di progettazione, siano specificati in modo chiaro. Il terzo livello è quello del Comportamento (behavior) «la misura in cui un cambiamento nel comportamento si verifica a causa della partecipazione al programma di formazione». Sarebbe un «grave errore» misurare direttamente il cambiamento nel comportamento senza aver rilevato il cambiamento a livello di reazione e apprendimento. Infatti non sempre sono presenti le condizioni perché il comportamento possa modificarsi: vale a dire, il desiderio di cambiare, la conoscenza di cosa fare e come farla, il lavorare in un clima adeguato, la ricompensa per il cambiamento. Le prime due condizioni possono essere raggiunte durante il corso di formazione. La terza (il clima lavorativo favorevole) e la quarta condizione (la ricompensa, intrinseca o estrinseca) sono in gran parte nelle mani del responsabile dell’area lavorativa o del datore di lavoro.
- Usare un gruppo di controllo se possibile
- Valutare le conoscenze, le abilità e/o gli atteggiamenti sia prima sia dopo l’intervento di formazione
- Usare una prova carta e matita per misurare la conoscenza e gli atteggiamenti
- Usare una prova basata su performance per misurare leabilità
- Raccogliere tutte le possibili risposte
- Usare i risultati della valutazione per intraprendere azioni adeguate.
- Comportamento
- Usare un gruppo di controllo se possibile
- Dare tempo al cambiamento di verificarsi
- Valutate il comportamento sia prima che dopo l’intervento se possibile
- Somministrare un questionario o intervistare uno o più dei seguenti soggetti: partecipanti, supervisore, subordinati e altri che osservano i loro comportamenti
- Raccogliere tutte le possibili risposte o un campione
- Ripetere la valutazione ad adeguati intervalli di tempo
- Considerare i costi e i benefici 4 Risultati
- Usare un gruppo di controllo se possibile
- Dare tempo ai risultati di essere raggiunti
- Misurare sia prima che dopo l’intervento se possibile
- Ripetere la misurazione ad adeguati intervalli di tempo
- Considerare i costi e i benefici
- Accontentarsi di evidenze se una prova non è possibile Strumenti e le procedure Livello Oggetto della Esempi di strumenti Questionari di Livello di
valutazione e procedure fattibilità della valutazione di rilevazione 1 Reazione Questionari di gradimento post a risposta chiusa e aperta Economica per la raccolta e l’analisi Veloce e di facile realizzazione 2 Apprendimento Prove carta e matita e di performance dopo la formazione ma talvolta anche prima Relativamente semplice per la misurazione di conoscenze e atteggiamenti Facile per le competenze quantificabili; meno per gli apprendimenti complessi 3 Comportamento Questionari e interviste strutturate sia prima (talvolta) sia nel corso del tempo successivo alla formazione Complessa e difficile
- Maggiore praticità nell’uso dei questionari rispetto alle interviste strutturate
- Richiede la cooperazione e l’abilità dei responsabili, dei partecipanti, di altri lavoratori
- Solo in alcuni casi è facile da realizzare. 4 Risultati Misure raccolte dai normali sistemi di gestione Le difficoltà sono legate a: basata su evidenze (probabili) e non su prove (certe); richie- de l’individuazione di indica- tori significativi e l’imputazione del risultato alla formazione Il modello di Kirkpatrick rientra nel gruppo di approcci valutativi di tipo comparativo seguono la logica del confrontare i risultati rispetto agli obiettivi ( prima e dopo l’intervento formativo); denota un orientamento quantitativo alla valutazione. Ne sono prova gli strumenti di rilevazione suggeriti che sono quantitativi e in certi casi suggeriscono l’uso di gruppi di controllo. (la proposta di realizzare un disegno sperimentale o quasi sperimentale, la proposta di impiegare questionari e interviste strutturate) ; la valutazione ha come finalità il supporto al miglioramento in termini di efficacia.
Non effettua un’analisi del contesto, degli individui, dei bisogni e delle risorse, non ritenendoli essenziali la sua struttura gerarchica
Il modello CIPP di Stufflebeam
Il modello di valutazione denominato CIPP, Context, Input, Pro- cess, Product è stato ideato e sviluppato da Stufflebeam a fine anni ’60. È stato pensato sulla base della necessità di fornire una base analitica e razionale al processo decisionale sotteso alla definizione di programma di studi. Si basa su la seguente definizione operativa di valutazione: processo di definizione, raccolta, restituzione e applicazione di informazioni descrittive e valutative circa il merito, il valore, l’integrità e la rilevanza di un qualche oggetto allo scopo di guidare il processo decisionale, supportare la rendicontazione, disseminare pratiche efficaci e accrescere la comprensione dei fenomeni coinvolti. Il fulcro del modello risiede nel considerare la valutazione di un’entità complessa, quale può essere un programma o un progetto formativo così come un’organizzazione formativa, l’esito di un processo di valutazione di quattro dimensioni: il contesto, i fattori in ingresso (input), il processo e i prodotti. Valutare queste quattro dimensioni significa rendere oggetto di valutazione i seguenti gruppi di oggetti: a. contesto: riguarda bisogni, problemi, risorse e opportunità quali punti di
riferimento per la definizione degli obiettivi e delle priorità e per la valutazione dei risultati (outcome); b. input: riguarda il confronto dell’intervento scelto con approcci alternativi per verificare la capacità dell’intervento scelto di rispondere ai bisogni e di raggiungere gli obiettivi prefissati; c. processo: implementazione della pianificazione degli interventi per guidare l’azione dei soggetti e, successivamente, per valutare la realizzazione del programma e individuare elementi utili a spiegare i risultati; d. product: i risultati (outcome) ottenuti da confrontare con i risutalti attesi Il modello CIPP può essere adottato con una duplice funzione, formativa e sommativa. Nel primo caso, ( formativa) l’uso delle informazioni raccolte ha come scopo quello di supportare le decisioni e assicurare la qualità; nel caso di un uso con funzione sommativa , lo scopo dell’uso retroattivo delle informazioni è quello di valutare il merito, il valore, l’onestà, la rilevanza e rispondere ai requisiti di responsabilità. Nel caso in cui la valutazione della componente del prodotto venga effettuata con una funzione sommativa e a lunga distanza dal termine dell’intervento formativo, il prodotto può essere articolato in quattro sottodimensioni:
- impatto (impact): valutare se il programma ha raggiunto effettivamente i destinatari individuati in fase di progettazione;
- efficacia (effectiveness): valutare la qualità e la rilevanza dei risultati;
- sostenibilità (sustainability): valutare la misura in cui i contributi del programma sono stati istituzionalizzati con successo e continuati nel tempo;
- trasferibilità (transportability): valutare la misura in cui un programma è stato o potrebbe essere adattato e applicato in qualche luogo con successo. Elementi caratteristici della funzione formativa e sommativa del modello di valutazione CIPP
orientamento oggettivista circa i valori etici a cui ci si richiama nella valutazione. Ciò significa che il modello assume che il bene morale sia oggettivo e indipendente dai sentimenti umani e personali; integra dati qualitativi e quantitativi Impiego di molteplici approcci di raccolta e analisi dei dati che prevedono sia l’uso di metodi quantitativi e qualitativi sia la triangolazione delle procedure. Non risultano adeguati né disegni sperimentali con gruppo di controllo né strumenti standardizzati in ragione della dinamicità della realtà dei progetti e delle poche risorse a disposizione.
- l’elaborazione di un rapporto finale che cerca una convergenza sulle conclusioni circa il valore del progetto insieme all’identificazione di informazioni utili per futuri interventi. I punti di forza del modello sono stati così individuati: approccio sistemico che incoraggia una visione olistica dell’oggetto valutato; flessibilità e adattabilità a qualsiasi livello della realtà progettuale (progetti, programmi, organizzazioni); framework con funzione organizzatrice e non processo lineare con fasi rigide attenzione ai bisogni dei diversi stakeholders. Le principali criticità: la collaborazione richiesta fra un esperto e i committenti introduce occasioni per l'impedimento della valutazione e/o per l’interferenza sui risultati il coinvolgimento attivo degli esperti nel programma può portarli a identificarsi con esso al punto di perdere il distacco necessario per garantire una corretta valutazione; può condurre a riservare troppa enfasi alla valutazione formativa e poco tempo e risorse nella sommativa
Esempio di applicazione
Vantaggi: flessibilità; permette di modificare quello che si fa in vista di un miglioramento; possibilità di intervento durante, nel corso del programma. Svantaggi: visione riduzionistica dei processi sociali come semplici sistemi meccanici; visione riduzionistica degli obiettivi che non hanno carattere univoco né tanto meno sono condivisi necessariamente da tutti i soggetti; processo di apprendimento di stampo comportamentista
Modello sperimentale classico ( fisheriano o agricolo)
La valutazione di programmi: analisi qualitativa ( Lipari) È una strategia conoscitiva di tipo “individualistico-interpretativa” opposta all’orientamento oggettivistico basata sulla rilevanza dell’unicità di un evento piuttosto che su schemi di spiegazione ad ampio raggio. Le azioni dell’analisi qualitativa sono: a. analisi dei comportamenti intesi non come eventi discreti ma come processi b. descrizione dei processi da intendersi come un tutto (attori, azioni, contesti relazionali etc.) c. raccolta sul campo dei dati attraverso gamma variegata di tecniche Nei modelli valutativi qualitativi gli obiettivi perdono progressivamente importanza, lasciando spazio alle diverse rappresentazioni della realtà degli stakeholders. In questa famiglia sono da collocarsi la: a. Goal free evaluation di Scriven (1974) È un’indagine ex-post che ricostruisce quanto accaduto senza ipotesi guida. Quindi una valutazione libera da obiettivi, dove le attività del progetto o dell’intervento vengono ricostruite ed esaminate e valutate unicamente per la rilevanza che hanno prodotto sugli individui partecipanti. Punta ai bisogni reali espressi da coloro che sono in formazione. Ricostruzione degli esiti e comprensione dei processi e delle intenzioni.
Secondo Guba e Lincoln la valutazione ha conosciuto quattro generazioni di sviluppo, differenti in termini di princìpi sottostanti alla valutazione; finalità della valutazione; ruolo del valutatore e dell’evaluando. Tecnica: ( 30-40) Valutazione come una mera misurazione tecnica, valutatore un tecnico. Valutare significa misurare, collocare singoli alunni o gruppi di alunni rispetto al raggiungimento di standard previsti in alcuni test. La valutazione come strumento per stabilire se gli alunni erano in grado di raggiungere i livelli dei requisiti stabili dalla scuola, requisiti per la preparazione al collage. È chi apprende che deve adeguarsi agli standard e chi non ci riesce viene considerato non idoneo. Caratterizzata dalla misurazione valutazione e misurazione sono stati usati in modo intercambiale. Questa accezione tecnica è ancora esistente, basta guardare la diffusa pratica di richiedere agli alunni il superamento di questi test come parte integrante del diploma di scuola media superiore, dalle procedure di ammissione al college etc. La valutazione con funzione di misura determina un valore numerico da attribuire ad un evento o fenomeno educativo, tale valore è ottenuto con opportuni metodi o strumenti di misurazione ed è espresso come rapporto tra la grandezza data e quella assunta come unità di misura. Descrittiva: ( 40) Negli anni 20 nelle scuole americane afflusso di studenti che negli anni precedenti raramente avrebbero superato i livelli della scuola elementare, studenti che esprimevano bisogni ed aspirazioni che non potevano essere soddisfatti con i programmi prevalenti di preparazione al college. Molti studenti vedevano nella scuola secondaria un’occasione per acquisire capacità necessarie per emanciparsi dallo status economico e sociale dei propri
genitori ma le scuole non erano preparate ad offrire questo tipo di insegnamento. Nel percorso di modificare dei requisiti che le scuole superiori seguivano per la corretta preparazione al college, ovviamente i maggiori ostacoli provenivano dai college e università che temevano che l’abolizione dell’unità di studio Carnegie( seguito dalle scuole secondarie), li avrebbero costretti ad accettare diplomati delle scuole secondarie il cui livello di preparazione era troppo scarso per poter avere a che fare con i loro programmi standard. La seconda generazione ha il suo fondamento nel programma Eight Year Study, un programma lanciato nel 1933 con l’obiettivo di dimostrare che studenti formati con programmi non ortodossi erano in grado di ottenre buoni risultati al collage. A trenta scuole superiori pubbliche e private fu data l’autorizzazione di sviluppare programmi più flessibili, con l’assicurazione che i diplomati di queste scuole, anche senza aver raggiungo i requisiti normalmente richisti, sarebbero stati ammessi in collage disposti a collaborare. Tyler fu incaricato di condurre ricerche il cui obiettivo era quello di ridefinire i programmi in evoluzione, assicurandosi che essi avrebbero funzionato. Nasce la valutazione di programma. Tyler, dunque, accettò il compito di raccogliere e sistematizzare informazioni sul grado di raggiungimento degli obiettivi definiti dai programmi delle scuole superiori negli studenti, rispetto a ciascun programma, mettendo in luce punti di forza e di debolezza di ciascuno. Tali informazioni venivano utilizzate poi come guida per i raggiustamenti e le revisioni: un processo di valutazione formativa ma i risultati erano disponibili dopo la fine del processo e non durante. Il processo fu ripetuto fino a quando non fu individuato un programma in grado di dar luogo ad un appropriato livello di successo.
- non dice nulla sul processo
- i risultati sono disponibili solo quando il programma è già terminato La valutazione con funzione descrittiva rappresenta,delinea un fenomeno o un evento educativo evidenziandone gli aspetti e le qualità che lo caratterizzano. Del giudizio : ( 50-60) La valutazione di seconda generazione trascurava il giudizio. Stake faceva notare che il giudizio così come la descrizione sono aspetti essenziali della valutazione. Valutare non è solo misurare e descrivere ma richiede anche la capacità di esprimere un giudizio ( Scriven) che richiede standard su cui basarsi e l’implicita identificazione del valutatore come giudice La valutazione che giudica, esprime un giudizio di valore, di merito di approvazione su risultati, percorsi, progetti, eventi educativi. Il valutatore assume il ruolo di giudice e continua a possedere nozioni tecniche e descrittive. Anche gli scopi dovevano essere oggetto di valutazione, non solo la performance. Come dice Scriven “ non vale la pena fare bene qualcosa che non vale la pena di fare per niente”. Nascono alcuni modelli valutativi con sfumature rispetto al ruolo di giudice molto diverse:
- connoisseurship model ( eisner 1979)
- modello CIPP ( orientato alla decisione) Etc Avevano in comune il giudizio come parte integrante della valutazione. Naturalistica e costruttivista : ( anni 80) valutare significa La valutazione di quarta generazione è una valutazione nella quale le dichiarazioni, le preoccupazioni e le questioni degli stakeholders fungono da fuochi organizzativi.
Si richiamano a un paradigma costruttivi stico che orienta l’azione valutativa a partire dai gruppi di interesse coinvolti nel processo. Tale percorso deve partire da una condivisione degli aspetti cruciali che chiama in causa gli stakeholders, coloro che hanno a che fare con quel contesto e\o con quell’entità che viene valutata. Essi sono gruppi a rischio, in qualche modo, perché rischiano aspetti direttamente connessi al loro ruolo sociale e al sistema di valori ad esso connesso. Tutti gli attori sono chiamati a co-costruire conoscenza e sapere circa un dato fenomeno che si definisce e ridefinisce nel confronto. Stanno emergendo modelli sensibili che hanno come focus non gli obietti, le decisioni, gli effeti etc, ma le richieste, gli interessi, i problemi avanzati dai membri di una varietà di stakeholder, coinvolti nella valutazione. Comprendono agenti ( di sviluppo, finanziatori, implementa tori) beneficiari ( gruppi bersaglio, attuatori) e altri gruppi non beneficiarli ( beneficiari potenziali etc). Si apre la strada ad costruttivista della valutazione, che ne metta in evidenza il carattere plurale e collaborativo. a. I modelli della quarta generazione hanno in comune una convinzione di grande importanza: quella del pluralismo dei valori. Le generazioni precedenti tendevano ad assumere per dato il consenso di valori. Non ha senso valutare per obiettivi se non si assuma un accordo su di essi da parte di tutti. Aprono le porte alla considerazione delle differenze di valori. Dal punto di vista metodologico rinunciano ad una parte del controllo sulla valutazione in quanto processo. Devono includere differenti impostazioni valoriali dovendo tener conto di quale sia l’oggetto da studiare, in che modo, con quali rapporti e così via. Non sono più in grado di offrire a priori la certezza che la valutazione sarà utile perché non sanno se il consenso sarà possibile. Dal punto di vista sostanziale devono includere elementi
