Scarica CAPITOLO 3 VERTECCHI e più Dispense in PDF di Docimologia - metodi e tecniche di valutazione solo su Docsity!
CAPITOLO 3 “COSTRUZIONE DELL’ESAME”
1. L’OGGETTO E GLI OBIETTIVI
La tappa decisiva per costruire una prova è indicare il perché sto valutando e i tipi di apprendimento da valutare. 3 oggetti sono possibili: pronostico,inventario e diagnosi.
- pronostico è a lunga scadenza,ma spesso deludenti per via dei cambiamenti di insegnante,di metodo e degli interessi fluttuanti dei ragazzi. Esempio test di maturità specifica (readiness) basati sulle forme di ragionamento,come l’apprendimento di una lettura. Esempio Verifica di conoscenze-chiave o nozioni critiche necessarie alle nuove acquisizioni, utile se l’insegnante ha la lista degli errori commessi in precedenza. Esempio prova per determinare se un alunno è pronto ad affrontare nuove materie,gli si presentano i primi elementi di questa materia e si osservano le reazioni. -l’inventario(prove di rendimento) Misurare gli apprendimenti durante un periodo più o meno lungo.,avendo una funzione prognostica e anche diagnostica. - diagnosi Si vogliono scoprire e spiegare le debolezze nei vari campi dell’educazione,le cause più comuni delle difficoltà scolastiche sono: l’imperfetta conoscenza degli elementi di base,insegnamento inadeguato al livello delle attitudini del bambino,la mancanza di attitudini per eseguire un compito,mancanza di slancio per affrontare i problemi e la mancanza di slancio a generalizzare le tecniche di soluzione. Se sorgono difficoltà si faccia anche attenzione allo stato fisico e alla loro personalità,i problemi emozionali possono proprio derivare da queste difficoltà e non esserne la causa. Affinché sia corretta la prova dovrà essere basata su esercizi precisi e chiari. GLI OBIETTIVI Educare è mettere alla prova i mezzi adatti a sviluppare l’intelligenza e la personalità mentre istruire significa mettere qualcuno in possesso di nuove conoscenze. Gli obiettivi generali derivano dall’educazione mentre quelli speciali dall’istruzione,entrambi inseparabili,In fondo il fine è unico:fare un adulto. Gli obiettivi cognitivi si devono a due ricercatori americani, Bloom e Guilford. -Tassonomia di Bloom Sapere a memoria dati,criteri,metodi,leggi,principi,teorie con differenze quantitative o qualitative. Capire,è la comprensione al livello più basso,tradurre,trasporre,interpretare,estrapolare,come la parafrasi di un testo. Applicare con cui si astrae,anallizzando,distinguendo più elementi,ricercando relazioni. Sintetizzare produrre opera personale,elaborazione di un piano d’azione. Valutare giudizi qualitativi e quantitativi. -Modello di Guilford molto rigoroso ma meno utilizzato. Definisce le tre dimensioni dell’intelletto e le loro componenti con 24 possibili combinazioni in quanto ogni dimensione si combina con le altre.
- operazioni sono i processi intellettuali. -cognizione è la scoperta,l’apprendimento,conosco le info anche in altre forme. -memoria -produzione convergente di informazioni uniche a partire da un dato.
- contenuti -figurativi come forme concrete e immagini. -simbolici come lettere,numeri,note musicali. -semantici come le parole.
-comportamentali come la percezione di atteggiamenti,bisogni,desideri,intenzioni su di sé e su altri.
- prodotti -unità,parti di informazioni isolate. -classi sono unità raggruppate per caratteristiche comuni. -relazioni sono connessioni riconosciute tra unità. -sistemi sono complessi di parti che si trovano in interrelazione. -trasformazioni sono cambiamenti apportati. -implicazioni sono le estrapolazioni delle informazioni. L’ ambito affettivo per Osterrieth. Si può dire che l’individuo è adulto quando il suo comportamento ha una logica precisa ed ha acquisito una tolleranza al cambiamento e all’insuccesso. Ci sono 5 possibili reazioni. -semplicemente recettivo -riceve e reagisce -riceve e reagisce accettando o rifiutando prendendo iniziativa -prova spontaneamente a comprendere -agisce secondo le sue scelte che corrisponde allo stato dell’adulto. Gli obiettivi speciali Identificare gli obiettivi speciale equivale a elaborare una tavola a doppia entrata. Di lato si scrivono le materie del corso e in alto si indicano gli obiettivi generale(conoscenza,valutazione..)Ciascuna intersezione di colonna e di riga indicherà un obiettivo speciale.
2. FORMULAZIONE DEI QUESITI
Per essere imparziale e valido,è bene che un esame contenga un gran numero di quesiti,evitando di costruire una prova solo su una parte minima del programma. -In primo luogo i quesiti devono essere comprensibili e chiari. Molte risposte errate infatti vengono fatte per l’incomprensione dei quesiti e questo può generare un’ingiustizia sociale in quanto per esempio bambini usciti da ambienti svantaggiati hanno difficoltà di linguaggio. -I quesiti poi devono tener conto del livello di informazione ,ponendo problemi in classe,il dato contesto deve avere un senso per l’alunno. -I quesiti devono essere saggiati/provati in anticipo occorre cioè provarli prima della somministrazione,trovando così difetti,errori materiali,livello di difficoltà,consigliato il lavoro di gruppo tra docenti. -Bisogna effettuare il calcolo della facilità dei quesiti prima dell’esame. La percentuale di riuscita è l’indice più semplice,ma è chiaro che i soggetti dovranno essere almeno più di 100,e serve per dosare meglio l’esame. -Bisogna calcolare efficacia e potere discriminante Rileva in quale misura un determinato quesito discrimina gli alunni preparati da quelli meno preparati. Ci sono due metodi. -Metodo semplice Pidgeon e Yates lo propongono: -dividere la classe in 3 gruppi,superiore,medio ed inferiore,sulla base dei punteggi ottenuti. -per ciascun item vedere le percentuali di riuscita -per ciascun item vedere la differenza tra quella di riuscita del gruppo superiore e quello inferiore.
-un gioco d’azzardo In un quesito chiuso con risposte a due scelte si ha un 50 e un 50. Oggi si è ricorso a quesiti a 5 scelte e con le altre verosimili,così da ridurre questo gioco d’azzardo. -acrobazia mentale Si rimprovera agli esami tradizionali di dare troppa importanza alla facilità di espressione. Gli Item a scelta multipla complicati aggiungono però un altro inconveniente: la materia del quesito,di districarsi con negazioni,di afferrare sottigliezze logiche. È importante sapere cosa si vuole verificare. -Inconvenienti “incerti” *Scegliere la risposta buona tra le altre è più facile che costruirla. Memoria ruolo principale con il rischio pigrizia intellettuale. *Rischio di trascurare gli esercizi di espressione. *Si trascurano esercizi che prevedono una lunga riflessione. COME CONCLUSIONE:COMPROMESSO Poiché quesiti aperti e chiusi mettono in causa diversi procedimenti e hanno ciascuno i loro vantaggi,possono benissimo coesistere. Del resto una formula intermedia esiste e si imporrà sempre di più.
3.LA CLASSIFICAZIONE
LA CURVA DI GAUSS
In un sacco vi sono palline,una rossa e l’altra bianca,ogni pallina ha 1 possibilità su 2 di uscire. Immaginiamo ora 100 estrazioni consecutive,il rosso uscirà tante volte quante il bianco. Non tireremo fuori 100 rosse o 100 bianche. Sarà più probabile che 99 uscirà la rossa e una bianca. La probabilità aumenterà fino a 50 volte la rossa è 50 la bianca per poi diminuire progressivamente per arrivare a una la rossa e 99 la bianca. Questo movimento ascendente e discendente in un gran numero di estrazioni corrisponde alla famosa curva di Gauss,le cui due estremità non toccano mai la linea dello zero,dato che non esiste una probabilità nulla. Questa distribuzione è detta normale. Così tra gli uomini di una grande città sono più numerosi gli individui di statura media mentre i giganti e i nani sono più rari. Anche l’errore spesso si sottopone alla legge normale,se si fa un grandissimo numero,apparirà di più un errore di grandezza media. Un professore che insegna in modo non individualizzato in una classe in cui gli alunni non sono selezionati tiene normalmente la sua lezione ad un livello di difficoltà adeguato alla maggioranza. Se l’andamento è corretto vi saranno molti risultati medi,pochi ottimi e pochi pessimi. Lo stesso ragionamento può essere fatto con i risultati ottenuti.
LO SCARTO TIPO O SIGMA,INDICE PREZIOSO
Sigma è un indice facile da calcolare che vede immediatamente come vanno i risultati in rapporto alla media aritmetica dei voti ottenuti. In una distribuzione normale indica la stessa proporzione dei risultati in rapporto all’insieme. Questo indice ci fornisce il modo di confrontare i risultati ottenuti a prof. diversi in quanto questi risultati si ripartiscono normalmente.
RAPIDA STIMA DELLA MEDIA E DEL SIGMA
Il calcolo della media e dello scarto è relativamente faticoso,inoltre quando la distribuzione non è normale la media aritmetica da una falsa idea.
Essa non ha 0 né maximum assoluti,comincia e finisce. Immaginiamo 2 prof di inglese che giudicano,senza confrontarsi,2 classi in cui ogni alunno ha fatto una breve esposizione orale. Probabilmente i due estremi delle scala saranno ben definiti dall’alunno più e meno preparato rispetto ad una valutazione astratta della quantità di inglese che dovrebbero avere. È impossibile dimostrare che la distanza che separa la buona dall’ottima conoscenza dell’inglese è uguale alla distanza che separa la conoscenza media dalla buona. Buono in inglese per un professore,non è quantitativamente uguale al buono di un altro. Inoltre per gli alunni di una stessa classe avere buono in inglese non ha lo stesso significato che nell’altra. Le scale così non permettono nessuna operazione matematica in quanto: -i gradi non sono alla stessa distanza all’interno di una stessa scala -gradi corrispondenti da una scala all’altra,per una stessa materia,non sono della stessa grandezza. -scale che vertono su materie diverse non sono confrontabili. Utilità: Malgrado le sue limitazioni è a volte il solo strumento di cui disponiamo per concretizzare il nostro giudizio in quanto permette di considerare elementi qualitativi e risultati quantitativi apportati da test o esami obiettivi. Costruzione: Definire quanti gradi,di solito 5,a condizione che ogni grado sia chiaramente definito e i classificatori ben formati. eccellente-ottimo-buono-sufficiente-scadente o negativo Successivamente è fondamentale definire l’oggetto della valutazione esempio fiducia in sé. estremamente fiducioso di sé - molto fiducioso nelle sue forze-fiducioso-mancanza di fiducia,timido,-estrema mancanza di fiducia,declina le responsabilità. Dobbiamo descrivere l’atteggiamento (es: “ nella sua forma positiva,questa qualità è rivelata dalle seguenti manifestazioni:...) e indicare delle situazioni tipo (es:Viaggia in autobus?Risponde con sicurezza agli esami orali? Legge bene drammatizzando?) Inoltre dovremmo definire i gradi della scala. Utilizzazione: Definire quanti alunni ci sono in ogni livello in vari casi: primo caso:alunno confrontato con se stesso e i livelli segnano i gradi da superare per raggiungere un determinato obiettivo. In un insegnamento non individualizzato questo obiettivo è comune alla maggioranza,scelto in modo che tutti possano raggiungerlo. Esistono dei margini di variazione dell’età mentale e del rendimento scolastico. secondo caso: Alunni confrontati tra loro. Si cerca di popolare ogni livello secondo percentuali che si avvicinano alla distribuzione normale ma non è possibile rispettarlo rigorosamente,dato un ristretto numero di alunni.
Sarà necessario lottare contro la contaminazione e la tendenza culturale No alla stereotipia,all’effetto alone,e no all’utilizzazione per uno stesso alunno di scale orientate nello stesso senso(es dal positivo al negativo o dal migliore al più scadente). Si consiglia di presentare ciascuna scala su una pagina diversa e di estrarre a sorte l’ordine di presentazione di ciascuna. È bene disporre di un intervallo abbastanza lungo dopo la valutazione di ogni qualità di uno stesso soggetto e far valutare la stessa qualità da più giudici. CRITERI PER CLASSIFICARE LE COMPOSIZIONI: Le caratteristiche da valutare sono: idee o contenuto : la quantità e la qualità del materiale utilizzato. Livello elevato:lo studente ha idee buone,originali e numerose,egli comprende bene il tema e uitilizza delle definizioni chiare,manifesta un’esperienza più ricca rispetto agli altri. Livello medio:le idee sono appropriate ma convenzionali e poco numerose. Livello basso:Lo studente omette aspetti fondamentali,non dispone di conoscenze relative al tema,ripete continuamente semplici idee. organizzazione :la relazione tra le parti della composizione e l’insieme. Livello elevato: Segue un piano definito,se fa conoscere il pro e il contro,presenta dei modi pertinenti,se descrive lo fa in modo ordinato,se spiega un concetto evita ripetizioni. Manifesta senso della misura nel trattare le diverse parti. Livello medio:non si attiene al so piano o introduce idee non attinenti al tema facendo accostamenti liberi. Livello basso:non segue alcun piano,il lavoro non ha direzione,cambia continuamente e i punti essenziali non sono ben separati. stile: utilizzazione del linguaggio al di là della correttezza grammaticale Livello elevato:utilizza un linguaggio che rende agevole la comprensione del lavoro,utilizza parole adeguate,i passaggi sono ben condotti,non delude l’aspettativa del lettore,evita la ripetizione monotona,il suo vocabolario è buono,fa un uso ingegnoso della subordinazione. Livello medio:utilizza parole non appropriate o costruzioni bizzarre,metafore poco chiare,passaggi bruschi,ripetizione di parole e strutture di frasi. Risorse linguistiche limitate. Livello basso:le parole sono usate in modo generico,forme ambigue,costruzioni zoppicanti,vocabolario e strutture infantili. Meccanica :ortografia,grammatica,punteggiatura. Livello elevato:La struttura delle frasi è abitualmente corretta,le regole dell'ortografia sono rispettate,anche le parole più difficili sono scritte bene. Nessun grave errore di punteggiatura,maiuscole,abbreviazioni. Livello medio:Difetti occasionali di sintassi,le parole difficili a volte hanno errori di ortografia,di punteggiatura ecc..
-i voti standard o punti Z: Un alunno ha ottenuto i seguenti voti grezzi
Calcolo:22/ Lettura 72/ Scienze 26/ Questi voti grezzi non ci dicono molto in quanto se il professore è più severo nella lettura che nel calcolo magari il 72/100 è più meritorio del 22/25. Inoltre i voti grezzi non permettono il confronto con gli altri alunni dello stesso livello educativo. Per rendere possibile il confronto,si esprimono questi voti in funzione degli scarti tipo(i voti normalizzati o punteggi standard).
-la scala normalizzata a 5 classi(N tra 50 e 100)
Le 2,3,4 classi comportano uno scarto tipo. La 3 classe è centrata sulla media La 1 e 5 classe sono di estensione illimitata
-la scala normalizzata a 9 classi (Stanines)(N>100)
La 1 e la 9 sono di estensione illimitata,le altre comportano un semi-scarto tipo,essendo la 5 centrata sulla media.
4. CONTROLLO DELLA FEDELTÀ DELL’ESAME
-evitare ogni ambiguità nei quesiti,infatti un quesito che manchi di chiarezza al punto di prestarsi a diverse interpretazioni compromette a priori la fedeltà dell’esame. -quesiti in numero sufficiente,se si pone un limitatissimo numero di quesiti,si lasciano vaste zone inesplorate. Bisogna coprire tutta la materia,l’esame deve campionare ben quindi l’insieme. -controllo matematico
- metodo pari-dispari :lo stesso alunno nello stesso tempo “subisce” due prove. 1 dividendo i quesiti in due gruppi:pari e dispari 2 Si compilano due tabelle parallele dei risultati e si calcola la loro correlazione. 3 I due esami creati artificialmente sono di lunghezza dimezzata rispetto l’originale. -due forme parallele in cui gli esaminatori preparano due serie complete di quesiti,giudicati equivalenti all'unanimità,a partire dalla stessa rete di obiettivi. Se la popolazione è poco numerosa si invitano gli alunni a rispondere alle due serie di quesiti dopo qualche giorno,mentre se è numerosa una metà(dell’ordine alfabetico per esempio) riceve la prima forma e la seconda metà riceve l’altra.
5.CONTROLLO DELLA VALIDITÀ
La fedeltà dell’esame non garantisce la sua validità! Secondo la prospettiva dell’esame si divide la validità del contenuto e la validità predittiva. LA VALIDITÀ DI CONTENUTO: Interessa gli esami destinati a fare il bilancio delle acquisizioni e quindi anche di un insegnamento. Lo scopo che era stato fissato,gli obiettivi scelti,sono stati raggiunti? In pratica dobbiamo esigere che per ogni quesito d'esame che formula,il professore indichi l’obiettivo perseguito su una speciale scheda. Successivamente è necessario sottomettere i quesiti e lo schema a diversi educatori esperti. Nel caso in cui ci sia un grave disaccordo il quesito andrà respinto. LA VALIDITÀ PREDITTIVA: Che si tratti di un esame che dà accesso ad un nuovo ciclo o che autorizzi l'esercizio di una professione,basta seguire gli individui per un certo periodo di tempo per sapere se il pronostico formulato a partire dai voti attribuiti si verifica o no. *si consta con meraviglia che tale verifica è raramente positiva!! perché è necessario un controllo rigoroso delle variabili che possono falsare i risultati. Riepilogo fattori della validità:
- IDENTIFICAZIONE ADEGUATA DEGLI OBIETTIVI
- SCELTA DEGLI OBIETTIVI,NELLA GAMMA DI QUELLI IDENTIFICATI PER LA PROVA
- VALUTAZIONE EFFICACE DELL'ADEGUAMENTO DEL CONTENUTO E DELLA STRUTTURA DELL’ESAME RISPETTO ALLO SCOPO PERSEGUITO.
- RELAZIONE CHIARA TRA QUESITO E OBIETTIVI
- ELABORAZIONE SCHEMA DI CLASSIFICAZIONE E FORMULAZIONE DI DESCRITTORI IN FUNZIONE DEGLI OBIETTIVI
- BUONA CONOSCENZA DELLA CAPACITÀ DEI CANDIDATI
- DISPOSIZIONE DI CLASSIFICATORI
- CONFRONTO CON PROVE ANTERIORI DI CUI LA VALIDITÀ È STATA TESTATA.
