Scarica TUTTO IL PROGRAMMA DI MAZZEO e più Tesine universitarie in PDF di Statistica solo su Docsity!
UNA PRIMA INTRODUZIONE ALLA VALUTAZIONE
Esistono numerose definizioni del termine valutazione, sia nel contesto accademico che in quello professionale, che si rifanno a prospettive metodologiche differenti, idee in contrasto sulle finalità e sugli scopi dell’attività valutativa. Valutare significa: Capire se i risultati di un’azione intenzionale corrispondono agli obiettivi attesi, e se no cosa è successo, e perché Attribuire merito e valore a un evaluando (intervento, progetto, personale, prodotto, ecc.) Capire cosa funziona meglio dove, perché, in quali condizioni, e perché Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprimere un giudizio sullo scarto che normalmente si verifica, per proporre eventuali modifiche che tengano conto delle potenzialità manifestatesi (Stame, 1998) La valutazione è un’attività cognitiva rivolta a fornire un giudizio su di un’azione (o complesso di azioni coordinate) intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili. (Palumbo,
La valutazione dell’intervento pubblico consiste nel giudicare il suo valore in relazione a criteri espliciti, e sulla base di informazioni che siano state raccolte e analizzate specificatamente. (Means, 1999) Espressione di un giudizio Primo elemento di identità è l’esercizio di un giudizio: La formulazione di un giudizio sarà meno problematica tanto quanto saranno resi trasparenti, espliciti e condivisi nel processo decisionale i criteri sui quali il giudizio si basa. Al contrario diverrà insostenibile quanto più alto sarà il conflitto generato dalla scelta dei criteri di giudizio. ES. il giudizio può riguardare: la conformità dell’esito di un intervento rispetto all’obiettivo iniziale o ad uno standard di riferimento; la coerenza del comportamento di un soggetto coinvolto nell’attuazione; la condizione finale dei destinatari dell’intervento; ecc. Il giudizio esplicitato nell’ambito di un processo di valutazione si distingue dai giudizi di senso comune, in quanto dovrebbe basarsi sui risultati ottenuti da una corretta applicazione dei metodi e delle tecniche appartenenti alla ricerca scientifica. Quindi, la valutazione introduce una prospettiva empirica fondata su dati, contrastando le opinioni che giudicano gli interventi politici solo sulle buone intenzioni di chi propone e le realizza, o dalla forza degli interessi che le sostengono. La valutazione applica i principi ed i metodi della ricerca sociale (quantitativa e qualitativa) allo scopo di comprendere il senso delle azioni poste in essere dagli attori sociali (Weiss, 1998) Consolidamento della valutazione
La valutazione nasce e si sviluppa negli Stati Uniti a partire dai primi anni ’60 dove si alternano periodi in cui il focus riguarda l’efficienza dei programmi e periodi in cui riguarda invece l’efficacia. •Aspetti istituzionali: •Cultura pragmatica •Federalismo, sperimentazione •Stato vs. mercato •Policies: •War on Poverty •Test educativi •Valutazione dei progetti di sviluppo internazionale USA anni ‘60: pressione interna, War on Poverty -> Tra il ’64 e il ’66 la povertà e la disoccupazione negli USA erano sopra il 26% soprattutto nei giovani. Presidente Johnson propone di estrarre dalle risorse dal bilancio per risolvere la questione; nonn tutti erano d’accordo però fu poi accettato ad una condizione: tutti gli intercventi di contrasto di questa grande policy per la war on poverty dovevano essere misurati e valutati. (non si lavora più sui processi bensì sui risultati) Paesi industrializzati, anni ‘80: pressione interna, crisi dello stato sociale, ristrutturazione, NPM (-> new public management) anni ’90 in poi, ‘dappertutto’: pressione esterna (WB e UE), evidence-based policy (www.coalition4evidence.org/) In Europa lo sviluppo della valutazione inizia nei paesi del nord (Inghilterra, Danimarca, Olanda) dove ormai si considera una pratica amministrativa standard, per poi estendersi agli altri paesi, con gli opportuni adattamenti (culture politiche-giuridiche-amministrative). La Commissione Europea ha giocato un ruolo decisivo nel diffondere la cultura della valutazione L’uso della valutazione è ormai abituale sia nei vari Stati membri che presso le Istituzioni europee, anche se esistono parecchie differenze tra i paesi. Si utilizza la valutazione –anche- per legittimare l’esistenza di politiche/programmi europei in ambiti di intervento. Le prime esperienze di valutazione, in seno alla Commissione, risalgono agli anni ’80 con i programmi per la ricerca e per l’aiuto ai paesi terzi, diffondendosi poi nei vari ambiti di intervento della commissione. Si utilizzava la valutazione–anche-per legittimare (dimostrare i vantaggi) l’esistenza di politiche-programmi europei in ambiti di intervento tradizionalmente riservati agli stati nazionali. l ’ utilizzo della valutazione in settori negli ambiti per i quali i Trattati riconoscevano le competenze dirette della Commissione è avvenuta in seguito. L’ambito nel quale l’impiego della valutazione ha registrato il maggior ‘successo’, dove si è consolidato, riguarda le politiche di coesione finalizzate a ridurre le differenze di sviluppo tra le diverse regioni dell’Unione, e realizzate, soprattutto, attraverso l’uso di fondi strutturali. Dal 1988 è ormai divenuto obbligatorio, per gli enti gestori e i soggetti che utilizzano i fondi strutturali eseguire valutazioni dei programmi ammessi a finanziamento La presenza di regole comunitarie ha stimolato la sviluppo di pratiche valutative nei paesi membri, con particolare riferimento ai paesi dell’Obiettivo1. Consolidamento della valutazione in Italia
Il programma –da considerarsi come insieme coordinato di diversi tipi di azioni, con obiettivi definiti e con risorse finanziarie e tempi individuati e con una individuazione generale delle fasi operative che vengono dettagliate a livello progettuale Es. Programmi Operativi Regionali Il progetto da considerarsi come l’elemento base e non divisibile dell’azione pubblica e dove la responsabilità viene identificata con una certa facilità. Ha, in teoria, una funzione aggiuntiva -> viene costruito ad hoc per affrontare un determinato problema; ha un inizio ed una fine; ha obiettivi univoci; u problema nuovo che non ho mai affrontato prima. Il carattere di innovazione va considerato nel progetto. Oltre gli oggetti classici della valutazione vanno ricordati ad esempio: I servizi : che vengono regolarmente erogati da strutture organizzative stabili nel tempo; si pensi alle agenzie strumentali delle regioni, alle aziende sanitarie, ai servizi sociali, ecc. Gli interventi rivolti ai casi : azioni indirizzate al singolo destinatario, si valuta in che modo si riesce a soddisfare le esigenze del singolo utente. Esempio nell’ambito dei servizi sociosanitari (assistenza domiciliare) Le finalità della valutazione Le principali finalità attribuite alla valutazione sono: 1.Valutare per giudicare (e decidere) sul merito di un programma; attraverso la valutazione si vuole determinare il valore di un determinato programma…, esprimendo un giudizio sui risultati effettivi o potenziali. In questa finalità è possibile distinguere:
- La valutazione come strumento di supporto alle decisioni in merito all’avvio, alla continuazione, al miglioramento, all’espansione, all’istituzionalizzazione o, al contrario, a bloccare, tagliare abbandonare un programma.
- La valutazione per “rendere conto” dei risultati ottenuti, ai decisori, ai finanziatori, alle parti sociali, all’opinione pubblica, ecc. La valutazione influenzando il giudizio di questi attori influirà sulle decisioni finali. 2.Valutare per accrescere la conoscenza sul funzionamento di un programma ; a differenza delle precedenti finalità, orientate a sostenere i processi decisionali, qui lo scopo è descrivere la natura e gli effetti di un intervento per accrescere la conoscenza dei processi (es. di mutamento sociale). Si cerca di chiarire il modello teorico alla base dei programmi, distinguendo tra i diversi interventi e interrogandosi sulle migliori metodologie per rilevare gli effetti sociali dei programmi In questi casi si tenta di generalizzare i risultati della valutazione per acquisire conoscenza sui processi ed i meccanismi più importanti alla base dei cambiamenti nelle condizioni sociali, nei comportamenti, ecc. Nella pratica valutativa distinguere nettamente queste finalità non è sempre facile, spesso tali finalità sono concorrenti o sovrapposte o “volutamente indeterminate”. Chi si appresta a svolgere una attività valutativa dovrebbe comunque, ed in ogni caso, interrogarsi sugli scopi del proprio lavoro: Chi vuole la valutazione? Cosa vuole? (Rossi, Freeman, Lipsey, 1999) Perché lo vuole? Riepilogo finalità Esprimere un giudizio sui risultati effettivi o potenziali Efficacia ed efficienza Valutazione ex-ante, in itinere, ex-post Categoria ulteriore-> sostenere i processi che rientrano sulle decisioni assumibili su quell’ogg. e sulla descrizione delle conoscenze a riguardo per ampliare le conoscenze sul programma. Non perché ma come l’intervento ha risolto
Le fasi della valutazione Il ciclo di vita di un Programma ha 3 fasi principali, ognuna delle quali richiede differenti capacità 1.Ideazione, programmazione e progettazione 2.Realizzazione e controllo 3.Completamento Viene comunemente indicata una relazione diretta fra ciclo di vita di un programma e fasi della valutazione È possibile così distinguere tre momenti differenti del ciclo valutativo
- ex-ante
- ongoing ( in itinere )
- ex post 1.La valutazione ex ante –si attua nella prima fase precedentemente all’adozione del programma. Si tratta di uno studio previsionale per prefigurare i possibili effetti derivanti dall’adozione del programma. Si pone particolare attenzione:
- ai punti di forza e di debolezza
- ai potenziali presenti nei contesti territoriali di riferimento, cercando di mettere in relazione obiettivi del programma e soluzioni prefigurate Si possono distinguere diverse tipologie di valutazione ex ante( Bezzi2001 ): A. La valutazione previsionale degli effetti e degli impatti : con la finalità di prefigurare i possibili scenari derivanti dall’adozione del programma o del progetto, aiutando nella scelta di soluzioni alternative. Matrici SAM–Analisi costi benefici. NB Il campo sociale non è regolato da leggi deterministiche, quindi le previsioni sono sempre probabilistiche e soggette a parecchi fattori indeterminabili. B. La valutazione ex ante della qualità della progettazione, o valutazione per la selezione : serve a verificare se e come gli obiettivi di un programma sono rilevanti rispetto ai problemi da affrontare; analizzare la congruenza degli strumenti rispetto agli obiettivi e ad accertare le modalità organizzative con cui si realizzerà il programma. NB Questa tipologia di valutazione riguarda, principalmente, l ’ analisi compiuta da apposite commissioni per l’ammissione a finanziamento di proposte progettuali, a garanzia che siano scelti i progetti che più rispondono agli obiettivi del bando e che presentano un miglior rapporto tra costi e benefici attesi. 2. La valutazione ongoing –si attua durante l’implementazione degli interventi, spesso con l’ausilio di sistemi informativi di monitoraggio dai quali acquisire le informazioni chiave dell’andamento del progetto. Serve principalmente a verificare:
- che i primi risultati siano in linea con gli obiettivi
- se ci sono conseguenze inattese, sia positive che negative
- se il verificarsi di eventuali condizioni esterne richieda una modificazione degli obiettivi delle modalità organizzative o delle metodologie previste dal progetto Può essere inoltre utilizzata per analizzare il processo organizzativo adoperato dagli attori –come interpretano gli indirizzi programmatici, come decidono di cooperare.
Con questo criterio si vuole verificare il rapporto fra obiettivi e strumenti individuati per realizzarli. Tale criteri o risulta particolarmente utile perché può aiutare a riflettere sul rapporto “difficile” che esiste tra obiettivi e risorse limitate a disposizione. [guardo due tipici dispositivi (-> strumenti-> si relazionano con le risorse) del programma: obiettivi e azioni] 3.L’efficacia Ci si riferisce agli esiti del programma (risultati, impatti, etc.) in relazione agli obiettivi. Anche qui si possono esplicitare alcune domande:
- In quale misura gli obiettivi sono stati raggiunti?
- Quali i successi e le difficoltà incontrate?
- Si sarebbero potuti ottenere risultati migliori utilizzando strumenti differenti? 4.L’utilità o efficacia esterna Con questo criterio si giudicano gli esiti del programma in relazione ai bisogni (sociali ed economici) dai quali si è partiti. Ci si chiede se gli esiti, anche diversi da quelle attesi, siano stati in grado (in che misura) di far fronte ai problemi sociali rilevati. Si rileva il grado di soddisfazione degli attori sociali coinvolti. Efficacia esterna e rilevvanza sono concatenati per capire anche le valutaz. ex ante e ex post. Interna -> obiettivi e esiti Esterna -> problemi e esiti 5.L ’ efficienza Ci si riferisce agli esiti di un programma in relazione alle risorse utilizzate. Si verifica se le risorse siano state impegnate in maniera ottimale, e ci si chiede se si sarebbero potuti raggiungere gli stessi obiettivi a costi inferiori. Lo studio dell’efficienza può essere realizzato con un alto grado di formalizzazione (es. analisi CB) 6.L ’ equitàdistributiva Con questo criterio si giudicano la distribuzione dei costi e dei benefici del programma tra i diversi attori, gruppi, classi, ceti e contesti territoriali. 7.Lasostenibilità Ci si riferisce alla possibilità che gli interventi attivati dal programma continuino a produrre effetti in maniera autonoma, ovvero anche dopo la fine dei finanziamenti pubblici, oltre ad accertare che l’ecosistema non risulti danneggiato dagli impatti generati dagli interventi. I criteri stanno in una prospettiva comparativa. Un bravo progettista:
- guarda i criteri di ammissione
- criteri di valutazione (declinazione delle categorie di cui parliamo) Cerca di capire i punteggi associati ai criteri e tenta di costruire un progetto. Self-assessment di quello che può essere un successo ha inizio dalla analisi dei criteri.
Alcune definizioni utili:
Indicatore : “qualcosa” di osservabile/rilevabile/misurabile che sta per, ossia viene utilizzato al posto di, “qualcos’altro” più difficilmente osservabile/rilevabile/misurabile in via diretta; in particolare l’indicatore permette di operativizzare costrutti teorici che non sono in grado di rinviare direttamente a referenti empirici. Dodd (1939) dà la definizione di indicatore <the objectively observed sign, qualitative or quantitative, of some characteristic which often is high intangible>. Deve essere misurabile (quale che sia il significato che intendiamo assegnare al termine misurazione), ovvero essere direttamente traducibile in una definizione operativa.
L’osservabilità dell’indicatore ne costituisce il requisito necessario, ma non sufficiente: il rapporto di indicazione è quello che fa la differenza; senza di esso nessun “qualcosa” può legittimamente stare al posto di “qualcos’altro”. Concentrare l’attenzione sul rapporto di indicazione richiama subito il problema della sua natura e di chi possa validamente istituire questo rapporto, con il conseguente problema della doppia ermeneutica. In questo caso ci si deve chiedere infatti se la validità di un indicatore (ossia la corrispondenza tra questo e la proprietà indicata) possa essere definita solo dal ricercatore, ovvero se debba essere confermata anche da altri soggetti (Stakeholder, società o cultura di riferimento, ecc.), in coerenza con la prospettiva di chi ritiene che il dato sia co-prodotto dal ricercatore e dai soggetti “oggetto” della ricerca e quindi che anche gli indicatori tratti da questi dati e i significati loro assegnati debbano essere a loro volta co-istituiti in maniera cooperativa e non imposti dal ricercatore. [Le Scienze Sociali si basano su una doppia ermeneutica : interpretano le forme di vita, le relazioni sociali, le credenze condivise che sono, a loro volta, significati, riferimenti di senso e perciò interpretazioni.] Concetto : può essere indicato da una pluralità di indicatori, tra i quali si scelgono, spesso in modo abduttivo, quelli da utilizzare e, nel converso, un indicatore è spesso riferibile a più concetti. Indicatore sociale : Gli indicatori sociali nascono negli anni 60 in America e si diffondono in Italia 10 15 anni dopo. Essi Nascono un bel tentativo di poter descrivere un oggetto poco conosciuto mediante alcune informazioni quantitative su alcune sue Proprietà rilevanti. Costituiscono un esempio di uso in chiave non solo descrittiva, ma anche critico prescrittiva, alcuni indicatori strutturali dinamici della popolazione che, nel loro complesso, evidenzia una situazione varia di disuguaglianza, disparità, iniquità, etc., o quantomeno mettono in luce l’esistenza e la portata di problemi sociali. Indicatori sociali ci interessano perché incorporano in qualche modo al loro interno un’istanza valutativa, in modo analogo agli indicatori utilizzati nel monitoraggio condotto ai fini valutativi. La domanda di indicatori sociali è nata nell’ambito del policy making piuttosto che in seno alla comunità scientifica e che attorno alla definizione degli indicatori sociali si giocano non solo partite teoriche metodologiche ma anche partite politiche: Tra paesi, tra soggetti collettivi. Si aggiunga che molto spesso gli indicatori vengono usati per costruire dei ranking che presuppongono dei valori ottimali degli indicatori stessi. Indicatori valutativi : Sono collegati al processo di definizione degli obiettivi e al modello del ciclo del progetto. Gli indicatori valutativi hanno i tre macro riferimenti principali: a) al modello del ciclo del programma (distingue tra impatti, risultati e realizzazione); b) la teoria del programma; c) le finalità della valutazione. Processo di costruzione degli indicatori Processo di costruzione di un programma 1 Definizione del concetto 1 Definizione dell’obiettivo generale 2 Scomposizione del concetto in dimensioni; scelta delle dimensioni rilevanti 2 scomposizione in obiettivi specifici e operativi 3 costruzione della dimensione operativa 3 definizione della realizzazioni, dei risultati, degli impatti inattesi 4 misurazione degli indicatori 4 individuazione di modalità di misurazione di realizzazioni, risultati, impatti 5 eventuale costruzione di un indice, in base al peso di ogni dimensione indicata sul concetto generale 5 eventuale costruzione di un indice, in base al peso dei diversi sub-obiettivi sul obiettivo generale Il ciclo del programma 8 Bisogni Questioni Problemi risultati impatti Obiettivi specifici Obiettivi generali
sperimentale e quello pragmatista; si pensa che la valutazione sia in grado di dimostrare l’impatto dei programmi o la loro validità Il secondo, da metà degli anni 70 circa metà degli anni 80, chiamato pessimismo dei programmi e scontro sulla valutazione ; qui si hanno le prime reazioni negative a quelli che vengono chiamati gli effetti perversi delle politiche del welfare, eh si fa molta più attenzione al processo di implementazione e alle influenze del contesto. In questo periodo all’ approccio positivista sperimentale si rinnova, e nasce quello costruttivista da filoni di pensiero ermeneutico. Il terzo, dall’inizio degli anni 80 in poi, è chiamato scomposizione dei programmi e pluralismo della valutazione, ed è quello in cui si provano diverse misure di policy e viene posta molta attenzione sulla utilizzazione delle valutazioni da parte di stakeholder, Amministratori e beneficiari. Qui l’approccio pragmatista viene integrato con l’attenzione alla qualità mentre l’approccio costruttivista dialoga con filoni provenienti dalle analisi dell’implementazione delle politiche. Ora è possibile aggiornare questa cronologia dando conto di innovazioni politiche che sono avvenute in seguito: [Valutazione di impatto: ritorno ai metodi e al movimento Evidence Based per riflettere su questo tipo di valutazione] Quarto periodo, Rimedi ai fallimenti delle amministrazioni. È il movimento della New public management (NPM) che promosso il fiorire di valutazione della performance delle pubbliche amministrazioni. Nasce alla fine degli anni 80 corner Reinventing Governament (Osborne e Geabler,
- e nei decenni successivi si espande dappertutto, nuovi sviluppi per l’approccio pragmatista della qualità. Quinto periodo, Rimedi ai fallimenti dei Programmi. È il movimento della Evidence Based Politics nato verso la fine degli anni 90 che ha promosso le revisioni sistematiche delle valutazioni di programmi simili per stabilire quali funzionano veramente, e che poi si è allargato alle valutazioni di impatto dei programmi di sviluppo. Qui ha ripreso slancio l’approccio positivista-sperimentale ma si è anche aperto un nuovo terreno critico, col filone della valutazione basata sulla teoria e con i metodi misti. In questi due ultimi periodi si chiede alla valutazione di dare risposte sul successo o fallimento di programmi sempre più complessi, sia per gli obiettivi che si pongono sia per le forze amministrative e sociali che mettono in campo. Ed è rispetto a queste sfide che i tre approcci principali si sono sviluppati, si e innovando rispetto a proprie precedenti impostazioni, si evolvendo con continuità, sia mescolandosi con altri approcci. Questa cronologia pone al centro dell’attenzione il rapporto tra valutazione e politica: si tratta di una scelta basata sulla natura specifica che si riconosce alla valutazione, di ricerca volta al miglioramento dell’azione, e non di semplice ricerca sociale. Se si considera la rivalutazione come ricerca sociale tout court ci si preoccupa unicamente della validità e attendibilità delle procedure di raccolta dei dati, e si insegue una sua evoluzione lineare in tecniche sempre più sofisticate; sei invece la si vede come rivolta al miglioramento dell’azione allora ci si porrà altri problemi riguardanti la sua rilevanza, l’etica, o la utilizzabilità. Non esiste una valutazione ottimale, così come non esiste una soluzione ottimale di un problema politico. La tipologia che propone la Stame vuole, a sua volta, ricondurre i tanti modelli presentati in letteratura ad alcune famiglie principale che chiama approcci; approccio che è più “soft” rispetto a paradigma. Un approccio e un insieme di modelli diversi, e quindi ha confini meno rigidi di quelli di un paradigma; inoltre gli approcci di cui parla coesistono, mentre i paradigmi si sostituiscono l’uno all’altro nel corso delle rivoluzioni scientifiche.
Poiché valutare significa dare un giudizio di valore su un’azione che si sta svolgendo, più o meno precisamente programmata, ciò che si hanno di caratteristico, e che costituisce il fondamento distintivo della tipologia, è l’elemento che funge da pietra di paragone. Quello positivista-sperimentale in cui l’elemento di confronto è rappresentato dagli obiettivi del programma, e la valutazione consiste nel vedere se e in che modo essi siano stati raggiunti grazie al programma. Quello pragmatista della qualità in cui ci si confronta con degli standard di qualità, e la valutazione consiste nel dare un parere su quanto ci si avvicini a quegli standard. Quello costruttivista del processo sociale in cui ci si confronta con ciò che viene considerato un successo dagli stakeholder, e la valutazione consiste nello spiegare perché in quella situazione quel risultato sia da considerare tale. Sintesi: 1° approccio -> L’elemento di confronto è rappresentato dagli obiettivi del programma, la valutazione ha la finalità di accertare se e come questi sono stati raggiunti. 2° approccio -> Si confronta con gli standard di qualità e la valutazione consiste nel capire quanto ci si è avvicinati a tali standard. 3° approccio -> Ci si confronta con ciò che viene considerato di successo dagli attori che sono direttamente coinvolti in quel programma e la valutazione consiste nello spiegare perché in quella situazione quel risultato sia da considerare tale. 4° approccio (basato sulla “teoria”) -> teoria= traduzione dal termine anglosassone, fa riferimento alle logiche di funzionamento. 1.2 Approccio positivista-sperimentale L’approccio positivista-sperimentale è nato negli USA contemporaneamente al varo dei primi programmi di War on poverty. È chiamato positivista-sperimentale perché condivide i presupposti positivisti della oggettività, della regolarità, della avalutatività, che vede incarnati nel metodo sperimentale. Questo approccio è stato concepito per programmi volti ad affrontare gravi e ricorrenti problemi sociali (disoccupazione, degrado urbano, criminalità, etc). Secondo una logica di azione razionale, si pensa che i programmi siano articolati in obiettivi da raggiungere, mezzi tramite cui raggiungerli, e risultati inattesi, e che si collochino in un giro politico che va da decisione a implementazione a valutazione a nuova decisione. Il compito della valutazione consiste nel verificare e misurare se gli obiettivi sono stati raggiunti: gli obiettivi sono l’elemento rispetto al quale avviene il confronto con il risultato ottenuto. Una volta definiti gli obiettivi si possono individuare le variabili da studiare e gli indicatori rispetto ai quali effettuare delle misurazioni. Per far fronte alle ovvie difficoltà di avere a che fare con obiettivi poco chiari che sono il frutto di compromessi politici, si è poi introdotta la distinzione tra -scopi (goals): esprimono delle aspirazioni non quantificabili -obiettivi (objectives): esprimono la meta da raggiungere e sono calcolati con indicatori quantitativi che misurano lo stato di una variabile Poiché il programma è formulato come un’ipotesi di un cambiamento desiderato, la valutazione tende a verificare se tale cambiamento si è verificato, e se ciò dipende veramente dal programma e non da altra concausa: lo scopo della valutazione è verificare l’efficacia del programma nel conseguire un obiettivo che dovrebbe risolvere un problema, e quindi la generalizzabilità di un tale intervento in altre situazioni simili.
L’analista deve interagire con i dati; affrontare il problema di avere i due gruppi tra i dati es. Bando di supporto allo studio: si studiano gli individui appena sopra la soglia che hanno ricevuto il supporto e quelli appena sotto che non sono rientrati nel gruppo (per cui quelli più simili). Tutte le (con)cause non sono molto tenute in considerazione perché nel piano di progetti si cerca di prevedere tutto anche se poi qualcosa comunque rimane fuori. Il limite principale di questo approccio è il problema della “scatola nera” ( black box ): Si può dimostrare che qualcosa si modifica dopo che è stato introdotto un input, o se è presente una variabile, ma non si può dire perché ciò avviene. Altro limite dell’approccio positivista-sperimentale è che si osserva solo ciò che si è predisposti ad osservare (le variabili ipotizzate come indipendenti e dipendenti), non si è attrezzati per scoprire e capire gli effetti inattesi. Ciò è una conseguenza stessa del disegno della valutazione, e della sottovalutazione di tutto quello che ha a che vedere con il processo di implementazione di un programma, ridotto al massimo nel comportamento di una variabile interveniente. Inoltre, i suoi risultati si possono conoscere solo dopo, anche molto dopo, la fine del programma, mentre politici (soprattutto quelli “intrappolati” come li definisce la Campbell) vorrebbero poter sapere subito come sta andando, dato che spesso il loro nome è legato alla riuscita del programma. [È un limite che in realtà caratterizza tutte le valutazioni ex-post]. Sintesi: Paradigma dell’azione razionale Uso strumentale Per risultati: effetto netto Metodi: o Quantitativi o sperimentali: quasi sperimentali Valutatore esterno Valutazione ex post Black Box: solo effetti attesi L’uso sperimentale della valutazione è finalizzato a migliorare cicli futuri. Bisogna essere certi che il contributo del programma sia la vera causa rispetto agli esiti e che questi non siano frutto di apporti da altri. Il metodo sperimentale tenda di rispondere ad una domanda per sottrazione: cosa sarebbe successo senza il mio programma? Per questo l’esperimento in questo campo si svolge con due gruppi target (sperimentale e di controllo). Limiti: o Da un lato non indago il come il perché di alcune cose perché non valuto la dimensione implementativa; dall’altro mi preoccupo di valutare esclusivamente gli effetti del mio intervento. Dare per scontato processi implementativi limita la completa valutazione. o Non si indaga il processo di attuazione o No matrice costruttivista o Si aspetta di vedere gli esiti ex post rispetto al programma Nonostante tutti i limiti, questo approccio per la sua idea di arrivare ad un effetto netto e diretto lo rende molto diffuso negli investimenti pubblici: la prospettiva sperimentale nella valutazione d’impatto. 1.3 Approccio pragmatista-della qualità
L’approccio è che chiamiamo pragmatista-della qualità riunisce due scuole per tanti aspetti diversi che hanno in comune la pietra di paragone: giudicare un programma in base ad un’idea di valore, che può essere un concetto di merito detenuto da attori interni al programma e/o da valutatori, o uno standard definito all’esterno del programma. Esso è nato in ambiente pragmatista, come opposizione intellettuale all’ approccio positivista. [pragmatica: corrente filosofica, in poche parole, che attribuisce valore a qualcosa che esiste nella misura in cui io possa individuarne uno sviluppo e degli esiti]. Scriven, fondatore dell’approccio, definisce la valutazione come una ricerca sistematica sul merito intrinseco ( merit ), Sul merito estrinseco ( worth ), sull’importanza ( significance ) Di un determinato oggetto. Merit è il valore intrinseco ad un’attività (es. un corso ha un det. valore perché l’insegnante insegna bene, standard di qualità), offerta secondo lo standard di qualità di quella attività; worth, è il valore estrinseco, ciò che deriva a qualcosa dal suo essere inserito in un ambiente o un sistema, e quindi che incontro ai bisogni dei destinatari, nel contesto in cui si svolge (es. quanto quell’insegnamento incontri gli interessi e i bisogni degli studenti; un corso che non funziona magari non dipende dall’insegnante o dai mezzi ma dal debito formativo che è più rilevante rispetto ad altri insegnamenti). [worth-> non è un elemento che ha valore in sé o in quanto io l’ho pensato ma ha un valore in quanto ha degli esiti e utilità] La “logica del valutare” tende a fornire una sintesi finale sulla performance del programma che consenta di mettere a confronto i diversi programmi. Essa si articola in quattro predicati della valutazione: stabilire dei criteri ( grading) , dare un punteggio ( scoring) , collocare in una graduatoria ( ranking) , sintetizzare i precedenti per consentire una allocazione di risorse ( apportioning ). La differenza sostanziale rispetto all’ approccio positivista consiste nel passare da un’affermazione descrittiva (cosa è successo?) e causale (cosa l’ha prodotto?) a un’affermazione valutativa (e allora?), ossia dalla raccolta di dati per l’accertamento che qualcosa è successo grazie a un intervento (c’è stato l’effetto?), al l’attribuzione di un valore, tramite un giudizio su quanto buono sia quell’intervento (è buono quell’effetto?). È la differenza tra da una parte la valutazione goal oriented dei positivisti, che mettendo il programma e i suoi obiettivi sopra tutto non indagano possibili effetti inattesi, e si forniscono un alibi per una pretesa neutralità valoriale del valutatore e, dall’altra, la valutazione goal free , in cui il valutatore non deve farsi influenzare dagli obiettivi del programma, e deve dare un giudizio, che sarà quindi più oggettivo, su quello che il programma ha effettivamente ottenuto. E darà tale giudizio in base alle proprie competenze, ai criteri ai valori virgola che sono “oggettivi” e propri alla situazione e al programma. Ciò che distingue la valutazione da ogni altra forma di ricerca applicata e soprattutto il fatto che porta a conclusioni valutative, e ciò richiede di identificare standard e dati di performance virgola e di integrarli. Scriven considera la valutazione una disciplina “trasversale” perché per dare un giudizio usa metodi e teorie sostantive di tutte le discipline che trattano degli specifici evaluandi, e perché il modus operandi della valutazione si adatta tutte le situazioni in cui si deve dare un giudizio. Il valore è : può richiedere un accertamento dei bisogni, ma anche tenere in considerazione i desideri, e ciò che viene creduto avere valore. Qui si colloca la differenza tra gli obiettivi dei decisori (che possono essere discutibili) e i bisogni dei destinatari dei programmi che sono oggettivamente accertabili. Gli standard possono essere legali, morali, politici, manageriali, estetici, scientifici virgola di qualità della vita, e di tutto ciò che può applicarsi al campo specifico, specialmente standard professionali. La legittimazione e importanza relativa di queste considerazioni spesso conflittuali dipenderà da considerazioni etiche, contestuali e funzionali, e deve essere presa in considerazione. Il valore, il processo e i risultati sono quelli che insieme generano le conclusioni valutative che vanno nella sintesi.
della valutazione di Guba e Lincoln. Questi autori enunciano così i : Pluralismo dei valori: vi può essere conflitto virgola e si deve cercare un accomodamento tra le parti coinvolte Costruzioni degli stakeholder: il valutatore è un allievo che apprende dagli stakeholder, è un maestro che trasferisce le costruzioni di altri stakeholder Correttezza: il valutatore è eticamente tenuto a promuovere le costruzioni e a chiarire valori di tutti gli stakeholder, e a produrre dei risultati in modo che gli stakeholder ne valutino la credibilità Merito intrinseco merit e estrinseco worth : soprattutto rispetto al secondo, tenere conto del contesto Processo negoziato: coinvolgere tutti gli stakeholder per stabilire il percorso da intraprendere, e negoziare nel caso di disaccordi In tal modo, la valutazione di quarta generazione viene presentata come un processo sociale e politico, collaborativo, di apprendimento/insegnamento: un processo emergente, con esiti imprevedibili, in cui il valutatore assume un ruolo di negoziatore e facilitatore. Per queste caratteristiche essa viene contrapposta alla terza generazione che sarebbe quella “del giudizio” dato dai valutatori esterni. Vi sono poi molti altri contributi attenti alla valutazione come attività che si riferisce ad un processo sociale e si svolge in un contesto politico ogni volta mutevole con cui i valutatori interagiscono. Inoltre, sono stati elaborati molti modelli che insistono sulla finalità della valutazione di sviluppare le capacità degli utilizzatori, siano essi stakeholder o beneficiari, come l’ empowerment evaluation , “la valutazione orientata all’utilizzatore”, e le varie tendenze di valutazione partecipata. Inoltre, presentano alcune affinità con questo approccio anche una serie di contributi provenienti dal mondo della policy analysis , che tendono a mettere in luce il processo attraverso cui si attuano i programmi, ciò che succede di atteso e inatteso. Questo approccio viene applicato non solo quando si ha che fare con situazioni nuove e con programmi pilota, ma anche perché si pensa che non esistano altri criteri di successo che quelli che vengono definiti dagli attori all’interno della situazione specifica. Ciò significa che la pietra di paragone è un concetto che si forma in un momento successivo al varo del programma, e non precedente: è quando si vede come affronta i problemi, lo si confronta con altre situazioni e si sente l’opinione dei vari stakeholder che si può formulare un giudizio su cosa funziona bene o male, su cosa possa essere considerato un successo, anche se ciò dovesse avvenire in base a conseguenze inattese. Ogni volta che si attua un programma esso muta a contatto con il contesto, e deve prestare attenzione al contributo dei vari attori e a cosa un programma diventa mentre viene attuato, molto più che a come è stato disegnato. E poiché i contesti sono molto diversi, le conclusioni raggiunte per un programma non potranno essere generalizzate ad altre situazioni in cui vengono approvati programmi simili. Tuttavia. Il valutatore dovrà fare appello alla propria esperienza per confrontare il caso analizzato con altri, più o meno simili, trovando aspetti rilevanti e analogie. L’approccio costruttivista è finalizzato ad un uso “conoscitivo” della valutazione, sia nel senso che esso tende a comprendere la situazione attraverso le interpretazioni che ne danno gli attori, a definire i problemi, a chiarire ciò che si può ottenere coi programmi; sia nel senso del “potenziamento” delle capacità dei beneficiari di utilizzare il programma per meglio gestire le proprie attività e favorire un processo apprendimento. Sintesi: Sono gli attori e il loro modo di reagire alle linee del programma a definire il programma stesso. Come sono stati raggiunti quegli esiti? Dimensione osservativa durante le fasi di attuazione
Tutti gli attori sono coinvolti in una valutazione partecipata (non solo il target ma anche i beneficiari) Il valutatore è coinvolto con gli attori e ne esamina i processi decisionali e gli stili Valutatore è facilitatore, mediatore, negoziatore, stimolatore che reagisce con gli stakeholder Tecniche qualitative: analisi di casi, interviste in profondità, strumenti di indagine Analisi di contesto (vi sono degli indicatori da prendere in considerazione in un’area geografica), contestualizzare l’intervento Nega qualunque valutazione ex-ante Finalità conoscitiva e di empowerment Limite -> in casi estremi e non auto-controllati il valutatore può essere troppo influenzato dal contesto e dagli attori nel valutare 1.5 Un quadro di insieme Positivista Pragmatista Costruttivista Domande Gli esiti corrispondono puntualmente alle Aspettative del programma? Il programma basato su questi criteri scelti è Stato utile per gli utenti? Come hanno reagito gli attori al programma? Sono stati registrati degli esiti non previsti? Pietra di paragone Obiettivi Criteri Successo Assunzioni/teoria Prevedere gli effetti tramite un programma razionale; -spiegazione causale -prevedere -implementazione La qualità diviene la priorità da rilevare; esiste un criterio/concetto di qualità a cui aspirare Rilevare gli effetti inattesi e non prevedibili di un aspetto sociale; analisi ex post Metodo principale di indagine Quantitativo, quasi- sperimentale Qualitativo: Merit e Worth; Giudizi degli esperti, logica di valutare (Scriven) -Esplorazione -partecipazione -comparazione Metodi Macro: matrici input- output e/o modelli econometrici Micro: esperimento e sondaggi Macro: indicatori del benessere sociale Micro: giudizi degli esperti e analisi multi- criteriale Macro: analisi comparata Micro: studi di caso e valutazione partecipativa Tecniche Sondaggi (e confronti) Giudizi degli esperti, soddisfazioni degli utenti Osservazione qualitativa tramite: Analisi di contesto Focus group Studi di caso Uso Strumentale per la decisione (progr. Politico per investimenti pubblici) Strumentale per rilevare efficienza (per il funzionamento delle linee del progr.) Conoscitivo, empowerment Le prime due generazioni sono quelle della “misurazione” (i test scolastici degli inizi anni ‘900) e della descrizione (gli studi sulle politiche di pianificazione del New Deal). Come si vede, sono tipi di valutazioni
La tipologia che propone la Stame vuole, a sua volta, ricondurre i tanti modelli presentati in letteratura ad alcune famiglie principale che chiama approcci; approccio che è più “soft” rispetto a paradigma. Un approccio e un insieme di modelli diversi, e quindi ha confini meno rigidi di quelli di un paradigma; inoltre gli approcci di cui parla coesistono, mentre i paradigmi si sostituiscono l’uno all’altro nel corso delle rivoluzioni scientifiche.
Donald Campbell è noto per essere stato il pioniere dell’approccio positivista sperimentale alla valutazione, e per aver presentato la metodologia del quasi esperimento come lo strumento di una società democratica, la società che sperimenta. Molto meno noto e invece per aver messo in dubbio la possibilità di usare quella metodologia, e per essere stato precursore anche di altre importanti svolte. È merito di Ray Pawson Avere rivelato questa seconda ascendenza distinguendo tra un Campbell metodologico è un Campbell filosofo della scienza. 2.1 La doppia eredità di Campbell Campbell afferma di essersi mosso dal “positivismo logico” (fede nell’esperimento nel metodo della randomizzazione al fine di ottenere la validità esterna o generalizzazione) alla “epistemologia evolutiva” del “post positivismo”, che si basa su: operare un bilanciamento tra variazione e ripetizione Usare il metodo investigativo per eliminare le ipotesi rivali plausibili Preferire a un’autocritica collettiva invece di ricercare una verità oggettiva Qui si trova la chiave di lettura per capire due sviluppi molto significativi della tradizione positivista, che si sono presentati sia come avere svolte (innovazione), sia come profondi ripensamenti (continuità). Per eliminare le ipotesi rivali con il metodo investigativo occorre guardare cosa c’è dentro la scatola nera, ciò che è avvenuto con la svolta della teoria che ha messo al centro della ricerca valutativa la teoria del programma invece del metodo. È necessario continuare a legare la risposta alla fatale domanda “cosa funziona” alla robustezza del metodo, Evidence Based Policy EBP che ha spinto a una rivisitazione di tutta la problematica della validità interna esterna. [Il movimento Evidence Based nasce attorno alle esigenze di produrre prove di efficacia nell'ambito della sanità pubblica; si parla infatti di Evidence Based Public Health, Evidence Based Medicine, Evidence-Based Health Care etc. È solo più recentemente di evidence-based police (EBP). In questo contesto i metodi controfattuali stanno acquisendo notevole credito in diversi contesti istituzionali regionali, nazionali e internazionali, non ultimo quello della politica di coesione, dove recentemente sono stati indicati come "il metodo” di valutazione da privilegiare. Il movimento EBP è molto attivo in questi ultimi anni, in particolare negli Stati Uniti. Il congresso americano ha ultimamente emanato nuove importanti iniziative per ampliare la realizzazione di programmi evidence-based. Recentemente una nota del direttore dell'office of Management and Budget della Casa Bianca ha annunciato un'importante iniziativa a livello governativo per finanziare valutazioni rigorose di programmi sociali, educativi, e di sviluppo economico, facendo esplicito riferimento all'approccio evidence-based per valutazione al fine di determinare what works? ciò che funziona in 17 agenzie federali.] 2.2 La svolta della teoria Il problema della scatola nera è stato presente ai valutatori, soprattutto quelli di impianto positivistico- sperimentale, fin dall’inizio, ma le risposte al problema della causalità venivano cercate esclusivamente in una metodologia di ricerca adeguata. Questa prevalenza del metodo era dovuta ad una corrispondente concezione riduttiva del rapporto tra politica e ricerca valutativa (House). Alla prima aspettava definire i valori da perseguire con l’azione, alla seconda semplicemente appurare se quei valori si erano tradotti in obiettivi, e se questi ultimi erano stati realizzati: ciò che restava fuori dal campo della valutazione era proprio la ragione in base alla quale si sarebbero dovuti realizzare determinati effetti, e la valutazione si arrestava di fronte alla scatola nera di programmi. Gli anni 90 sono stati contrassegnati dall’abbandono del primato del metodo ed al riconoscimento del ruolo della teoria. Questa svolta è stata dovuta sia alla constatazione che i programmi erano sempre più
complessi, e non era facile identificare le variabili indipendenti di riferimento, sia a una riflessione dei valutatori sui limiti delle metodologie utilizzate fino a quel momento. Il filone della valutazione orientata alla teoria è stato anticipato dalla theory-driven perspective di Chen e Rossi ma ha ricevuto la sua sistemazione teorica nella elaborazione della theory-based evaluation di Carol Weiss e della valutazione realista di Ray Pawson e Nick Tilley. Il limite di molte valutazioni sta nel fatto che non ha molto senso constatare se si sono ottenuti i risultati voluti, quando non si sa perché si sono ottenuti, e come ancora potrebbero ottenersi. Chen e Rossi sono stati i primi ad alzare la bandiera della valutazione guidata dalla teoria. La scatola nera è una scatola vuota e la valutazione guidata dalla teoria deve fornire il al programma, tra le altre cose, anche una buona teoria di scienza sociale. I passi da seguire in una valutazione sono: studiare il trattamento, discutere le opinioni degli stakeholder e dei valutatori sui risultati, esaminare come e perché un programma funziona (seguendo teorie normative e causali). 2.3 La valutazione basata sulla teoria: Carol Weiss Carol Weiss affronta gli stessi problemi ma diversamente. Una buona teoria del programma non è una teoria indifferente alla politica, ma una teoria di come la politica funziona in pratica. <La valutazione è un’attività razionale che si svolge in ambiente politico> (Weiss). Carol Weiss sostiene che i programmi hanno delle teorie, anche se confuse quanto il muddling through consente. La scatola nera è piena di teorie. Lei le chiama “ teoria del cambiamento ”: sono assunzioni, credenze tacite, ecc, spesso più d’una nello stesso programma. Oltre a queste individua le tante idee degli implementatori e di tutti gli stakeholders su come dovrebbe funzionare il programma. Aprire la scatola nera vuol dire capire che in ogni situazione il legame tra un input e un risultato può essere ottenuto tramite molte strade diverse, oltre ovviamente a non essere ottenuto. È questo il modo in cui Weiss suggerisce di mettere le teorie del programma al centro della valutazione. <<La valutazione è basata sulla teoria è un modo di valutare che porta in superficie le assunzioni sottostanti su perché è un programma dovrebbe funzionare. Poi segue queste assunzioni attraverso la raccolta e l’analisi di dati in una serie di fasi verso gli sbocchi finali. La valutazione segue così ogni passo per vedere se gli eventi che si pensava avrebbero avuto luogo nel programma si sono poi effettivamente realizzati>>. L’attività del valutatore consiste principalmente nel formulare le diverse assunzioni che possono sottendere perché è un intervento dovrebbe portare un certo risultato. Il valutatore sa che i nessi causali non sono affatto automatici e potrebbero spezzarsi per una serie di ragioni che dipendono dall’ambiente socio-economico e istituzionale e dai comportamenti degli attori: Ed è qui che il valutatore può giudicare sulla validità delle singole assunzioni, confrontare l’una con l’altra e proporre cambiamenti dei programmi. Le teorie del programma hanno due componenti: la teoria dell’implementazione e la teoria del programma : la prima si concentra su , la seconda a che fare con i meccanismi che intervengono tra l’erogazione del servizio previsto dal programma e il verificarsi di risultati di interesse. La loro differenza è analoga a quella tra variabili in moderatrici e variabili mediatrici (le variabili intervenienti che possono influire sulla relazione tra variabile indipendente, ossia il programma, e variabile dipendente, ossia l’esito). La teoria dell’implementazione tiene conto delle caratteristiche delle persone o delle situazioni (variabili moderatrici) che hanno la relazione più forte con l’esito: la teoria del programma si basa sul meccanismo per cui poi le cose avvengono: <il meccanismo del cambiamento non è costituito dalle attività del programma in sé ma dalla risposta che le attività generano> e che possono essere motivate da fattori sociali, culturali, psicologici, istituzionali, ossia da quelle variabili mediatrici che per Baron e Kenny <rappresentano il meccanismo generativo attraverso il quale la variabile indipendente è in grado di influenzare la variabile dipendente di cui si sta occupando>. La valutazione basata sulla teoria deve chiarire questi meccanismi, suddividere il programma nei suoi meccanismi successivi, e usare dati di diverso tipo per testarli. In questo modo è la valutazione è basata se lo sulla teoria aiuta a generare nuove teorie. Secondo Weiss per individuare le possibili teorie dei programmi occorre fare il <massimo uso del ragionamento logico, del buon senso degli operatori, di valutazioni precedenti e della ricerca nelle scienze sociali> e poi utilizzare il nostro lavoro di valutazione collettivo per mettere alla prova in condizioni operative realistiche. Poi si prosegue con il rapporto con gli stakeholder: le valutazioni basate sulla teoria non si occupano solo di cosa fanno i programmi, ma anche di come rispondono i partecipanti. Questa
