Scarica Statistica multivariata prof. Mazzeo e più Appunti in PDF di Statistica solo su Docsity!
ESAME MAZZEO
L’APPROCCIO POSITIVISTA
È nato negli Usa contemporaneamente al varo dei primi programmi di “guerra alla povertà”. Prende questo nome perché condivide i presupposti positivisti dell’oggettività, della regolarità e della avalutatività incarnati nel metodo sperimentale. Fa riferimento al movimento che sostiene l'azione pubblica dando molta fiducia al programmatore e alla sua capacità di razionalizzare il processo decisionale, ovvero quella di scegliere sempre la migliore delle soluzioni. Secondo questo approccio il valutatore è in grado di considerare tutte le possibili variabili, prevedere il corso d’azione e le conseguenze (valutazione ex-ante). Si aspettano, pertanto, di trovare e realizzare esattamente ciò che è stato previsto. L’approccio sperimentale porta ad attribuire tutte le eventuali differenze nel contesto al programma, senza considerare che queste possano essere prodotte da altre cause. Si basa sul paradigma dell’azione razionale , che prevede che ci sia un’istituzione che cerca di trovare la miglior soluzione possibile a partire da una profonda conoscenza del contesto. Il valutatore è sempre esterno al programma e all’organizzazione, in quanto l’approccio prevede un punto di vista oggettivo. La valutazione tende a verificare se tale cambiamento si è verificato e se ciò diventa veramente dal programma e non da altra causa: lo scopo è quindi quello di verificare l'efficacia del programma nel conseguire un obiettivo e quindi la generalizzabilità di tale intervento in altre situazioni simili. Il metodo utilizzato in questo approccio è quello dei disegni sperimentali e quasi sperimentali : il disegno sperimentale mette a confronto un gruppo sottoposto al programma con un gruppo equivalente che non riceve il programma (chiamato gruppo di controllo): le differenze osservate tra i due gruppi alla fine del programma dovrebbero indicare la forza del programma nel realizzare il risultato desiderato. Dato che però era difficile poter ricostruire una tale situazione da laboratorio, Campbell sviluppò una serie di disegni che mantenessero la stessa logica pur senza implicare la presenza fisica del gruppo di controllo. Questo però portò a capire che la validità dei loro risultati era esposta a vari tipi di minacce , egli distingue in: minacce alla validità interna e alla validità esterna. Le prime riguardano la possibilità di dimostrare che il programma è stato causa del cambiamento; le seconde riguardano la possibilità che quei risultati vengano generalizzati ad altre situazioni. Campbell aggiunge che per poter evitare queste minacce sarà necessario eliminare le ipotesi rivali che potrebbero spiegare il comportamento anomalo di una variabile. Le tecniche di ricerca usate in questi disegni quasi sperimentali sono tutte quelle quantitative : questionario, modelli econometrici ecc. Il limite di questo approccio è il problema della scatola nera: si può dimostrare che qualcosa si modifica dopo che è stato introdotto un input, ma non si può dire perché ciò avviene. Altro limite è che si osserva solo ciò che ci si aspetta e non si è attrezzati per capire gli effetti inattesi. Ulteriore limite è che i suoi risultati si possono conoscere solo dopo, anche molto dopo, la fine del programma.
L’APPROCCIO PRAGMATISTA
Si basa su due scuole ovvero l'elaborazione teorica di Michael Scriven e gli approcci manageriali della qualità. Essi hanno in comune la pietra di paragone: giudicare un programma in base a uno standard di qualità. Vengono valutati secondo i criteri di efficacia ed efficienza. Scriven definisce la valutazione come una ricerca sistematica sul merito intrinseco ( merit ), sul merito estrinseco ( worth ) e sull'importanza di un determinato oggetto o evaluando. Merit è il valore di un'attività secondo lo standard di qualità (un corso di francese ha valore perché è tenuto da un buon insegnante); worth è il valore estrinseco ovvero ciò che deriva dall'inserimento di quell'attività in un ambiente (per quanto l'insegnante di francese sia bravo il corso non ha valore in un contesto in cui sarebbe più utile un corso di spagnolo). La logica del valutare di Scriven vuole fornire una sintesi finale sulla performance del programma che consente di mettere a confronto i diversi programmi. Articola in quattro predicati della valutazione: stabilire dei criteri (grading), dare un punteggio (scoring), collocare in una graduatoria (ranking), sintetizzare i precedenti per consentire un'allocazione di risorse (apportioning). La differenza sostanziale di questo approccio con quello positivista consiste nel passare da un'affermazione descrittiva (cosa è successo?), ad un'affermazione valutativa, all'attribuzione di un valore tramite un giudizio. L'approccio pragmatista, infatti, si basa su una valutazione goal free, in cui il valutatore non deve farsi influenzare dagli obiettivi del programma che possono essere basati su pregiudizi e deve dare un giudizio più oggettivo possibile basandosi sulle proprie competenze e criteri che sono oggettivi. La qualità diventa quindi la proprietà positiva da rilevare: e poiché è un concetto astratto, chi tenta di scomporlo in vari aspetti, per cui si cercano degli indicatori rispetto ai quali stabilire degli standard di raggiungimento. L’approccio pragmatista è particolarmente adatto a valutare il rendimento dei servizi pubblici. Non sempre il valutatore si confronta con servizi esistenti, ma anche con sperimentazioni di servizi. Come si fissano gli standard di qualità? Il metodo più diffuso è quello di confrontarsi con un benchmark, come:
- Una soglia elevata
- Un’altra situazione simile
- La propria situazione nel periodo precedente L’approccio pragmatista della qualità col tempo si è identificato con la pratica della certificazione e con il sistema ISO9000, andando a cambiare la concezione del valutatore: da colui che da giudizi in base alle proprie capacità a colui che certifica il raggiungimento di standard. Questo approccio usa metodologie che si rifanno a modelli di giudizi degli esperti: individua un tot. Di esperti e pone loro diverse domande a cui rispondono autonomamente. Il valutatore poi confronta le loro risposte, cercando eventuali convergenze: se non le trova si passa ad un secondo round, magari con domande diverse, fino a che non arriva ad avere risposte omogenee su cui definire degli standard.
Positivista – sperimentale Pragmatista – della qualita’ Costruttivista – del processo sociale Pietra di paragone Obiettivi Standard Ciò che gli stakeholders definiscono “successo” Domande I risultati corrispondono agli obiettivi? Se e in che modo gli obiettivi sono stati raggiunti grazie al programma. I risultati corrispondono al criterio di qualità? È buono quello che è successo? Cosa è buono di quanto è accaduto? Assunzioni Con una buona programmazione si possono prevedere tutti gli effetti In ogni situazione esiste un concetto di qualità a cui aspirare La realtà è più ricca di quello che si può prevedere Importanza degli effetti inattesi Importanza del processo Metodo principale di indagine Sperimentale e quasi sperimentale La logica del valutare di Scriven Analisi multicriteri Comparazione Esplorazione Partecipazione Tecniche Sondaggi Analisi di soddisfazione degli utenti Giudizi degli esperti Studi di caso Interviste Focus groups Osservazioni Utilizzazione Strumentale per la decisione politica Strumentale per la gestione dell’amministrazione Conoscitiva Empowerment
LA VALUTAZIONE BASATA SULLA TEORIA:
Questo paradigma comprende gli approcci di Weiss, Chen e Rossi e realista di Pawson e Tilley. Sono accomunati dalla finalità di individuare la teoria, la logica secondo la quale quel determinato programma dovrebbe funzionare. Chen e rossi (guidata dalla teoria) sostengono che i programmi a scatola nera sono tali perché non hanno nessuna teoria e gli scopi non sono chiari. Il loro scopo è quello di fornire la teoria che manca al programma, cosa che potrebbe dare buoni suggerimenti ai policy makers e potrebbe far funzionare meglio i programmi. Ma come può essere individuata la teoria? (chen e rossi) a) Utilizzo nella precedente teoria e ricerca proveniente dalle scienze sociali accademiche b) Ricerca esplorativa diretta a scoprire i meccanismi causali soggiacenti al programma c) Estrapolazione della teoria implicita del programma propria degli stakeholder Uno dei punti di forza dell'approccio basato sulla teoria consiste proprio nel tentativo di distinguere chiaramente tra le varie componenti del trattamento nel suo complesso, distinguendo in particolare tra programma e sistema di implementazione, cosa che le valutazioni che seguono il modello della scatola nera non fanno. Nella prospettiva di Chen e Rossi il valutatore dovrebbe utilizzare la sua conoscenza per intrattenere una discussione con gli stakeholder e quindi ampliare l'oggetto della valutazione. Una delle importanti funzioni della teoria del programma è capire come e perché il processo di attuazione di un trattamento porti alle conseguenze osservate: queste informazioni sono fondamentali perché permettono agli stakeholder di migliorare eventualmente il programma. È inoltre importante studiare i processi che hanno condotto i beneficiari a scegliere un certo servizio e su come essi accolgono il trattamento e reagiscono, tutte informazioni che sono utili per la generalizzazione del programma in futuro. I valutatori sono d'accordo che una comprensione generale dei processi di implementazione può aiutare nello sviluppo di strategie appropriate nella sua misurazione (spesso il trattamento previsto da un programma può essere completamente trasformato durante il processo di implementazione). Distinguono due prospettive generali sull'implementazione: ingegneristica, basata sull'idea che è un piano generale di implementazione possa essere disegnato in modo efficace da un'agenzia centrale con un grado minimo di incertezza: tutto ciò che si deve fare è seguire il piano; del sistema sociale, basata sull'idea che l'implementazione implichi necessariamente incertezza: i processi di implementazione devono essere in grado di cambiare e di adattarsi a delle mutate circostanze di contesto. La prospettiva guidata dalla teoria non è vincolata ad un particolare metodo di ricerca , ma vede i diversi metodi come strumenti utili a raccogliere i dati relativi ad un programma, poiché la prospettiva guidata dalla teoria ha a che fare con molteplici questioni di diversa natura. Chen distingue due tipi di teoria in un programma: normativa, che rappresenta una guida per progettare ed implementare un programma, e causale, che chiarisce in che modo funziona il programma. Il ruolo del valutatore guidato dalla teoria è più attivo: consiglia e aiuta gli stakeholder a spostare la loro attenzione su modi alternativi di formulare la teoria. Carol Weiss (basata sulla teoria) : sostiene invece che i programmi hanno delle teorie, che chiama “teorie del cambiamento”. Ognuna di queste teorie è intesa come logica causale in senso generativo (qualcosa che si trasforma in qualcos’altro). L’attività del valutatore consiste nel “portare in superficie le assunzioni sottostanti sul perché un programma dovrebbe funzionare e quindi portare a
LA VALUTAZIONE REALISTA
Gli approcci di Chen e Rossi e Weiss hanno l’obiettivo di capire quale sia la teoria che fa funzionare il programma, con l’intenzione di valutare se esso ha avuto successo o meno. La valutazione realista invece vuole trovare la teoria alla base del programma per spiegare il cambiamento che il programma ha causato nel contesto, in base al modo in cui i soggetti agiscono nei confronti del programma: vogliono capire ciò che è stato ottenuto dalla combinazione tra meccanismo innescato dal programma e contesto. La teoria del cambiamento si basa proprio sulla configurazione CMO (contesto + meccanismo= outcome). In questo approccio il programma non è un oggetto da guardare in sé, ma viene visto come qualcosa che offre delle opportunità che gli individui possono o meno tradurre in azione: il programma crea delle condizioni, ma è il soggetto che le coglie vuole cambiare, e non si sa se vorrà cambiare come programma ipotizzava o in altro modo. Questo dipende da come si combinano contesto e meccanismo. Il cambiamento, quindi, non è un effetto del programma, ma è l'effetto del modo in cui i soggetti decidono di agire. Per questo, bisogna chiedersi non se è il programma che funziona, ma cosa funziona meglio, per chi, in quali circostanze e perché. Partendo da questo assunto quindi l'approccio realista non segue la causalità sequenziale, ma la causalità genetica. Per il primo tipo di causalità la causa del cambiamento è esterna al soggetto, ovvero dipende dal programma; nella genetica la causa del cambiamento è interna, e cioè dipende dai soggetti. Da questo assunto dipende anche il modo in cui viene concepito il disegno della valutazione e gli strumenti utilizzati. Il valutatore si chiede come il meccanismo potrebbe funzionare in un dato contesto e domanda a chi potrebbe saperlo di confermare o smentire: si tratta del metodo dell'intervista realista. Consiste nell'interrogare diversi tipi di attori coinvolti situati nei diversi contesti (beneficiari, operatori ecc.). Il punto chiave di questa teoria è che i programmi sono complessi e che non possono essere valutati con approcci che presuppongono una linearità nel cambiamento. Ad essere complessi infatti sono sia la realtà sociale sia i programmi. La realtà sociale è molto stratificata e quindi un input può agire su più dimensioni. I programmi sono anch'essi complessi, ovvero integrati e realizzati da molteplici organizzazioni ed è impossibile attribuire un risultato ad un solo agente. Secondo questo approccio, quindi, bisogna adottare una nozione realista di realtà sociale stratificata in cui si muovono attori che detengono valori differenti. I concetti della prospettiva realista sono particolarmente utili a spiegare i programmi intesi come sistema sociale. Radicamento La prospettiva realista intende le azioni, anche le più banali, in stretta relazione all'insieme più vasto di regole e istituzioni sociali cui esse implicitamente rimandano: una singola azione conduce un'altra solamente in virtù del posto che occupa nel complesso. È per questo motivo che i realisti respingono la concezione sequenziale della causalità e sostengono invece quella generativa. Meccanismi La prospettiva realista concepisce la realtà come stratificata a livelli differenti. E’ proprio questo che porta a concepire i rapporti causali in senso generativo: in questa prospettiva non si considerano le variabili semplicemente associate l'una all'altra, piuttosto cerca di spiegare come queste variabili si associano. In questa prospettiva un meccanismo è un resoconto della costituzione, del comportamento e delle interrelazioni di quei processi che sono responsabili dell'esito. I meccanismi
sociali concernono dunque le scelte degli individui e la capacità che essi possono trarre dall'appartenenza a un gruppo. Relativamente ai meccanismi di programma ci si aspetta che: a) Essi riflettano il radicarsi dell’intervento nella realtà sociale stratificata b) Abbiano l’obiettivo di spiegare il modo in cui i processi costituiscano il programma c) Mostrino come i risultati del programma derivino dalle scelte degli stakeholder e dalla loro capacità di metterle in pratica. Contesti La prospettiva realista, per contesto sociale , non intende solo il luogo spaziale, geografico o istituzionale in cui un programma è inserito, ma anche il complesso precedente di regole sociali, relazioni e sistemi culturali che caratterizzano quel luogo. Un compito cruciale della valutazione è attenzionare queste strutture preesistenti per capire in che misura esse possano agevolare o ostacolare il meccanismo di cambiamento progettato. La logica di base della valutazione realista è considerare i programmi come dei meccanismi (m) che vengono realizzati in un contesto (c): la relazione tra meccanismi e contesto produce gli esiti (e). I programmi funzionano se gli attori scelgono di farli funzionare e si trovano nelle condizioni appropriate per riuscire a realizzare questo obiettivo: essi offrono un insieme di scelte la cui realizzabilità varia a seconda delle circostanze in cui il soggetto si trova. Ciò che i realisti cercano di fare è catturare questo processo di scelta vincolata.
teoria del cambiamento. Fare considerazioni attente sul contesto aiuta il progettatore e il valutatore a guadagnare in chiarezza su fattori che possono giocare un ruolo significativo nel determinare la possibilità che hanno dato iniziativa integrata raggiunga gli esiti attesi. Far emergere e formulare una teoria del cambiamento Diversi autori sostengono che una delle prime cose che si chiedeva ai valutatori è quella di contribuire a specificare la teoria sottostante l'intervento. Altri sostengono che gli stakeholder e i valutatori costruiscono insieme la teoria dell'iniziativa al fine di massimizzarne l'utilità per tutti, sia come uno strumento di pianificazione e gestione, sia come un mezzo per l'empowerment dei partecipanti, sia come una guida per l'allocazione delle risorse, ed infine come modo per comunicare con tutte le componenti del campo nel loro complesso. Generare una teoria del cambiamento Questo è un processo che richiede diverse fasi e considerazioni: Si inizia con gli esiti di lungo termine, risalendo alle attività iniziali, e poi mettendo a confronto le risorse disponibili a quelle richieste. È relativamente facile identificare e ottenere consenso riguardo agli esiti di lungo termine, anche perché questi sono generalmente definiti in maniera così ampia da non suscitare controversie. Sono invece molto più difficili da specificare gli esiti iniziali e quelli intermedi, dato che in questo caso la conoscenza non è molto sviluppata. Combinare una molteplicità di teorie del cambiamento Uno dei contributi più importanti di questo approccio è che mostra come diverse teorie del cambiamento possano operare allo stesso tempo. È frequente che le iniziative integrate vengono lanciate senza che ci sia stata una accurata formulazione delle varie teorie del cambiamento e più spesso senza che esse siano state combinate, cioè, unificate in un'unica teoria. Tuttavia, non possono evitare di unificarle in almeno due punti: l'allocazione delle risorse e la valutazione. Misurare gli esiti e le attività In ogni valutazione, gli esiti e le attività devono essere tradotti in misurazioni osservabili. Nelle iniziative integrate è possibile che il processo di misurazione sia più complesso e difficile che nelle valutazioni di programma tradizionali. In questi casi, infatti, le misurazioni delle attività e degli esiti devono essere sviluppate a livelli multipli. Il valutatore, quindi, segue tre punti specifici per la valutazione basata su una teoria del cambiamento: 1- La misurazione delle attività delle iniziative integrate di comunità è altrettanto importante della misurazione dei suoi esiti.
2- La discussione relativa alla misurazione deve risolvere il problema della determinazione del livello minimo sufficiente 3- Il processo di far emergere e formulare una teoria del cambiamento fornirà informazioni importanti sulla misurazione delle attività e degli esiti. Le principali platee a cui è destinata la valutazione di un'iniziativa integrata devono convincersi che l'iniziativa ha funzionato se si possono dimostrare quattro punti: 1- Inizialmente ed in corso d'opera una teoria del cambiamento plausibile è ben specificata descrive le fasi che portano ad un cambiamento atteso 2- Le attività dell'iniziativa integrata che fanno parte di queste fasi vengono implementate in corrispondenza di valori soglia previsti 3- La grandezza dei cambiamenti per quanto riguarda gli esiti che seguono queste attività raggiunge i valori soglia previsti 4- Non si sono verificate modifiche di contesto ovvie e pervasive che potrebbero altrimenti giustificare tutte queste sequenze attese di attività ed esiti. Il principale punto di forza dell'approccio della teoria del cambiamento e il suo intrinseco buon senso. Questo approccio dovrebbe generare insegnamenti utili durante la vita dell'iniziativa e potrebbe produrre insegnamenti anche al di là della singola iniziativa. Ma forse il suo maggiore contributo alla valutazione è l'enfasi che pone sull'importanza del capire non solo se le attività producono effetti, ma anche come e perché, durante il percorso dell'iniziativa. Può anche rivelarsi uno strumento potente per promuovere la collaborazione e l'impegno a livello di comunità focalizzandosi su prodotti ed esiti. È importante ribadire che l'approccio della teoria del cambiamento applicato alla valutazione delle iniziative integrate di comunità è solo un approccio. Fornisce un quadro di riferimento potenzialmente utile per il valutatore e gli altri stakeholder nell'intraprendere la valutazione di un'iniziativa complessa. Non risolve tutti i problemi del valutatore ma può aiutare a rendere il compito più gestibile, utile e proficuo.
Questo approccio alla valutazione di impatto è stato criticato sotto tre aspetti:
- Viene messa in discussione l'idea di un Gold standard o gerarchia dei metodi , ovvero l'idea che un metodo di valutazione è considerato migliore rispetto a tutti gli altri. White sostiene che non c'è una gerarchia di metodi in assoluto, ma bisogna usare i migliori metodi possibile, in base all'unità in cui viene attuato l'intervento. Se l'unità è un ampio numero (tanti casi di attuazione di un programma) dovrebbero essere usati metodi quantitativi, ovvero esperimenti randomizzati, dove possibile, allora quasi sperimentali; se l'unità è un numero piccolo o medio allora i metodi migliori potrebbero essere quelli qualitativi. Inoltre, l'accento è posto sulla tecnica di raccolta delle informazioni e non sul contenuto del programma o sul modo in cui viene attuato. È necessario quindi distinguere l'appropriatezza degli approcci anche in base alle caratteristiche dei programmi. Bisogna infatti sottolineare che l'analisi controfattuale si presta a quei casi in cui gli interventi sono molto semplici, che si svolgono in un ambiente fisso in cui l'implementazione segua un preciso controllo, condizioni che spesso si configurano perché come sappiamo i programmi sono spesso complicati. Infatti, gli effetti possono ottenersi con modalità differenti, in cui diversi interventi si combinano tra loro (causalità multiple) o con diverse condizioni di contesto (combinazione di tipi di cause).
- Viene criticato l'uso esclusivo del modo in cui stabilire la causalità. La evidence based policy sostiene che ci sia solo un metodo per stabilirla e ignora modelli diversi di inferenza causale.
- Viene criticato il modo in cui si pretende di poter generalizzare il risultato di ciò che visto funzionare. Questo approccio infatti fa grandi sforzi per dimostrare la validità interna di una valutazione, ma poi si dà per scontato che da essa si possa dedurre la validità esterna. In realtà per fare una cosa del genere sarebbe necessario conoscere i principi causali della situazione in cui ci troviamo. Il movimento delle rassegne sistematiche si propone di usare metodi robusti di valutazione per poter avere maggiore voce in capitolo nelle decisioni politiche. Si concentra proprio sul problema della generalizzabilità dei risultati. Il movimento sostiene che accumulando le conoscenze di molti studi che trattano lo stesso, ho simile, programma sarebbe possibile ottenere un'evidenza che consenta di inferire una conclusione da un singolo studio ad altre situazioni, concetto fermamente sottolineato da Lipsey. La pratica delle rassegne sistematiche risale all'intuizione di Gene Glass, lo statistico che ha inventato le meta - analisi. Alla fine degli anni 80 si è cominciato a fare delle sintesi di valutazioni. Un'imposta speciale alle sintesi si è avuto in Inghilterra negli anni 90 sotto la spinta della politica basata sull'evidenza. La regola aurea di questo movimento e la replicabilità delle procedure e la controllabilità dei risultati e quindi il cuore di questi studi è costituito dallo stabilire protocolli che devono essere eseguiti da chiunque si voglia impegnare su particolari revisioni. I protocolli stabiliscono come definire le domande gli scopi delle revisioni, i criteri per l'inclusione dei casi, i criteri per la ricerca dei casi, come valutare gli studi, come sintetizzare l'evidenza, come diffonderla. Validità interna = causalità, conditio sine qua non per l’esistenza del progetto, sua capacità di avere un impatto
Validità esterna = generalizzazione, quando un progetto causa buoni risultati in un contesto, esso viene realizzato anche in un altro contesto.
LA VALUTAZIONE D’IMPATTO
1. Introduzione e obiettivo La valutazione di impatto mira a dimostrare che i risultati previsti derivano, sia direttamente che indirettamente, dalle attività di programma. L'interesse sull'impatto che ultimamente sta crescendo non viene solo da parte dei donatori ma anche da coloro che sono direttamente interessati dai programmi di sviluppo che vogliono conoscere quali risorse diritti e servizi deriveranno dal loro coinvolgimento nelle attività di programma. 2. Che cos’è la valutazione di impatto? a) Definire “impatto” e “valutazione d’impatto” Ci sono due modi in cui l'impatto e la sua valutazione vengono definiti. Il primo si concentra sul contenuto e il secondo sui metodi. “gli effetti a lungo termine, positivi e negativi, primari e secondari, previsti o imprevisti, prodotti direttamente o indirettamente da un intervento di sviluppo” “la stima dei cambiamenti nel grado di benessere degli individui, delle famiglie, delle comunità o delle imprese, che possono essere attribuite ad un particolare progetto, programma o politica”. Comparando i modi di definire la IE basati sul contenuto e sui metodi, si comprende perché il discorso si sia allontanato da una dipendenza esclusiva dagli esperimenti. I metodi sperimentali, infatti, si occupano degli effetti attesi, assumono che vi siano dei legami diretti tra interventi e risultati, si rivolgono agli effetti primari e solitamente guardano all'evidenza nel breve periodo. Quest'ultimo punto è importante perché in molti contesti gli effetti non sono visibili al termine del programma ma diventano chiari su un orizzonte temporale più esteso. Tuttavia, c'è da dire che non c'è un metodo migliore o peggiore: si sceglie volta per volta quello più adatto in base a cosa si vuole conoscere dei diversi programmi. b) Legare causa ed effetto Il discorso sulla valutazione di impatto si è originato dal movimento conosciuto come politica basata sull'evidenza, posizione che enfatizza il fatto che la politica dovrebbe essere basata sull'evidenza e capace di dimostrare il rapporto costi benefici e l'efficacia. La valutazione di impatto, quindi, diventa utile ai decisori politici per fornire l'evidenza che possa mostrare che le loro politiche hanno funzionato. Riguardo alla valutazione di impatto ci sono quindi due concetti importanti da sottolineare: il primo è che non c'è un toolkit metodologico appropriato per tutti i tipi di programmi (come detto nel paragrafo precedente). Infatti i programmi possono essere: difficili da misurare, infatti generano i risultati sia qualitativi che quantitativi; possedere percorsi causali complessi, di scarsa comprensione è difficile da decifrare; essere di scala ridotta, fatti su misura, e quindi impedire di realizzare un'analisi statistica, perché i valutatori non hanno un modello standard di intervento da comparare. Il secondo concetto importante nella valutazione di impatto e che i decisori politici sono diventati interessati a capire perché e come i programmi hanno successo o falliscono, oltre a capire se funzionano o meno, con l'obiettivo di migliorare gli attuali programmi.
Lo schema di questo triangolo enfatizza il fatto che molte di queste decisioni sono interconnesse. I tipi di domande valutative che possono essere poste determinano parzialmente la selezione dei disegni valutativi, ma devono anche tenere in considerazione le caratteristiche del programma per comprendere quali tipi di domande è possibile rispondere. Le domande valutative I vari committenti delle valutazioni porranno differenti tipi di domande sull'impatto. Sono quattro le domande tipiche a cui la IE è chiamata a rispondere: 1- In che misura può un impatto specifico essere attribuito all’intervento? Per percorrere questa strada devono esserci le precondizioni per la fattibilità degli esperimenti. In molti dei contesti di programma che sono complessi, richiedere una misurazione accurata in qualsiasi circostanza risulta inefficace. 2- L'intervento ha fatto una differenza? I programmi specifici sono spesso soltanto una parte di un quadro più ampio, in cui diverse organizzazioni lavorano insieme. Quindi rispondere a questa domanda serve ad identificare il proprio contributo e riconoscere il contributo degli altri. Tutto ciò è coerente con gli sviluppi metodologici avvenuti nell'ambito delle scienze sociali che si focalizzano sulla multi-causalità, sui pacchetti causali e sulle cause contribuenti. 3- In che modo l'intervento ha fatto una differenza? 4- l'intervento funzionerà altrove? L' analisi nella sola causalità è sufficiente solo quando l'obiettivo di una valutazione è l'accountability, ovvero dimostrare che i risultati sono stati raggiunti. Quando lo scopo è apprendere in modo tale da migliorare il successo oppure replicare i programmi altrove allora sono necessarie delle spiegazioni più approfondite. A questo punto diventa importante la teoria, che può essere una teoria preesistente quando deriva da precedenti ricerche ed esperienze; una teoria esplicita di un programma che si basa sulle assunzioni iniziali di chi ha elaborato il programma; è una grounded theory che e inizia a formularsi una volta che il programma si sta implementando o è in corso. I disegni valutativi Spesso nella valutazione si combinano i diversi metodi, pratica che dà vita ai cosiddetti metodi misti. Secondo la logica dei disegni della IE, nella IE in particolare è più utile usare disegni misti piuttosto che metodi misti. Ogni metodo ha i propri punti di forza e di debolezza, e combinarli porta
a sfruttarli appieno. Sono poche le valutazioni che pongono una sola domanda, quindi, è necessario spesso utilizzare più di un disegno che a sua volta userà una varietà di metodi rivolti a fornire risposte alle diverse domande relative all'impatto post dai committenti della valutazione e dagli stakeholder. Nei programmi complessi può essere ulteriormente utile identificare diversi livelli o scale di attività (es. Nazionale, regionale, provinciale e municipale. Le caratteristiche dei programmi La forma, la composizione, il luogo, l'obiettivo, le relazioni ed il ciclo di vita del programma variano enormemente. Queste caratteristiche si ripercuotono sul disegno della IE. Può succedere infatti nel caso dei programmi complessi che: si sovrappongono ad altri interventi che hanno obiettivi simili; sono costituiti da più interventi e progetti diversi; sono adattati al contesto locale e per questo motivo non sono standard; gli impatti attesi sono difficili da misurare, probabilmente intangibili. Queste ed altre caratteristiche dei programmi possono richiedere: decisione su quale sia l'unità di analisi, sviluppare la teoria del cambiamento, tenere in considerazione l'imprevedibilità e l'emergente.
4. Cosa possono fare i diversi disegni e metodi La principale intenzione della valutazione di impatto è quella di dimostrare il collegamento tra causa ed effetto, e spesso viene descritto come asserzione causale o creare le basi per l'inferenza causale. Esiste una classificazione delle basi per l'inferenza causale in quattro approcci principali: Schemi di regolarità, che dipendono dalla frequenza dalle associazioni tra causa ed effetto. Schemi controfattuali, che dipendono dalla differenza tra due casi altrimenti identici La causalità multipla, che dipende dalla combinazione di più cause che conducono ad un effetto La causalità generativa, che dipende dall'identificazione dei meccanismi che spiegano gli effetti. Inoltre, la partecipazione è spesso centrale nella progettazione ed implementazione dei programmi di sviluppo. Nonostante la principale giustificazione della partecipazione sia una questione di valore, gli approcci partecipativi possono essere anche visti attraverso una lente causale per tre principali motivi. In primo luogo, la voce degli stakeholder è essenziale per identificare gli impatti del programma. In secondo luogo, esistono teorie che sostengono che i programmi possono ottenere maggiori successi quando coloro che ne sono coinvolti ne sentono la ownership eh si impegnano rispetto agli obiettivi del programma. In terzo luogo, argomentazioni fondate nella filosofia della scienza sostengono che “le intenzioni degli attori costituiscono una fonte di causalità”. Questa forma di causalità si chiama agency degli attori.
Diversi approcci o l'inferenza causale sono associati a disegni diversi. I diversi tipi di disegni utili alla IE sono: Statistico : usato nei casi in cui vengono analizzati un ampio numero di casi e le loro caratteristiche (variabili) Sperimentale : laddove situazioni differenti ma simili sono comparate a situazioni nelle quali l'intervento è o non è presente. Basato sulla teoria : laddove ciò che succede è comparato con teorie preesistenti oppure con percorsi causali e identificati durante la valutazione. Basato su studi di caso : laddove diversi casi sono analizzati e gruppi di caratteristiche dei casi sono comparate in relazione ai risultati. Partecipativo : laddove il giudizio è l'esperienza del beneficiario e degli stakeholder sono meglio in grado di identificare le teorie del cambiamento più rilevanti ed i risultati più significativi in mezzo a diverse possibilità Basato sulle sintesi : l'addome risultati di un certo numero di valutazioni sono combinati al fine di raggiungere un giudizio basato su esiti cumulativi. Queste sono delle grandi categorie di disegni valutativi che possono assumere di volta in volta delle forme specifiche, come succede nel caso dei disegni sperimentali che includono anche i quasi- esperimenti. La causalità multipla, una delle evoluzioni più rilevanti delle scienze sociali, sta diventando prevalente nella pratica valutativa e nella IE. I programmi sono visti come cause contribuenti, ossia un fattore insieme a molti altri o una parte di un pacchetto casuale. Secondo questa logica il successo di un programma dipende da cos'altro esiste o è accaduto intorno ad esso. I disegni basati sulla teoria o sullo studio di caso (val. Realista), aiutano i valutatori ad affrontare al meglio la questione della causalità multipla. L'idea delle cause contribuenti è importante per lo sviluppo socioeconomico e la cooperazione internazionale. L’autore inoltre segnala alcune importanti scelte nell’ambito dei disegni per la IE, tra cui: Se la valutazione vuole attribuire un impatto netto ad un intervento allora gli esperimenti sono la scelta migliore. Questo comporta un sufficiente controllo per manipolare l'intervento (ovvero per separare il gruppo sottoposto al programma dal gruppo di controllo) e un numero di casi sufficiente per un’analisi statistica. Se la valutazione vuole capire se un programma ha contribuito al cambiamento desiderato sarà necessario un disegno basato sulla teoria o basato su studi di caso. Se la valutazione è interessata alle spiegazioni sarà altrettanto necessaria la teoria. In particolare, saranno disegni capaci di scoprire i fattori contestuali (es. Disegni partecipativi). L’ultimo punto sottolinea come nella IE solitamente si parli di disegni ibridi e raramente puri. Nella tabella vengono messe in relazione le implicazioni metodologiche dei disegni in relazione alle diverse domande valutative.
