Riassunto di Valutare il successo delle politiche pubbliche. Metodi e casi, Sintesi del corso di Economia Pubblica

Scarica Riassunto di Valutare il successo delle politiche pubbliche. Metodi e casi e più Sintesi del corso in PDF di Economia Pubblica solo su Docsity! VALUTARE IL SUCCESSO DELLE POLITICHE PUBBLICHE di A. MARTINI e M. SISTI PARTE I: I CONCETTI GENERLI CAPITOLO 1: Politica pubblica, implementazione ed effetti Il concetto di valutazione: - valutare serve ad individuare i migliori, meritevoli di ricevere premi e ricompense; (meritocrazia); - valutare significa tenere sotto controllo l'operato delle organizzazioni (pubbliche) al fine di individuare e correggere le performance negative (controllo); - valutare è uno strumento che rendere conto all'esterno dell'uso fatto delle risorse assegnate; (responsabilità); - valutare serve ad apprendere le cause degli errori commessi (analisi critica); - valutare significa quantificare gli effetti pro dotti da un intervento (pubblico) al fine di giudicarne l'impatto sulla società. -Definizione di valutazione Si definisce valutazione quell’attività tesa alla produzione sistematica di informazioni per dare giudizi su azioni pubbliche con l’intento di migliorarle. 1. L’aggettivo sistematica riferito alla produzione di informazioni allude al suo carattere fondamentalmente empirico: essa si basa sull’osservazione della realtà, condotta attraverso procedure condivise da una comunità scientifica di riferimento. (si distingue dall’espressione di considerazioni di carattere personale e soggettivo che si fondano sull’esistenza di gusti e sensibilità individuali). 2. Ogni tentativo di valutazione comporta sempre l’espressione di un giudizio basato su un qualche tipo di confronto. Senza un confronto infatti non ci può essere una valutazione. L’elemento fondamentale diviene dunque l'individuare questo termine di confronto. Il problema di fondo consiste nel chiarire qual’ è il termine di confronto utilizzato per formulare tale giudizio, perché è stato scelto proprio tale termine e come si è giunti alla sua costruzione. A volte, ma alquanto raramente, il termine di confronto è facilmente individuabile in quanto indicato nei documenti ufficiali, come obiettivo da raggiungere. Molto più spesso tale termine è implicito, ambiguo, difficilmente riconoscibile e neppure esprimibile attraverso un semplice numero. In questi casi sta all’abilità del valutatore individuare il termine di confronto più appropriato e trovare le argomentazioni più convincenti al fine di farlo accettare come credibile e utile. 3. In terzo luogo, la valutazione incorpora un fondamentale intento migliorativo dell’attività pubblica. L’essenza stessa della valutazione sta nel suo essere orientata all’azione o alla decisione. Non si valuta per il piacere di valutare, è la volontà di contribuire alle decisioni a costituire la vera ragion d’essere di questa impresa cognitiva, ogni valutazione nasce per produrre risultati analitici utilizzabili da chi decide. L'ambizione di ogni valutatore consiste, dunque, nell’aiutare chi ha responsabilità decisionali ad assumere scelte più informate e consapevoli. 4. Da ciò discende il quarto elemento costitutivo: la valutazione deve essere ritagliata sulle particolari esigenze conoscitive che alcuni individui nutrono nei confronti dell’intervento che viene indagato. Di volta in volta il valutatore costituisce la sua strategia di analisi, partendo dalle specifiche domande che alcune persone si pongono. Abbiamo quindi 4 caratteristiche fondamentali: 1. Sistematicità nella produzione di informazioni; 2. Individuazione di un termine di confronto utile alla formulazione di un giudizio; 3. Intento migliorativo; 4. Attenzione alle esigenze conoscitive dei possibili utilizzatori. NB: Questi sono i punti alla base della valutazione del successo di una politica pubblica. Ma cos’è una politica pubblica? Attribuire un significato univoco all’espressione politica pubblica è un’operazione molto complessa, dobbiamo infatti distinguere tra due concetti, molto diversi tra loro, che nella nostra lingua vengono ugualmente ricondotti al termine politica, ma che gli anglosassoni separano nettamente grazie all’uso di due vocaboli: • Politics o Politica come competizione per la conquista del potere: fa riferimento a quel sistema di relazioni competitive che si instaurano tra soggetti (gruppi o individui) che ambiscono a conquistare il potere di assumere decisioni in nome e per conto della collettività. L’idea chiave sulla quale tale concetto si fonda è la ricerca del potere • Policy o politica pubblica come soluzione a problemi collettivi: fa riferimento a un insieme di azioni decise da un attore o da un gruppo di attori, al fine di affrontare un problema collettivo. In questa accezione la precedente idea del potere sparisce del tutto, diventa anche meno rilevante il ruolo istituzionale del soggetto che decide tale politica. In questo caso, la politica pubblica può essere intrapresa anche da soggetti privati non ufficialmente legittimati a governare e a decidere per gli altri. Ad esempio, da organizzazioni del terzo settore che abbiano a cuore un certo tema di rilevanza sociale e intendano agire per cambiare le cose. Ciò che veramente conta ai fini di questa specifica analisi è la rilevanza collettiva del problema sulla quale essa interviene ed è tale caratteristica a qualificare come pubblico un intervento. In sostanza, se l'attività in esame può essere interpretata come il tentativo di rispondere ad un problema collettivo, indipendentemente da chi sia l'ideatore, tale attività può essere definita politica pubblica. Quindi in sintesi: Il carattere pubblico di una politica, non deriva dalla natura dell’ente che lo delibera, e nemmeno dal fatto che essa sia finanziata da risorse provenienti dall’erario, ciò che conta è la rilevanza collettiva del problema sulla quale essa interviene; è tale caratteristica a qualificare come pubblico un intervento. - Valutazione dell’implementazione, cioè com’è stata costruita, disegnata e attuata la politica. Per implementazione si intende quella fase della politica pubblica nella quale le intenzioni dei policy makers si trasformano in attività, prodotti e realizzazioni concrete. - Valutazione degli effetti prodotti Il problema dell’implementazione: Una politica pubblica può essere definita di successo per il solo fatto di aver trovato concreta attuazione, in questo caso il successo coincide con la capacità della politica di evolversi da intenzioni a fatti reali. Questa transizione è descritta come il passaggio che separa la policy fiction (disegno astratto della politica elaborato dai policy makers) dai policy facts. Oltre ai casi limite di completa non attuazione, esiste una varietà di situazioni nelle quali le politiche pubbliche sono attuate solo parzialmente, in questi casi si può parlare di deficit di implementazione. L'esistenza di un defici dell’implementazione rende assai complicato giungere alla formulazione di un giudizio univoco sul successo attuativo della politica. L’analisi di implementazione o analisi del processo d’attuazione mira a capire quanto una politica pubblica sia rimasta fedele nel corso della sua attuazione alla formulazione originale, alle intenzioni originali dei policy makers; cioè se vi sono state delle discrepanze e quali ne sono le cause. Il processo di trasformazione delle idee di policy in azioni concrete viene spesso raffigurato come una black box (scatola nera) che l’analista è costretto a scoperchiare se intende portare alla luce tutti gli elementi in essa contenuti. Il problema degli effetti: Si deve poi fare una stima degli effetti di una politica pubblica, bisogna valutare cioè la capacità dell’intervento adottato di trasformare la realtà nella direzione voluta. Dire che una certa azione ha prodotto degli effetti significa sostenere una relazione causale tra un qualcosa che è stato fatto e un qualcos’altro che si osserva accadere. Se la politica pubblica è considerata un trattamento volto ad affrontare un problema collettivo, il suo successo non può essere misurato soltanto in relazione al fatto che tutto sia andato come previsto dal punto di vista dell’attuazione. Rimane ancora da capire se, e in che misura, tutto ciò che è stato realizzato si sia rivelato utile a produrre il cambiamento desiderato nel fenomeno che ha motivato la nascita di quella politica. Quando l’attenzione si sposta dal tentativo di capire cosa è stato fatto a quello di comprendere se ciò che è stato fatto abbia contribuito a trasformare la realtà, si passa ad affrontare la questione della identificazione e stima degli effetti. La fallacia del <post hoc ergo propter hoc> La nostra attitudine a trovare nessi causali, basandoci su un semplice confronto prima-dopo, ci fa talvolta cadere in una trappola concettuale, quella del post hoc ergo propter hoc secondo cui tutto ciò che accade dopo qualcosa, accadrebbe anche a causa di quel qualcosa. Tale attribuzione di causalità è poco difendibile, in quanto si basa sull’ipotesi che in assenza di un determinato intervento pubblico, nulla sarebbe cambiato nella realtà. Ma la realtà assai raramente resta immobile, le cose cambiano spontaneamente, per mille ragioni diverse, senza che qualcuno debba intervenire per farle cambiare. Dunque, l’effetto non emerge da un semplice confronto tra prima e dopo l’intervento, in quanto il cambiamento osservato potrebbe nascondere un effetto di segno ed intensità diversi. Il controfattuale (ovvero cosa sarebbe successo) Per giungere alla determinazione esatta dell’effetto, sarebbe necessario sapere con altrettanta esattezza cosa sarebbe successo in assenza di intervento. L'informazione su questa situazione ipotetica, ovvero cosa sarebbe successo in assenza di intervento, prende il nome di controfattuale. Essa si contrappone all’informazione fattuale ovvero ciò che è realmente accaduto dopo che l’intervento è stato realizzato. Quindi l’effetto della politica è la differenza tra quanto è accaduto dopo l’attuazione di quella politica (fattuale) e quanto sarebbe accaduto se quella stessa politica non fosse stata realizzata(controfattuale). Il primo termine di questa differenza è osservabile: è sufficiente prendere nota su cosa accade a coloro che sono stati esposti alla politica. Il secondo termine, invece, non potrà mai essere osservato, in quanto la situazione che dovremmo descrivere non si è realmente verificata. Il fatto che la situazione controfattuale non sia osservabile non dà la certezza di quale sia l’effetto prodotto di una politica. In sostanza, non saremo mai in grado di conoscere la verità sugli effetti. Se non ci è concesso osservare direttamente il vero effetto, è comunque possibile individuare dei modi per conoscerlo di riflesso. Nel valutare gli effetti di una politica non si ha l’ambizione di costruire certezze assolute. Ci si accontenta di raggiungere approssimazioni. Tali approssimazioni sono ottenute sostituendo al valore controfattuale un altro valore che abbia le caratteristiche di poter essere osservato e al quale venga riconosciuta la proprietà di avvicinarsi a ciò che sarebbe successo ai soggetti esposti alla politica, se non lo fossero stati. I metodi per valutare gli effetti di una politica, sono perciò strategie che mirano a ricostruire il controfattuale attraverso l’utilizzo di informazioni disponibili. PARTE II: VALUTARE L’IMPLEMENTAZIONE DELLE POLITICHE CAPITOLO 2: Quando valutare l’implementazione Chi valuta l’implementazione valuta il passaggio da intenzioni ad attuazione delle politiche, nel tentativo di capire che cosa è realmente accaduto in seguito ad una decisione di policy e di giudicare se quello che è accaduto può essere considerato desiderabile, cioè se appare in linea o meno con quanto era previsto nel disegno originario dell’intervento. Secondo questo tipo di analisi, il metro di giudizio si basa su un’idea piuttosto semplice: quanto più ciò che è stato realizzato nella messa in opera dell’intervento è conforme ai desideri iniziali di chi ha promosso la politica, tanto più il giudizio sull’implementazione sarà positivo. In realtà, le cose sono più complesse e giungere a formulare un giudizio sul successo attuativo di una politica è assai più difficile. 1. Una prima difficoltà è data dal fatto che il disegno originario della politica spesso non è chiaro e risulta in termini vaghi ed ambigui; 2. Per quanto riguarda il concetto di <intenzioni dei policy makers>, risulta difficile individuare in concreto chi sono i policy makers, ovvero le persone che hanno avuto un ruolo nella costruzione della politica 3. Anche dopo aver individuato i policy makers, difficilmente si riuscirà ad avere a che fare con intenzioni ben definite ed agevolmente interpretabili. L’analisi di implementazione presenta un vantaggio: può essere condotta su qualsiasi tipo di politica indipendentemente dal livello di complessità dell’intervento, dal suo ambito di pertinenza, dalla qualità di risorse investite o dal tempo a disposizione per portare a termine lo studio. Queste caratteristiche influiscono su alcune scelte fondamentali che riguardano l’impostazione dell’analisi, ma non sono tali da escluderne l’impiego. Siamo quindi di fronte ad un tipo di valutazione molto flessibile. Se è vero che l’analisi di implementazione è sempre possibile, esistono dei casi in cui il suo utilizzo appare più opportuno: → Quando tutto cambia. L'esigenza di ricorrere all’analisi d’implementazione può emergere a seguito di una politica di riforma che abbia modificato le regole che disciplinano un certo ambito di intervento pubblico o un settore della vita collettiva. Il principale oggetto di indagine è il modo in cui i soggetti coinvolti nella riforma reagiscono alle novità introdotte. → Quando si delega tutto (o quasi). Ad esempio le P.A. si trovano spesso nella situazione di erogare finanziamenti a soggetti terzi per la realizzazione di interventi di vario tipo, legati in qualche modo ad una medesima finalità di policy. La decisione di cosa fare in pratica per agire su un certo problema collettivo viene demandata dal centro (soggetto finanziatore) alla periferia (soggetti finanziati). In questo processo di delega l’ente finanziatore, che dovrebbe mantenere funzioni di coordinamento e programmazione, stenta ad avere una chiara visione di quanto viene realizzato sul territorio (c’è una perdita di informazione). La necessità di rispondere alle domande - In che modo i soggetti finanziati utilizzano le risorse a loro disposizione? Quali soluzioni hanno adottato? A favore di chi? - può richiedere l’avvio di un’analisi di implementazione. → Quando si sperimenta qualcosa di nuovo. In caso di interventi pilota, nati per mettere alla prova la fattibilità di una soluzione di policy, prima che questa venga adottata su scala più ampia. In quasi tutti i progetti pilota, i due tipi di valutazione, analisi controfattuale degli effetti e analisi d’implementazione, svolgono funzioni tra loro complementari. → Quando si sa già se le cose stanno funzionando (e ci si chiede il perché). L’analisi d’implementazione può essere condotta su interventi mirati di cui si sia già accertata la capacità o l’incapacità di produrre i risultai sperati. L’analisi qui è finalizzata a capire come e perché la politica abbia dimostrato di poter funzionare o meno, in un determinato contesto, presso una certa popolazione di destinatari. Il problema non è capire se e quanto la politica funzioni ma cosa esattamente la faccia funzionare. Quali sono i fattori – comportamenti, situazioni, eventi – che hanno aiutato (oppure impedito) la produzione degli effetti previsti? Le domande sui meccanismi causali rappresentano il terreno più tipico dell’analisi d’implementazione down per cui l’implementazione è un corso d’azione lineare che discende da un’autorità di governo centrale e, passando attraverso la collaborazione di soggetti locali, incaricati di svolgere precisi compiti, raggiunge una certa collettività, bersaglio della politica. Alla base vi è l’idea che l’ente pubblico sovraordinato, nel varare l’intervento, persegua razionalmente uno specifico obiettivo di cambiamento e progetti le attività che seguiranno in modo che siano coerenti con tale obiettivo. Ciò che può andare storto in questo processo deriva da carenze prodotte dalla scorretta applicazione di questo modello. La seconda scuola di pensiero è quella bottom-up secondo cui per comprendere la realtà dell'implementazione, occorre leggere la politica attraverso gli occhi degli operatori che erogano i servizi. In questa prospettiva l’implementazione è un processo fluido che si ramifica e si differenzia a livello locale, sia negli obiettivi da raggiungere che nelle attività realizzate. Qui tutto o quasi sembra essere fuori dal controllo dell’ente centrale. Un modo per classificare le domande sull’implementazione consiste nel ricondurle alle 4 fasi che tipicamente compongono l’attuazione di un intervento pubblico: - La preparazione della politica - La selezione dei beneficiari; - L’erogazione del trattamento ai beneficiari - La reazione dei beneficiari e dell’ambiente circostante. CAPITOLO 4: Tre obiettivi conoscitivi per l’analisi d’implementazione Secondo la classificazione proposta da Alan Werner, gli obiettivi conoscitivi dell’analisi d’implementazione si articolano su tre livelli distinti: 1) Descrivere cosa è stato realizzato nella messa in opera dell’intervento, chi sono i responsabili delle attività svolte e chi ne riceve i benefici o ne subisce le conseguenze. 2) Giudicare se ciò che è stato fatto corrisponde al disegno ideale della politica, così come ricostruito dal valutatore. 3) Spiegare perché un intervento sta, o non sta, funzionando nel modo previsto. Nell’analisi d’implementazione i tre obiettivi -descrivere, giudicare e spiegare- coesistono e sono strettamente legati: se uno soltanto di questi manca, la valutazione non può dirsi completa. In base alle particolari circostanze nelle quali opera, il valutatore individua le unità di analisi che intende osservare. Per unità di analisi si fa riferimento alle singole entità osservate, prese in considerazione dallo studio nei loro attributi fondamentali. Di solito su una ricerca sull’implementazione ci si concentra su tre tipi di unità di analisi: 1) I soggetti attuatori, organizzazioni e individui impegnati nella somministrazione dell’intervento (competenze, struttura organizzativa, collegamenti); 2) I trattamenti erogati, ovvero l’applicazione delle regole o la fornitura dei servizi indirizzati alla popolazione destinataria della politica (modalità di somministrazione, tempo, costi); 3) I destinatari dell’intervento, coloro ai quali il trattamento è diretto (caratteristiche, atteggiamenti, relazioni). Una volta scelto che cosa osservare bisogna scegliere quando le unità di analisi devono essere osservate (in quali momenti, con quale cadenza, per quanto tempo), di solito si descrive la stessa unità di analisi sia prima che dopo l’avvio dell’intervento. Dietro alla produzione di un dato vi è una persona che guarda, ascolta, interpreta, registra, annota. Anche l’informazione apparentemente più oggettiva rappresenta una lettura parziale della realtà. È necessario dunque individuare il soggetto più adeguato a fornire l’informazione che può essere utile a descrivere quel particolare elemento di interesse. In generale è possibile distinguere 4 categorie di soggetti osservanti: - Lo stesso valutatore che sta conducendo l’analisi; - L’osservatore ad hoc, reclutato esclusivamente per registrare informazioni (ha fatto un training); - L’attore protagonista della politica; - Il testimone esterno senza un ruolo attivo nella politica. Il valutatore deve avere l’abilità di interpretare le informazioni raccolte, anche sulla base di ciò che è stato descritto da altri soggetti. La pratica di incrociare più informazioni provenienti da varie fonti informative allo scopo di ottenere descrizioni più credibili della realtà è definita “triangolazione”. Monitoraggio sul processo d’attuazione. Il monitoraggio è il documentare in modo sistematico l’evolversi di alcuni aspetti chiave della messa in opera di una politica pubblica. Esso può coincidere con il momento puramente descrittivo dell’analisi di implementazione. Giudicare le realizzazioni compiute: nella maggior parte dei casi, il dover essere di una politica pubblica, deve essere ricostruito dal valutatore con il contributo offerto da altri soggetti. Vi sono 3 diversi termini di confronto che possono essere impiegati per giudicare l’attuazione di una politica: 1) I target (/standard) quantitativi che riflettono le aspettative di chi ha disegnato la politica. Qui si fa un confronto tra le indicazioni date dai policy makers e quanto è stato realmente realizzato. I targetassumono uno scarso valore conoscitivo (ex post), ma mantengono un forte valore prescrittivo ed incentivante (ex ante). 2) L’esperienza di altri che hanno condotto interventi simili. Si tratta di crearsi dei benchmarks che consentano di capire se e in che misura poteva andare meglio. 3) Le opinioni dei beneficiari, a volte possono essere rimandate alla soddisfazione dell’utenza. Gli elementi in comune sono la natura dell’informazione raccolta e la finalità della rilevazione. Ciò che fa la differenza tra le due forme di valutazione è il tipo di giudizio espresso e l’utilizzo che di tale giudizio viene fatto. Nell’indagine di customer satisfaction lo scopo è migliorare la qualità di una prestazione in base alla valutazione degli utenti senza domandarsi se essa sia utile a coloro che la ricevono. Nel caso dell’analisi d’implementazione più che ricercare le amministrazioni colpevoli di una performance scadente, l’analisi prende in considerazione l’eventualità che lo stesso disegno della politica possa essere manchevole in qualche sua parte, oppure che qualche imprevisto abbia prodotto un risultato negativo per i beneficiari. Il giudizio sull’attuazione dipende sempre dal termine di confronto scelto, ovvero da come si decide di interpretare una determinata situazione. Spiegare le criticità incontrate: Alla descrizione di cosa è accaduto e al tentativo di giudicare ciò che possa essere considerato un bene o un male, si accompagna la necessità di spiegare il perché di quanto accaduto. Tentare di spiegare un fatto che si è osservato, individuandone i motivi che lo hanno determinato significa affrontare il problema della causalità. Nel caso dell’analisi degli effetti, il problema è stabilire se una certa causa ben individuata ha prodotto una conseguenza su un determinato fenomeno d’interesse e, nel caso, identificare la misura di tale conseguenza. Nell’analisi di implementazione, il problema è scoprire quali possono essere le varie ed eterogenee cause degli eventi osservati durante il processo d’attuazione di un intervento. I passi fondamentali che segnano il processo di analisi sono: - Generare ipotesi alternative sui motivi che hanno portato al manifestarsi di certi accadimenti. - Individuare, tra le varie ipotesi formulate, quelle più plausibile e convincenti, sulla base dell’evidenza empirica raccolta. - Fornire indicazioni per un possibile cambiamento nelle modalità attuative così da rimuovere le cause d’insuccesso. Le ipotesi sulle cause delle criticità devono essere testate raccogliendo informazioni ad hoc. Il modo migliore per verificare la bontà delle spiegazioni avanzate si basa sul confronto tra i diversi siti nei quali la politica è stata implementata. L’ultimo passo dell’analisi di implementazione consiste nel tentativo di formulare indicazioni per le modifiche delle pratiche gestionali che si sono rivelate alla prova dei fatti meno indovinate o per il cambiamento nel disegno stesso della politica. Le indicazioni elaborate si devono basare sull’evidenza empirica raccolta che deve essere prima esaminata da altri valutatori e ricercatori. CAPITOLO 5: Tecniche per raccogliere informazioni sull’implementazione di una politica Vi sono diverse tecniche che possono essere utilizzate per raccogliere informazioni sull’attuazione di una politica pubblica. 1. Alla ricerca di informazioni, ma con distacco --> Ciò che accomuna le tecniche che descriveremo di seguito è il fatto che il valutatore, nell’utilizzarle, mantiene un certo distacco sia rispetto alla realtà che viene osservata, sia rispetto ai soggetti portatori di informazioni. L’utilizzo di queste tecniche non comporta alcuna discesa diretta sul campo: non costringe il valutatore ad incontrare gli attori protagonisti della politica o a confrontarsi «fisicamente» con loro. Tutte le informazioni viaggiano su supporti inanimati, artificiali, di natura cartacea oppure informatica. Il rapporto tra colui che fornisce l’informazione (il soggetto che osserva) in tempi diversi e su target di popolazione diversi. una politica è con molta difficoltà valutabile nel suo complesso, almeno secondo l’approccio controfattuale. È comunque necessario semplificare le cose e individuare una variabile-trattamento che nella sua forma più semplice è una variabile dicotomica che rappresenta l’assenza- presenza del trattamento, cioè l’esposizione o meno dei membri della popolazione al trattamento. L’effetto di cosa va quindi a vedere la variabile trattamento, questa variabile deve essere identificabile e definibile nello spazio e nel tempo. quindi una politica pubblica per essere valutata, deve essere rappresentabile mediante una variabile che appunto presenti delle variazioni osservabili nel tempo oppure tra soggetti. una politica costante e universale che sottopone tutti allo stesso trattamento e che non subisce alcun tipo di variazione nel tempo non è valutabile. In genere tutte le politiche sono soggette a qualche modifica nel tempo o tra soggetti. Variazioni nel tempo: La più evidente fonte di variazione nel trattamento è l’entrata in vigore di una nuova politica. Essa costituisce la principale fonte di variazione soprattutto per quelle politiche che consistono nell’imposizione di obblighi o divieti erga omnes (esempio: obbligo di utilizzare le cinture di sicurezza, o il divieto di fumo nei locali pubblici). Una volta entrata in vigore la politica, tutti coloro che si trovano in una determinata condizione o che sono in possesso di una certa caratteristica, sono soggetti allo stesso trattamento. Tuttavia è possibile trovare altre fonti di variazione legate al fattore tempo, molte politiche pur restando sempre uguali a sé stesse in termini di regole offrono la possibilità di distinguere tra un prima e un dopo il trattamento. Si tratta di politiche, come la formazione professionale o i sussidi di disoccupazione, che prevedono l’erogazione di prestazione a coorti successive di soggetti. Per ogni singola coorte sarà sempre possibile distinguere tra un periodo precedente e un periodo successivo alla somministrazione del trattamento (esempio: formazione professionale). Variazione tra individui: Un altro tipo di variazione è dovuto al fatto che alcune politiche prevedono che il trattamento sia somministrato solo ad alcuni individui e non ad altri. In questo caso, il mancato trattamento può dipendere da decisioni dell’individuo oppure da decisioni derivanti dal disegno della politica stessa. Alcuni individui possono semplicemente decidere di non usufruire di un certo servizio a cui hanno diritto, in questo caso si dice che la mancata esposizione alla politica è frutto di autoselezione (esempio: imprese che decidono di non fare domanda per ottenere dei sussidi). In altri casi la mancata esposizione/fruizione è dovuta ad un’esclusione determinata in modo consapevole da coloro che hanno disegnato la politica, è quindi il disegno stesso della politica ad imporre un processo di etero-selezione dei destinatari. Nella maggior parte degli esempi, la variabile trattamento sarà una variabile dicotomica (o binaria): il trattamento c’è o non c’è (variazione nel tempo) oppure ad esso sono o non sono esposti i membri della popolazione (variazione tra individui). Effetto come differenza tra fattuale e controfattuale: Una volta formulata la domanda di valutazione (effetto di cosa ed effetto su cosa), si presenta la questione più difficile, ossia come stabilire se esiste un nesso causale fra il trattamento e i cambiamenti nella condizione/ comportamento rappresentato dalla variabile- risultato. Definizione di effetto: differenza tra ciò che è accaduto dopo l’attuazione di una politica (situazione fattuale) e ciò che sarebbe accaduto se quella politica non fosse stata realizzata (situazione controfattuale). Due errori: 1) considerare effetto semplicemente il valore della variabile-risultato osservato tra i soggetti esposti al trattamento 2) considerare effetto il cambiamento, osservato nella variabile-risultato, tra prima e dopo il trattamento. DUNQUE --> l’effetto è la differenza tra due valori. Di questi due valori uno è osservabile tra i soggetti esposti al trattamento dopo l’esposizione (risultato fattuale), l’altro è il valore ipotetico e si riferisce a ciò che si sarebbe osservato tra gli stessi soggetti, nello stesso momento, se costoro non fossero stati esposti al trattamento (risultato controfattuale). Poiché uno dei due termini della differenza non è mai direttamente osservabile, l’effetto non è mai calcolabile direttamente. Paul Holland, in un articolo definiva la non osservabilità del controfattuale come il “problema fondamentale dell’inferenza causale”. In linea di principio il problema non ha soluzione. Non saremo mai assolutamente certi di quale effetto una politica abbia avuto. Tuttavia non è la certezza assoluta che stiamo perseguendo, ci accontentiamo di una ragionevole e credibile approssimazione. E tale approssimazione dell’effetto di una politica potrà essere ottenuta ricostruendo il valore controfattuale con dati che siano osservabili e alo stesso tempo approssimiamo, nel modo più credibile possibile, ciò che sarebbe successo ai soggetti esposti alla politica se non lo fossero stati. Quindi quando si vuole valutare una politica e si pensa al disegno della valutazione, i disegni sono molto diversi tra loro ma sono accomunati da un tema di fondo: per valutare un effetto occorre una plausibile strategia di identificazione degli effetti causali, cioè occorre trovare un modo plausibile per ricostruire la situazione controfattuale. Dunque, la strategia di identificazione è la strategia o la metodologia più adatta che permette di calcolare il controfattuale. Il controfattuale può essere disegnato o attraverso il metodo sperimentale o attraverso i metodi quasi sperimentali (DID). Prima di scegliere un metodo devono essere definite la variabile risultato e la variabile trattamento. Le clausole valutative: Per clausola valutativa si intende uno specifico articolo di legge attraverso il quale si attribuisce un mandato informativo ai soggetti incaricati dell'attuazione della stessa legge di raccogliere, elaborare e infine comunicare all'organo legislativo una serie di informazioni selezionate. Tali informazioni dovrebbero servire a conoscere tempi e modalità d'attuazione della legge, ad evidenziare eventuali difficoltà emerse nella fase d'implementazione e a valutare le conseguenze che ne sono scaturite per i destinatari diretti e, più in generale, per l'intera collettività regionale. Nelle clausole valutative è utile formulare domande sugli effetti, facendo molta attenzione ai termini impiegati, per non correre il rischio di porre quesiti troppo ambiziosi, ai quali non è possibile dare una risposta plausibile attraverso l’uso di rigorosi metodi d’analisi. Le clausole valutative dovrebbero essere impiegate con estrema parsimonia, valutare in modo appropriato costa. I criteri da seguire per selezionare i progetti legislativi “meritevoli di clausola”: •Rilevanza della politica pubblica che può essere oggetto di indagine. •L’opportunità di inserire delle clausole cresce all’aumentare delle risorse in gioco. Le minacce alla validità: Le principali minacce alla validità delle analisi di valutazione d’impatto sono due e sono : a) La dinamica spontanea: Attribuire tutto il cambiamento osservato al trattamento, significa ignorare la possibile presenza di una dinamica spontanea della variabile-risultato. Si definisce dinamica spontanea la tendenza naturale di un fenomeno ad evolversi nel tempo a prescindere dal trattamento a cui il fenomeno è stato sottoposto. ( per esempio ci potrebbero essere fattori che non possono essere osservati). • Autoselezione: con autoselezione si fa riferimento al fatto che gli individui tendano a scegliere tra le alternative che hanno di fronte non in modo casuale bensì in base alle proprie preferenze, aspirazioni, motivazioni e in generale alle proprie caratteristiche non sempre osservabili tra coloro che hanno fatto scelte diverse: tale processo crea quindi differenze sistematiche non sempre osservabili tra coloro che hanno fatto scelte diverse. Possiamo considerare l’autoselezione come un fatto naturale dell’esistenza umana. Il problema per la valutazione emerge quando si vogliono analizzare gli effetti della politica confrontando individui che hanno fatto scelte diverse, nel senso che alcuni hanno scelto di partecipare altri invece no. Il rischio che si corre nel confrontare gli esiti per i due gruppi è di attribuire erroneamente al trattamento quelle che sono in realtà conseguenze del processo di autoselezione, da qui il termine di distorsione da autoselezione o distorsione da selezione. NB: il problema non è di per sé l’autoselezione, bensì il fatto di fare confronti tra gruppi auto selezionati e interpretare la differenza come effetto del trattamento. CAPITOLO 7: Il modello dei risultati potenziali Y= variabile – risultato T = variabile – trattamento Yi = variabile risultato per l’individuo Ti = variabile trattamento per l’individuo T è una variabile dicotomica (binaria), assume cioè solo il valore di Ti = 1 se l’individuo è stato esposto al trattamento; Ti = 0 se lo stesso individuo non è stato esposto. Servirà anche il concetto di media e media condizionata, i due simboli sono: - il simbolo E (<valore atteso>), cioè <media di> - Il simbolo |, indica il condizionamento ad un sottoinsieme della popolazione e può essere letto come <tra>. Ad esempio, E (Y| T = 1), indica la media della variabile risultato nella sottopopolazione dei trattati. Il modello di Rubin NB: questo ultimo termine rappresenta la distorsione detta da selezione perché è dovuta a come vengono selezionati gli individui che dovranno ricevere il trattamento rispetto a quelli che non lo riceveranno (si ha distorsione da selezione qualora gli individui vengano scelti in base a determinate caratteristiche). Dunque, la distorsione da selezione nasce dalla stima degli effetti che utilizza la differenza trattati/non trattati può essere distinta in due blocchi, uno che l'effetto medio sui trattati, più la distorsione da autoselezione: In sintesi la differenza osservata nella variabile-risultato fra trattati e non trattati non identifica l’effetto, bensì mostra l’effetto del trattamento più le differenze che si sarebbero verificate comunque a causa del processo di autoselezione, cioè le differenze fra i risultati potenziali in assenza di intervento. Distorsione da dinamica spontanea In questo caso, ciascuno dei risultati potenziali da trattato e da non trattato ( T=0; T=1) assume valori distinti nel tempo (t-1; t+1) si suppone che il trattamento venga erogato net tempo t. Si possono distinguere tre risultati potenziali per l’individuo i: - Y1 i,t+1 è il risultato potenziale da trattato per il periodo t+1; - Y0 i,t+1 è il risultato potenziale da non trattato per il periodo t+1; - Y0 i,t-1 è il risultato potenziale da non trattato per il periodo t-1; Cos’è osservabile e cosa no? Solo due dei tre risultati potenziali sono osservabili e precisamente Y1 i,t+1 e Y 0 i,t-1 sono osservabili, mentre Y0 i,t+1 non è mai osservabile, perché per definizione ciascun individuo riceve il trattamento al tempo t. Quindi di queste tre grandezze solo la prima e la terza sono osservabili, mentre la seconda no e infatti rappresenta il nostro controfattuale, ossia è il reddito dei trattati nel caso venissero trattati. Passando dal singolo individuo alla sottopopolazione soggetta al trattamento t, otteniamo tre medie dei risultati potenziali per la sottopopolazione trattata al tempo t, due osservabili con i dati a disposizione, E(Y1 t+1) e E(Y0 t-1) e una inosservabile E(Y0 t+1). Anche in questo caso posso scomporre tre differenze principali: • E(Y1 t+1) -E(Y0 t-1) = rappresenta la differenza tra le due medie, il risultato potenziale da trattato osservato dopo il trattamento e il risultato da non trattato osservato prima del trattamento. Questa è la differenza osservata pre-post. • E(Y1 t+1) -E(Y0 t+1)= è l’effetto (non osservabile) del trattamento, cioè la differenza tra fattuale e controfattuale; rappresenta quindi l’effetto medio sui trattati (att). • E(Y0 t+1) -E(Y0 t-1) = è la differenza tra i risultati potenziali da non trattato, relativi al periodo post e pre trattamento. È comunemente conosciuta come dinamica spontanea descrive cioè come sarebbero andate le cose in assenza del trattamento. Possiamo dimostrare che la prima differenza è uguale alla somma delle altre 2 I due termini sul lato sinistro si cancellano con il primo e il quarto termine sul lato destro, mentre i due termini centrali sul lato destro quelli cerchiati in rosso si azzerano a vicenda e rappresentano i controfattuali. NB: La differenza osservata tra due valori temporali di un certo fenomeno che abbiamo sottoposto ad un trattamento è scomponibile in due grandezze distinte: l’effetto del trattamento e l’effetto di "tutto il resto". Quest’ultimo termine prende il nome di distorsione da dinamica spontanea. La sua presenza costringe a riconoscere che la differenza osservata pre-post non è una stima corretta dell’effetto di trattamento sulla variabile risultato. Le strategie di identificazione degli effetti La strategia di identificazione degli effetti rappresenta il modo attraverso il quale, il modello di Rubin elimina la dinamica spontanea e la differenza di partenza. Si possono identificare due strategie di identificazione deli effetti: ❖ La strategia di identificazione basata sul confronto trattati non tratti, presuppone che: - Esistono individui non trattai: essi esistono solo se la politica non è di tipo universale; ha lo scopo di delimitare il campo di applicabilità della strategia. - I dati raccolti sulla variabile risultato, siano stati raccolti anche per i non trattati; ci si deve preparare in anticipo per poter ricostruire il valore controfattuale. -I dati relativi ai non trattati sono sufficienti a ricostruire la situazione controfattuale, rappresenta un assunto cruciale per identificare l’effetto. Se i dati relativi ai non trattato sono sufficienti a ricostruire la situazione del controfattuale allora posso assumere che: E(Y0|T=1)= E(Y0|T=0) --> ovvero ciò che si osserva in media tra i non trattati sia uguale a ciò che sarebbe successo in media ai trattati in assenza di trattamento. è fondamentale ricordare che questa è un’ipotesi non testabile. Però se sappiamo che i trattati e i non trattati sono stati selezionati casualmente allora questa ipotesi sarà molto plausibile. Sotto questa condizione è possibile dire che l’effetto medio fra i trattati è identificato nella differenza: Effetto=ATT=E(Y1|T=1) -E(Y0|T=0). Se tutti questi presupposti si incontrano allora possiamo trovare il valore del nostro effetto facendo la differenza tra il fattuale e il controfattuale. Questa strategia per trovare l’effetto come la differenza tra la media dei trattati considerato il trattamento meno la media dei non trattati in assenza di trattamento deve rispettare la condizione che ci dice che la media dei non trattati considerato il trattamento deve essere uguale alla media dei non trattati in assenza di trattamento. ❖ La strategia di identificazione basata sul confronto pre-post: questa strategia ci permette di osservare la situazione dei trattati prima del trattamento. I presupposti di questa strategia sono: - La variabile risultato deve essere ripetibile nel tempo, ha lo scopo di delimitare il campo di applicabilità della strategia. -I dati della variabile- risultato siano raccolti non solo dopo ma anche prima del trattamento. ci si deve preparare in anticipo per poter ricostruire il valore controfattuale. - I dati pre-trattamento siano sufficienti a ricostruire la situazione controfattuale. Rappresenta l’ipotesi di identificazione che permette di trovare l’effetto attraverso la differenza pre-post. L’ultima ipotesi come abbiamo detto è l’ipotesi di identificazione: E(Y0 t+1|T=1) =E(Y0 t-1|T=1) Questa afferma che ciò che si è osservato in media per i trattati prima del trattamento approssima la situazione in cui i trattati si troverebbero in assenza di trattamento. Cioè che non ci sia dinamica spontanea.: Se è plausibile che la situazione pre- trattamento possa approssimare la situazione controfattuale e che non ci sia dinamica spontanea, l’effetto è identificato dalla differenza osservata pre-post. Effetto=E(Y1 t+1|T=1) -E(Y0 t-1|T=1) L’effetto si trova tramite la media pre post facendo la differenza tra (la media dei non trattai prima del trattamento) e (la media dei non trattati prima del trattamento considerato il trattamento). Questo effetto si può individuare solo se si rispetta questa condizione (la media dei non trattati prima del trattamento è uguale alla media dei non trattati dopo il trattamento). CAPITOLO 8: Il metodo sperimentale Per evitare questi tipi di problemi di autoselezione e dinamica spontanea si utilizza il metodo sperimentale. L’idea fondamentale alla base del metodo sperimentale scaturisce dalla sperimentazione clinica utilizzata per testare l’efficacia dei farmaci. Un gruppo di pazienti affetti da una patologia viene suddiviso in due gruppi mediante sorteggio. • Un gruppo sperimentale che subirà il trattamento. • Un gruppo di controllo che non subirà il trattamento. La funzione del gruppo di controllo è quella di riprodurre la situazione del controfattuale: il decorso della patologia che si osserva tra i membri del gruppo controfattuale saranno molto simili al decorso che la patologia avrebbe avuto tra i membri del gruppo sperimentale qualora essi non avessero ricevuto il farmaco. L'unica differenza è che né il medico né il paziente conoscono il gruppo di appartenenza del paziente. Il cosiddetto doppio cieco. Un utilizzo del metodo sperimentale per valutare l’efficacia di una politica pubblica comporta un’importante differenza e una fondamentale analogia rispetto all’ambito clinico. controllare per esempio che non ci siano tutti i giovani o tutte le donne in un solo gruppo, perché questo genera distorsione; oltretutto i campioni non devono essere di dimensione eccessiva in quanto per le sperimentazioni vengono fatti i cosiddetti studi pilota. È importante ricordare che quando portiamo avanti uno studio cerchiamo di saggiare delle ipotesi, nel testare queste ipotesi possiamo incorrere in due tipi di errori. Con la randomizzazione si possono commettere 2 errori: • Errore del 1° tipo: trovare un effetto che non c’è, cioè concludere erroneamente che c’è un effetto quando invece il vero effetto è zero (commetto l’errore del primo tipo se rifiuto l’ipotesi nulla quando è vera). I valori più comunemente usati sono il 5% o il 10% (detti anche livello di significatività statistica). • Errore del 2° tipo: non trovare un effetto che c’è cioè concludere erroneamente che non c’è un effetto quando invece si è verificato. (commetto l’errore del secondo tipo se non rifiuto l’ipotesi nulla quando e falsa). Si accetta un valore anche del 20% (il complemento a 100% è detto potenza del test, la probabilità di trovare effetti che ci sono). La teoria statistica mostra come ridurre il rischio di commettere un errore di un tipo aumenti il rischio di commettere l’errore dell’altro tipo. Commettere l’errore del 1° tipo significa dichiarare efficace una politica che non lo è, quindi utilizzare le risorse a nostra disposizione per qualcosa che in realtà non funziona. Commettere l’errore del 2° tipo equivale a dichiarare inefficace una politica che in realtà è efficace quindi perdere un'opportunità di miglioramento. È meglio in un'ottica di politica pubblica, di ridurre al minimo il rischio di trovare un effetto che non c’è, piuttosto che ridurre al minimo il rischio di mancare un effetto che c’è (è meglio evitare l’errore del 1° tipo). Una volta fissati i valori per la significatività e per la potenza del test, il passo successivo è quello di determinare la dimensione minima dell’effetto vero che sia intercettabile. In altre parole, dato un valore M, tutti gli effetti veri con un valore al di sotto di M non sono intercettabili, cioè si finisce per accettare l’ipotesi nulla che l’effetto sia zero. Viceversa tutti gli effetti veri con un valore al di sopra di M sono intercettabili, cioè si rifiuta l’ipotesi nulla che l’effetto sia zero. Chiaramente, una valutazione preferirà avere il valore più piccolo possibile di M, detto Minimum Detectable Effect (MDE), cioè effetto minimo intercettabile. Un insieme di teoremi statistici dimostra come il MDE sia dato dalla formula: Dove il termine sotto radice non è altro che l’errore standard dell’effetto, che a sua volta dipende da : σ2 --> varianza della variabile –risultato: p --> la proporzione del campione allocata al gruppo di controllo; N --> la dimensione complessiva dei due gruppi. z --> parametro che serve a trasformare l’errore standard in MDE. L’MDE cresce al crescere del valore z. Guardando gli altri valori della formula vediamo come l’MDE decresce al crescere di N: quindi nei limiti del budget a disposizione, vorremmo un N più grande possibile. Ma l’MDE dipende anche da come il campione totale è suddiviso fra trattati e controlli. L'MDE, infine, cresce al crescere della variabilità della variabile- risultato. Tale variabilità è misurata dalla varianza, di cui occorre una stima proveniente da altre fonti. Vi sono poi casi in cui a dover essere assegnati casualmente non possono essere singoli individui, ma gruppi di individui o delle aree geografiche. Due sono le situazioni in cui questo avviene: 1. In cui la variabile - risultato è definita solo a livello di gruppo, perché a tale livello avviene il trattamento. Es. Interventi di recupero urbano che possono essere attuati solo al livello di intero quartiere 2. Situazione in cui il trattamento è erogato a singoli individui, ma per ragioni organizzative o legali si deve coinvolgere tutto un gruppo di persone. Es. Innovazione didattica, sarebbe difficile esporre ad essa singoli studenti in una classe, escludendone altri. Quindi non si randomizzano singoli alunni, ma intere classi e all’interno di ogni classe tutti gli allievi vengono esposti al trattamento o nessuno se si tratta di una classe di controllo. I limiti del metodo sperimentale Il metodo sperimentale nonostante sia un metodo abbastanza semplice da utilizzare, non viene sempre impiegato in larga scala e per ogni tipo di politica. Rossi, Freeman e Lipsey sostenevano che l’esperimento con randomizzazione è il più solido disegno per valutare l’impatto degli interventi. Gli esperimenti con randomizzazione hanno però dei limiti di applicazione: - In primis possono essere utilizzati solo per programmi a copertura parziale, quindi l’applicabilità del metodo sperimentale è limitata alle politiche non universali (ostacoli di tipo tecnico). Oltretutto il loro uso è ulteriormente limitato da problemi pratici relativi all’ottenimento della collaborazione tra i vari attori e ai tempi e costi necessari a condurli. Tutti gli interventi universali (istruzione elementare, interventi di tutela ambientale...) o comunque tutti quegli interventi per cui è impossibile definire una fruizione individuale, non si prestano per definizione all’individuazione di un gruppo di controllo, e quindi alla randomizzazione. Questo vincolo può in alcuni casi essere attenuato, nel caso vengano randomizzati gruppi o aree invece che individui. Tuttavia, anche dove il metodo sperimentale è tecnicamente fattibile esso finisce spesso per non essere fattibile per ragioni di tipo etico-legale o politico: • Ostacoli di tipo etico: Il profilo etico è il più delicato, molti infatti ritengono eticamente inaccettabile escludere alcuni individui dalla fruizione di un servizio da cui potrebbero trarre dei notevoli benefici; altri ritengono che questo sacrificio individuale sia accettabile, soprattutto alla luce del fatto che l’utilità stessa del servizio è in dubbio. Se non ci fosse questo dubbio sull’efficacia del servizio non ci sarebbe ragione di proporne la valutazione degli effetti. Questo problema è enorme nel caso dei clinical trials: con le dovute cautele, il dilemma in questo ambito è stato ampiamente risolto in favore della desiderabilità della randomizzazione. • Ostacoli di tipo politico: sull’utilizzabilità del metodo sperimentale in ambito sociale pesa tuttavia non solo il profilo etico, ma anche un fatto più concreto ossia la tipica avversione alla randomizzazione da parte degli operatori dei servizi coinvolti, infatti si chiede loro di escludere una quota dei loro utenti sulla base di un sorteggio: i malumori e le lamentele degli esclusi ricadono sugli operatori stessi; bisogna però sottolineare che la valutazione viene effettuata quando sussiste un dubbio circa l’efficacia del servizio, dubbio che gli operatori raramente condividono poiché spesso identificano la propria professionalità con il successo della politica stessa. • Ostacoli di tipo legale: sorgono quando l’erogazione del servizio (o del sussidio o dell’agevolazione) è prevista dalla legislazione vigente. Non è un ostacolo del tutto insormontabile, almeno negli Stati Uniti grazie all’emanazione di apposite esenzioni legislative (WAIVER) che consentono di differenziare l’erogazione dei servizi se ciò è fatto a scopo di valutazione. Piuttosto che legale il problema diviene politico: è politicamente difficile difendere l’esclusione di utenti dalla fruizione dei servizi ormai andati a regime e considerati quindi un diritto acquisito da parte degli utenti. L’incertezza sulla loro efficacia e utilità, se da un lato motiva la valutazione, dall’altro non serve a placare il cittadino escluso dal servizio. Questo complesso di problemi etici, politici e legali diventa molto meno difficile da superare nell’ambito di interventi dimostrativi. La difficoltà a generalizzare i dati delle stime Quello della scarsa generalizzabilità dei risultati è un limite importante del metodo sperimentale. Una distinzione importante è quella tra validità interna ed esterna delle stime di un effetto. La randomizzazione serve a garantire: • La validità interna delle stime: cioè il fatto che esse riflettano realmente il contributo netto dell’intervento alla modifica della situazione che si sarebbe verificata in assenza di intervento, l’obiettivo è che le stime dell’effetto siano stime corrette (unbiased) dell’effetto vero dell’intervento. • La validità esterna delle stime: se queste sono ottenute nell’ambito di interventi realizzati per un periodo limitato di tempo e su scala ridotta, spesso si ottengono risultati difficili da generalizzare alla politica pubblica una volta andata a regime e implementata su vasta scala. Gli effetti stimati su scala ridotta non tengono conto di quelli che sono i limiti di tipo macroeconomico che invece diventano evidenti quando l’intervento viene generalizzato. Inoltre l’implementazione su scala ridotta è sempre più facile dell’implementazione su vasta scala perché richiede la mobilitazione di risorse più limitate e circoscritte. NB: Si genera quindi un trade off tra validità interna e validità esterna delle stime, infatti si possono ottenere stime corrette degli interventi dell’effetto nell’ambito in cui sono ottenute, queste stime però possono essere difficili da generalizzare, viceversa si possono ottenere stime più dubbie dal punto di vista della validità interna, ma più facilmente generalizzabili. La difficoltà nel mantenere l’integrità dell’esperimento La prima strategia di confronto ---> confronto pre-post (prima - dopo), nel quale si approssima la situazione controfattuale con la situazione che avevamo osservato prima della politica. L'assunto necessario a ritenere questa approssimazione sostenibili è che la dinamica spontanea del fenomeno posto sotto osservazione sia uguale a zero, ovvero che nulla sarebbe cambiato se la politica non avesse avuto luogo. Raramente però l’assunto che non ci sia dinamica spontanea è da considerarsi plausibile, quasi sempre le cose cambiano indipendentemente dalla politica. La seconda strategia di confronto ---> confronto esposti – non esposti, la situazione controfattuale, in questo caso è data da ciò che accade a questo secondo gruppo, per considerare le differenze ex post tra i due gruppi come effetti della politica dobbiamo essere disposti a ritenere che i due gruppi prima dell’intervento fossero simili per tutte le caratteristiche osservabili e non osservabili. Quando si opera al di fuori del contesto sperimentale l’assunto che non ci siano differenze strutturali tra i due gruppi è però poco plausibile, di solito il processo di selezione stesso adottato dalla politica produce questo tipo di differenza. In conclusione, Che cosa si intende per metodo quasi sperimentale o non sperimentale? Differenze con il metodo Sperimentale. Il metodo quasi sperimentale uno strumento utilizzato dal valutare per ricostruire il valore controfattuale e per eliminare la differenza di partenza e la dinamica portanza in modo da valutare in modo accurato gli effetti di una politica sociale. Il metodo non sperimentale può utilizzare dati osservazionali (cioè dati rilevati dal valutare osservando il corso degli eventi) oppure dati non osservazionali. La scelta del metodo quasi sperimentale da usare dipenda da quanto il valutare conosce il processo di selezione. Se il valutare conosce bene il processo di selezione allo utilizzerà un metodo basato sui dati osservazionali, se invece non conosce abbastanza il percorso di selezione, in questo caso utilizzerà un metodo basato sui dati non osservazionali. I dati osservazionali vengono poi messi a confronto con i dati con i dati sperimentali rilevati con il metodo sperimentale. Le differenze fondamentali tra il metodo quasi sperimentale e il metodo sperimentale sono che: Il metodo quasi sperimentale utilizza dati non sperimentali, mentre il metodo sperimentale utilizza solo dati sperimentali. Il metodo sperimentale per funzionare bene ha bisogno solo della variabile risultato, della variabile trattamento, di eliminare le distorsioni mentre il metodo non sperimentale per essere completo ha bisogno anche di un assunto non testabile. Il modello difference in difference Esiste un metodo che tenta di superare sia i limiti della strategia di confronto pre- post sia quelli relativi alla strategia di confronto esposti –non esposti. Questo metodo prende il nome di: differenza – nelle – differenze (DID) In che cosa consiste? Nella sua versione più semplice, cioè con solo 4 dati osservazionali, consiste nel considerare il periodo compreso tra il momento immediatamente precedente all’attuazione della politica e il momento immediatamente successivo. Rispetto a questo periodo si opera un confronto tra il trend del fenomeno di interesse osservato sul gruppo degli esposti e il trend osservato sul gruppo dei non esposti. Ipotizziamo di voler valutare gli effetti di una politica di aiuto alle imprese sul fatturato aziendale delle imprese stesse. Ipotesi da verificare è che il contributo pubblico abbia aiutato queste imprese a rafforzare la loro competitività sul mercato. Immaginiamo che la politica sia stata adottata nel 2015, se abbia solo i dati relativi al fatturato aziendale medio del gruppo delle imprese beneficiarie prima e dopo l’intervento dobbiamo rassegnarci ad un confronto pre-post, in questo caso la differenza è uguale a 4 milioni di euro. L'interpretazione della differenza osservata come effetto della politica è però molto debole. Se invece abbiamo a disposizione gli stessi dati anche per un gruppo di imprese che non hanno ricevuto il contributo possiamo adottare una strategia leggermente più sofisticata. Il gruppo di imprese escluse è rappresentato sul grafico dalla linea blu, in questo caso è la differenza tra i trend dei due gruppi ad essere interpretata come effetto, l’effetto sarà dato dal trend osservato sulle imprese beneficiarie (4 milioni) - il trend osservato sulle imprese non beneficiarie (1,5 milioni), l’effetto è pari al 2,5 milioni. Ecco spiegato il nome dato a questo metodo--> l’effetto è identificato da una differenza tra due differenze, ovvero tra i due trend che non sono altro che le differenze tra prima e dopo osservate nei due gruppi. Il modello difference in difference oppure differenza nelle differenze rappresenta un metodo attraverso il quale, il valutatore, interpreta i dati generati da una politica e riesce allo stesso tempo a valutare gli effetti, che tale politica genera. Per essere sicuro della correttezza degli effetti il valutatore deve eliminare la differenza di partenza e la dinamica spontanea. Il metodo differenza nelle differenze interpreta i dati generati da una politica seguendo 2 percorsi: ❖ depurando le differenze osservate dalle distorsioni. Utilizzando questo percorso il valutatore riesce ad eliminare la differenza di partenza (oppure da autoselezione) e la dinamica spontanea. La differenza di partenza viene eliminata facendo la differenza tra il reddito dei beneficiari e il reddito degli esclusi prima e dopo il trattamento, cioè confrontando i dati finali e quelli iniziali per ogni categoria di soggetto. Mentre la dinamica spontanea viene eliminata facendo la differenza tra le aumentò percepito dai beneficiari e l’aumento del reddito percepito dagli esclusi. ❖ l’effetto come differenza tra osservato e controfattuale. Il secondo percorso che il valutatore può intraprendere è quello classico in cui viene fatta la differenza tra il valore fattuale (il valore rilevato in seguito alla politica) e il valore contrattuale (cioè il valore ipotetico che il valutatore potrebbe rilevare in assenza di trattamento). Testare l’assunto del parallelismo Questo metodo si fonda su un assunto: L’assunto di parallelismo nei trend, cioè che le differenze tra i due gruppi siano costanti nel tempo. L'idea di fondo è che in assenza di aiuto non ci sarebbero state differenze nei trend dei due gruppi. In che cosa consiste? In questo caso per stimare la situazione controfattuale, abbiamo traslato una retta dal gruppo delle imprese non beneficiarie a quello delle imprese non beneficiarie, quindi mantenendo invariato il livello di partenza dalle imprese beneficiarie. Nel grafico, la retta traslata è quella verde. La differenza dei valori di arrivo della retta rossa (fattuale) e della retta verde (controfattuale), identificato mediante il metodo della traslazione, identifica l’effetto. Un altro modo per scrivere l’operazione che identifica l’effetto è: Effetto = valore fattuale (14 milioni) - (valore iniziale imprese beneficiarie + trend non beneficiarie) 11,5 milioni Come testare l’assunto? Un modo per testare l’assunto è avare a disposizione altre due osservazioni relative al periodo pre intervento, dunque una piccola serie storica per entrambi i gruppi. Se applichiamo il metodo differenza nelle differenze nel periodo pre trattamento (quando cioè non esisteva ancora la politica), l’assunto resta valido solo se la differenza è pari a 0. Se scoprissimo che esiste una differenza positiva o negativa che sia avremo un problema, tale differenza sarebbe un chiaro indizio che i trend tra i due gruppi in assenza di politica non sono parallele. In che cosa consiste? L’idea dell’abbinamento statistico è quella di creare, dopo l’attuazione della politica, un gruppo di controllo composto da soggetti non trattati che abbiano caratteristiche il più possibile più simili, ai soggetti trattati. L'ipotesi è che tra i soggetti non trattati esistano dei trattati che possano costituire un adeguato termine di confronto e che possono permettere di ricostruire la situazione controfattuale. Una volta selezionato il gruppo di controllo ex post, l’effetto della politica è semplicemente dato dalla differenza fra le medie della variabile-risultato osservata nel gruppo dei trattati e quella osservata nel gruppo dei non trattati. Si tratta di un metodo che per impostazione ha qualcosa di simile sia con il metodo sperimentale, sia con l’analisi di regressione: • Abbinamento statistico e metodo sperimentale: sia nel metodo statistico che in quello sperimentale si costruisce un gruppo di controllo e si stima l’effetto come differenza fra le medie dei due gruppi. Vi sono però alcune importanti diversità tra questi due metodi: nell’esperimento il gruppo di controllo è formato prima che venga attuata la politica e che sia somministrato il trattamento, l’assegnazione alla politica viene fatta mediante un sorteggio che garantisce che i due gruppi siano simili nelle caratteristiche osservabili e non osservabili. Nell'abbinamento, il gruppo di controllo è formato dopo che la politica è stata realizzata ed è basato su tecniche statistiche che garantiscono il bilanciamento fra i due gruppi delle sole caratteristiche osservabili. • Abbinamento statistico e regressione: L’abbinamento statistico ha molto in comune anche con l’analisi di regressione. Gli elementi comuni sono: - L’abbinamento statistico come la regressione presuppone che sia valida l’assunzione di indipendenza condizionata (CIA): cioè l’assunto che la distorsione da selezione sia eliminata se ci si condiziona su tutte le variabili osservabili: a parità di queste ultime, si assume che l’assegnazione al trattamento sia casuale. Differenza: - Nel modo in cui essi utilizzano i dati a disposizione, con la regressione imponiamo sui dati un modello parametrico, cioè supponiamo di sapere quale forma abbia la relazione fra la variabile dipendente e la variabile esplicativa. L’abbinamento è invece un approccio non parametrico, nel senso che non richiede di imporre una precisa forma funzionale alla relazione fra variabile- risultato e variabile-esplicativa. - Un’altra differenza consiste nel fatto che la regressione utilizza tutte le osservazioni disponibili e quindi anche le osservazioni relative ai soggetti non trattati che sono molto diversi dai soggetti trattati. Mentre l’abbinamento statistico mette in evidenza la presenza di unità non trattate molto diverse da quelle trattate e consente di non usarle per stimare l’effetto del trattamento. In altre parole, l’abbinamento utilizza solo i soggetti più confrontabili si dice infatti che l’abbinamento utilizza le osservazioni che hanno un supporto comune (common support). Come individuare i soggetti non trattati che sono più simili a coloro che sono stati trattati? Variabili che possono condizionare il processo di selezione: - Osservate (età, genere, residenza, titolo di studio, voto diploma/laurea, condizione familiare, esperienze lavorative). Queste costituiscono le caratteristiche osservabili, ovvero quelle che consentiranno di selezionare ex post il gruppo di controllo. Sono le caratteristiche che possono incidere sulla scelta di proseguire o meno nel programma. - Non osservate (motivazione, costanza, autostima, dinamismo, determinazione, intelligenza, preparazione culturale) e possono incidere in maniera altrettanto forte nella decisione di proseguire nel programma. Anche queste caratteristiche hanno condizionato il processo di selezione. Il valutatore però non conosce in che misura gli individui possiedono queste qualità, dunque è costretto ad assumere che le caratteristiche osservabili possano approssimare tutte quelle caratteristiche che non è riuscito ad osservare direttamente. L’assunto di fondo dell’abbinamento In sostanza si deve assumere che le eventuali differenze di partenza tra i due gruppi siano eliminate se il confronto viene fatto a parità di condizioni rispetto a tutte le variabili osservabili, si tratta dell’assunto arbitrario sul quale si basa questa particolare strategia di valutazione. Tale assunto prende il nome di CIA (Conditional Indipendence Assumption). L’idea di base è di individuare per ciascuno dei soggetti iscritti al programma, uno o più soggetti che hanno esattamente le stesse caratteristiche rispetto a tutte le variabili considerate. L’abbinamento statistico richiede di definire quali unità sono simili tra loro e quali non lo sono. La difficoltà nel definire quali unità sono simili prende il nome di curse of dimensionality (la maledizione delle troppe dimensioni). Il problema è il numero eccessivo di caratteristiche da tenere in considerazione per stabilire la somiglianza fra due individui. Due unità possono essere identiche lungo una dimensione e differire lungo un’altra. Un abbinamento esatto che consiste nel trovare per ciascun trattato un non trattato identico, è praticamente impossibile. Per risolvere questo particolare problema è stato introdotto lo strumento del propensity score (indice di propensione, ovvero propensione ad essere esposto alla politica). L'applicazione di un particolare modello statistico su l’intero gruppo degli iscritti mette in relazione le N caratteristiche osservabili con l’effettiva prosecuzione del programma e la fruizione del servizio. Questa procedura consente di avere un solo numero, una sola variabile che stima la probabilità di tutti i soggetti, esposti e non esposti, a terminare il programma. Questa probabilità può essere usata come misura della somiglianza tra le unità, risolve, dunque il problema di un confronto multidimensionale che risulterebbe impossibile da operare. Modi per effettuare l’abbinamento Una volta che per tutti gli iscritti al programma si hanno i relativi valori del propensity score, si può procedere all’abbinamento, per farlo esistono diversi modi per farlo. Il modo più semplice è l’abbinamento sull’unità più vicina --> a ciascuna unità trattata si abbina quella particolare unità non trattata che ha il propensity score più vicino numericamente. La selezione dell’unità di controllo può essere effettuata con o senza reimmissione: - Con reimmissione – una stessa unità non esposta alla politica può essere usata come controllo di più unità trattate. - Senza reimmissione – una unità non trattata può essere utilizzata solo una volta. Lo svantaggio di questo metodo è che è possibile abbinare ad alcune unità trattate delle unità non trattate con un propensity score molto distante, pur essendo il più vicino tra i valori disponibili. Una volta effettuato l’abbinamento, con o senza reimmissione, la stima dell’effetto del trattamento è semplicemente ricavata dalla media delle differenze tra le unità abbinate. Per essere sicuri di non effettuare confronti tra unità troppo diverse si può stabilire una distanza massima tra i due propensity score, distanza che deve essere rispettata per considerare le due unità come abbinabili, l’idea è restringere l’abbinamento alle unità non trattate il cui propensity score cade in un intorno ristretto, cioè in un certo raggio che sarà un numero vicino a 0. Quando si abbinano tutte le unità presenti nel raggio, si parla di radius matching, quando solo l’unità più vicina all’interno del raggio viene abbinata, si parla di caliper matching. Lo svantaggio del radius matching o capliper matching, è la possibile perdita di alcune unità trattate in quanto nessuna unità non trattata è sufficientemente vicina da cadere all’interno del raggio. Le due presentate non sono le sole modalità di abbinamento possibili, ve ne sono altre più sofisticate e complesse: una di queste prevede di effettuare dei confronti per classi o strati di unità, si parla in questo caso di abbinamento con stratificazione, altre abbinano a ciascuna unità tutte le unità non trattate pesate in modo inversamente proporzionale rispetto alla distanza del loro propensity score da quello dell’unità tratta considerata, in questo caso si parla del kernel matching. L'idea di fondo --> il confronto tra unità esposte e unità non esposte alla politica sulla base di una loro somiglianza precedente alla politica stessa. CAPITOLO 12: La discontinuità attorno a una soglia Un caso particolare di selezione sulle osservabili si ha nella situazione in cui l’esposizione al trattamento è determinata dalla posizione del singolo individuo rispetto ad una soglia, stabilita con riferimento ad una caratteristica osservabile e continua. Una situazione che spesso si incontra quando il processo di selezione è determinato da regole amministrative, che impongono criteri rigidi e noti di ammissione al trattamento. L'esempio classico è quello della graduatoria per l’ammissione ad un sussidio o un’agevolazione. Il punteggio è attribuito a tutti coloro che fanno domanda ed è pubblico, quindi perfettamente osservabile. la soglia di ammissione crea una discontinuità netta nel trattamento: chi è sopra la soglia è ammesso (quindi è trattato), chi è sotto la soglia è escluso (non trattato). Queste regole di selezione / ammissione, usate di frequente in ambito pubblico, creano una discontinuità netta nel trattamento, per cui chi è posizionato su un lato della soglia si trova in un regime di trattamento diverso rispetto a chi è immediatamente sull’altro lato, pur avendo valori molto simili della variabile usata per la selezione. La strategia di identificazione Donald Thistlethwaite e Donald Campbell per valutare i programmi di borsa di studio, il RDD è diventato negli ultimi anni sempre più popolare come metodo nella valutazione delle politiche pubbliche CAPITOLO 13: L'utilizzo delle variabili strumentali I metodi visti negli ultimi 3 capitoli sono basati sull’assunto di selezione sulle osservabili: cioè, si ipotizza che tutte le variabili che influenzano il processo di selezione siano osservabili e quindi utilizzabili per eliminare le differenze di partenza. Esistono situazioni, però, in cui l’assunto di selezione sulle osservabili non è sempre realizzabile: ma vi è la possibilità di affrontare la presenza di inosservabili nel processo di selezione in un altro modo. Il requisito è che esista un fattore esterno che influenza fortemente il processo di selezione, condizionando le scelte degli individui coinvolti. Questo fattore esterno non deve avere alcun effetto diretto sulla variabile risultato (Y). Strategia: scomporre la variabile trattamento in due parti: - una determinata dal fattore esterno al di fuori della sfera di controllo dell’individuo - l’altra dalle decisioni dell’individuo e delle sue preferenze. Si utilizza come trattamento solo la parte che non dipende dalle inosservabili. Tale fattore esterno si definisce come strumento o variabile strumentale. Le variabili strumentali Partendo da un modello semplice di regressione: Yi= ɑ+δTi+ᶓ Sappiamo che per stimare in modo corretto e consistente δ è necessario che T sia una variabile ESOGENA che quindi non è correlata con il termine d’errore: Corr (ᶓ,T)=0 Se questa assunzione viene violata quindi: corr (ᶓ,T)≄0 le stime saranno distorte perché δ catturerà sia l’effetto di T, sia l’effetto di ᶓ che è correlato con T. NB: se c’è correlazione tra il termine d’errore e T allora…. T è una variabile ENDOGENA. Adesso supponiamo che esista una terza variabile Z. Z deve avere determinate caratteristiche ossia: • Z deve influenzare T. • Z non deve essere correlata con il termine d’errore ᶓ • Z non deve essere direttamente correlata con la variabile risposta Y, ma solamente attraverso T. NB: Z deve apparire come un qualcosa che interferisce dall’esterno con il processo che determina T, ma che al contempo non è correlata con il termine d’errore. Esempio: come determinare l’effetto della laurea sul reddito? Prendiamo in considerazione un modello fatto in questo modo: Yi= ɑ+δTi+ᶓ Y: è la variabile risultato quindi in questo esempio rappresenta il REDDITO. T: è la variabile trattamento è una dummy che assume valore 1 se l’individuo ha conseguito la laurea, 0 altrimenti. ᶓ: è il termine d’errore e contiene un insieme di fattori inosservabili che determinano sia T che Y: MOTIVAZIONE, ABILITÀ, INTELLIGENZA. (MIA). Presumibilmente tutti i fattori inosservati contenuti nel termine d’errore sono correlati positivamente con T quindi T è una variabile ENDOGENA correlata con il termine d’errore, se noi stimiamo δ con il metodo deli OLS, le stime saranno distorte. La stima δ con gli OLS conterrà infatti l’effetto della laurea T più l’effetto del differenziale positivo di tutti quei fattori inosservati che influiscono positivamente sui laureati. Le ipotesi: Poniamo che la stima di δ con gli OLS sia 20.000 euro di reddito anno cioè la differenza fra il valore atteso del reddito per un individuo laureato E(Y|t=1)=60.000 e quella tra un individuo non laureato E(Y|T=0)=40.000 (60.000-40.000= 20.000). Ma poniamo anche il fatto che questa differenza di reddito non sia del tutto imputabile al fatto di essere laureati. Poniamo il fatto che Z rappresenti la presenza o l’assenza di una università nel capoluogo di provincia in cui l’individuo risiede al momento della maturità. I dati in tabella mostrano che la probabilità di andare all’università è maggiore per gli individui che vivono in province sede di università P(T=1|Z=1)= 0,35 ossia 35% rispetto a coloro che vivono in province in cui non è presente l’università P(T=1|Z=0) 0,15% ossia il 15% ( per esempio: Cagliari, Ozieri). Un assunto cruciale è che la presenza o meno di un’università nella provincia non ha di per se alcun effetto diretto sul reddito degli individui. Z non influenza e non è influenzata dalla distribuzione della MAI (Motivazione, Abilità, intelligenza). Formalmente: Il valore atteso dell’errore condizionato a Z=1 è uguale a 0 e lo stesso il valore atteso dell’errore condizionato a Z=0 è uguale a 0 questo significa che non c’è correlazione tra il termine d’errore e la variabile strumentale. E(ᶓ|Z=0)=E(ᶓ|Z=1)=0 Ovviamente tale assunto non è testabile. Quindi posso sfruttare positivamente il fatto che la decisione di andare all’università e laurearsi (t=1) sia influenzata positivamente sia dalla propria MAI sia dalla presenza di un’università nelle vicinanze, ovviamente se vale l’assunto non testabile. Abbiamo quindi identificato un BUON STRUMENTO che mi consente di stimare correttamente l’effetto della laurea depurandolo dalle differenze di partenza ossia MAI (Motivazione, Abilità, Intelligenza) dei due campioni, TRATTATI e NON TRATTATI. Il differenziale di reddito tra i soggetti che vivono in una provincia in cui è presente l’università e quelli che vivono in una provincia in cui non è presente l’università è pari a 45.900-43.900= 2000. Adesso prediamo di nuovo in considerazione il seguente modello: Yi= ɑ+δTi+ᶓ Scriviamo i valori attesi dell’equazione per Z=0 e Z=1 in questo modo: E(Y|Z=1)= ɑ+δ *E(T|Z=1)+E(ᶓ|Z=1) E(Y|Z=0)= ɑ+δ *E(T|Z=0)+E(ᶓ|Z=0) Adesso calcoliamo le differenze: E(Y|Z=1)- E(Y|Z=0)=0+δ*[E(T|Z=1)-E(T|Z=0)=0 Per calcolare l’effetto facciamo: LA TABELLA MOSTRA IL REDDITO MEDIO: I dati dimostrano che i cross over hanno un reddito medio sensibilmente più alto rispetto ai no shows. Il reddito medio dei no-shows è pari a 8.701 mentre il reddito medio dei cross over è pari a 12.040. Il risultato decritto però è distorto e non rende possibile interpretare come effetto della borsa la differenza di reddito tra tutti coloro che percepiscono la borsa e tutti coloro che non la percepiscono. Come procedere? Possiamo correggere la stima ricorrendo allo stimatore di WALD quindi dividiamo la differenza di reddito tra assegnatari e non assegnatari per la differenza tra le probabilità di usufruire della borsa se assegnati e se non assegnati in questo modo: Quindi l’effetto sarà: Se confrontiamo con la stima dei minimi quadrati che corrisponde alla differenza fra medie tra coloro che percepiscono la borsa e coloro che non la percepiscono questa è pari a 12.040- 8.701= 1531 come possiamo vedere la stima ottenuta con gli OLS sovrastima il vero effetto della borsa lavoro. L’effetto del vietnam sul reddito da lavoro Questo studio fu fatto da JOSHUA ANGRIST, la domanda che lo studio si pone è la seguente: Essere reduce dal Vietnam riduce il reddito da lavoro di un individuo nel corso della vita lavorativa? Per identificare l’effetto causale dell’essere un reduce del Vietnam, non basta fare un semplice confronto nel reddito tra reduci e non reduci questo perché è possibile che ci siano delle differenze di partenza non osservabili che impediscono di identificare il vero effetto. Angrist sfrutta quindi un MECCANISMO DI SELEZIONE CASUALE: negli Stati Uniti fra il 1970 e il 1973 venne reintrodotta la leva obbligatoria e il reclutamento avveniva mediante un sorteggio. Venivano sorteggiati i maschi americani nati fra il 1950 e il 1952, il meccanismo di selezione era basato sulle date di nascita, veniva attribuito un numero progressivo alle 365 date di nascita di ciascun anno estraendo poi i numeri in modo casuale. Coloro a cui la sorte ha assegnato un numero basso venivano reclutati per primi, venivano estratte a sorte circa 200 date di nascita che rappresentavano il gruppo di trattati ossia coloro che partivano, mentre il gruppo di controllo era rappresentato da coloro che non partivano. Angrist utlizza l’esito del sorteggio come VARIABILE STRUMENTALE o STRUMENTO di T che rappresenta l’effettivo trattamento: Z=1 se reclutato per andare in Vietnam. Z=0 se non reclutato. C’è però da sottolineare che nonostante vi fosse la leva obbligatoria non tutti i reclutati partivano effettivamente,molti cercavano di ottenere l’esonero per motivi di salute, altri partivano all’estero mentre molti altri partivano volontari per la guerra in Vietnam pur non essendo stati reclutati. Possiamo quindi definire la T in questo modo: T=1 se l’individuo è effettivamente partito per il Vietnam. T=0 se non è partito. Ci sono tre situazioni possibili: • Z=1 ma T=0: se l’individuo è stato reclutato ma non è partito (NO SHOWS) • Z=0 ma T=1 : se l’individuo non è stato reclutato ma è partito volontario (CROSS-OVER) • T=Z : se l’individuo è stato reclutato ed è partito. La variabile risultato Y è uguale al reddito dal lavoro nel 1984 ma se noi facessimo la differenza tra il reddito da lavoro di coloro che sono reduci del Vietnam e coloro che non lo sono non riusciremo a identificare l’effetto di essere un reduce del Vietnam ma solamente l’effetto di essere stato reclutato: E(Y|Z=1)-E(Y|Z=0) Il valore di T è influenzato sia dalla randomizzazione, sia da scelte individuali dovuti a fattori non facilmente osservabili. E(Y|T=1)-E(Y|T=0) ANGRIST UTILIZZA QUINDI LO STIMATORE DI WALD PER CALCOLARE IL VERO EFFETTO: Cioè l’effetto del sorteggio sul reddito diviso per l’effetto del sorteggio per la probabilità di combattere effettivamente in Vietnam L’eterogeneità degli effetti e il local average treatment effect Se c’è ETEROGENEITÀ DEGLI EFFETTI, le stime prodotte con le variabili strumentali si applicano solo ad un sottoinsieme dei trattati, i cosiddetti compliers, cioè coloro il cui comportamento è realmente inflenzato dal fattore esterno che si è utilizzato come strumento. Esempi – effetto stimato per il sotto campione di trattati composto da: •Borse-lavoro: coloro che ne usufruiscono se assegnati al Trattamento ma non se assegnati al gruppo di controllo. •Laurea: coloro che vanno all’università se vivono a Cagliari ma che non andrebbero se vivessero a Carbonia. •Reduci Vietnam: coloro che sono partiti perché estratti/reclutati ma che non si sarebbero offerti volontari. I COMPLIERS non sono purtroppo identificabili in quanto tali ma possiamo solo sapere in quale proporzione sono nella popolazione: (=1|$=1)−(=1|$=0) Ovvero la differenza di partecipazione indotta dallo strumento Z. Chi sono i NON COMPLIERS ossia la popolazione degli altri? Per chiarire questo punto possiamo far riferimento ad uno schema inventato da ANGRIST, IMBENS e RUBIN. Secondo questo schema prendiamo una Z che sia frutto di RANDOMIZZAZIONE e possiamo dividere la popolazione soggetta a RANDOMIZZAZIONE in 4 sottopopolazioni teoriche, sulla base dei comportamenti osservati e del valore di Z: 1. Compliers: “gli ubbidienti: quelli che scelgono in base allo status che gli è stato assegnato T=1 se Z=1 oppure T=0 se Z=0. 2. Never taker i comunque no: quelli che non aderiscono mai T=0 qualunque Z. 3. Always taker i comunque si: quelli che aderiscono comunque T=1 per qualunque Z. 4. Defiers i disubbidienti: quelli che fanno l’esatto contrario dell’assegnazione T=0 se Z=1 oppure T=1 se Z=0. Questa formula ci dice che la differenza media delle Y fra assegnati e non assegnati, corretta per il tasso di partecipazione identifica l’effetto sui trattati. Questo appena presentato prende il non di stimatore di BLOOM. NB: questo risultato è valido solo se è valido l’assunto che l’assegnazione non abbia alcun effetto sui never taker; plausibile il più delle volte. Effetto medio sulla popolazione ed effetto medio sui trattati. Quale variabile misura gli effetti della politica (esempio laureati non laureati)? L’effetto di una politica sulla popolazione si rileva facendo il l’uguaglianza tra due differenze: la prima differenza: (il reddito medio dei trattati meno il reddito medio dei non trattati) che deve essere uguale (alla variazione del reddito dei trattati meno la variazione del reddito dei non trattati). L’effetto medio sui trattati si trova facendo la differenza tra il fattuale e il controfattuale (la variabile risultato è condizionata dalla variabile trattamento). CAPITOLO 14: L'analisi delle serie storiche interrotte Consideriamo la situazione in cui il trattamento presenti delle discontinuità nette nel tempo, la logica è simile a quella del confronto attorno ad una soglia, però mentre nel caso della soglia la discontinuità di creava fra gli individui, in questo caso la discontinuità si crea nel tempo per la stessa popolazione di destinatari. Per esempio: una politica pubblica universale che entra in vigore da una certa data in poi (un nuovo obbligo o divieto). Il problema fondamentale è: Come si analizzano questi dati? L’idea alla base del metodo di valutazione che prende il nome di analisi delle serie storiche interrotte è molto semplice: bisogna utilizzare la storia pre intervento della variabile risultato per predire quale sarebbe stato il suo andamento nel periodo post intervento se l’intervento non fosse stato attuato, e stimare l’effetto come differenza fra l’andamento osservato (fattuale) e quello predetto (controfattuale). In questo modo la situazione controfattuale viene ricostruita usando la proiezione di una serie storica. Un requisito essenziale per l’applicazione di questo metodo è la disponibilità della storia della variabile risultato per un periodo precedente all’introduzione della politica e sufficientemente lungo da poterne modellare l’andamento temporale. Esempio: patente a punti: La norma sulla patente a punti aveva lo scopo di modificare i comportamenti degli automobilisti in modo da indurli ad un maggiore rispetto del codice della strada. In casi come questi però non è possibile distinguere fra trattati e non trattati, infatti tutti gli automobilisti sono soggetti a questa norma, nessuno escluso. Per valutare quindi gli effetti di una politica di questo tipo si studia la discontinuità rappresentata dalla brusca entrata in vigore della politica nel luglio 2003, cambiamenti osservati intorno a questa data possono essere considerati come effetto della politica. La variabile risultato che utilizzeremo è il numero di incidenti stradali e il numero di morti in seguito ad incidente stradale. Su queste due variabili intendiamo misurare l’effetto dell’introduzione della patente a punti, che rappresenta la variabile – trattamento, uguale a 0 nei mesi precedenti al luglio 2003 ed uguale a 1 da luglio 2003 in poi. Prima di tutto dobbiamo chiederci: EFFETTO SU COSA? Le variabili risultato che utilizzeremo sono: • Il numero di incidenti stradali. • Il numero di morti in seguito ad incidente stradale. Su queste variabili intendiamo misurare l’effetto dell’introduzione della patente a punti. Il numero di incidenti stradali e il numero di morti in seguito ad incidente stradale dipende da molti fattori quali: • Numero di veicoli circolanti. • Età del guidatore. • Condizioni del veicolo e della strada. • Comportamento degli individui ecc. La politica analizzata però incide solo su un fattore molto importante ossia, il comportamento degli individui e non può fare nulla sugli altri fattori. Entrambe le variabili risultato (Il numero di incidenti stradali, Il numero di morti in seguito ad incidente stradale) sono quindi soggette ad una dinamica spontanea dovuta ad un complesso di fattori estranei alla patente a punti. L’effetto sui decessi per incidente Consideriamo le variabili risultato numero di morti in seguito a incidenti stradali: abbiamo una serie storica a partire dal 1979 al 2004, il percorso temporale di questa variabile nei 25 anni precedenti all’entrata in vigore della norma sulla patente a punti mostra un trend lineare decrescente. Il trend può essere calcolato come: Yt è il numero dei morti T=trend= variabile che controlla gli anni pre-politica. Le stime: Qual è dunque l’effetto dell’introduzione della patente a punti? Il numero dei decessi relativi al 2004 si trova al di sotto del trend storico. Seguendo questa logica possiamo calcolare il valore del CONTROFATTUALE come: y2004=8.021−76,890=8.021−76,89∗26=6.022 Si assume quindi di seguire lo stesso trend anche per il 26 esimo anno, il 2004. Basandoci sul trend storico ci saremmo aspettati circa 6000 morti nel 2004, invece è stato osservato un valore pari a 5.538 morti. Quindi l’effetto della patente a punti per l’anno 2004 è uguale all’Y osservato ossia 5.538 meno l’Y stimato ossia 6.022. y2004- y2004=5538-6022 = -484 Quindi grazie alla patente a punti c’è stata una riduzione nel numero di decessi in seguito a incidenti stradali. Oppure un confronto più credibile sempre in un’ottica pre-post sarebbe quello tra il numero di incidenti nei 12 mesi precedenti e nei 12 mesi successivi all’entrata in vigore della norma. Per ottenere però delle stime più corrette abbiamo bisogno di un modello che colga sia la componente stagionale, sia il trend storico che stimeremo con i 126 dati mensili relativi al periodo precedente l’entrata in vigore della norma. Mm sono 11 variabili dicotomiche indicanti il mese dell’anno escludo un mese che è dicembre ossia il mese di riferimento. I dati ottenuti nella stima dimostrano che: il trend di crescita è positivo e pari a circa 60 incidenti in più al mese, le differenze tra i vari mesi sono evidenti con un aumento nel numero di incidenti nei mesi di giugno e luglio (circa 3000 incidenti in più al mese). Il controfattuale va calcolato per ciascuno dei 18 mesi post-introduzione della patente a punti sulla base della formula: La tabella sottostante riporta le 18 stime dell’effetto della patente a punti. La tabella dimostra che nei 18 mesi successivi l’entrata in vigore della patente a punti, il numero di incidenti è diminuito del 13%. Adesso quello che facciamo è stimare il modello sulla base di tutte le 144 osservazioni: Pk sono 18 variabili dicotomiche che rappresentano ciascuna uno dei mesi post intervento. Con i risultati ottenuti si è dimostrato che la patente a punti ha avuto l’effetto desiderato, infatti c’è stata una notevole diminuzione nel numero di incidenti e di morti sulle strade. Quando ci troviamo di fronte a serie storiche più complesse di cui non conosciamo a priori quali sono le componenti possiamo utilizzare dei modelli più sofisticati come ad esempio ARIMA (Auto Regressive Integrated Moving Average) una particolare tipologia di modelli che indagano su serie storiche che presentano caratteristiche particolari. Una volta stimati, i coefficienti di questi modelli possono essere utilizzati per proiettare in avanti la serie storica. CAPITOLO 15: La rilevazione degli effetti percepiti dai beneficiari Tutti i metodi per esempio: il metodo sperimentale, il metodo delle differenze nelle differenze ecc. tentano di ricostruire la situazione del controfattuale basandosi sui dati sui soggetti non trattati o trattati ma riferiti a un periodo precedente al trattamento. Molto spesso però questo non è non è possibile infatti questi dati non sono sempre disponibili. Quale strategia si può applicare nella situazione in cui l’unica fonte di dati per la valutazione sia un’indagine sui beneficiari diretti di una politica, condotta una tantum dopo l’erogazione del trattamento? In una logica strettamente controfattuale non si può fare nulla…o quasi. I documenti della commissione europea sulla valutazione dei fondi raccomandano l’utilizzo di beneficiary survery, cioè indagini campionarie sui beneficiari, nonché la rivelazione mediante tali indagini dell’opinione dei beneficiari sull’effetto che ha avuto la politica su di loro. Un metodo di questo tipo è il metodo REP ossia un metodo di rivelazione degli effetti percepiti: L’essenza del metodo REP è: • rilevare la percezione che i beneficiari hanno dell’effetto che l’intervento ha avuto su di loro; • Fare ciò ricorrendo a domande ipotetiche, che sollecitino il rispondente ad immaginare la situazione controfattuale, cioè cosa gli sarebbe successo in assenza di intervento; • aggregare le risposte ottenute derivando una misura dell’effetto tra i beneficiari. Quindi il metodo presuppone che vengano fatte delle interviste ai beneficiari di una determinata politica. Tale approccio presenta sia dei vantaggi che dei rischi. Vantaggi --> non servono altri dati per derivare la situazione controfattuale, bastano le informazioni ottenibili interpellando direttamente i beneficiari in un periodo successivo all’attuazione dell’intervento. Non occorre, dunque, un gruppo di controllo e non occorre neppure ottenere misure precise della variabile – risultato. Inoltre, si può attendere la conclusione dell’intervento per effettuare la prima raccolta di dati. Rischi --> le stime dell’effetto della politica si basano interamente su percezioni, non su comportamenti osservati. Tali percezioni possono essere distorte. Lo sforzo cognitivo imposto ai rispondenti può andare al di là di ciò che è ragionevole aspettarsi da chi sta rispondendo ad un’intervista, solitamente condotta per telefono: si chiede loro di immaginare uno scenario alternativo e di confrontarlo con quello verificatosi realmente e di dedurre l’effetto dal confronto fra queste due situazioni. Il metodo REP implica una evidente trade-off tra l’apparente facilità di ottenere le informazioni e e la credibilità delle informazioni ottenute. Secondo Martini-Sisti il REP può essere preso in considerazione quando ogni altro metodo di natura controfattuale risulta inapplicabile (Per esempio per mancanza di risorse: è impossibile condurre una raccolta dati ad hoc e l’unica strada percorribile sia approfittare di un’indagine sui beneficiari condotta per altri scopi…). CAPITOLO 16: Quando valutare gli effetti di una politica pubblica Non tutte le politiche pubbliche giustificano una valutazione degli effetti. Perché? - Tali effetti sono banali o scontati; - Perché può essere riduttivo ricondurre la politica pubblica alla nozione di trattamento; - Perché non è possibile determinare esattamente cosa la politica pubblica voglia ottenere.