Scarica Mazzeo domande e più Prove d'esame in PDF di Sociologia Del Diritto solo su Docsity!
1-Il processo d’implementazione
Gli studi sull’implementazione assumono particolare rilievo nei primi anni 70.
La Catena è nota:
- Si analizza
- Si decide
- Si attua
- Si valuta
La visione di un attore che partecipa al processo di costruzione ed attuazione delle policy perfettamente razionale segna le differenze fra un approccio di implementation deficit (impostazione prescrittiva)ed uno incrementale evolutivo (impostazione descrittiva). Il trattamento previsto da un programma può venir completamente trasformato durante il processo di implementazione. I valutatori hanno scoperto che alcuni programmi non sono mai stati implementati; altri invece sono stati affidati a personale inesperto, ed in altri, l'implementazione ha nella pratica negato i processi previsti dal programma. Palumbo e Oliverio sviluppano argomenti persuasivi secondo cui la conoscenza dell'implementazione del programma può determinare la validità e la qualità della valutazione.
Secondo loro una comprensione generale dei processi di implementazione può aiutare nello sviluppo di strategie appropriate alla sua misurazione. Esistono due prospettive generali sull'implementazione:
- la prospettiva ingegneristica: che avanza l'idea che un piano generale di implementazione possa essere disegnato in modo efficace da un'agenzia centrale con un grado minimo di incertezza relativamente alla sua esecuzione.
- la prospettiva del sistema sociale: ipotizza che l'implementazione implichi necessariamente incertezza. I processi politici ed organizzativi per l'implementazione di un programma sono molto lontani dall'essere razionali. L'approccio top-down discusso da Palumbo e Oliverio è legato alla prospettiva ingegneristica. I processi di implementazione devono essere in grado di cambiare e di adattarsi a delle mutate circostanze di contesto. Nessun piano di implementazione è in grado di anticipare tutti i tipi di contingenza, e benché un qualche piano per l'implementazione debba essere stabilito, le procedure dettagliate ed i processi di implementazione devono venir formulate, riaggiustate e corrette mentre si procede con l'implementazione. Gli approcci di implementazioni discussi da Palumbo e Oliverio, quali l'implementazione bottom-up di tipo additivo ed il processo di implementazione evolutiva, appartengono a questa categoria.
La modalità di implementazione ingegneristica potrebbe essere più adatta quando le procedure per l'implementazione del trattamento possono essere standardizzate, e quando vi sia una scarsa interferenza ambientale ed un limitato bisogno di coordinamento inter organizzativo. Palumbo e Oliverio hanno fatto un'interessante osservazione circa la relazione tra modalità di implementazione e validità esterna. A confronto con la modalità di implementazione del sistema sociale. I sostenitori dell’approccio bottom-up rileggono lo schema che dalla formazione passa all’implementazione, poi alla valutazione, secondo un processo complesso, di azione e reazione, influenzato dalle condizioni e dal contesto locale piuttosto che prescritto dall’alto.
La prospettiva di analisi è bottom, ovvero inizia dagli attori preposti all’attuazione, analizzandone il comportamento, le motivazioni e tutti gli aspetti strutturali che influenzano le modalità del loro agire.
Scharpf ha analizzato l’influenza esercitata da condizioni e restrizioni dei differenti sistemi politico- amministrativi tanto sulla formazione quanto sulla implementazione delle politiche.
L’autore sottolinea come la ricerca sui processi implementativi sia stata rivolta alle fasi successive la formulazione delle politiche.
Brikerhoff mostra come l’interattività del contributo tecnico e politico nella implementazione delle politiche ha evidenziato la necessità di rendere intellegibili gli apporti delle diverse agenzie coinvolte quale presupposto per un’implementazione di successo.
Barret e Fudge definiscono il processo implementativo come una parte di un processo più ampio di contrattazione e negoziazione che tiene insieme input provenienti dall’altro e innovazione prodotta dal basso.
La contrattazione che si avvia si sostanzia all’interno di un più ampio “assetto negoziale” che comprende quadri giuridici formali e norme informali di comportamento.
L’assunto di tale approccio, secondo il quale ai decisori il compito di definire obiettivi, priorità, e piani d’intervento e alla burocrazia il compito di attuare quanto stabilito attraverso adeguati mezzi, viene messo in discussione da quanto proposto da Michael Lipsky relativa all’importanza del ruolo della “street level bureaucracy” ovvero del ruolo di quella parte di bureaucracy diretto a contatto con i cittadini – street level- che l’autore considera come i principali erogatori della stessa policy.
L’ipotesi dell’autore contribuisce agli studi sui processi d’implementazione, rafforzando in particolare l’approccio bottom-up prima ricordato.
Evidenzia come gli operatori dei servizi pubblici nello svolgimento delle proprie funzioni dispongano di un notevole grado discrezionale nella scelta dell’erogazione dei servizi, nell’attribuzione di sanzioni, discrezionalità che non dipende solo dalla specificità e dalla vincolatività di norme e regolamenti ma dalle
decidere l’erogazione adeguata al “bisogno” individuato, ma anche una definizione del bisogno adeguata alle risposte di cui dispone.
Schneider affronta il delicato rapporto tra norma e discrezionalità a volte si rende necessario per consentire al decisore di promuovere lo scopo stesso della norma.
Handler sostiene quanto sia necessario ed auspicabile per una efficace attuazione, concedere discrezionalità alle agenzie coinvolte nei processi implementativi, quale condizione per consentire flessibilità nel rispondere a specifici problemi.
Evans e Harris ribadiscono l’inevitabilità dell’autonomia decisionale nel processo implementavo, hanno indicato come questa debba considerarsi una dimensione professionale a garanzia della adattabilità dell’intervento all’eterogeneità dei contesti.
La discrezionalità è stata affrontata al rapporto tra operatore e management diretto in campo sanitario e ambito sociale.
2-La valutazione guidata dalla teoria.
Il concetto di valutazione basata sulla teoria è in circolazione da oltre 25 anni. Diversi studiosi del passato affrontarono tale tema. Wholey sostiene che prima dell'inizio formale di una ricerca vera e propria il valutatore dovrebbe analizzare il ragionamento logico che mette in relazione gli input con gli esiti desiderati, per vedere se vi sia una ragionevole probabilità che le finalità vengano raggiunte. Chen e Peter Rossi hanno dibattuto questa idea: loro affermavano che la teoria dovesse provenire dalle scienze sociali e non essere semplicemente una serie di premesse logiche ad hoc. Chen: fece una distinzione tra teoria normativa e teoria causale.
- Teoria Normativa : fornisce una guida riguardo a quali finalità ed esiti dovrebbero essere perseguiti o esaminati.
- Teoria Causale : consisteva nell'insieme di assunzioni riguardanti al modo in cui il programma funziona. Alla fine degli anni'80 la valutazione basata sul programma era diventata un'idea popolare. I modelli logici sembrano essere simili alle teorie di programma. Se con il termine teoria si intende la logica professionale che sottostà al programma allora i due concetti sembrano essere la stessa cosa. Bickman solleva l'importante questione di quale ruolo dovrebbe essere svolto dal valutatore nella valutazione guidata della teoria. Il ruolo del valutatore consiste nella progettazione e nella conduzione della valutazione come specificato dagli stakeholder. Il ruolo del valutatore guidato dalla teoria è più attivo: consiglia gli stakeholder sulle strategie di valutazione alternative attraverso le quali questi potrebbero accrescere, allo stesso tempo, la propria comprensione del potenziale del programma e le potenzialità di utilizzo della valutazione.
Patton: sostiene che l'approccio guidato dalla teoria presuppone una grande quantità di elaborazione concettuale da parte del valutatore, per far si che la realtà del programma possa rientrare nel modello. Patton: propone un approccio alternativo maggiormente applicabile che consistente nel lavorare con gli stakeholder primari per creare la loro concettualizzazione della teoria dell'azione del programma. La pianificazione di una valutazione guidata dalla teoria richiede un lavoro concettuale più impegnativo di quello necessario per una valutazione convenzionale. Shapiro, applicando il lavoro di Simon sull'intelligenza artificiale indaga tale questione nella fase di pianificazione di una valutazione. Egli sostiene che il valutatore deve considerare simultaneamente la finalità della valutazione, il disegno di valutazione realizzato per perseguire questi scopi, ed i fattori esterni della valutazione, quali il suo contesto etico, organizzativo e politico. Chen: individua sei ambiti principali di valutazione mediante i quali il valutatore e gli stakeholder possono concettualizzare le questioni importanti in una particolare valutazione utile:
- L'ambito del trattamento
- Ambito dell'ambiente di implementazione
- Ambito dell'esito
- Ambito dell'impatto
- Ambito del meccanismo intermedio
- Ambito della generalizzazione Ogni ambito ha bisogno di una propria teoria che fornisca una guida per la gestione delle questioni specifiche a quell'ambito.
- Una valutazione è condizionata dalle risorse e dal tempo a disposizione.
- È impossibile svolgere una valutazione guidata dalla teoria completa per ogni valutazione.
- Chen: individua diversi tipi di valutazioni guidate dalla teoria che attenuano questi problemi e che sono basate su diverse combinazioni di teorie di ambito. Gran parte del lavoro nella valutazione basata sulla teoria ,oggi, si svolge nel campo della promozione della salute e della prevenzione del rischio. Quando i valutatori adottano un approccio basato sulla teoria, è spesso per una delle seguenti due ragioni:
- che il valutatore è anche colui che sviluppa l'intero programma. L'ideatore di un programma di solito un accademico, è impegnato nel ciclo di sviluppo di un programma che tratta un problema particolare. Questa persona sviluppa la teoria, traduce la teoria in un insieme di attività del programma attraverso la valutazione testa il programma, e di conseguenza anche la sottostante teoria, ed infine verifica l'intervento. La valutazione fa parte di quella serie di attività grazie alle quali l'intervento prende forma.
- la promozione della salute e la prevenzione del rischio sono ambiti in cui la pianificazione dei programmi è bene sviluppata: gli ideatori tendono ad esplicitare meditatamente e dettagliatamente le loro assunzioni teoriche, costruendo i programmi su tali basi. Diventa semplice per il valutatore effettuare la valutazione seguendo il percorso teorico così tracciato. Alcune delle teorie sono abbastanza tradizionali e ben consolidate, come ad esempio la teoria dell'apprendimento sociale.
lega insieme scelte e capacità. Più in specifico nel contesto di un programma basato sul contatto diretto, uno di questi meccanismi potrebbe consistere in un processo di “empowerment”. CONTESTI: una nozione da cui l'idea di meccanismo è sempre accompagnata è la nozione di “contesto”. Per contesto sociale non si intende solamente il luogo spaziale, geografico o istituzionale in cui un programma è inserito. Così per quanto un programma sia di fatto avviato in prigioni, ospedali, scuole, quartieri o parcheggi, è il complesso precedente di regole sociali, relazioni e sistemi culturali che definisce questi luoghi a stabilire i limiti di efficacia dei meccanismi del programma. I programmi operano introducendo nuove idee o nuove risorse in complessi esistenti di relazioni sociali. Un compito cruciale della valutazione è fare spazio all'esame dell'azione di queste strutture preesistenti. ESITI: l'obiettivo dell'indagine realistica è spiegare “esiti”, “uniformità”, “regolarità”, “tassi”, “correlazioni”, o “modelli” sociali. Ciò che è specifico nel realismo è una prescrizione piuttosto precisa in merito alle proposizioni esplicative in grado di realizzare questo obiettivo. Explanans ed explanandum devono essere messi in relazione in conformità alla formula seguente: Esito=Meccanismo + Contesto. Compito fondamentale dell'indagine sociale è spiegare esiti (E) interessanti, sconcertanti o socialmente significativi. La spiegazione consiste nel postulare l'esistenza di meccanismi soggiacenti (M) in grado di generare le regolarità studiate, e perciò è costituita da proposizioni relative al modo in cui l'interazione di struttura e azione ha originato l'esito. Il realismo enuncia una prescrizione precisa alla teoria da sviluppare che deve essere basata sui venerandi ingredienti esplicativi rappresentati dai meccanismi, i contesti e gli esiti.
4-La teoria del cambiamento
Weiss: definisce in maniera semplice la teoria del cambiamento come una teoria che spiega come e perché un'iniziativa funziona. La teoria del cambiamento applicata alla valutazione delle iniziative integrate di comunità è considerata come uno studio sistematico e riassuntivo dei legami fra le attività, gli esiti e i contesti nei quali si situa l'iniziativa. Tale definizione suggerisce che il primo passo per valutare un'iniziativa integrata sia quello di determinare i suoi esiti attesi, le attività che si prevede di implementare per raggiungere tali esiti. Un'importante fattore di contesto potrebbe essere l'ambiente di policy, compresa la presenza o l'assenza di leggi che permettono di mettere in comune fondi provenienti da varie fonti statali da destinare a iniziative comunitarie innovative. Un'altra attività
centrale, che potrebbe risentire di fattori di contesto locali come la struttura razziale del quartiere e la storia delle relazioni fra i suoi gruppi, potrebbe essere quella di costruire reti sociali fra le famiglie con figli piccoli. Weiss ha descritto quanto fosse importante che la valutazione di un programma avesse delle buone radici teoriche, ha descritto il potenziale contributo che questo approccio poteva dare alle iniziative integrate. Esistono tre ragioni per iniziare il disegno e la valutazione delle iniziative integrate con l'aiuto di una buona teoria del cambiamento:
- l'approccio della valutazione basata sulla teoria del cambiamento può affinare la pianificazione e l'implementazione di un'iniziativa
- la parte di valutazione che comprende la misurazione e la raccolta di dati sarà più facile se si ha a disposizione una teoria del cambiamento
- Se si formula sin dall'inizio una teoria del cambiamento e se questa teoria ha il consenso degli stakeholder si riducono, ma non si eliminano, i problemi associati all'attribuzione causale dell'impatto. Un approccio basato sulla teoria del cambiamento applicato alla valutazione; non si tratta di per se stesso, di un metodo di valutazione. L'approccio in realtà utilizza e si fonda su molte metodologie sviluppate e raffinate nel corso degli anni: metodologie quantitative e qualitative, orientate agli impatti o ai processi, tradizionali e non tradizionali, e così via; metodologie che servono a raccogliere informazioni a misurarle e analizzarle. Se le iniziative integrate “stanno funzionando” e stanno generando una nuova conoscenza scientifica utile ad arricchire la progettazione delle iniziative future. Perché questo approccio raggiunga le sue potenzialità, la teoria del cambiamento che guida le iniziative integrate e la sua valutazione deve essere di buona qualità. Vi sono tre caratteristiche di una buona teoria del cambiamento, della cui presenza gli stakeholder dovrebbero assicurarsi prima di impegnarsi in una valutazione e che, inoltre, dovrebbero rivisitare durante i processi di implementazione e valutazione:
- Deve essere plausibile
- Deve essere fattibile
- Deve essere testabile Per sviluppare teorie del cambiamento che siano plausibili, fattibili e testabili, le iniziative integrate di comunità devono essere disegnate basandosi su varie fonti di informazione: l'esperienza dei programmi precedenti, conoscenze acquisite in maniera scientifica dei residenti della comunità.
riforma scolastica, nel lungo periodo l'esito individuale relativo al rendimento degli studenti avrà maggiori probabilità di migliorare quando vengono realizzati determinati cambiamenti a livello scolastico o istituzionale. La parte della teoria che identifica la formazione e l'attivazione di una task force per l'istruzione all'interno dell'iniziativa integrata come un passo chiave per ottenere un cambiamento istituzionale nelle scuole può contare su un supporto teorico molto più debole. Combinare una molteplicità di teorie del cambiamento: uno dei contributi più importanti di questo approccio è che diversi stakeholder di una iniziativa integrata possono lavorare con teorie del cambiamento diverse e forse anche in competizione fra loro. Le iniziative integrate vengono lanciate senza che esse siano state combinate. La differenza fra i punti di vista del finanziatore e del direttore riguardo all'importanza della collaborazione dell'agenzia emergerebbe nel momento in cui decidono in merito agli esiti iniziali e agli esiti intermedi, che ciascuno di essi ritiene porteranno a un cambiamento di lungo termine. Le teorie del cambiamento plausibili sono anche complesse e pluralistiche, ma se devono implementare non possono essere contraddittorie e se devono essere valutate non possono essere formulate. Misurare gli esiti e le attività: il processo di misurazione tende a essere svolto da una sola unità di osservazione di solito l'individuo, e a seguire un ordine fisso, che prevede inizialmente l'analisi del tipo di trattamento, successivamente dei mediatori e solo alla fine degli esiti. La misurazione nelle valutazioni di programmi più circoscritti tende a basarsi principalmente su tecniche quantitative, come l'utilizzo di dati amministrativi per elencare la partecipazione, la somministrazione di questionari ai beneficiari per misurare l'esposizione e l'esperienza e attività attuariali per misurare gli esiti discreti relativi ai beneficiari. Nel caso degli esiti, come ogni altra valutazione, alcuni sono più difficili da misurare di altri, alcuni esiti delle iniziative integrate di comunità come i miglioramenti nella mortalità infantile, il numero di diplomi nelle scuole secondarie, e i tassi di occupazione sono relativamente facili da misurare. Le misurazioni di determinate caratteristiche di una comunità quali il capitale della comunità, i valori condivisi e la solidarietà delle reti sono più elusive. I “trattamenti” delle iniziative integrate sono una serie di attività che avvengono nel corso del tempo, in gruppi legati fra di loro, a diversi livelli di osservazione, e nei quali le attività successive che vengono aggiustate in base agli esiti delle attività precedenti. La valutazione dei risultati in un singolo punto o in un intervallo fisso non riuscirà a cogliere il processo di cambiamento nelle iniziative integrate in maniera efficace e potrebbero essere necessari anche punti di partenza sfalsati. Nonostante la maggior parte delle iniziative integrate siano ancora nelle fasi iniziali della
misurazione di attività di esiti, emergono tre punti specifici per la valutazione basata su una teoria del cambiamento:
- La misurazione delle attività delle iniziative integrate di comunità è altr’attento importante della misurazione dei suoi esiti.
- la discussione relativa alla misurazione deve risolvere il problema della determinazione del livello minimo sufficiente.
- il processo di far emergere e formulare una teoria del cambiamento fornirà informazioni importanti sulla misurazione delle attività e degli esiti. Argomentazioni a sostegno dell'impatto: l'approccio della teoria del cambiamento sostiene che più gli eventi predetti della teoria si verificano nel corso dell'iniziativa, più il valutatore e gli altri soggetti tendono a convincersi che la teoria che sta alla base dell'iniziativa sia giusta. Quello che distingue il campo della valutazione dalla maggior parte del restante mondo scientifico è la conclusione che, per quanto riguarda gli approcci sperimentali che prevedono l'assegnazione casuale di unità di osservazione come individui, istituzioni e comunità a gruppi di trattamento e controllo, tutti i metodi disponibili per testare un'ipotesi sono inadeguati. L'ordine di grandezza del cambiamento atteso in funzione di molti interventi sociali deve essere piccolo. Più piccolo è il cambiamento atteso, più solido deve essere il dato controfattuale, perchè si possa attribuire un nesso casuale. Le iniziative cercano la trasformazione dei quartieri e miglioramenti significativi nel benessere delle famiglie e del singolo. Rapporti di valutazione basati sulla teoria del cambiamento: l'approccio della teoria del cambiamento ristruttura le distinzioni tradizionali fatte nella letteratura sulla valutazione del programma, uno studio sistematico e cumulativo dei legami fra le attività e gli esiti sostituisce le ricerche sulla documentazione di processo, sull'implementazione e sugli esiti. La maggior parte della valutazione di iniziative complesse focalizzano le loro attività di misurazione sugli esiti di lungo termine. Le ricerche di implementazione discutono se il programma o l'iniziativa siano stati implementati o meno, e con quale grado di completezza. Nei rapporti di valutazione sulle iniziative integrate, la documentazione di processo e le ricerche di implementazione esauriscono ciò che viene presentato perché non ci si aspetta che gli esiti di lungo termine mostrino alcun segnale di cambiamento, se non anni dopo che le prime attività sono state implementate, e perché non esiste una teoria forte- aprioristica- del cambiamento che colleghi le attività iniziali agli esiti iniziali. L'approccio della teoria del cambiamento rimpiazza i due tipi di valutazione principali, e spesso indipendenti con un tipo che esplicitamente e deliberatamente copre sia le attività che gli esiti.
N. Stame riconduce lo sviluppo della valutazione al modo in cui si risponde alle domande poste dal welfare state in tre periodi:
- “ottimismo programmi e valutazione” (metà anni ’60-’70). In cui nasce l’approccio positivista- sperimentale e quello pragmatista, che si preoccupa della capacità della valutazione di dimostrare l’impatto dei programmi o la validità, attraverso una metodologia appropriata.
- “ pessimismo dei programmi e scontro sulla valutazione” ( metà anni ’70-’80) dove si registrano gli effetti perversi delle politiche di welfare e si pone attenzione al processo di implementazione e alle influenze del contesto. Nasce l’approccio costruttivista.
- (^) “scomposizione dei programmi e pluralismo della valutazione”. Qui viene posta molto attenzione sull’utilizzo della valutazione da parte degli stakeholders. Tale cronologia, mette in luce il rapporto che esiste tra valutazione e politica in quanto la valutazione è una ricerca che vuole migliorare l’azione se ,infatti, la si vede come miglioramento dell’azione sociale ci si pone maggiori problemi che riguardano l’utilizzabilità. Inoltre mette in luce il fatto che ad ogni problema della politica possono essere date risposte differenti, date dai diversi approcci. Tale distinzione, si rifà al dibattito negli USA (dove la valutazione nasce negli anni ’60) in cui non c’era un intervento pubblico negli affari sociali e se ne voleva provare l’efficacia, a differenza dell’Europa continentale. La valutazione in Italia è entrata nella PA come uno strumento da utilizzare nell’attività di governo in un momento in cui c’era maggiore integrazione europea e globalizzazione dei mercati.
- TUTTO CiO’ CHE E’ DECIDIBILE E’ VALUTABILE: c’è valutazione ogni volta che qualcuno chiede di giudicare un’azione intenzionale a fronte di un criterio e sulla base di informazioni pertinenti. I requisiti della valutazione sono la formazione di un giudizio fondato sull’intenzionalità dell’azione da valutare e la disponibilità di criteri di giudizio ed anche il fatto che l’azione realizzata permetta la raccolta di riscontri empirici utili a sopportare il giudizio stesso. L’intenzionalità deve riguardare l’azione. La valutazione è infatti un’attività spontanea al carattere riflessivo dell’agire umano che trae da una riconsiderazione critica dell’esperienza nuovi quadri di riferimento per le azioni successive. Ci si chiede cosa sia accaduto, dopo la realizzazione di un programma o di un intervento e si confronta la risposta con gli effetti attesi/progettati ovvero rispetto a bisogni o standard predefiniti, ovvero con i valori che erano alla base del programma o dell’intervento. La valutazione presuppone che siano enunciati o ricostruibili gli effetti attesi, i bisogni gli standard o i valori. La maggior parte delle valutazioni riguardano interventi , servizi, attività, rispetto ai quali al valutatore si chiede se si possono fare le cose meglio o con un costo minore, se le prestazioni erogate raggiungono davvero i soggetti a cui sono destinate, se gli utenti sono soddisfatti o potrebbero esserlo di più
con prestazioni diverse. E’ importante ragionare su ciò che accade confrontando il processo o il prodotto con uno di questi 4 elementi: 1-le aspettative implicite o esplicite del decisore dell’attività
2-i bisogni 3-gli standard 4-modalità di realizzazione dell’intervento.
- LA VALUTAZIONE E’UN’ATTIVITA’ DI COMPORAZIONE TRA ELEMENTI: che viene condotta con criteri predefiniti che implica la raccolta o utilizzo di dati empirici per formulare un giudizio. La comparazione è il cuore della valutazione. Ciò che differenzia la valutazione dalla produzione di giudizi è il rigore procedurale con cui essa viene effettuata. Si può distinguere anche tra valutazione e ricerca valutativa. Per ricerca valutativa si intende quella parte della valutazione che ha l’obiettivo di raccogliere e analizzare informazioni utili per esprimere giudizi valutativi. Mentre la valutazione è un’attività che può appartenere anche a persone che non sono preparate dal punto di vista scientifico ma interessate ad esprimere giudizi informati, efficace e utili. Il processo di valutazione non si può realizzare senza il ricorso della ricerca valutativa. La logica della valutazione è quella della comparazione, le informazioni a cui fa riferimento sono quelle della ricerca.
- LA VALUTAZIONE SI FONDA SU UN ROBUSTO SUPPORTO SCIENTIFICO: sennò si tratterebbe semplicemente di produzione di giudizi. Il processo di valutazione si può organizzare in un unico sistema valutativo che presenta una struttura simile a quella delle scienze sociali per la conduzione di una ricerca. Esso riprende i passaggi chiave della ricerca sociale : fase preliminare in cui si imposta la ricerca ( viene definito l’oggetto, formulata l’ipotesi, definiti gli strumenti di rilevazione), fase raccolta dei dati e analisi e interpretazione risultati.
- (^) La valutazione come attività scientifica è una sottoclasse di una più ampia attività dell’uomo; l’attività quotidiana di esprimere un giudizio, caratterizzata dall’uso di procedure di tipo scientifico e ispirata alle scienze sociali, perché retta da principi metodologici e realizzata attraverso strumenti tecnici delle scienze sociali.
- OGNI PROCESSO DI VALUATAZIONE E’ CONNESSO AL CONTESTO CHE HA PRODOTTO DECISIONE E L’ATTUAZZIONE DI UN INTERVENTO O DI UN COMPLESO DI INTERVENTI, NONCHE’ LA DECISIONE DI VALUTARLI: da questo assunto derivano due corollari: a- il valutatore deve possedere gli strumenti concettuali per classificare e analizzare i processi decisionali, b- la ricostruzione del processo decisionale costituisce molte volte un passaggio obbligato dall’analisi valutativa. Bisogna fare riferimento anche al contesto socio culturale in cui è inserito l’avaluando poiché influenza la valutazione che deriva dalla
situazioni simili. Il metodo utilizzato è quello sperimentale, o quasi sperimentale che permettere di mettere a confronto situazioni pre e post intervallo. Il disegno valutativo viene impostato all’inizio e la valutazione viene fatta ex post.
Le tecniche di ricerca usate sono quantitative: questionario, modelli econometrici. In questo approccio la valutazione viene utilizzata in maniere strumentale in quanto dovrebbe fornire input di informazione che i politici trasformano in decisioni. Il limite di questo approccio è che può dimostrare che qualcosa si modifica dopo che è stato introdotto un input o una variabile, ma non è in grado di dire perché questo avviene. Per Chen la valutazione deve chiarire la teoria alla base del funzionamento del programma, individuare ipotesi forti da poter essere testate, per escludere quelle in contrasto. Altro limite è che si osserva solo quello che si è predisposti ad osservare non si capiscono effetti inattesi. I risultati si possono conoscere solo dopo la fine del programma. Nonostante ciò tale approccio continua ad essere ritenuto quello più adatto per i programmi di investimenti pubblici e nei programmi sociali.
- Approccio pragmatista –della qualità
In tale approccio, l’obiettivo è quello di giudicare un programma in base a un’idea di valore, che può essere un concetto di merito detenuto da attori interni al programma e dai valutatori, o uno standard definito all’esterno del programma. È stato fondato da Scriven , che sostiene che il valutatore non deve farsi influenzare dagli obiettivi del programma e la sua deve essere una goal free evaluation in quanto deve mettere il suo programma e i suoi obiettivi sopra tutto. Egli sostiene che il giudizio di valore si scompone in due aspetti: il merit (valore intrinseco ad un’attività) e il worth ( valore estrinseco, che incontra i bisogni dei destinatari nel contesto in cui si svolge). La valutazione deve: stabilire criteri di merito e di standard, misurare performance dei singoli programmi, dare un punteggio, ordinare più programmi in una graduatoria, sintetizzare i risultati in un giudizio finale di valore. Qui l’elemento di confronto è ciò a cui tutti i programmi simili dovrebbero mirare su una certa scala di merito se vogliono essere considerati di buona qualità. La qualità diventa la proprietà positiva da rilevare e si cercano degli indicatori rispetto ai quali stabilire degli standard di raggiungimento. È molto difficile fissare degli standard, la loro fissazione può essere uno stimolo al miglioramento. Se gli standard vengono fissati per un’attività legata ala programmazione, la valutazione può misurare le performance rispetto agli standard ma tale attività fa riferimento a modelli di “giudizi degli esperti” che raramente coinvolgono gli stakeholders, se non per la valutazione della soddisfazione degli utenti. Ha il difetto, però, di essere molto rigida in quanto i modi di prestare un servizio e le esigenze degli utenti cambiano in continuazione ed è necessario un aggiustamento continuo degli standard. Questo approccio viene utilizzato dal management pubblico, che ha come obiettivo quello di sapere quanto sta producendo il suo servizio, oppure da un’amministrazione
che vuole confrontare servizi simili, offerti da strutture diverse. Lo stesso Scriven, però, ha individuato degli limiti, infatti sostiene che coloro che parlano della qualità dei servizi riferendosi a standard, norme ISO, accreditamenti ect, fanno riferimento solo al merit e solo una formative evaluation per il management e non riescono a fare anche una valutazione orientata al consumatore che deve essere goal free e a basata anche sul worth.
- Approccio costruttivista-del processo sociale.
Si rifà ad una serie di modelli che pongono la loro attenzione al contributi dei vari attori e cosa diventa un programma mentre viene attuato, piuttosto che a come è stato disegnato. La pietra di paragone ( definizione di cosa sia un successo) è un concetto che si forma in un momento successivo all’inizio del programma e quando si vede come affronta i problemi lo si confronta con altre situazioni , si sente l’opinione dei vari stakeholders e si può formulare in giudizio su quello che funziona bene o male e su cosa può essere definito un successo anche se ci dovessero essere degli effetti inattesi. Tiene conto del fatto che ogni volta che si attua un programma questo varia a contatto con il contesto, quindi le conclusioni raggiunte per un programma non potranno essere generalizzate ad altre situazioni in cui vengono attuati programmi simili. Un programma deve essere analizzato nel suo contesto, sociale e istituzionale. Ci deve essere una valutazione partecipata, con il coinvolgimento degli stakeholders. Tale approccio è finalizzato ad uso conoscitivo della valutazione, in quanto mira a comprendere la situazione attraverso le interpretazioni che danno gli attori, a definire i problemi a chiarire ciò che si può ottenere coi programmi.
Distinguendo i tre periodi e i tre approcci, possiamo stabilire la coerenza intrinseca ad ogni approccio. Ognuno di questi ha una propria coerenza interna e richiede strumenti di indagine appropriati. Non esistono strumenti che hanno validità generale e uno stesso strumento può assumere significati diversi nei vari approcci (ad esempio il questionario). Ogni approccio sceglierà tra metodi macro e micro secondo le proprie esigenze. Mettendo sullo stesso piano approcci diversi, inoltre, senza riconoscere un primato a nessuno, si favoriscono gli approcci “deboli”, ovvero l’approccio costruttivista che viene considerato inferiore. Non bisogna considerarli intercambiabili, però sempre più spesso si sta parlando di pluralismo che prevede la contaminazione tra approcci e metodi misti. L’idea degli approcci misti nasce dell’osservazione dei pregi e dei difetti di ognuno e offre come soluzione la loro complementarità. Si parla di triangolazione dei metodi, in cui è molto importante la valutazione partecipata. Oggi vi è una nuova contaminazione che potrebbe portare a sviluppi fruttosi.
La valutazione basata sulla teoria.
Metodo C. Weiss: aprire la scatola nera (black box) vuol dire capire che in ogni situazione il legame tra input e un risultato può essere ottenuto in modi diversi. Per questo la valutazione basata sulla teoria è un modo di valutare che individua le assunzioni circostanti sul perché un programma dovrebbe funzionare. Successivamente si avrà la raccolta e l’analisi di dati in una serie di fasi verso gli sbocchi finali. La
L'idea che il monitoraggio fosse funzionale al controllo dell'azione pubblica, e che i suoi strumenti dovessero essere progettati per ottimizzare tale azione e concepiti per rilevare sistematicamente eventuali scostamenti di carattere finanziario e procedurale, trovò spazio successivamente all'abbandono del PPBS, almeno rispetto alla sua concezione iniziale degli anni settanta. La diffusione del monitoraggio in tali ambiti corrisponde di fatto alla diffusione della programmazione come tegola dell'implementazione delle politiche settoriali. Il monitoraggio per poter essere attuato necessita, di un contesto programmatorio, tanto sul piano organizzativo quanto sul piano strumentale, che consenta misurazione, controllo, confronto, etc. considerando che programmazione e monitoraggio sono parti integranti di uno stesso processo, che si influenzano reciprocamente la natura-cultura programmatoria di fatto incide significativamente sulle funzioni del monitoraggio. La programmazione diviene strumento di coordinamento e riallocazione delle risorse a garanzia di controllo della spesa comunitaria. La riforma dei fondi strutturali dell'88: incide significativamente nello sviluppo del monitoraggio presso le amministrazioni nazionali e regionali che, da questo momento in poi sono “costrette” ad inserirlo tra le proprie pratiche e routine amministrative, vista l'obbligatorietà alla quale, in particolare le autorità di gestione responsabili dell'attuazione dei fondi strutturali, sono chiamate da specifiche norme contenute nei regolamenti comunitari. Le novità sul piano metodologico sono riassumibili in:
- L'unità di riferimento del monitoraggio non è più rappresentata dalla misura, ma la rilevazione dei dati avviene a livello di singola operazione-progetto da parte dei beneficiari finali, successivamente aggregata a livello di Misura e Asse delle Autorità di Gestione.
- Oltre al monitoraggio finanziario e fisico si introduce il monitoraggio procedurale. Le novità introdotte ebbero la finalità di rendere da una parte immediatamente osservabili le operazioni sovvenzionabili, ovvero i progetti, con un risvolto non secondario rispetto alla trasparenza e responsabilità, considerando che per ogni singolo Programma Operativo tutti i dati del monitoraggio sono raccolti a livello di progetto e successivamente aggregati, e dall'altra di ampliare il ruolo del monitoraggio oltre l'analisi degli elementi finanziari e fisici, osservando il funzionamento della macchina amministrativa, alla ricerca anche di buone prassi, in termini di efficacia ed efficienza nella gestione dei fondi comunitari. L'assunto di base era che la realizzazione di un “condiviso” ed efficace sistema di monitoraggio fosse, indice di capacità di gestione dei programmi operativi di parte delle amministrazioni coinvolte nella attuazione degli interventi pubblici. Sulla base sia della normativa che degli orientamenti comunitari si sviluppò una metodologia comune di monitoraggio per acquisire a livello di singolo progetto finanziato, indistintamente per tutti i fondi strutturali, dati ed informazioni relativamente ai tre principali ambiti che l'UE riteneva essere prioritari per il monitoraggio: l'ambito finanziario, fisico e procedurale.
Monitoraggio Finanziario: riguarda il controllo dei dati finanziari della spesa effettivamente sostenuta dai beneficiari finali nel rispetto delle definizioni di cui all'art.30 del Regolamento n.1260/ Monitoraggio Fisico: riguarda il controllo dei dati fisici di ogni progetto aggregati, ove possibile, in base a una griglia di indicatori comuni definita dall'Autorità di gestione del QCS. Il monitoraggo viene effettuato sugli indicatori di realizzazione e, quando possibile e significativo, di risultato e di impatto indicati nei programmi operativi e nei complementi di programmazione. Gli indicatori di risultato e di impatto sono stimati in sede di valutazione sulla base dei dati di monitoraggio resi disponibili a livello di progetto e di misura e sono aggiornati e diffusi ogni anno. Monitoraggio Procedurale: viene attivato per tutti i programmi definendo schede di rilevazione per tipologie di opere e modelli di aggregazione dei dati a livello di misura. Tale monitoraggio è attivato fino alla fase di individuazione dei progetti. I dati procedurali vengono successivamente rilevati a livello di progetto scegliendo una soglia dimensionale di significatività dei progetti definendo il percorso procedurale da monitorare. Molti dei campi presenti nel sistema in particolare quelli relativi al monitoraggio fisico e procedurale non sono stati valorizzati dagli utilizzatori, responsabili di misura, beneficiari finali in quanto per gran parte di tali campi l'inserimento delle infomazioni richieste era del tutto discrezionale e non vincolato. L'idea di un sistema informativo di monitoraggio centrale alimentato da una pluralità di soggetti ed istituzioni risulta non solo confermata, ma ancor più accentuata rispetto al passato, considerato che il nuovo sistema è chiamato a gestire un patrimonio informativo ancora più eterogeneo, contraddistinto da un incremento delle procedure di automazione dei flussi informativi sia in ambito nazionale che europeo. Il QSN ha evidenziato la necessità di una maggiore integrazione e più efficace interoperabilità tra i sistemi di monitoraggio relativi alla politica regionale comunitaria, tenendo conto delle esigenze imposte dai Regolamenti comunitari con l'obiettivo:
- di permettere la visione integrata dell'andamento complessivo della politica regionale italiana, attraverso l'omogeneizzazione dei dati e delle procedure di controllo degli stessi presenti nei due sistemi.
- di accrescere l'efficienza delle procedure di trasmissione dei dati dai sistemi regionali ai sistemi centrali, razionalizzando e omogeneizzando le stesse. Il QSN viene seguito nella sua attuazione attraverso differenti batterie di indicatori distinti rispetto:
- al livello della politica regionale a cui sono associati.
- all'amministrazione responsabile per l'individuazione ed il calcolo
- al grado di prossimità di ciò che essi misurano
- alla loro funzione ed utilizzo. Per ogni singolo progetto contenuto nel sistema vengono associati gli indicatori di realizzazione comuni richiesti a livello nazionale, si tratta di indicatori di realizzazione, uno fisico e uno occupazionale.
