Scarica Teoria del programma, M. Palumbo e più Dispense in PDF di Analisi Delle Politiche Pubbliche solo su Docsity!
Valutazione di processo e d’impatto: l’uso degli indicatori tra
meccanismi ed effetti^1
Mauro Palumbo
1. Valutazione e politiche pubbliche
In questo periodo sono stati emanati molti bandi per la valutazione intermedia dei documenti di programmazione, regionali o nazionali, dei Fondi comunitari relativamente al periodo 2000-
- In vario modo, tali bandi, in accordo con l’impostazione del Regolamento n. 1260/99, connettono la valutazione di processo a quella dei risultati attesi dai programmi e prevedono un ampio ricorso ad indicatori. Appare interessante sviluppare una riflessione al riguardo, cercando di rispondere all’interrogativo su come la valutazione di processo permette di anticipare la valutazione del prodotto.
La valutazione può essere considerata come un’attività di carattere comparativo, basata sulla metodologia della ricerca nelle scienze umane, che ha per oggetto interventi intenzionali, con l’obiettivo di produrre un giudizio su di essi in relazione al loro svolgersi o ai loro effetti (cfr. Palumbo 2001a: 61). Gli interventi intenzionali che ne fanno oggetto sono costituiti, principalmente anche se non esclusivamente, da politiche pubbliche, ossia da interventi, o complessi coordinati d’interventi, che sono leggibili in termini di risposta a bisogni, questioni e problemi preesistenti^2. Naturalmente, tale risposta viene formulata in relazione alle finalità che si prefigge il soggetto (i soggetti) titolare della politica, che sarà altresì caratterizzato dal possesso di determinate competenze, che si traducono anche in vincoli o procedure da seguire. Per assolvere a questi bisogni, all’interno di un contesto politico-istituzionale determinato, vengono altresì impiegate delle risorse (umane, finanziarie, logistiche, di know- how, ecc.), attraverso un processo di attuazione , di norma distinto da quello decisionale (cfr. Palumbo 2001a: 173 e segg.). E’ così, ad esempio, che la finalità della coesione sociale a livello europeo permette di individuare nella disoccupazione il problema/bisogno prioritario da affrontare, impiegando risorse (il Fondo Sociale Europeo) per realizzare interventi che rientrano nelle competenze delle Regioni e delle Autonomie locali; nel caso italiano, ad esempio, il FSE ha finanziato fino a ieri in larga misura iniziative formative, che rientravano nelle competenze regionali, mentre dal 2000 è in grado di finanziare una gamma assai più articolata di politiche attive del lavoro (mentre le competenze regionali sono nel frattempo cambiate). La definizione di politica pubblica proposta corrisponde a quella convenzionalmente accettata (cfr. ad es. Capano e Giuliani 1996); tuttavia, una policy può essere attivata non solo dall’urgenza di bisogni cui dare una risposta, ma anche, a seconda dei casi, dall’esistenza di competenze che si intende comunque esercitare, di risorse che devono comunque essere spese, di finalità politiche che occorre dimostrare di perseguire^3. La definizione degli obiettivi, eventualmente tradotti o traducibili in risultati attesi, costituisce la prima fase di un percorso decisionale che sfocia, di norma, nel cosiddetto
(^1) Una prima versione di questo contributo è stata presentata all’ European Workshop della Rete REVES tenutosi a Montpellier il 16 giugno 2001, sul tema Process monitoring evaluation in Local Action Plans for employment , con il titolo The mechanisms of processes’ evaluation: quantitative, qualitative and dynamic indicators. (^2) I documenti comunitari parlano di solito di needs, issues and problems (cfr. C.E. 1999, I). Benché i tre termini siano in generale considerati come sinonimi, è bene ricordare che i “bisogni” sono una costruzione sociale operata con il concorso, anche consistente, dell’analista o del valutatore (cfr. sul punto Rossi, Freeman e Lipsey 1999), mentre i problemi e le istanze rinviano a situazioni i cui contorni e le cui ricadute sulle politiche pubbliche sono già pre-elaborate dagli attori sociali ed economici. Esemplificando, il lavoro è un bisogno, la disoccupazione è un problema, l’incremento di posti di lavoro per i giovani ad alta scolarità è un’istanza; la gamma delle risposte possibili è via via meno ampia, poiché la domanda è sempre più puntualmente formulata, passando da un bisogno ad un problema fino a giungere ad un’istanza. (^3) In una società dell’immagine è comunque difficile separare la dimensione simbolica di una politica da quella sostantiva.
processo d’implementazione o di attuazione, a sua volta scomponibile in più fasi, eventualmente poste in capo ad attori diversi. Al termine di questo processo si possono registrare i risultati della politica stessa, che costituiscono l’ input per l’attività di valutazione. Lo schema proposto ha solo una funzione descrittiva, dal momento che i tre momenti del processo (decisione, attuazione, valutazione) sono connessi in modo circolare; in primo luogo perché molto spesso alla fase “attuativa” vengono demandate scelte importanti, che possono modificare la stessa portata della decisione assunta “a monte”; in secondo luogo perché la stessa distinzione tra mezzi e fini, tra decisione e attuazione, è figlia di un modello lineare di causalità che si è da tempo rivelato inadeguato sul terreno della programmazione. La figura 1 (allegata) evidenzia che il contesto politico più generale in cui si inquadra una policy incide sulle finalità, mentre il contesto istituzionale determina in larga misura le modalità con cui tali finalità possono essere perseguite, ossia l’insieme dei vincoli e delle competenze dei decisori o attuatori. A sua volta, il contesto sociale influenza il modo in cui saranno definiti e avvertiti i bisogni; allo stesso titolo, il contesto economico non solo condiziona la quantità di risorse finanziarie che potranno essere destinate alla sua realizzazione, ma detta anche le regole del loro impiego o evidenzia le opportunità d’uso alternativo. I quattro contesti indicati nello schema sono tra loro correlati e si influenzano a vicenda; ad es., la forte percezione sociale di un bisogno può spingere ad assegnare più risorse alla sua soddisfazione; un mutamento nelle finalità, privilegiando il trasferimento di funzioni alle autonomie locali, può modificare le competenze dei decisori, ecc. Nella fase di valutazione, infine, si distingue tra realizzazioni (output), risultati ( outcome), impatti a seconda dell’ampiezza delle conseguenze della policy che vengono prese in considerazione. Questi termini sono ormai consolidati nel lessico comunitario, soprattutto a seguito della pubblicazione dei sei volumi della Collezione MEANS (C.E. 1999), che hanno costretto anche ad una parziale modifica delle convenzioni lessicali adottate dai valutatori (vedi Prospetto 1 allegato). Nei documenti metodologici comunitari vengono infatti utilizzati termini quali output, che assume il significato di realizzazione, ossia di ciò che è stato ottenuto in termini di trasformazione diretta dell ’input previsto nel programma; l’outcome è stato sostituito dal termine result, risultato, utilizzato in ambito comunitario per riferirsi ai soli effetti diretti e immediati dell’azione sui destinatari (quindi in un’accezione un poco più ristretta rispetto a quella di outcome), mentre gli effetti a breve-medio termine e indiretti sui destinatari vengono denominati impatti specifici. Impatti globali sono infine, sempre nel lessico comunitario, gli effetti del programma su popolazioni che non erano destinatarie dirette dello stesso. A questo punto il termine esito può essere utilizzato per riferirsi genericamente agli effetti di una politica e dovrà essere quindi a seconda dei casi adeguatamente qualificato. In termini generali è bene ancora ricordare che normalmente l’attività di valutazione si sostanzia in un’attività di comparazione, che mette in relazione gli esiti di una politica con uno dei tre elementi sotto elencati: a) con i bisogni, problemi, questioni cui l’intervento deve dare risposta; b) con gli obiettivi che si pone il decisore o l’attuatore; c) con gli standard di qualità predominanti nello specifico campo della politica. Soprattutto nei primi due casi si pone poi il problema di misurare il contributo realmente fornito dalla politica alla soluzione del problema o al conseguimento degli obiettivi. Per isolare gli effetti realmente imputabili alla politica entra in scena un quarto termine di riferimento, che rimane nello sfondo: il controfattuale, costituito dalla situazione che avremmo dinanzi se la politica non fosse stata attivata. Richiamando lo schema proposto nella Figura 1, si vede che la relazione tra gli esiti della politica e i bisogni viene definita efficacia esterna e può essere valutata ex ante o ex post; essa viene chiamata relevance o pertinence (ex ante) e utilità (ex post) dal primo volume della Collezione MEANS (cfr. C.E. 1999, I). La relazione tra obiettivi e risultati viene definita
avere diverse caratteristiche: può derivare da una teoria già validata e dunque assunta come applicabile in assoluto (è quanto accade più facilmente nel campo delle leggi fisiche, ad esempio quando allentando la presa su di un oggetto ci si attende che questo cada per l’effetto della forza di gravità); può essere frutto di una teoria non adeguatamente validata, magari concorrente con teorie rivali (si pensi solo al dibattito tra proibizionisti e antiproibizionisti in tema di droga, che rivela come per ottenere lo stesso effetto, la riduzione della criminalità associata all’uso di droghe, vengano proposti rimedi opposti); può essere, infine, frutto della sola esperienza (un certo provvedimento assunto in passato ha dato buoni risultati e viene quindi riproposto senza riflettere oltre sulle ragioni alle quali sono ascrivibili tali risultati). Molto spesso, si opera con un mix di queste tre assunzioni (leggi nelle quali confidiamo, esperienze precedenti favorevoli, buon senso o senso comune), che non mette affatto al riparo da sorprese di varia natura, che vanno dagli esiti imprevisti e magari contrastanti con gli obiettivi di un intervento (ad esempio, la formazione potrebbe ridurre l’occupabilità perché i giovani con elevata qualificazione potrebbero rifiutare in maggior misura, una volta formati, i lavori dequalificati disponibili in un’area territoriale) a quelle “benedizioni nascoste” (Hirshman) che possono invece derivare da interventi assunti per altri scopi (ad es., la formazione dei disoccupati produce non solo assunzione da parte delle imprese locali, ma anche l’apertura di nuovi mercati grazie alla forza lavoro più qualificata di cui dispongono le aziende stesse, che finiscono per diventare le principali beneficiarie di interventi pensati solo per i disoccupati). Nelle scienze sociali ci si è molto interrogati su questo punto. Senza volerlo in alcun modo sviluppare, basti qui dire che si va da una concezione causale piuttosto rigida (cfr. Chen 1990), secondo la quale solo identificando catene causali ben precise attivate da un intervento è possibile, ex ante, prevederne gli effetti ed ex post misurarne i risultati, ad una intermedia, che potremmo definire di catena causale debole (cfr. Weiss 2000), fino ad una ancor più debole, che preferisce parlare di “meccanismi”, piuttosto che di “catene causali” (cfr. Pawson e Tilley 1997; Elster 1989/93). Jon Elster sottolinea al riguardo che questa accezione debole non deve essere intesa come meno utile delle interpretazioni causali tradizionali; egli osserva infatti che “se lo scopo è spiegare, il meccanismo è ciò che importa. Esso consente di capire, laddove la previsione assicura al massimo il controllo” ( Ivi: 18). In tutti i casi, si tratta di “aprire la scatola nera”, ossia di capire non solo se un programma funziona, ma anche perché. Il confronto con il controfattuale permette di rispondere alla prima questione, la ricostruzione dei “meccanismi” alla seconda.
Se la impact theory risponde al quesito sul perché un intervento funziona (o dovrebbe funzionare, oppure ha funzionato), l’ implementation theory permette di capire come si arriva a produrre, come si è detto, quei servizi o attività che costituiscono l’input o la causa da cui ci attendiamo i risultati del programma, in base alla teoria dell’impatto. E’ noto che spesso l’eccesso di attenzione nei confronti del processo di assunzione di una decisione, soprattutto se questa avviene in un contesto di partenariato, si accompagna ad un’attenzione minore alla fase attuativa. La stessa espressione “fase attuativa” sottende anzi un’immagine piuttosto rigida della messa in opera di un intervento, fondata tra l’altro sul presupposto che essa sia totalmente predeterminabile con puntualità fin dall’inizio. Secondo questa concezione, inoltre, non solo l’attuazione avviene quasi per virtù propria del programma, ma qualsiasi scostamento dal percorso previsto può dipendere solo da negligenza o dolo, essendo scontata l’esistenza di un “processo attuativo ottimale”, una sorta di one best way alla messa in opera che si tratta solo di applicare alla lettera. Di contro, innanzi tutto il processo attuativo è sovente descritto in modo sommario dal programma, altre volte è dato semplicemente per scontato, in forza di una concezione per l’appunto “meccanicistica” dell’apparato amministrativo (come affermava De Gaulle, l’intendance suivra). Inoltre, molte scelte strategiche di un programma sono in realtà
demandate alla fase “attuativa”, che si rivela di fatto assai più ricca di discrezionalità (e dunque di contenuti decisionali) di quanto l’espressione non faccia ritenere. Chiunque abbia esperienza di programmi pubblici sa infatti che l’attuazione ha un’importanza pari a quella della decisione e che il “vero” intervento non è quello che si è deciso, ma quello che si è alla fine realizzato. Parafrasando Von Clausewitz, potremmo dire che “l’attuazione è la prosecuzione della politica con altri mezzi: è qui che gli obiettivi dei programmi – tipicamente ambigui, molteplici e contradditori – divengono precisi e corretti” (Capano e Giuliani 1996: 187-8). Chi non coglie questo aspetto non può capire come “le grandi attese di Washington si infrangano a Oakland”, per usare il titolo di un famoso libro di Pressman e Wildavsky, che già nel 1973 poneva in guardia gli studiosi di politiche pubbliche dal trascurare la dimensione attuativa. Una dimensione in cui giocano attori in parte uguali e in parte diversi da quelli che si sono seduti al tavolo decisionale, in cui vigono regole del gioco in parte diverse, in cui, soprattutto, entrano direttamente in scena anche i destinatari dei programmi e degli interventi. Occorre anzi sottolineare con forza che la dimensione attuativa ha un rilievo assoluto nei programmi d’intervento sociale per una ragione ancor più precisa: il programma è cosa viva e la sua realizzazione si regge sull’interazione tra soggetti attuatori e popolazione target. E’ dunque impensabile che tale interazione sia interamente predeterminabile a priori (si pensi solo all’assurdo di ipotizzare, ad esempio, un intervento formativo svolto, in modo rigido e totalmente predefinito, a prescindere dalle relazioni che si instaurano con gli allievi in aula), ed anzi molto spesso si sottolinea che l’efficacia dell’intervento è legata alla qualità della relazione tra erogatore e fruitore del servizio. Pertanto, il processo di “attuazione” presenta ampi margini di discrezionalità e anche per questa ragione va attentamente gestito e monitorato (cfr. ad es. Lipari 1995; Lichtner 1999). E’ evidente inoltre che tali margini di discrezionalità e la conseguente aleatorietà del risultato finale non sono riconducibili a “colpe” o “deviazioni” degli attuatori, come potrebbe pensare chi assume una concezione “deterministica” dell’intervento sociale, ma alle caratteristiche intrinseche dell’interazione umana, solo fino ad un certo punto modellizzabili e prefigurabili in fase decisionale. Si tratta di un punto rilevante, perché una concezione deterministica e meccanicistica dell’attuazione bene si sposa con una concezione burocratica della valutazione, che privilegia l’analisi degli scostamenti tra programmato e realizzato su quella dei reali effetti ottenuti dai programmi e del loro accordo con gli obiettivi sostanziali della policy^6_._ Di contro, l’esplicita convergenza delle posizioni di decisori e attuatori rispetto agli obiettivi (che si realizza ad esempio quando gli operatori sono associati alla definizione delle scelte attuative), oppure la condivisione almeno parziale degli obiettivi generali di un intervento (che non è infrequente quando si lavora in regime di partenariato), possono assicurare il raggiungimento dei risultati attesi proprio grazie ad un adeguamento delle procedure attuative a seguito di eventuali impreviste modificazioni del contesto di attuazione della policy. In altre parole, non è infrequente che proprio lo scostamento fra programmato e realizzato (sul piano delle procedure) assicuri il conseguimento dei risultati desiderati.
3. Theory bias o implementation bias?
In precedenza ho sottolineato con forza il carattere arbitrario e scientificamente infondato di una distinzione rigida tra decisione e attuazione. Questo non significa, tuttavia, che nell’esame del funzionamento di un programma non si debba distinguere con grande attenzione tra
(^6) L’autore ha vissuto diverse esperienze di questo tipo, che per segreto d’ufficio e per carità di Patria non può e non intende illustrare in dettaglio.
procedure di selezione ex ante dei progetti siano adeguate, che i funzionari preposti alla gestione del programma siano preparati, motivati e in numero sufficiente, ecc. Anche in questo esempio schematico e semplificato si può osservare che le presupposizioni che stanno alla base sia del programma che della sua attuazione sono assai numerose, al pari delle condizioni necessarie perché tali assunzioni si rivelino realistiche. E’ inoltre evidente che spesso tali presupposizioni, o alcune di queste, non sono esplicitate né dai decisori né dagli attuatori. Sarà quindi nel corso della valutazione che, nel ricercare la cause di un eventuale malfunzionamento del programma o dell’intervento, ci si preoccuperà di risalire all’ipotesi o alla condizione che non si è realizzata, per capire appunto le ragioni di un eventuale insuccesso. Si è detto sopra che occorre saper anche collegare in modo adeguato le due teorie (dell’impatto e dell’implementazione). La ragione è semplice; come osserva Weiss (2000: 106), il grande vantaggio del collegare le due teorie insieme consiste nella possibilità di anticipare il grado in cui il programma potrà raggiungere i suoi risultati, conoscendo il grado in cui sta sviluppando i suoi servizi; in questo modo un eventuale malfunzionamento dell’attuazione farà prevedere un impatto diverso da quello previsto ma, soprattutto, consentirà di intervenire prima che sia troppo tardi. Chiariamo anche in questo caso con un esempio. Supponiamo di conoscere, da precedenti interventi o da teorie soggiacenti all’intervento, che il 60% degli allievi che hanno conseguito una qualifica professionale trova lavoro entro sei mesi e di aver fissato l’obiettivo di occupare, grazie alla formazione, 600 giovani all’anno. Se in corso di attuazione registriamo che nel primo anno sono stati avviati corsi per soli 500 giovani, allora siamo in grado di dire che (se tutte le presupposizioni su cui si basa il progetto sono valide^7 ) nel primo anno probabilmente solo 300 giovani (il 60% dei 500 che accederanno ai corsi avviati) troveranno lavoro grazie alla formazione. Possiamo dirlo prima ancora che un solo allievo sia entrato in aula, esclusivamente sulla base del dato relativo ai corsi finanziati. Del pari, se, mentre stanno concludendosi i primi corsi, quindi allo stadio 7, registriamo un decremento della quota di qualificati, che passa ad esempio dal 100% degli allievi all’80%, possiamo ritenere che, rimanendo invariate le altre condizioni o ipotesi (che il 60% dei qualificati trovi lavoro), per occupare 600 giovani dovremo formarne non più 1.000, ma 1.250, in modo che l’80% (cioè 1000) siano qualificati e 600 assunti. L’esempio di cui sopra si presta anche ad essere rappresentato in forma di sequenza causale di “meccanismi” interni ed esterni al programma: La sequenza raffigurata nello schema che segue evidenzia il legame tra input (le risorse messe a disposizione per realizzare le azioni), meccanismi di trasformazione degli input in output , passaggio dagli output ai risultati, seguendo il percorso evidenziato nella Figura 2 in allegato, utilizzata dall’Unione Europea per collegare il ciclo della realizzazione del programma con quello della valutazione dei suoi effetti. La sequenza permette tuttavia di evidenziare un altro aspetto. Nell’esempio l’intervento si sviluppa secondo le previsioni, dalla fase 1 alla fase 8 (sono state omesse altre sotto-fasi, che nella realtà sono altrettanto importanti: ad esempio, la fase di risposta ai bandi da parte dei potenziali allievi). Alla fase 1 siamo in grado di prevedere l’esito finale del percorso a condizione che tutte le presupposizioni relative ai passaggi successivi siano rispettate; siamo in grado di registrare l’eventuale scostamento tra programmato e realizzato solo per quel che concerne la fase 1 (ad esempio, abbiamo previsto di bandire corsi per 1000 giovani ed effettivamente sono stati banditi; va da sé che se invece ne sono stati banditi solo per 900
(^7) In questo caso la presupposizione è che la quota di allievi occupati sia fissa, ossia non dipenda dalla domanda delle imprese, ma dall’offerta di professionalità qualificate. Si tratta evidentemente di una presupposizione che regge solo se il numero dei qualificati è significativamente inferiore a quello della domanda delle imprese, oppure se le professionalità predisposte attraverso gli interventi di formazione non possono essere reperite diversamente dalle imprese (mediante formazione di neo assunti, riconversione o aggiornamento di dipendenti, attrazione di soggetti da altre aree territoriali). Nel caso invece in cui la domanda di quella specifica figura professionale sia fissa, un aumento nel numero dei qualificati si tradurrà in un decremento delle assunzioni in posizioni coerenti con la formazione acquisita.
giovani, già alla fase 1 è possibile ridurre del 10% la previsione di risultato della fase 8, nell’ipotesi in cui tutte le altre fasi funzionino invece secondo le previsioni).
Schema 1. Fasi di realizzazione di un’azione di un programma stadio Azioni/Realizzazioni Realizzazioni/risultati Condizioni 1 Bando per corsi per 1000 giovani.
Sono presentati sufficienti progetti in risposta ai bandi
I progetti presentati sono tali, per quantità e qualità, da assicurare l’assegnazione di tutti i corsi previsti 2 Selezione Vengono analizzati i progetti e redatta una graduatoria
Esistono le competenze all’interno dell’Ente decisore per selezionare (in tempi adeguati) un numero congruo di progetti 3 Finanziamento dei corsi
Vengono finanziati corsi per 1000 allievi
Vi sono procedure adeguate per assicurare un sollecito finanziamento dei corsi. In difetto, gli attuatori dispongono di risorse proprie che permettono di anticipare i costi di realizzazione 4 Avvio dei corsi per 1000 allievi
Gli attuatori avviano i corsi nei tempi previsti
Esiste un’adeguata capacità realizzativa presso gli attuatori. Si sono presentati destinatari in numero sufficiente da permettere l’avvio dei corsi 5 Svolgimento dei corsi I corsi si svolgono regolarmente. 1000 allievi li seguono
I destinatari sono sufficientemente motivati e in grado di seguire i corsi. Gli Enti attuatori sono in grado di portare a compimento i corsi loro affidati 6 Conclusione dei corsi.
1000 allievi hanno frequentato fino al termine con assenze inferiori al 20%
Vedi sopra
7 Esame di qualifica per 1000 allievi
Tutti ottengono la qualifica La formazione impartita è stata coerente con contenuti e modalità dell’esame. Gli allievi sono in possesso di una buona preparazione 8 Assunzione Vengono assunti 600 allievi entro sei mesi
La formazione impartita è coerente con le esigenze delle imprese. Gli attuatori sono in grado di mettere in relazione i giovani con le imprese. In assenza di allievi qualificati le imprese non avrebbero proceduto ad alcuna assunzione^8
(^8) Quest’ultima condizione è in realtà necessaria per far coincidere il risultato lordo con quello netto; di norma, invece, una parte delle assunzioni sarebbe stata comunque effettuata (effetto di sostituzione). Si veda sul tema il saggio, ormai “classico”, di Samek Lodovici 1995.
regolarità dell’attuazione e sfuma nell’audit (cfr. Martini e Cais 2000; Bezzi 2001); nella seconda concezione è bene che gli stessi decisori siano parte attiva nel governo del processo e i primi destinatari delle relative valutazioni, perché solo loro sono titolati ad assumere le decisioni relative alla prosecuzione o alla modificazione del processo attuativo. Solo loro sono cioè in grado di giudicare gli scostamenti tra programmato e realizzato in termini di “anomalie” da correggere o di doverosi adattamenti del programma ad una realtà in mutamento costante, adattamenti da approvare ed eventualmente generalizzare ad altre misure dello stesso programma o ad altre aree dello stesso intervento.
4. Il problema degli indicatori
Le riflessioni fin qui svolte hanno permesso di capire che un programma o un complesso d’interventi va visto come una sequenza di azioni che inizia con l’avvio del processo decisionale e prosegue fino alla valutazione critica dei suoi impatti, secondo un processo non sempre lineare. Problemi d’implementazione possono infatti indurre a riconsiderare gli obiettivi, risultati diversi da quelli attesi possono modificare le teorie dell’azione soggiacenti al programma, mutamenti nei dati di contesto possono suggerire modifiche negli obiettivi e così via. Il compito assegnato alla valutazione di processo è dunque assai arduo e viene di norma svolto, come ripetutamente sottolineato dagli stessi documenti metodologici comunitari, attraverso il ricorso agli indicatori, che costituiscono uno strumento importante anche per la valutazione d’impatto, sia ex ante che ex post. In tema di indicatori, due concezioni diverse si fronteggiano (per ulteriori approfondimenti, cfr. Bezzi e Palumbo 1995). La prima, maggiormente vicina al lessico della ricerca sociale, li intende come specificazioni e articolazioni di un concetto in dimensioni misurabili o comunque rilevabili. La seconda, più prossima all'accezione statistica, come elaborazioni elementari di dati di base (cfr. Curatolo 1979, ma anche Dente 1991), capaci di apportare “sul tema in questione un autonomo, potente, connettivo e controllabile incremento conoscitivo” (Cipolla 1988: 362, corsivo nel testo). Le due accezioni corrispondono in realtà a due diverse strategie di costruzione degli indicatori: la prima privilegia infatti il processo di chiarificazione concettuale e la successiva operazione di individuazione di indicatori che siano, in primo luogo, validi (nel significato più volte ribadito da Marradi, di sovrapposizione forte con l'area delimitata dal concetto, ossia di validità semantica) e solo in secondo luogo rilevabili agevolmente o, al limite, ricavabili da dati già disponibili. La seconda strategia parte invece dai dati disponibili (o agevolmente rilevabili) per definire solo in seconda battuta quali loro elaborazioni possano essere considerate validi indicatori del concetto da misurare. Le due strategie possono essere anche ricondotte ad un approccio deduttivo e ad uno induttivo (cfr. Palumbo 1995). In entrambi i casi si possono definire percorsi diversi tra i seguenti passaggi: a) dati (disponibili o rilevabili) b) informazioni (dati strutturati secondo criteri^10 ) c) indicatori (informazioni strutturate ed eventualmente elaborate secondo criteri) d) concetti (cui sono riferiti gli indicatori). Tuttavia, nella prima strategia si “scende” da d) ad a), nella seconda si segue il percorso inverso. Di fatto, nel processo di valutazione si segue spesso una strada intermedia, ovvero un percorso circolare, in quanto la specificazione dei concetti si sviluppa di pari passo, di norma, con l'analisi delle informazioni disponibili e gli indicatori contribuiscono a specificare il concetto stesso più di quanto questo non ne determini la scelta. Questo processo è particolarmente importante nel caso in cui si opera in regime di partenariato; infatti, se regge il
(^10) Per una convincente trattazione della differenza tra dato e informazione (intesa come conoscenza che è possibile trarre dai dati), si veda Nigris 2000.
parallelismo tra concetti e obiettivi (delineato in Palumbo 1995^11 ), definire gli indicatori di (raggiungimento di) un obiettivo significa spesso precisare l’obiettivo stesso, eliminandone le ambiguità connesse alla polisemia del termine che lo denota. Se ad esempio si stabilisce di utilizzare come indicatore del concetto di occupabilità la percentuale di destinatari di un’azione (di formazione, orientamento, o quant’altro) occupati a sei mesi dalla sua conclusione, in realtà si ridefinisce il concetto in modo diverso dal caso in cui decidesse di utilizzare come suo indicatore la percentuale destinatari che sviluppano modalità attive di ricerca del lavoro. Del pari, se si considera come indicatore di risultato occupazionale di un’azione formativa la sola occupazione coerente e a tempo indeterminato degli allievi, si ridefiniscono anche i termini degli obiettivi occupazionali della formazione. Non va poi dimenticato che nella scelta degli indicatori si tende a circoscrivere l'ambito della rilevazione a ciò che è misurabile (o enumerabile), con una netta propensione per la dimensione quantitativa contro quella qualitativa. Giancarlo Vecchi, ad esempio, in un pur condivisibile contributo in corso di stampa, afferma “per indicatore si intende una misura sintetica quantitativa, coincidente con una variabile composta di più variabili, in grado di fornire la rappresentazione di un fenomeno e di riassumerne l’andamento” (Vecchi 2001: 111). Di contro, la dimensione qualitativa e in linea generale gli ambiti di più impervia ed incerta rilevazione possono generare informazioni decisive per una valutazione corretta e completa delle politiche pubbliche.
Tornando alla cosiddetta concezione sociologica, di derivazione Lazarsfeldiana (Lazarsfeld 1969), si deve osservare che un indicatore è “qualcosa che dà informazioni su qualcos’altro” (Marradi 1994: 185): di norma, qualcosa che è possibile conoscere (e magari misurare) in luogo di qualcos’altro cui non possiamo accedere direttamente. Infatti, in molte situazioni concrete le variabili di maggior interesse non sono quasi mai traducibili immediatamente in operazioni di rilevazione diretta dei dati. Il grado di funzionamento di un programma, il livello di raggiungimento dei suoi obiettivi, si possono conoscere per il tramite di indicatori, che costituiscono il risultato della scomposizione di un concetto più generale in uno (di solito, più d’uno) più preciso, suscettibile di portare a procedure di rilevazione o misurazione^12. Come osserva Marradi (1994: 184-185), “l’indicatore è quindi una proprietà che il ricercatore concettualizza sia come tale, sia come (parziale e imperfetto) surrogato di un’altra che gli interessa di più”, aggiungendo che “la condizione necessaria e sufficiente per il ricorso a indicatori è dunque l’impossibilità (o la grave difficoltà) di dare una soddisfacente definizione operativa di una proprietà che interessa, indipendentemente dal suo livello di generalità, rilevanza teorica, o altra qualità”. Se ci si colloca all’interno del paradigma lazasfeldiano, si segue un percorso cognitivo che scompone i diversi punti critici da esplorare per trovarne prima le ‘dimensioni’ e infine gli ‘indicatori’, da intendere come concetti più specifici che indicano semanticamente il concetto generale; questi indicatori, attraverso opportune ‘definizioni operative’, vengono quindi resi rilevabili e utilizzabili nel contesto valutativo (cfr. Cannavò 1999; Bezzi 2001). Anche su questo punto non mancano interpretazioni difformi circa la relazione che deve intercorrere tra gli indicatori e il concetto indicato; in una breve rassegna Marradi (1994) elenca: la relazione causale (l’indicatore è uno degli effetti del concetto indicato, che ne costituisce la causa); quella probabilistica (di covariazione); di “campionamento da un universo di contenuto”;
(^11) In forza di questo parallelismo gli obiettivi più puntuali di un intervento possono essere considerati analoghi agli indicatori (variabili più specifiche) di un concetto più generale. Questo parallelismo regge tuttavia all’interno di una concezione gerarchica e non indiziaria della relazione tra concetti ed indicatori (indicatori come specificazione del concetto e non come concetti di pari livello di generalità caratterizzati da covariazione o da parziale sovrapposizione semantica). (^12) Utilizzo congiuntamente i due termini in quanto non condivido la concezione secondo la quale gli indicatori hanno esclusivamente carattere quantitativo.
modello, implicito o esplicito, connesso in modo più o meno diretto ad una teoria dell’azione o dei meccanismi attivati da un programma. In altre parole, è a mio giudizio impossibile trattare di indicatori limitando la riflessione alla relazione tra questi e il concetto indicato: esattamente come è impossibile assegnare un unico significato a un termine polisemico al di fuori della proposizione di cui fa parte e del testo più ampio in cui la proposizione è contenuta (lasciando sullo sfondo altre importanti variabili, come la situazione sociale in cui il discorso viene prodotto, l’intenzione del parlante, il contesto comunicativo, ecc.). Entrano dunque necessariamente in campo, da un lato, il contesto specifico nel quale avverrà la rilevazione (Cannavò 1999: 63) e, dall’altro, il quadro di riferimento teorico che dà senso e significato al concetto. Su quest’ultimo punto Marradi ha evidenziato con estrema chiarezza (1994: 190) il ruolo della teoria nella scelta degli indicatori e nell’attribuzione a questi di significato: infatti il rapporto di indicazione ha natura stipulativa (Marradi 1980; 1994) e non esiste quindi alcuna corrispondenza biunivoca tra indicatore e concetto che non sia mediata da una teoria o da un modello che diano senso a tale corrispondenza. Lo stesso concetto può quindi essere specificato avvalendosi di indicatori diversi e lo stesso indicatore può essere riferito a concetti diversi^14. Se la ricerca attiva del lavoro a seguito di un intervento di formazione costituisca un indicatore dell’occupabilità o meno è dunque una questione risolvibile solo all’interno di un modello comportamentale (o di una teoria dell’azione) che preveda o meno dei nessi causali (o dei meccanismi) che legano la ricerca attiva all’effettivo conseguimento di un lavoro. In aggiunta, gli indicatori si costruiscono, anzi si progettano (Frudà 1988). Nel caso degli indicatori utilizzati in valutazione, è abbastanza evidente che i riferimenti di carattere teorico sono inestricabilmente legati a quelli di carattere pratico: realizzo un intervento perché mi aspetto che produca certe conseguenze (modello teorico, esplicito o implicito) e, dall’altro lato, sulla base delle conseguenze giudicherò non solo la bontà dell’intervento che ho realizzato, ma anche quella della teoria che lo ha ispirato (di qui la formula della “valutazione che crea la teoria” di Toulemonde 1995). La bontà dell’intervento è a sua volta legata ai giudizi di valore in forza dei quali l’obiettivo viene considerato degno di essere perseguito, con interessanti interazioni tra dimensioni cognitive e pratiche (cfr. Weber 1904; Marradi 1994).
Nella valutazione delle politiche comunitarie gli indicatori debbono riferirsi ad una pluralità di criteri sui quali vale la pena di riflettere criticamente. I documenti metodologici MEANS, che dedicano al tema degli indicatori l’intero II volume della Collezione, li definiscono come “un’informazione semplice, facilmente comunicabile e compresa allo stesso modo dal fornitore e dall’utilizzatore dell’informazione” (C.E. 1999, II: 17). Essi distinguono gli indicatori a seconda dello stadio del “ciclo del programma” dei loro referenti, ossia tra indicatori di input, di output, di risultato, d’impatto. Gli ultimi tre tipi d’indicatori corrispondono ai tre tipi di obiettivi (generali, specifici, operativi) evidenziati nella figura 2 allegata^15. In relazione alla tripartizione proposta dai Volumi MEANS, gli indicatori utilizzati per la valutazione presentano le seguenti caratteristiche (già evidenziate in Palumbo 1995): a) nel caso delle realizzazioni , sono costruiti in base a dati che di norma sono detenuti dai soggetti attuatori della policy. Infatti, il rapporto di indicazione è assorbito dal rapporto stabilito
(^14) Cfr. Marradi 1980; Palumbo 1991; per il caso in cui la relazione tra concetti e indicatori è mediata dall’analisi fattoriale, cfr. Colombis 1991. (^15) Lo stesso volume della Collezione MEANS propone ulteriori tipologie d’indicatori, quali: a) in funzione del trattamento subito dall’informazione (indicatori elementari, derivati, composti) b) in funzione della comparabilità dell’informazione (indicatori specifici, generici, indicatori chiave) c) in funzione della portata dell’informazione (di contesto, di programma) d) in funzione del grado di attuazione del programma (di risorse, di realizzazione, di risultato, d’impatto) e) in funzione dei criteri di valutazione (indicatori di pertinenza, d’efficienza, di efficacia, di performance) f) in funzione del modo di quantificare e di usare l’informazione (indicatori di monitoraggio e di valutazione) (cfr. C.E. 1999, II: 19).
dal decisore tra input e output (vedi Figura 2) e il valutatore si troverà già definito nel programma il percorso che conduce dall’obiettivo all’indicatore (ad es., ore di formazione o di orientamento finanziate); b) diverso il caso dell’ outcome o risultato , che presuppone una riflessione che colleghi gli obiettivi o le finalità di una policy ad effetti che possono andare al di là dei risultati attesi definiti ex ante. Questa situazione può verificarsi sia quando una policy non giunge all’individuazione di risultati attesi specifici, sia quando questi ultimi non esauriscono gli effetti prodotti dalla policy nel suo contesto di riferimento. In entrambi i casi, viene richiesta al valutatore una riflessione autonoma sulle implicazioni della policy, da tradurre poi in aspetti misurabili attraverso indicatori (ad es., non solo la ricerca attiva del lavoro a seguito della formazione è un risultato, ma anche la prosecuzione di un percorso di studi o la maggiore autostima degli allievi); c) il caso degli impatti è più ampio ancora di quello dell’ outcome, in quanto l’ambito delle implicazioni di una policy non è limitato dal contesto definito dagli obiettivi e dalle finalità. Qui la riflessione necessaria per individuare un set di indicatori d’impatto non è più vincolata dall’interiorizzazione dei termini di riferimento del decisore, ma abbraccia un orizzonte più ampio, definito dai meccanismi di funzionamento di una struttura socio-economica che il valutatore è in grado di analizzare e che reputa rilevanti per la policy in questione (ad es., la maggior consapevolezza delle esigenze delle imprese da parte del sistema scolastico costituisce un impatto non previsto della diffusione dei tirocini finanziati). L’ampiezza del ruolo del valutatore è diversa a seconda dei casi. Più limitata quando si tratta di definire indicatori delle realizzazioni, più consistente nel caso dei risultati, più significativa ancora nel caso degli impatti.
La tripartizione realizzazioni/risultati/impatti proposta dall’Unione Europea è tuttavia sicuramente troppo schematica, dal momento che prefigura la possibilità di costringere qualunque percorso di decisione e attuazione entro i tre soli livelli di obiettivi previsti (generali, specifici, operativi). Dobbiamo quindi in primo luogo considerare che solo seguendo uno schema più articolato, come quello proposto nel paragrafo precedente, si ha la possibilità di accostare, ad ogni passaggio logico e ad ogni singola fase di attuazione del programma, degli indicatori (di stato dell’implementazione, di stato dei risultati, di stato del contesto) che permettono di rilevarne lo “stato” effettivo e dunque di seguirne passo passo la realizzazione. Solo così si potrà usare realmente la valutazione di processo come strumento di costante adeguamento del programma ai mutamenti del contesto e alle reali capacità attuative e di produzione di risultati rilevate sul campo. Preciso a questo riguardo che a mio giudizio le tre colonne dello Schema 1, costituite dai tre ambiti rilevanti per lo sviluppo di un programma (il processo d’implementazione, i risultati via via conseguiti, il contesto su cui il programma opera) sono in costante reciproca interazione e possono essere da questo punto di vista letti come i vertici di un triangolo (vedi Schema 2)
Schema 2. Le interazioni tra implementazione, risultati e contesto
Processo d’implementazione
di programmi definiti e realizzati in un quadro di partenariato. Il processo di definizione degli obiettivi costituisce infatti un lungo ed impegnativo esercizio in cui sono impegnati i vari stakeholder implicati nel piano o programma ed è pertanto assai importante che anche la questione degli indicatori sia posta in questa sede e in parallelo allo sviluppo del processo decisionale. Prima di questo è bene tuttavia ricordare quanto hanno giustamente osservato Majone e Wildavsky (1978): “gli obiettivi sono multipli (poiché vogliamo svariate cose e non una sola), contraddittori (perché vogliamo cose differenti) e vaghi (perché è così che riusciamo a trovare un accordo sull'opportunità di procedere senza che sia necessario anche un accordo su che cosa fare esattamente)”. Dunque il processo di definizione degli obiettivi (nella fase di assunzione della decisione) o di ricostruzione degli obiettivi (nella fase di valutazione) deve tener conto di questo problema. Detto in altri termini: un certo livello di ambiguità, pluralità, al limite contraddittorietà degli obiettivi è fisiologico e non patologico. Soprattutto, come si diceva, se si opera in un quadro di partenariato, in cui la pluralità degli interessi e delle visioni del mondo finisce per riverberarsi anche sul quadro degli obiettivi. Debbo anche aggiungere che in precedenti occasioni (Palumbo 2001a; Palumbo e Congiu
- ho sottolineato che l’approccio “per obiettivi” sembra, in modo più o meno palese, voler generare una struttura del programma ispirata ad una logica causale, e precisamente al modello del “quadro logico”, come sembra suggerire l’Unione Europea sia nel Regolamento 1260/99, sia nei documenti metodologici MEANS (in particolare il primo volume della collezione – cfr. C.E. 1999, I). Ho in particolare sostenuto che, al contrario, difficilmente l’albero degli obiettivi (che costituisce il risultato di un processo di discesa lungo la scala d’astrazione che dagli obiettivi generali porta agli obiettivi operativi) è sovrapponibile con l’albero dei nessi causali (che segue una struttura più simile a quella riprodotta nello Schema 1 del § 3). Detto in altri termini: costruire un sistema d’indicatori fondato sulla Figura 2 allegata, strutturato in indicatori di impatto (indicatori di conseguimento degli obiettivi generali), di risultato (di conseguimento degli obiettivi specifici), di realizzazione (di conseguimento degli obiettivi operativi) non necessariamente permette di padroneggiare davvero il processo di realizzazione di un programma, se questo processo segue logiche causali o “meccanismi” più articolati come quelli dello Schema 1 (o, peggio, se si vuole tener conto delle interazioni fra i tre vertici dello Schema 2). In altri termini ancora, la strutturazione tripartita in realizzazioni, risultati, impatti (specifici) è certamente funzionale ad esigenze di accountability, molto meno ad esigenze di learning e di management control (per utilizzare le ormai consolidate formulazioni di Martini e Cais 2000). Di questi problemi si mostrano consapevoli gli estensori della Collezione MEANS, che già nel primo Volume osservano che “mentre l’albero degli obiettivi permette di identificare e di ordinare gerarchicamente gli obiettivi, non permette d’identificare i legami causali che esistono tra questi” e propongono di fare ricorso al “diagramma logico degli impatti”, che rappresenta una sorta di “albero degli effetti generati dagli obiettivi” (cfr. C.E. 1999, I: 99). In effetti, mentre l’albero delle cause (o dei meccanismi) viene costruito a partire dai bisogni/problemi (in accordo con lo schema, peraltro d’impianto neopositivistico^16 , dello “schema logico”), l’albero degli obiettivi viene costruito spesso anche (talvolta soprattutto) a partire dalle competenze degli Enti decisori, segnatamente in un quadro di partenariato. Per questa ragione è difficile che i due alberi si sovrappongano. Questo problema viene particolarmente avvertito nel quarto volume della Collezione MEANS, consacrato alle Soluzioni tecniche per valutare in un quadro di partenariato, che già nell’introduzione osserva che il partenariato moltiplica il numero degli obiettivi e diversifica le domande d’intervento (C.E. 1999, IV: 11). In questo contesto, viene abbandonata ogni pretesa di correlare una struttura causale (l’albero degli impatti) e una struttura logica (l’albero degli
(^16) Sul punto mi permetto di rinviare per utili approfondimenti a Stame 1998 e 2001.
obiettivi) costruite “a tavolino” dal decisore^17 e vengono proposti metodi partecipati per costruire dei diagrammi logici d’impatti intermedi e finali che tengano conto della pluralità dei partner e della polivalenza degli obiettivi. Non mi interessa, in questa sede, approfondire l’esposizione critica delle soluzioni proposte da MEANS, che sono sicuramente interessanti e praticabili sul piano professionale. Mi preme invece sottolineare due punti, sotto il profilo più strettamente metodologico. Il primo riguarda il sostanziale abbandono della concezione neopositivista che sembra nel complesso ispirare l’approccio MEANS. Quando infatti si demanda ai partecipanti di esplicitare gli impatti attesi dagli interventi proposti, sia pure sotto la regia attenta del valutatore, che ha poi il compito di raccoglierli, classificarli e raggrupparli, anche al fine di costruire i relativi indicatori, si rinuncia a ricercare un’unica struttura logica del programma (magari fondata su teorie dell’azione di tipo causale) e si accetta di ricostruire tale logica a partire dai meccanismi evidenziati dai diversi partner (e spesso fondati principalmente sul senso comune e su uniformità riscontrate empiricamente). Se per un verso questo permette, anzi obbliga, i diversi partecipanti ad esplicitare la ratio delle loro proposte (“propongo di realizzare questo intervento perché mi aspetto di ottenere questo risultato con queste modalità o passaggi intermedi”), dall’altro finisce per conferire al programma una struttura pluralistica, ispirata al principio di non contraddizione piuttosto che a quello di causalità ristretta. In altre parole: il programma dà coerenza, e dove possibile sinergia, a obiettivi diversi, con il solo vincolo che non siano contrastanti, attraverso un processo ( bottom up) iterativo e partecipato di confronto tra posizioni e di convergenza tra queste, senza più ammantarsi di una logica unitaria preesistente, da cui discenderebbe invece (secondo una logica top down) un complesso di interventi armonioso e coordinato, in quanto costruito attraverso la progressiva specificazione degli obiettivi generali in specifici ed operativi. Il secondo punto riguarda il modo diverso di costruire indicatori che deriva da questo percorso. La progettazione degli indicatori finisce infatti per costituire, se opportunamente gestita, una fase di ulteriore precisazione e affinamento degli obiettivi, a partire proprio dalle ratio per cui tali obiettivi sono formulati. Se infatti chi definisce un impatto atteso è stimolato anche a proporre uno o più indicatori di raggiungimento di tale impatto (oltre che magari una procedura attuativa ottimale), si ottengono due interessanti risultati. Da un lato, l’indicatore proposto contribuisce a chiarire e precisare il significato dell’obiettivo formulato e permette anche di esplicitare tempestivamente eventuali disaccordi, qualora diversi partner propongano indicatori diversi e contrastanti dello stesso obiettivo. Dall’altro lato, l’indicatore proposto corrisponde sicuramente ad un aspetto dell’intervento che sta a cuore al proponente e sfugge quindi al rischio di astrattezza o mancato utilizzo che sempre minaccia i sistemi d’indicatori costruiti a tavolino, con poca passione e troppa razionalità. Quasi scontato osservare che, in questa prospettiva, cambia anche il ruolo del valutatore, che assume una funzione di maieuta, oltre che, ovviamente, di garante metodologico rispetto al sistema degli indicatori proposto^18. In questa veste deve assicurare, innanzi tutto, la coerenza del sistema e la copertura di tutti gli aspetti rilevanti (anche se tale rilevanza non può più essere presupposta, ma deve essere confermata dai partner); in subordine, la loro effettiva costruibilità e il rispetto dei requisiti sopra richiamati (validità, affidabilità, adeguatezza, tempestività, ecc.). In breve, occorre accettare il fatto che proprio il nesso degli indicatori con gli obiettivi degli interventi e con l’oggetto della valutazione impedisce di affidare la loro definizione ai soli tecnici, che potranno invece rivelarsi preziosi nella definizione delle modalità di costruzione, rilevazione, elaborazione ed analisi degli indicatori stessi.
(^17) Mi pare significativo che nella presentazione del metodo della carta concettuale degli impatti si osservi anche che la struttura di un Programma articolato in Assi, Misure, Azioni e progetti è troppo complessa per essere ingabbiata nello schema tripartito di obiettivi generali, specifici ed operativi (cfr. C.E. 1999, IV: 17-19). (^18) Credo molto in questa funzione del valutatore e sono convinto del fatto che essa ne valorizzi il ruolo molto più di quella di tecnico neutrale arroccato sulle proprie competenze metodologiche e sostantive assegnata dall’approccio neopositivista. Credo anche che questa posizione rispecchi l’istanza weberiana dell’avalutatività, nei termini che ho illustrato in Palumbo 2001a: 97-
e) l’educazione alla democrazia f) gli effetti sinergici. Si tratta in tutti i casi di obiettivi che non possono trovare una loro traduzione soddisfacente in indicatori quantitativi. La sfida degli indicatori non è allora solo quella di definirli in parallelo con il processo di costruzione e realizzazione della politica, ma anche di bilanciare opportunamente gli indicatori qualitativi e quelli quantitativi, per evitare di ridurre il programma ai suoi obiettivi espliciti e questi ai soli aspetti misurabili. In regime di partenariato può essere ipotizzata la seguente strategia: a) definizione del quadro degli obiettivi (curando, ove possibile, che essi rispettino le condizioni sopra dette) b) definizione della “catena” di realizzazione del piano o programma, in modo da poter identificare indicatori per ciascuno dei passaggi chiave c) definizione di un sistema di indicatori che permetta non solo di registrare il grado di conseguimento degli obiettivi, ma anche di misurare i mutamenti nel quadro dei bisogni e, se pertinente, il posizionamento rispetto a standard di qualità. Adottando, ove opportuno, il paradigma lazarsfeldiano come metodo di lavoro d) definizione delle modalità di costruzione, rilevazione, elaborazione, aggiornamento, comunicazione dei singoli indicatori e) effettuazione di eventuali approfondimenti relativi agli indicatori qualitativi, procedendo all’occorrenza alla costruzione di panel di esperti o all’applicazione di tecniche particolari di analisi delle sedi decisionali per giungere alla formulazione di giudizi soggettivi ma non arbitrari (ossia in condizioni controllate) f) infine, definizione dei feedback conseguenti alla comunicazione dei dati, in modo da assicurare l’effettivo utilizzo degli indicatori e un costante monitoraggio sulla loro effettiva utilità rispetto al processo decisionale (non è infatti infrequente che in fase di progettazione dei sistemi d’indicatori le priorità conoscitive non rispecchino per intero quelle operative^20 , ma questo eventuale iato diviene ben presto visibile in corso d’opera; è bene quindi mantenere la flessibilità del sistema d’indicatori, che permetta di abbandonare quelli meno utili o troppo costosi a favore eventualmente di altri progettati in corso d’opera).
(^20) In linea generale, la tendenza a mantenere una separazione tra conoscenza e azione e a concepirle come disposte lungo un percorso lineare corrisponde ad una concezione superata di programmazione che tuttavia viene spesso tuttora praticata sul piano professionale (cfr. sul tema Lanzara 1988; Sgritta 1988)
Riferimenti bibliografici
Bezzi Claudio, 2001, Il disegno della ricerca valutativa, Milano, Angeli. Bezzi Claudio, Palumbo Mauro, 1995, Questionario e dintorni, Perugia, Arnaud-Gramma. Cannavò Leonardo, 1999, Teoria e pratica degli indicatori nella ricerca sociale, Milano, LED. Capano Giliberto, Giuliani Marco, a cura di, 1996, Dizionario di politiche pubbliche, Roma, La Nuova Italia Scientifica. Chen Huey Tsyh, 1990, Theory-Driven Evaluation, Newbury Park, CA, Sage. Cipolla Costantino, 1988, Teoria della metodologia sociologica, Milano, Angeli. Colombis Alessio, 1991, Costruzione e modificazione di concetti. Dalle scale ai fattori, Napoli, Liguori. Commission Européenne (C.E.), Fonds structurels communautaires, 1999, Évaluer les programmes socio-économiques. Collection MEANS, 6 voll., Luxembourg, Office des publications officielles des Communautés européennes. 1999 I, Conception et conduite d’une évaluation, Volume 1 1999 II, Choix et utilisation des indicateurs pour le suivi et l’évaluation, Volume 2 1999 III, Principales techniques et outils d’évaluation, Volume 3 1999 IV, Solutions techniques pour évaluer dans un cadre de partenariat, Volume 4 1999 V, Évaluation transversale des impacts sur l’environnement, l’emploi et les autres priorités d’intervention, Volume 5 1999 VI, Glossaire de 300 concepts et termes techniques, Volume 6. Curatolo Renato, 1979, Indicatori sociali per la Toscana, Firenze, Regione Toscana. Dente Bruno, a cura di, 1991, L'efficacia dei poteri locali, Bologna, Il Mulino. Elster Jon, 1989, Nuts and Bolts for the Social Sciences, Cambridge, Cambridge University Press; trad. it. Come si studia la società, Bologna, Il Mulino. Frudà Luigi, “Concetti, variabili e progettazione di strutture di dati”, Sociologia e Ricerca sociale, IX, 25, pp. 67-89. Lanzara Giovan Francesco, 1988, “La progettazione dei sistemi complessi”, Rivista Trimestrale di Scienza dell'Amministrazione, 1, pp. 3-38. Lazarsfeld Paul F., 1969, “Dai concetti agli indici empirici”, in Raymond Boudon, Paul F. Lazarsfeld, L’analisi empirica nelle scienze sociali. Volume I: dai concetti agli indici empirici, Bologna, Il Mulino. Lichtner Maurizio, 1999, La qualità delle azioni formative. Criteri di valutazione tra esigenze di funzionalità e costruzione del significato, Milano, Angeli. Lipari Domenico, 1995, Progettazione e valutazione nei processi formativi, Roma, Ed. Lavoro. Lo Schiavo, Luca, 1999, “Le misure di qualità e la customer satisfaction”, in Giovanni Azzone e Bruno Dente, a cura di, Valutare per governare. Il nuovo sistema dei controlli nelle Pubbliche Amministrazioni, Milano, ETAS, pp. 115-153. Marradi Alberto, 1980, Concetti e metodi per la ricerca sociale, Firenze, La Giuntina. Marradi Alberto, 1994, “Referenti, pensiero e linguaggio: una questione rilevante per gli indicatori”, Sociologia e ricerca sociale, XV, 43, pp. 137-207. Martini Alberto, Cais Giuseppe, 2000, “Controllo (di gestione) e valutazione (delle politiche): un (ennesimo ma non ultimo) tentativo di sistemazione concettuale” , in Mauro Palumbo, a cura di, Valutazione 2000, pp. 404-420. Mohr Lawrence B., 1998, Impact Analysis for Program Evaluation 2, Thousand Oaks, Ca., Sage; 2^ ed. Nigris Daniele, 2000, Informazione e intervento sociale. Prospettive metodologiche e operative, Milano, Angeli. Palumbo Mauro, 1991 , Problemi di metodologia della ricerca sociale, Genova, ECIG. Palumbo Mauro, 1995, “Indicatori e valutazione di efficacia delle policies”, Sociologia e ricerca sociale, XVI, 47/48, pp. 317-342. Palumbo Mauro, 1998, “Elementi di una teoria generale della valutazione”, in Claudio Bezzi, Mauro Palumbo, a cura di, 1998, Strategie di valutazione. Materiali di lavoro, Perugia, IRRES-Gramma, pp. 26-84.
