Ballart, Apuntes de Antropología

¡Descarga Ballart y más Apuntes en PDF de Antropología solo en Docsity!

O EVALUAR PROGRAMAS Y CIOS PUBLICOS? Aproximación lática y estudios de caso es un 'n más en la labor emprendida por P para facilitar al lector español un vto de textos que posibiliten la a de la gestión pública. a permitirá adentrarnos en el o de la evaluación, de larga :ón en otros contextos, de manera la y con voluntad de convertir sus as en un valioso instrumento de Ita. | Casación + Estudios 0 evaluar programas y vicios públicos? imación sistemática y estudios de c: Xavier Ballart (LUMU EVALUAR FKUUKAMAS Y SERVICIOS PUBLICOS? b. La tradición europea En los países con una fuerte tradición administrativa, como la República Federal de Alemania (REA), Francia, italia o España, las dos principales co- rrientes de estudio de la administración siguen orientaciones heterogéneas y que sólo coinciden parcialmente con el tipo de análisis al que nos referíamos en el apartado anterior. Siguiendo a la literatura francesa sobre el tema, distin- guimos entre una corriente institucional y una corriente organizacional (Los- chak, 1975; Nioche, 1982b). La corriente institucional, desarrollada a partir de los estudios jurídicos sobre la administración pública, se basa en la especificidad de ésta y en la dificultad de separarla de los esquemas tradicionales del Derecho Adminis- trativo. El objeto de la Ciencia de la Administración se limita a la administración pública, según esta perspectiva (18). Se excluye por tanto, cualquier otro tipo de organización en virtud de la especificidad de la administración respecto a las demás formaciones sociales. Esta especificidad y originalidad de la admi- nistración tiene su origen en la teoría del Estado liberal, según la cual el Esta- do representa al interés general, mientras que el resto de organizaciones socia- les representan intereses particulares. La administración, como conjunto de medios humanos y materiales encargados de asegurar la ejecución de la leyes y el funcionamiento de los servicios públicos, difiere tanio del poder político, del que es su instrumento, como de la esfera privada, Se explica así, el régi- men particular al que se la somete y las prerrogativas de las que dispone, lo que justifica, a su vez, que sea el vbjeto de una ciencia específica, : De esta conceptualización jurídico-política de la administración deriva la importancia dada al Derecho Administrativo y al método jurídico como ins- trumento de comprensión de la administración pública. Esto implica una apro- ximación generalmenic deductiva, a partir de la legislación, para determinar las condiciones de su aplicación. Una segunda orientación que, de acuerdo con la doctrina francesa hemos denominado organizacional, incluye dentro de su campo de investigación tan- to a la administración pública como a las empresas privadas, puesto que estu- día a las organizaciones, no tanto desde el punto de vista de lo que les es espe- Cífico, sino al contrario, desde el punto de vista de lo que les es común. Entre los fundamentos teóricos de esta corriente se encuentran algunos de los ya citados anteriormente como, por ejemplo, Taylor y Fayol, en su intento Por descubrir un modelo óptimo de organización del trabajo, o Roelhlisberger de IZ En Fspaña, Baena (1985: 31), por ejemplo. entiende que la tcularidad formal del ejervicro del po- der dota a la administración pública de una especificidad respecto a las demás organizaciones suciales que justifica su tratamiento separado. 42 PRIMERA PARTE y Dickson, y Mayo (19), es decir, los psicólogos sociales que se interesan por los comportamientos y actitudes de los empleados de las grandes empresas in- dustriales, poniendo el acento, por reacción contra los excesos del taylorismo, sobre la importancia de los factores psicológicos. Pero es Weber quien pone las bases de la corriente organizacional y de la sociología de las organizaciones con su modelo ideal de burocracia como for- ma más racional de administración. De la explicación de las características principales de este modelo se desprende el interés de Weber por puner de re- lieve los elementos comunes, más que las diferencias, entre las organizaciones privadas y públicas (20). Con Weber, la organización administrativa corno tal adquiere una cierta autonomía: las relaciones humanas y las relaciones de po- der que tienen lugar en su seno, y las relaciones de la organización con su en tomo constituyen los elementos fundamentales de esta nueva visión que TOm- pe con la imagen de una administración instrumental, totalmente sumisa al poder política (21). Metodológicamente, la corriente organizacional se asocia con una aproxi- mación inductiva, donde la observación y la encuesta sobre el terreno juegan un papel esencial (22). B. EL ANALISIS DE POLITICAS PUBLICAS COMO MARCO TEORICO DE REFERENCIA a. Conceptos básicos La Ciencia de la Administración en España tiene un amplio campo de desa- rollo en el análisis de las políticas presentes, y en el de ss posibles alternativas, (19) La filosofía social de E. Mayo (1975, primero publicado en 1949) romps con la visión predomú- nante en Ja teuría de la organización industrial de los años 20 y 30, Sus propuestas son primitivas en su non- coptualización y pueden parecer, en la actualidad, «naive» o temánticas, Pero, indudablemente, en ellas se encuentran los orígenes de lus teorías sociológicas de la organización actuales, Mayo pone de relieve aspeo- tas coma la necesidad que tiene cada individuo de estar cn buenos Lérminos con sus compañeros de trabajo, el papel de las emociones, o la tendencia de lus homhres a asociarso. El interés económico individual pasa- ba pues a ser la excepción, más que la regla, (20) Así. al hablar del principio de la autoridad jerárquica, Weber (1946: 197) afirma que se encuentra en todo tipo de estructuras buracráticas y que no importa la autoridud de la que derive, sea tipo de privado o público. (21) El modelo ideal weberiano ha sido objesa de numerosos exámenes. comentarios y críticas. Una excelente revisión de las escritos y de las críticas de Weber, desde el punto de vista de su tipología de la u0- toridad. se encuentra en Diamant (1962). Merton (1957) y sus discípulos, Blau (1955) y Crozier (1964) examinan las «disfunciones» del moáclo burocrático, a partir del estudio de las limitaciones del tipo de or ganización propuesto por Weber. Entre estas disfunciones, se encuentran los procesos de modificación de uhjetivos y desarrollo de conflictos entre la hurocracia y su clientela. Para una revisión de esta orientación en castellano, vid. Mayntz, (1985: 121-146) (22) Dentro de esta corriente podemos incluir algunas investigaciones de Baena (197%), Beltran (1977) y Bañon (1978) en Es ¿LOMO EVALUAR PROGRAMAS Y SERVICIOS PUBLICOS? política o el programa analizado, es decir, a o en anclado quéllos que no se hubieran produ- b. Diferencias entre análisis y evaluación a RS Pr temporal con la formulación y la implementa- úctica de una política, la evaluación normal: ji E E é n e Bar después de aquéllas lo que explica su carácter «ex post». ame eno o o nos autores parten de esta característica para distinguirla del análisis den a En este sentido, Chelimsky (1985:6-7) cita a Beck. : , quien define el análisis de las políti ób - nan (19 qu ticas públicas como «anti- cipatorio» y «dirigido a decisione: nh : Polen y Ss que aún hay que to: y (1974:333) para quien «la evaluaci . INM Ñ uación de programas invoca puctivo de las operaciones de un 1 yen busca de una e Programa, mira al pasado en bus guía para el futuro»; para luego afirm álisi Lions pbl t A ar que el análisis de las políti úbli E : . ' S líticas públi- s es prospectivo mientras que la evaluación de programas es Detrospeciva, ! eN énfasis cn el anátisis de las políticas Pre RNA me proyectados); una pregunta típica del análisis de las 5 pudría ser la siguiente, «¿Cuáles serán . bles de una restricción en la of ama A la oferta de camas, en el índi i los hospitales?» El interés vi ión resido en cambio on elas ? s de la evaluación reside en cambi a e E ie ' . cambio, en los efectos s > que ha sido observado, lo que ya h: ri á ocurriendo); una pregunta típi lación podría a ica ie Y pica de la evaluación podría ser la sigui c 10) pregu e siguiente, cons oarió al índice de ocupación de los hospitales, después que el pe iento de la oferta de camas fuera restringido?» (Chelimsky, 1985:7) públicas se pone en los efectos pro- mo a al delos efectos probables de una política en el futuro, co- que tenga una cierta lean 0 o a ón respecto aun determinado problema. En es sonidos DS Mp ticas públicas, La cita de Chelimsky resulta, sin emb: o mismo tiempo que nos recuerda el carácter cíclico del de el cual los resultados de la evaluación proporcionan la ba : Para el estudio de alternativas a las Políticas presentes. e análisis de polí esclarecedora, al elo teórico, según empírica necesaria €. El carácter amenazante de la evaluación Todas la inici reli s definiciones se refieren a los métodos propios de las ciencias so: ales corr Car: su á A Slales corno elemento característico de la evaluación de pol íticas o programas d ramas 46 Í y í PRIMERA PARTE públicos. Con independencia del desarrollo que se hace más adelante de las diferentes aproximaciones metodológicas, conviene distinguir aquí entre ¿n- vestigación social básica o aplicación de métodos científicos con el propósito de avanzar en el conocimiento y comprensión de un determinado aspecto de la realidad social, y evaluación de programas que, si bien utiliza los mismos mé- todos (o aproximaciones), se diferencia de aquélla tanto en sus propósitos co- mo en su contexto. La evaluación se realiza para que sus resultados sean utilizados. Idealmen- te, existe un cliente que tiene que tomar decisiones y busca en la evaluación algunas respuestas en las que basar su decisión. Por esta razón, el evaluador/es tienc que tratar las cuestiones que derivan del programa, al contrario de la in- vestigación científica básica que pone el énfasis en la producción de nuevos conocimientos y donde el investigador tiene libertad para formular sus propias hipótesis. Además, la evaluación tiene lugar en un entorno difícil, con las complica- ciones que implica el tratar con grupos de personas con sistemas de valores e intereses dispares, lo que les lleva a mantener posiciones divergentes en rela- ción con un programa o con su evaluación. Los responsables de un programa, cuya preocup ión fundamental es que su programa funcione sia interrupciones ni dilaciones, no sólo pueden no ver la necesidad de ser evaluados, sino incluso temer un proceso de este tipo. En este sentido, ya en 1972, Wildavsky se planteaba la incompatibili- dad entre el «organization-man» y el «evaluation-man» y la necesidad de cambiar profundamente las organizaciones públicas para conseguir que los resultados de las evaluaciones sean de alguna utilidad: «Cómo convencer 2 los administradores para que recojan información que puede ayudar a otros pero que sólo les puede perjudicar?» se preguntaba el Profesor de Berkeley (Wildavsky, 1972:509). La cita es relevante en la medida que pone de relieve el carácter de ame- naza que toda evaluación puede suponer para los sujetos evaluados, lo que in- dudablemente tiene una influencia directa en la investigación, Difícilmente se pueden evaluar los programas de una Administración que no quiere coopuyar en la aportación de datos o en la apertura de expedientes. Cabe, sin embargo, contrariamente a lo afirmado por Wildavsky, ericontrar motivos por los que un administrador público tenga interés en cooperar en la evaluación de su propia actividad, como veremos más adelante. Las diferencias de propósito y de contexto entre la evaluación y la inves- tigación cienlífica básica justifican, según Cronbach, que aquélla se realice de forma lo bastante correcta para responder a las cuestiones suscitadas, aunque desde el punto de vista científico no se corresponda con el mejor di- seño posible: gomas o ALAN FIRIVUICAMAS Y DER VICIUS PUBLICOS? «El mérito radica no tanto en el método de investigación sino en la rele- vancia de la información... La validez externa —esto es la validez de las inferencias más allá de los datos— es lo determinante. Incrementar la vali- dez interna por medio de un elegante diseño a menudo reduce la relevan- cia de la investigación.» (Cronbach et al., 1980:7) Ciertamente, la exigencia misma de producir información útil a todos aquéllos que son parte en un mismo programa, o las limitaciones de tiempo, personal y recursos pueden influir en la calidad científica de los estudios. En cualquier caso es posible aunar ambas exigencias, como demuestran Boruch, McSweeney y Soderstrom (1978), entre otros que se han dedicado a recopilar un gran número de evaluaciones que se aproximan a un diseño perfecto desde el punto de vista científico. La figura 1 resume de forma esquemática las relaciones teóricas entre aná- lisis, evaluación e investigacion social básica, Figura 1; Relaciones entre análisis, evaluación e investigación Relevancia para un programa específico NO sI NO Investigación Evaluación Social Básica de Programas Relevancia a nivel político SI Análisis de Evaluación Políticas de Políticas A su vez, la figura 1 distingue entre evaluación de políticas y de progra- mas, en función de su impacto potencial. De acuerdo con este criterio, la ex- presión «evaluación de programas» se podría reservar para aquellas evalua- ciones de un conjunto de recursos y actividades organizados para obtener ¿Ciertos objetivos, cuyos resultados lienen relevancia a nivel de gestión del pro- ¡grama. Esta evaluación intentaría responder a cuestiones relacionadas con la dirección, el funcionamiento y el impacto de un programa especifico en la po- ¿blación a la que sirve, Mientras que la «evaluación de políticas» tendría rele- vancia a nivel de instancias de decisión política e intentaría responder a cues- tiones relacionadas con la generalización de una determinada política en Cuanto que aproximación a un determinado problema, y que por tanto, podría 8 PRIMBRA PARTE afectar a un número importante de personas, resultar en cambios organizativos de consideración u en la redistribución de recursos presupuestarios entre dis- tintos departamentos administrativos (24). 24) De ahora en adelante, por razones prácticas, normulrente utilizaremos la expresión «evaluación de programas», sio que clto signifique que el objeto del trabajo se limite a la evaluación de programas para la gestión, sin una relevancia a nivel de decisiones políticas más amplias. 49 1 CONCEPTO La evaluación de programas no tiene una definición pacífica y am- pliamente aceptada por la literatura, Los términos «program evaluation», «policy evaluation» y «evaluation research» han sido objeto de una varie- dad de interpretaciones en función de lo que distintos investigadores in- cluyen en este campo de investigación y/o entienden que son sus métodos propios. A. AMPLIACION PROGRESIVA DEL AMBITO DELA EVALUACION Inicialmente, la evaluación de program: percibida como la evaluación de los efectos netos de los programas —es decir, de aquellos efectos que no se hubieran producido en ausencia del programa— en relación con los objetivos inicialmente propuestos. (Rossi y Wright, 1984:31). En este contexto, la evaluación es, pues, un análisis de resultados («ouico- mes» en inglés), entendiendo a éstos como el efecto o impacto real de un pro- grama en sus destinatarios. Interesa aquí precisar la diferencia.que existe entre «dutcomes» y Qui- puts, puesto que a menudo ambos se confunden. Los outputs se refieren a lo que el programa produce. Así, por ejemplo, un programa de rebabilita- ción de viviendas produce viviendas aptas para ser ocupadas por ciudada- nos. Los «outcomes», por su parte, se refieren al impacto de cstos oulputs en la sociedad. En el ejemplo propuesto, el «outcome» del programa sería el efecto que produce dicha política de rehabilitación en la condición de personas de bajo nivel de renta y, en concreto, ch Su capacidad de acceder a una vivienda de calidad. Esta concepción de la evaluación de programas como evaluación de los efectos de un programa en relación con sus objetivos es recogida en el influ- yente libro de Weiss (1972:4): «El propósito de la Investigación Evaluativa es medir los efcelos de un programa en relación con los objetivos que se propone alcanzar, como medio de contribuir al proceso subsiguiente de toma de decisiones sobre Ed cl programa, y por tanto como medio de mejorar la programación fu- tura». (37) La evaluación de los efectos netos de los programas trataba a éstos como a una unidad indiferenciada, lo que se ha convenido en llamar una caja negra, sobre la que no se conoce nada sobre sus componentes. Así, por ejemplo, un programa de formación e inserción profesional puede estar compuesto de clases teóricas sobre donde encontrar ofertas de trabajo, mo hacer un currículum o presentarse en una entrevista de selección, puede incluir módulos de calificación profesional, de prácticas en una empresa u otros, La evaluación de sus efectos trataría al programa como a una unidad in- diferenciada comparando, por ejemplo, los niveles de éxito de aquéllos que habían participado en el programa con los de aquéllos que no lo habían hecho y formaban parte de un grupo de control. Bsta evaluación aportaría una est mación objetiva de los efectos netos del programa, pero dado que ne entraría en el análisis de sus componentes, no aportaría información sobre el porqué había o no había funcionado. De aquí que varios autores incluyan en sus definiciones de evaluación de programas, la evaluación de los componentes del programa y de la forma en que el programa opera regularmente. Esta concepción ha dado lugar a las «management-centered evaluations» defendidas por Wholey: «Evaluación 1. valora la eficacia de un prográma en funcionamento, en al- canzar sus objetivos, 2. se basa en los principios del diseño investigativo para distinguir los efectos de un programa de aquéllos de otras fuerzas Operando en una situación determinada, y 3. se dirige a mejorar el progra- ma a través de la modificación de las operaciones corrientes.» (Wholey et al., 1975:23) (38). Se relaciona, por tanto, con la preocupación por hacer de la evaluación un instrumento que resulte útil a los responsables directos de los progra- mas. En este sentido, Subirats (1989:140) se refiere a una perspectiva (37) Ea el mismo sento, Walker que estudió la función evalvativa en la GAO piens vo de la evaluación es determinar si los programas jederales están obteniendo los benefici perseguidos por el Congreso y la Administración» (1985-173). También, Niche en Europa, define la evaluación en parecidos términos: «utilizar los métodos de in- vestigación de las ciencias sociales para apreciar los efectos reales de una política, una vez que ésta ha sido aplicadar 1982b: 21). (38) Para Marvin y Hexlrick, analistas de la GAO, tu valuación de programas consiste en «la valora- ción sistemática de cómo Lo programa está alcanzanco los objetivos establecidos en la legislación aulori- santo» (1974: 328). En el mismo sentido, Herman, Morris y Fitz-Ciilibou entienden que cvaluar un programa consiste en: información, de forma sistemática, sobre cómo opera un prugrama y sobre los efectos que pueda que; «el ubjeri y resultados an PRIMBRA PARTE gerencial que distingue de la perspectiva legal-tradicional y de olras de ca- rácter político (39). . La evaluación aún ampliaría su ámbito a raíz de los análisis de evaluacio- nes realizadas en los que se sugería que los pobres resultados de muchos pro- gramas podían ser debidos 4 una inadecuada planificación previa, a un diag- nóstico erróneo de las necesidades de sus destinatarios o a problemas de interpretación o puesta en práctica de conceptos manejados en las fases de dis- cusión, negociación y aprobación del programa (Rossi y Wright, 1984:65). De otra parte, como se ha afirmado anteriormente, la crisis industrial de los años setenta y las políticas conservadoras de reducción del gasto público suscitaron un mayor interés por la evaluación cconómica de los programas, lo que ha llevado a algunos autores « incluir dentro del ámbito de la evaluación de programas los análisis coste-eficacia y coste-beneficio desarrollados por economistas. (Lewis y Zarb, 1974:308; Thompson, 1980:entero). B. CONCEPTO AMPLIO DE EVALUACION DE PROGRAMAS Todo ello conduce a que algunos eminentes científicos sociales coma Ros- si y Freeman empezaran a hablar de evaluaciones globales («comprehensive evalualions») como prototipo de las actividades de investigación evaluativa. Para estos autores la evaluación de programas consiste ez «La aplicación sistemática de procedimientos de investigación social para valorar la conceptualización y diseño, implementación y utilidad, de los programas de intervención social» (1985:19-2M. Esta definición resume los puntos indicados anteriormente y eslablece las bases de una tipología de estudios de evaluación. o En primer lugar, la evaluación es aplicación sistemática de procedimientos de investigación social. Existe, por tanto, un compromiso por seguir las pres- cripciones y los métodos de las ciencia sociales con el fin de producir evi- dencia empírica válida y fiable. En segundo lugar, la evaluación se aplica con el fin de valorar y eventual mente perfeccionar, primero, la conceptualización y diseño, segundo, la im- plementación, y tercero, la utilidad de los programas de intervención social, La evaluación completa de un programa incluiría, por tanto, estas tres cuestio- nes. Rossi y Freeman utilizan el término genérico de «evaluación de utilidad» (39) Ciertamente, los erilerias en función de los cuales valorar el éxito de una política o programa puedo sor pluvules y Jinsta contradictorios, A. eo nos referimos al tratar de valores, propósitos e intereses. nm ¡CUMU EVALUAR PROGRAMAS Y SERVICIOS PUBLICOS? A, CLASIFICACIÓN POR FASES a. Evaluación de la Conceptualización y del Diseño de los Programas La evaluación de la conceptualización y del diseño de los programas in- tenta proporcionar información, primero, sobre el problema del que se ocupa o se debería ocupar el programa, segundo, sobre el proceso de formulación y diseño del programa y tercero, sobre la racionalidad intrínseca del mismo pro- grama, es decir, hasta qué punto el diseño del programa sirve sus objetivos (Rossi y Freeman, 1985:38-39). Incluimos aquí, por tanto, la revisión de los estudios de necesidades donde se recogen datos sobre la incidencia, prevalencia, y distribución en el espacio físico y social del problema en cuestión, así como la investigación básica so- bre los procesos políticos y sociales que tienen que ver con la formulación, negociación y aprobación de nuevas intervenciones (Rossi y Wright, 1984:65). El estudio de caso sobre el Plan Integral de Roquetes es en buena medida una evaluación de esta naturaleza (40). b. Evaluación de la Implementación de los Programas Este segundo tipo de evaluación consiste en la valoración sistemática y periódica de dos cuestiones fundamentales: la cobertura del programa, es de- cir, hasta qué punto el programa está alcanzando la población o el área a los que se dirige; y la forma en que el programa se administra, tanto desde el pun- to de vista de la utilización de los recursos de que dispone, como de los servi- cios finalmente distribuidos (Rossi y Freeman, 1985:40). Se trata, por tanto, de una supervisión o control del funcionamiento del programa que indudablemente puede interesar a los gestores del programa que pueden tomar acciones de Lipo correctivo en relación con problemas de ges- tión (problemas de distribución, de utilización de recursos humanos, de flujo de la información) pero que también puede interesar a aquéllos que deciden sobre su continuidad y su financiación y que por tanto tienen un interés (40) También existe una Iheratura sohre el concepto de pronlema, Generalmente se habla de problema enanda concurren dos elementos; por una parte la constatación de una situación no deseada en la condición humana y social, y por otra, la resolución decidida de tomar una acción organizada con el propósito de re- mediar aquella situación, La definición de problema implica por tanto la idea de acción dirigida a tratar el mismo problema, En el mismo sémido, Subirars destaca el carácter «artificial» de los problemas, cn la medida que «no sienen vida propia al margen de los individuos o grupos que los definen.» Por otra parte, vincula problema y solución. Por ello, el planteamiento de un problema se ha de hacer «desde una perspectiva que posibili la intervención y que permita una vía de mejora» (1989: 50). 76 PRIMERA PARIS evidente en conocer los problemas que existen con su puesta en práctica, in- dependientemente de su preocupación por los resultados finales. El estudio de caso sobre la Policía local de l'Hospitalet de J.Lobregat res- ponde en buena medida a uste tipo de evaluación. c. Evaluación de la Eficacia o Impacto de los Programas Una evaluación de eficacia o impacto examina.la medida en que éste produce un cambio en la dirección deseada. Lógicamente, si no existe este cambio o impacto, o no es demostrable, resulta más difícil defender su continuación. El análisis de impacto presupone que existe un conjunto de objetivos ope- racionales y que éstos son indicativos del éxito o del fracaso del programa. Se afirma que éste ha funcionado correctamente si consigue algún cambio hacia estos objetivos. La función del evaluador consiste precisamente en demostrar que los cambios son debidos a la intervención y na se pueden explicar como consecuencia de un proceso altemativo que no incluya al programa mismo (Rossi y Freeman, 1985:43), La cuestión esencial en la evaluación de impacto es, pues, separar los efectos del programa de otros efectos externos para determinar hasta qué pun- to el programa es responsable de los cambios observados durante y después de su puesta en práctica. Esto se consigue con la identificación de medidas de re- sultados que representen los objetivos del-programa, y con el control, median- te métodos experimentales, cuasiexperimentales o estadísticos, de aquellos efectos que no sean efectos reales del programa. Tanto el estudio de caso sobre el Plan Integral de Roquetes como el de la Policía Local incluyen elementos que se aproximan al concepto de evaluación de eficacia. d. Evaluación de la Eficiencia de los Programas El conocimiento de la eficacia o impacto de un programa puede ser insufi- ciente. A menudo, el impacto de un programa deberá ser juzgado en función de su coste ya que puede ocurrir perfectamente que un determinado programa esté produciendo unos resultados escasos por los costes en que ha incúrrido. Ello supone incluir el análisis coste-eficacia y el análisis coste-beneficio den- tro del ámbito de la evaluación. Como se dijo anteriormente, sin embargo, és- tos requieren una evaluación de impacto previa puesto que únicamente han de tenerse en cuenta los beneficios realmente causados por el programa. Por otra TT ¿COMO EVALUAR PROGRAMAS Y SERVICIOS PUBLICOS? parte, la identificación, cuantificación y transformación a una unidad común de medida de los costes y beneficios puede resultar problemática cuando se trata de programas sociales, ya que no todos los outputs e inputs pueden ser valorados en términos monctarios. Cuadro 2: Principales cuestiones para cada tipo de evaluación 1. Evaluación de la conceptualización y del diseño de los programas — ¿Cuáles son el grado y la distribución de los problemas a los que se dirige el programa? — ¿Se ha diseñado el programa de acuerdo con los objetivos inicial- mente perseguidos? ¿Es lógico y racional? 2. Evaluación de la implementación de los programas — ¿Hasta qué punto el programa está alcanzando la población espec fica o el área a los que se dirige? — ¿En qué medida el esfuerzo de intervención se está llevando a cabo como se especificó en el diseño del programa? Evaluación de la eficacia o impacto de los programas — ¿Ha sido el programa efectivo en alcanzar sus objetivos iniciales? — ¿Se pueden explicar los resultados del programa como consecuencia de un proceso alternativo que no incluya al programa mismo? 4. Evaluación de la eficiencia de los programas — ¿Cuáles son los costes y los beneficios de distribuir los servicios a los participantes en el programa? — ¿Supone, el programa en concreto, un uso eficiente de los recursos en comparación con otros alternativos? Fuente; Adaptado a partir de Rossi y Freeman, 1985:39-46 TE PRUMERA FAR B. OTRAS CLASIFICACIONES a. Evaluación Formativa - Evaluación Conclusiva Los lérminos «formativa» y «conclusiva» (o sumativa, de «SUMMAti- ve» en inglés) fueron adoptados por Scriven en su discusión sobre la evaluación de programas educativos (Scriyex: 1967), y desde entonces ha sido utilizados con asiduidad por la literatura para referirse a evalua- ciones con propósitos distintos. (Herman, Morris y Fitz-Gibbon, 1987:17). La evaluación formativa responde a una preocupación que se encuen- tra en la base de muchas demandas de evaluación: obtener información sobre la marcha de un programa, de forma progresiva durante su desarro- llo, con el objeto de darla a conocer a sus directores y personal, y poder así éstos introducir las modificaciones programáticas gue se estimen oportunas. Ello requiere un conocimiento detallado de las operaciones del pro- grama y de sus múltiples componentes para poder anticipar problemas y examinar en qué medida el programa se está desarrollando conforme a sus objetivos. La evaluación formativa o de proceso coincide, en cuanto a las cuestiones objeto de investigación, con la evaluación de la conceptnalización, del diseño y de la implementación de los programas. 7 El propósito de la evaluación conclusiva o de resultados es proporcio- nar la información necesaria para poder hacer una valoración global sobre Jos resultados de un programa y sobre su utilidad. Esta clase de evaluación requiere que haya pasado un intervalo sufi- .nte de tiempo desde la adopción del programa de forma que su organiza- ción y actividades hayan alcanzado una cierta estabilidad. En la medida que el programa tenga unos objetivos claros y medibles será más factible juzgar sus resultados, comparándolos, por ejemplo, con los de programas simila- res o con los alcanzados por un grupo de control que no haya recibido nin- gún programa. La evaluación conclusiva o de resultados se corresponde, en cuanto a las cuestiones objeto de investigación con las evaluaciones de impacto y de eficiencia. La matriz. de la figura 3 relaciona los propósitos que generalmente moti- van la demanda de una evaluación con los aspectos del programa objeto de in- vestigación. ¿COMO EVALUAR PROGRAMAS Y SERVICIOS PUBLICOS? determinada política. Entonces, el examen sistemático del conjunto de las eva- luaciones, desde una perspectiva más general, puede proporcionar más y me- jor información que un nuevo estudio de características parecidas a los reali- zados anteriormente (42). A veces, la metaevaluación consiste en repetir un estudio acabado, rcana- lizando los datos en que se basa o incorporando más datos sobre el mismo programa. (Hudson y McRoberts, 1984:222). Otra forma de hacer metaeva- luaciones consiste en la revisión de tipo más amplio de la investigación cva- luativa desarrollada en un determinado período. El trabajo de Wholey et al (1975) cubrió 15 programas de cuatro agencias norteamericanas durante 1968-1969 y examinó tanto la organización de programas, como la calidad de las evaluaciones y de sus informes finales, y los problemas de comunicación y posterior uso de los resultados. Nioche y Poinsard realizaron una investiga- ción de naturaleza similar para Francia (1984:5-22). La «evaluación de las evaluaciones,» como podría describirse la melacva- luación, no está exenta de las complicaciones que derivan de las diferencias existentes entre proyectos individuales en cuanto a las metodologías emplea- das, el tipo de datos empleados, o la perspectiva política desde la que se lleva- ron a cabo, Parece, sin embargo, razonable recurrir a la información agregada y sintética de las metaevaluaciones para justificar decisiones políticas, cuando esto sea pusible, y en la medida que la evidencia empírica acumulada indique claramente un curso de acción. 3. PROPOSITOS A, PROPOSITOS ABIERTOS Como quedó reflejado en la figura 3, la evaluación de una política o pro- grama puede abarcar un conjunto de cuestiones diversas en función de los propósitos o razones por los que se decida llevar a cabo. Igualmente hemos in- dicado dos própositos o razones principales por las que en general se decide evaluar una política o un programa: de una parte, obtener información sobre un programa, de forma progresiva durante su desarrollo, con el objeto de de- terminar las modificaciones programáticas que precisa; y de otra parte, pro- porcionar la información necesaria para poder hacer una valoración global so- bre los resultados de una política o programa y sobre su ulilidad. Así, cabría (42) Por ejemplo, en el campo de la salud y medio ambiente, Urkowitz y Laessing (1982: 427-438) reco- gen un conjunto de investigaciones y examinan su rigor metodológico. Su principal objetivo es descubrir los efectos de los problemas de tipo medio ambiental en la salud humana. Pero para ello intentan determinar la credibilidad de los resultados de las investigaciones realizadas, al mismo tiempo que señalan aquellos aspectos que requieren más investigación y que portamo deberían incluirse en las agendas de los investigadores. 82 PRIMERA PARTE esperar que una evaluación formativa fuera seguida de cambios en el personal, en las actividades, la organización o incluso en el diseño de un programa. Mientras que la información proporcionada por una evaluación de resultados finales tendría que scrvir de ayuda a los Órganos político-administrativos de los que depende un programa para decidir sobre su continuidad o suspensión, sobre su generalización o su reducción (43) El principal propósito de la evaluación es por tanto producir información que tenga alguna relevancia para aquellas personas que encargan la evalua- ción y que se entiende han de tomar algunas decisiones en relación con la po- lítica o programa evaluado, B. PROPOSITOS ENCUBIERTOS Algunos autores se han referido, sin embargo, a los posibles propósitos encubiertos de la evaluación lo que nos lleva u introducir algunas considera- ciones más políticas, Ciertamente, una evaluación se puede hacer con el propósito de justificar una posición a la que se ha llegado de forma previa: ya sea ésta la de ofrecer una imagen positiva del programa, o al revés, poner de manifiesto sus resulta- dos negativos con el objeto de utilizarlos como arma política en contra de sus responsables políticos y/o administrativos (44). Por ello parece importante, desde Ja perspectiva del evaluador, determinar Jos intereses y motivaciones que se encuentran detrás de la demanda de eva- Juación y, concretamente el rol que es llamado a representar, de forma cons- ciente o supuestamente inadvertida. La evaluación también se puede utilizar como un medio para posponer una decisión. La demanda de más investigación como requisito previo a em- prender algún tipo de acción es estrategia común en el ámbito de las Adminis- traciones Públicas. Ya nos hemos referido a: como, desde mediados de los años setenta, la evaluación ha contribuido a frenar el desarrollo creciente de las políticas sociales en algunos países. (43) En el mismo sentido, Chelimsky relaciona los propósitos de la evaluación de programas con la formulación de nuevas políticas o programas, con la gestión y administración de los ya existentes y enn la exigencia social de dur cuentas de los resultados de los progsamas en funcionamiento y ya consolidados (1978; 8). Par utra parte, Weiss indica la necesidad de delimitar claramente el próposito de una evaluación, en la medida que esta'autora entiende que la evaluación que sirve todos los propásitas («ahe all-purpose evaluation») es bn mito (1972: 15), (44) En el primer sentido, Weiss se refiere a Ja evaluación como instrumento de auta-glorificación: «Bl administrador cree que su programa funciona muy bien y busca la manera de hacerlo visible Copias del informe, favorable por supuesta, pueden ser enviadas n los Órganos directores, a los miert- bros de las comisiones legislativas ... » (1972: 12). 83 ¿LUMU EVALUAR PROGRAMAS Y SERVICIOS PUBLICOS? En otro sentido, probablemente muchos programas son evaluados, simple- mente porque así lo requiere la legislación que establece su financiación (Le- vitan y Wurzburg, 1979:3). Lógicamente ello conduce a una evaluación de ca- rácter ritual que se realiza únicamente para cumplir con las disposiciones legislativas pero que no tine ninguna utilidad para los administradores de los programas, Al mismo tiempo, no creemos que se pueda considerar ilícito buscar la legitimación que pueda aportar la evaluación para defender una posición, cuando en el seno de una Administración existe un debale sobre una nueva política o programa. Al contrario, este tipo de prácticas, salvo que la evalua- mn sea cuestionada metodológicamente, pueden contribuir a enriquecer el diálogo político. 4, INTERESES Y CRITERIOS A. MULTIPLICIDAD DE INTERESES Hasta ahora nos hemos referido a las personas o grupos de personas con capacidad para tomar decisiones sobre una política o programa, Las políticas y programas públicos, sin embargo, afectan a una pluralidad de grupos que van más allá de los decisores políticos-administrativos y del personal encarga- do de llevarlos a la práctica. Así, si tomamos como ejemplo la reforma de la enseñanza secundaria cn España, veremos que adernás de interesar a los Parlamentos centrales y auto- nómicos, al Ministerio de Educación y Ciencia y a los departamentos de ense- ñanza autonómicos, interesa a municipios, a asociaciones profesionales de en- señantes, sindicatos, investigadores universitarios, y por supuesto a profesores, alumnos, padres de alumnos y a sus asociaciones. El carácter de afectado por una política o por un programa no tiene porque suscitar, sin embargo, un mismo interés en la evaluación del mismo. El tipo de información que querrían obtener cada uno de estos grupos varía en función de su posición en cl sistema. Así, en primer lugar, cabe esperar que aquéllos que tienen una mayor ca- pacidad para decidir sobre el futuro de la reforma (parlamentarios, miembros del gobierno central y autonómico, y altos funcionarios) tengan un mayor in- terés en obtener información sobre resultados finales de los estudiantes en tests cstandarizados, sobre las caracterísitcas de los estudiantes que se inseri- ban en cada una de las nuevas opciones a sobre sus dedicaciones futuras. In- formación que les ayude a responder cuestiones de carácter general sobre la conveniencia o no de continuar con la aplicación de la reforma, institucionalizar $1 PRIMERA PARTE nuevos programas o mantenerlos como experiencias piloto, aumentar el es- fuerzo presupuestario en la línea marcada por la reforma o limitarlo, En segundo lugar, los directores y responsables de poner en marcha la re- forma, tanto a nivel central, como antonómico y local, estarán más interesados en saber, no sólo si la reforma se desarrolla conforme a las previsiones, sino también qué aspectos generan mayores problemas, cuáles aparecen como más positivos o qué estrategias administrativas alcanzan mejores resultados de for- ma más eficiente, En tercer lugar, los profesionales afectados y. que trabajan en contacto con los beneficiarios teóricos de la nueva política educativa generalmente se preo- cuparán más de cuestiones relacionadas con sus nuevas condiciones laborales y con la forma de realizarse su trabajo diario, En este sentido son más pragmát cos y esperan obtener información que les facilite la adaptación al nuevo siste- ma y, en su caso, aprender aquello que deberían hacer y no están haciendo. En cuarto Jugar, corresponde a los alumnos, padres de alumnos y a Sus asociaciones, adoptar la posición de cliente, y desde esta perspectiva, requerir la información necesaria para valorar Ja calidad de los servicios recibidos. Por otra parte, los ciudadanos en general, como contribuyentes, estarán preocupa- dos por saber, uungue sea en términos muy generales, cuanto cuesta la refor- ma y más específicamente, en qué se y; su dinero, Es, pues, importante reconocer la diversidad de intereses en juego y las múltiples perspectivas que estos intereses implican a la hora de enjuiciar una política. También es cierto, sin embargo, que una misma evaluación difícil- mente podría proporcionar información de inmediata utilidad para todos los grupos, dada la diversidad de sus preocupaciones. B. ¿EVALUACION, CONFORME A QUE CRITERIOS? a. Los Valores e Intereses de los Actores El reconocimiento de la existencia de una pluralidad de intereses en rela- ción con una determinada política o programa nos lleva a plantear la cuestión de los criterios, A pesar de que la literatura de la evaluación ha prestado poca atención a este tema, dado que inicialmente se creyó que la actividad de la evaluación debía estar exenta de valores, es obvio que el mismo término «eva- luación» lleva implícita la idea de juzgar el mérito, esto es, el valor a la bon- dad de las políticas y de las programas. Cabe preguntarse por tanto, ¿confor- me a qué criterios? El conocimiento de los intereses de todas las partes afectadas por el pro- grama evaluado puede ser utilizado para seleccionar los criterios de evaluación, 85 ¿COMO EVALUAR PROGRAMAS Y SERVICIOS PUBLICOS? siguientes: 1. Nivel de beneficios que ofrecen los programas, 2. Equidad ho- rizomial, y 3. Equidad vertical. El primero se refiere a la medida en que los beneficios ofrecidos por el programa son suficientes o adecuados. El segun- do se refiere a la medida en que el programa llega y trata de igual forma, a todas las personas potencialmente eligibles. Y el tercero se refiere al grado en que personas no incluidas en el grupo al que va dirigido el programa se benefician de éste. Así, un programa de formación profesional, puede ser muy efectiva en conseguir un empleo para los jóvenes que lo terminan (lo que en sí constituye un primer criterio de evaluación), pero al mismo tiempo, puede ser muy injus- to desde la perspectiva de equidad horizontal, en la medida que únicamente una pequeña proporción de jóvenes parados tuvieron acceso a Él, o desde la perspectiva de la equidad vertical, en la medida que los que se beneficiaron realmente de él no se corresponden con su población-objetivo. Un último criterio propuesto por Langbein es el de la satisfacción de los ciudadanos, «zn la medida que en una sociedad democrática debería haber una cierta correspondencia entre los deseos de sus miembros y los programas de sus instituciones de gobierno.» (1980-22) Seguramente, el inventario de objetivos y criterios que acabamos de repa- sar no es completo. Objetivos más políticos como los que encontramos en en el caso del Plan Integral de Roquetes, —el incremento de la participación de los ciudadanos en las actividades de la Administración, la consecución de ni- veles más altos de cuordinación entre los agentes públicos y privados que ope- ran en un lerritorio o el perfeceionamiento de los mecanismos de respuesta a las necesidades locales por parte de la Administración —, encuentran difícil acomodo en el esquema de Langbein. Su aplicación obligaría, en muchos ca- sos, a forzar la traducción de programas no económicos, en términos de creci- miento económico. La clarificación del mapa de objetivos y criterios, no obs- tante, habría de permitir al evaluador no dejarse ningún aspecto relevante por evaluar, aunque insistimos, su utilidad es más bien a nivel indicativo. C. OTROS CRITERIOS ALTERNATIVOS Otros autores, en cambio, han propuesto criterios alternativos, que nada tienen que ver con los objetivos de los programas, a partir de los cuales juzgar el valor de una política o programa y que consisten en: 1. examinar el grado en que se han satisfecho las necesidades materiales de la población o área objeto del programa, independientemente de los objetivos de éste (Scriven, 1973); 2. examinar aquello que los clientes, personal y administradores del pro- grama entienden se ha conseguido con éste, así como aquellos factores que creen llevaron a su éxito o fracaso (Guba y Lincoln, 1981); 3. examinar los factores que tengan una mayor importancia para aquéllos que tengan que tomar decisiones sobre el programa en un fuluro pró- ximo (Patton, 1986), 4. examinar la medida en que se han satisfecho las necesidades de in- formación de cada una de lós grupos afectados por el programa (Bryk, 1983): Cada una de estas propuestas representa, en mayor o menor medida, una aproximación alternativa al paradigma racional-científico que domina la eva- luación. Interesa ahora entrar en la discusión de los principales modelos de evaluación, con el objeto de responder a una cuestión difícil: ¿Cómo evaluar las políticas y los programas públicos? Ciertamente, no se trata de importar mecánicamente prácticas de evalua- ción desarrolladas mayoritariamente en Jos EEUU. So trata, más bien, de sacar partido de los conocimientos y de la experiencia allí acumulados, para a partir de estudios de caso como los propuestos, extracr algunas implicaciones que puedan tener alguna relevancia para la evaluación, en general, y más específi- camente, en nuestro entorno. CAPITULO IV LA EVALUACION CLASICA POR OBJETIVOS LIVE EVA EII IVAR DIN VILO CULIAO puesto que éstos servirán de criterio a partir del cual juzgar si el programa ha si- do un éxito o por el contrario ha fracasado en sus propósitos. La función del evaluador consiste pues, primero, en ayudar a los actores del programa a alcanzar un nivel razonable de consenso en torno a los objeti- vos del programa, y, segundo, en asegurar un nivel mínimo de especificidad que permita desarrollar indicadores operacionales a partir de los cuales medir y evaluar. (Shortell y Richardson, 1978:16-17) A. OBJETIVOS GENERALES, ABSTRACTOS, CONFUSOS Y RETORICOS Los objetivos de las políticas y de los programas acostumbran a ser, sin embargo, generales, abstractos y confusos. Ello es así porque el proceso de de- cisiones políticas se apoya en acuerdos sobre aspectos muy generales, Se po- dría afirmar que la negociación política se hace sobre programas y 10 sobre objetivos. Una vez existe un consenso básico sobre la necesidad de «hacer al- go» en relación con los problemas que se hacen un hueco en la agenda política, «lo que haya que hacer» escapa al acuerdo, de lo que resulta la aprobación de programas generales sin objetivos específicos, Desde esta perspectiva, la ambi- giiedad del proceso resulta políticamente útil, en la medida que permite llegar a compromisos sobre la base de intereses divergentes que no llegan a explicitarse (46). Los objetivos retóricos necesarios para sacar adelante el programa, sin embargo, no sirven como base a partir de la cual enjuiciar su éxito. Por otra parte, cuando se pregunta a los administradores de los programas sobre sus objetivos, tampoco se ublienen respuestas muy específicas: «mejo- rar la calidad de vida», «conseguir que se enganchen a la vida», «fortalecer la participación ciudadana», «actuar más coordinadamente», «integrar esfuer- zos». Igualmente, existen varias razones por las que los administradores de los programas no especifican sus objetivos en términos más precisos: la más ob- via es que hay casos en que no tiene sentido especificar los objetivos en términos operacionales. En olras ocasiones, en cambio, la especificación de (46) Tomemos como ejemplo la Ley 22/1988 de 28 de julio de Costas, BOE, núm, 181 de 29 de julio de 1988, Bsta ley describe en su exposición de motivos cor objetivos: «La defensa de su equilibrio y su progreso físico, la protección y conservación de sus virmalidades na- turales y culturales, el aprovechamiento racional de sus recursos, la garantía de su uso y disfrute abi 10 a todos, con excepciones plenamente justificadas por el imerés colectivo y estrictamente ti enel tiempo y en ct espacio y con la adopción de las artecuadas medidas de restauración». idas En estos términos, esta ley sirve tamo a los intereses de grupos político-sociales compromeridos en la defensa de Ja naturaleza como a los de la industria hotelera que ve en la subreexplotación de la costa un pe- ligro para su negocio. 96 SEGUNDA PAK LE ebjerivos limitaría la flexibilidad del administrador, en la medida que comuni- ca sus intereses y le compromete a un cierto grado de visibilidad. Dadas estas dificultades, Weiss (1972:28) ha sugerido cuatro estrategias que los evaluadores pueden utilizar para llegar a obtener objetivos que sirvan para la evaluación: a. La primera consiste en describir las cuestiones más relevantes y dejar que los principales actores del programa lleguen a un acuerdo. b. La segunda consiste en recoger tanta información escrita como sea po- sible, entrevistar en profundidad a los responsables del programa, ob- servar directamente como se desarrolla, y dejar que sea el evaluador mismo el que formule los objetivos.