¡Descarga Apuntes en word tema 5 y más Ejercicios en PDF de Procesos Estocásticos solo en Docsity!
TEMA 5. LA EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS.
I. INTRODUCCIÓN: EL CONCEPTO DE EVALUACIÓN DE PROGRAMAS Y
LA EVOLUCIÓN DE LOS ESTUDIOS DE EVALUACIÓN
Concepto de evaluación de programas
" La evaluación de programas es la aplicación sistemática de los procedimientos y técnicas de investigación social para valorar la concepción, el diseño, la implementación y/o la utilidad de los programas públicos" (Rossi, P.H. y Freeman, H.E., 1993).
Es investigación social aplicada. Vamos a hacer uso de las herramientas de investigación social. Esto tiene implicaciones de tiempo (no nos sirve una evaluación que llegue tarde).
- A la evaluación se le puede pedir que investigue sobre el grado de éxito de los programas de modo que se puedan adoptar decisiones sobre:
- La continuidad o no del programa
- La mejora de sus prácticas y procedimientos
- Añadir o suprimir estrategias y técnicas concretas del programa
- Iniciar programas similares en otros lugares
- Asignar recursos entre distintos programas que compiten entre si
- Aceptar o rechazar una propuesta de programa (Carol H Weiss, 1972)
La evolución de los estudios de evaluación
Se han ido pasando por diferentes etapas sobre los estudios de la evaluación. En la actualidad se está retomando la corriente de juicios sobre los programas.
- (^) Medición
- Descripción del programa
- Juicio sobre los programas
- Negociación
1. EVALUACIÓN COMO MEDICIÓN
Medir los atributos o variables de un individuo. Aquella persona a la que dirigimos un programa. Se pueden medir los atributos de ese estudiante: Ej: exámenes pisa. Desarrollando una herramienta de vida.
- Objeto :
- Medición de atributos y variables de individuos
- Objetivos
- Cuantificar los resultados de un programa
- (^) Metodología :
- se basa en una concepción de la ciencia de carácter positivista, cuantitativo y está muy preocupada por la elaboración de sistemas de medida. Los evaluadores montan sistemas de medida. Desarrollo de herramientas lo más precisas posibles de medición. Sistemas de indicadores, test…
- Positivismo
- Cuantitativa
- Elaboración de sistemas de medida
- Aplicación principal
- Ciencias de la educación, psicología, sociología, teoría de la organización.
- Papel del evaluador
- Metodólogo riguroso.
- Carencia principal
- Mide resultados pero no los explica.
2. EVALUACIÓN COMO DESCRIPCIÓN DE LOS PROGRAMAS:
La unidad de análisis no es el individuo sino el programa público. Va a requerir de diseños técnicos más complejos pues consiste en el desarrollo de un programa.
- Objeto
- Objetivos
- Explicar los resultados obtenidos por el programa:
- Metodología
- Describir el programa, su funcionamiento y su estructura: La hipótesis implícita es que los resultados van a depender de variables internas del propio programa. Con lo que hay que buscar información que nos ayude a mejorar la implementación del programa. No toma pues en consideración las variables externas que puedan estar afectando al éxito del programa.
- Aplicaciones
- Evaluación de programas clásica. En la gestión pública en general.
- Papel del evaluador
- Gestor de programas públicos que actúa de forma responsable.
- Carencia principal
- No se tiene en cuenta el contexto ni las variables externas que pueden condicionar el éxito y los resultados del programa.
3. EVALUACIÓN COMO JUICIO SOBRE LOS PROGRAMAS PÚBLICOS:
Evaluar cuál es el impacto de los programas. En qué medida estos están cumpliendo con aquellas metas y objetivos planteados.
F 0 9 7 F 0 9 7 Objeto F 0 A 1 F 0 A 1 Impacto de los programas públicos F 0 9 7 F 0 9 7 Objetivos F 0 A 1 F 0 A 1 Determinar el grado en el que los cambios que se observan en los problemas públicos son consecuencia de los programas implementados
F 0 A 1 F 0 A 1 Es una evaluación muy politizada, lo que lleva a la perdida de objetividad, lo que lleva a la desatención a los verdaderos impactos de los programas.
Ninguna de estas opciones (todos los periodos de evaluaciones han quedado obsoletos). Pero si es verdad que en la actualidad vuelve a usarse la de juicio, y en particular a la vuelta al estándar a los métodos experimentales.
Otra línea importante son todos los estudios etnográficos de las políticas.
II. TIPOS DE EVALUACIÓN DE POLÍTICAS.
Tipología de estudios de evaluación De estos 9 son de los que hay que escoger. 9 tipos distintos de estudios de evaluación que están hechos a partir de dos criterios: en qué fase de la política nos encontramos y con qué finalidad evaluamos.
Hay que escoger aquellos que mejor se ajusten a las necesidades de nuestro memorándum.
1. ANÁLISIS DE LA EVALUABILIDAD:
Evaluación selectiva, a pequeña escala, que se ejecuta para determinar la viabilidad y conveniencia de una evaluación más completa y costosa.
Trata de responder a la pregunta: ¿Este programa es evaluable? A veces los expertos lo hacen de forma inmediata, te dicen si es posible o no.
2. EVALUACIÓN DEL CONTEXTO:
Valoración del contexto administrativo, político, legal y socioeconómico en el que se desarrolla el programa y la evaluación.
*Este es bueno para nosotras. Nos sirve para conocer mejor el problema al que se va a presentar nuestro programa, para valorar las necesidades sociales a las que se va a enfrentar. Nos ofrece pistas para diseñar la acción pública.
3. EVALUACIÓN PREVIA:
Examen de un programa ya diseñado previo a su puesta en marcha. *Esto se asimila a lo que harían las empresas antes de poner a la venta un producto; un análisis de su viabilidad. Nos fijamos en qué medida hay una adecuación entre el problema y las medidas que hemos diseñado para hacer frente al problema. Está orientado a intentar identificar posibles dificultades de tal manera que gracias a este tipo de evaluación rediseñemos nuestro programa. Tenemos que entender la realidad desde la factibilidad política y real.
4. EVALUACIÓN DE LA IMPLEMENTACIÓN:
Examen del proceso de implementación de un programa para detectar y remediar posibles deficiencias
Hacemos un examen del proceso de implementación del programa para detectar posibles errores. Este tipo de evaluación se fija en la cuestión de la cobertura: ¿estamos llegando a la población a la que queríamos llegar? ¿A qué cantidad de personas de esas características estamos llegando?
Otra cosa que se suele investigar son los mecanismos de investigación de los servicios.
¿Cómo se distribuyen las fuerzas de seguridad en España?
5. SEGUIMIENTO DEL PROGRAMA Y DEL PROBLEMA:
Examen “en tiempo real” de la evolución del programa y del problema al que éste se dirige. Se parece a la anterior pero la primera lo haría a programa acabado y la segunda durante el desarrollo de la política.
6. EVALUACIÓN DE IMPACTO
Estimación de los resultados, consecuencias o impactos alcanzados por un programa y valoración de los mismos en función de lo previsto en el momento de su formulación. Nos sirve para decidir acerca de la adecuación del problema y las medidas.
7. EVALUACIÓN ECONÓMICA
Trata de hacer explícita la relación entre los resultados obtenidos y el coste monetario de su consecución. Esta está ligada a la Evaluación de Impacto.
8. EVALUACIÓN DE LA CALIDAD.
Valoración del grado en que el programa y sus resultados satisfacen las expectativas de beneficio de distintos actores críticos del mismo.
9. METAEVOLUCIÓN:
Es una síntesis de evaluaciones. Se analizan evaluaciones relativas o parecidas al nuestro para que nos de pistas.
Análisis de evaluaciones relativas a programas similares al nuestro
EVALUACIÓN DE LAS POLÍTICAS A PARTIR DE LAS PERCEPCIONES DE LOS
CIUDADANOS
Existen dos tipos:
ESTUDIOS POR POLÍTICAS:
Se puede adquirir información sobre las siguientes cosas:
F 0 9 7 F 0 9 7Agenda pública y definición del problema por parte de los ciudadanos, F 0 9 7 F 0 9 7 Sus Preferencias de política pública. F 0 9 7 F 0 9 7 Valoración de outputs, outcomes y procedimientos de elaboración de la política pública. F 0 9 7 F 0 9 7 Beneficiados-perjudicados por la política pública. F 0 9 7 F 0 9 7 Nivel de apoyo de la política. F 0 9 7 F 0 9 7 Grado de información y medio de obtención de la información.
F 0 9 7 F 0 9 7 El juicio respecto de los procedimientos seguidos por el ejecutivo en la elaboración e implantación de la política.
III. LA EVALUACIÓN DEL IMPACTO DE LOS PROGRAMAS
Concepto de evaluación de impacto
El propósito de la evaluación del impacto: identificar los cambios que se han producido en el problema y estimar en qué medida estos cambios son responsabilidad del programa. Terreno de discusión entre positivistas y constructivistas.
Evaluación como verificación de la hipótesis
Podemos concebir las pp como una hipótesis: si hacemos X en un momento del tiempo, acabará sucediendo Y. En este caso el programa sería la X, la variable independiente y el resultado o impacto sobre el problema la variable dependiente, Y.
Si tratamos de entender las políticas públicas así, podemos aplicar los métodos científicos en las pp.
Lo bueno de esta corriente es que podemos estudiar qué cambios brutos se han realizado y explicar que parte se ha debido a nuestros programas y que parte se ha debido a otros factores distintos. Esos otros factores están constituidos por muchas cosas: por la incidencia de otros programas, o factores del entorno.
OBJETIVOS : Aspectos a los que presta atención la evaluación del impacto:
- Cambios en el problema-objetivo (previstos y no previstos).
- Cambios en problemas relacionados con el problema-objetivo.
- Efectos de los cambios en el problema sobre los receptores directos e indirectos de los bienes y/o servicios.
- Identificación de las causas de cambio en el problema distintas del propio programa.
- Estimación de la proporción del cambio total en el problema que está causada por el programa.
- Valoración de la utilidad del programa a la vista de su grado de responsabilidad en los cambios totales observados en el problema.
PROCESO BÁSICO DE EVALUACIÓN DE IMPACTO
A. Identificar las metas de la política y otros criterios de evaluación. B. Traducir las metas y criterios a indicadores medibles C. Recopilar datos D. Buscar un sistema de comparar los datos. E. Formular conclusiones y recomendaciones respecto de la política.
A. Identificar las metas de la política y otros criterios de evaluación
Debemos fijarnos en las metas específicas de la política, en los efectos indirectos, en la eficiencia (cuantos costes), la equidad (en que medida estamos siendo justos) y el procedimiento.
B. Traducir las metas y criterios a indicadores medibles
• DEFINIR EL CONCEPTO:
Accesibilidad universal de un edificio residencial; es el grado en el que todas las personas pueden acceder desde la calle hasta cualquier vivienda y hacer uso de las instalaciones comunes de un edificio independientemente de sus capacidades técnicas, cognitivas o físicas.
• IDENTIFICAR UNO O MÁS ATRIBUTOS DEL CONCEPTO:
Accesibilidad para discapacidad física
Accesibilidad para discapacidad sensorial
• SELECCIONAR UNO O MÁS INDICADORES MEDIBLES PARA CADA ATRIBUTO:
EJEMPLO:
Porcentaje de edificios residenciales accesibles hasta la vivienda en silla de ruedas sobre total de edificios residenciales
Porcentaje de edificios residenciales con instalaciones comunes accesibles en sillas de ruedas sobre el total de edificios residenciales
Porcentaje de edificios residenciales plenamente accesibles en silla de ruedas sobre el total de edificios residenciales
C. COMPARAR LOS DATOS
C.1. Conceptos básicos de investigación social C.2. Condiciones de causalidad C.3. Amenazas a la validez interna y externa C.4. Modelos de evaluación de impacto C.4.1. Experimentales (óptimo) C.4.2. No experimentales (pésimo) C.4.3. Cuasi-experimentales (solución de compromiso)
C.1. CONCEPTOS BÁSICOS DE INVESTIGACIÓN SOCIAL
Variable dependiente : (problema a resolver)
Es el fenómeno que se trata de explicar
Variable independiente : (programa)
Es la responsable del comportamiento de la variable dependiente.
Manipulación:
Cualquier intervención intencional sobre la variable independiente que se realiza con la finalidad de observar su efecto sobre el comportamiento de la variable dependiente
Variables intervinientes o perturbadoras:
- Cuando introducimos cambios en nuestros instrumentos de medida podemos estar introduciendo un factor de heterogeneidad en los datos obtenidos que impidan su comparación.
- La tendencia a la regresión hacia los valores medios
- Tendencia a la regresión estadística "natural" que se produce en los casos en que se aplica el programa a sujetos que presentan valores extremos en alguna dimensión clave relacionada con el programa.
- El sesgo en la selección de los sujetos
- Si el subgrupo de la población objetivo al que se aplica el programa es distinto en alguna variable fundamental del subgrupo utilizado como elemento de control, los resultados obtenidos pueden estar causados por esa variable y no por el programa en sí.
- La pérdida de casos
- Los abandonos a lo largo del desarrollo de un programa por parte de ciertos sujetos pueden tener como resultado que la población receptora final sea distinta de la población receptora inicial en alguna variable clave, haciendo por tanto incomparable la situación final respecto de la inicial.
- La influencia de la prueba sobre los sujetos
- Cuando la evaluación implica la realización de una observación previa a la aplicación del programa, esta observación ("pretest") puede incrementar la sensibilidad de los sujetos expuestos al programa respecto de los no expuestos.
- Los efectos provocados por la exposición al programa en condiciones no rutinarias
- Con frecuencia, los resultados de los programas piloto son distintos de los que el programa tendrá en su fase de funcionamiento rutinario.
- Las interferencias producidas por la exposición simultánea a varios programas.
- La participación simultánea en varios programas puede tener influencia sobre los efectos de cada uno de ellos dificultando así la estimación de su impacto individual.
IV. C.4. MODELOS DE EVALUACIÓN DE IMPACTO
Lo importante es ser consciente de las amenazas para saber en qué cosas flojea nuestro programa.
Modelos experimentales
El modelo experimental clásico es el modelo “antes y después con grupo de control”. Su sistema de notación es
A (hemos seleccionado dos grupos de manera aleatoria; a uno le someteremos al programa y a otro no, este último será de control, lo cual significa que lo hemos seleccionado Aleatoriamente, “A”)
O1 (un grupo al que se somete)
O2 (grupo al que no se somete al programa)
X (el programa al que se va a someter a uno de los grupos)
Así, se puede analizar cuál es el cambio bruto: (comparando O1 con O3).
El cambio neto: comparando O3 con O4. (Uno ha sido sometido al programa y otro no: lo cual nos señala el impacto que ha tenido nuestro programa)
Comparando O4 con O2: se ve la evolución porque ninguno de los dos han sido sometidos al programa.
*VER DIAPOSITIVA.
Notación
A O 1
X O
A 2 O
F 0 9 7 Cálculos
F 0 A 1 F 0 A 1 Cambio bruto = O3-O F 0 A 1 F 0 A 1 Cambio neto = O3-O F 0 A 1 F 0 A 1 Otros factores = O4-O
A = Selección aleatoria de grupos
X = programa
A con X = grupo experimental
A sin X = grupo de control
On = observación 0 0 9 7 F 0 9 7 Notación
A 45 X 110
A 45 60
0 0 9 7 F 0 9 7Cálculos F 0 A 1 F 0 A 1Cambio bruto =^ 110 - 45^ = 65
F 0 A 1 F 0 A 1Cambio neto =^ 110 - 60^ = 50
F 0 A 1 F 0 A 1Otros factores =^ 60 - 45^ = 15
A X O
A O
0 0 9 7 F 0 9 7 Cálculos
F 0 A 1 F 0 A 1 Cambio bruto =^ O3-O F 0 A 1 F 0 A 1 Cambio neto =^ O3-O F 0 A 1 F 0 A 1 Otros factores =^ O4-O F 0 A 1 F 0 A 1 Efecto prueba =^ O3-O5; O4-O
0 0 9 7 F 0 9 7 Notación
A 45 X 110
A 45 60
A X 100
A 50
0 0 9 7 F 0 9 7 Cálculos
F 0 A 1 F 0 A 1Cambio bruto =^ 110 - 45^ = 65
F 0 A 1 F 0 A 1 Cambio neto =^ 110 - 60^ = 50 F 0 A 1 F 0 A 1Otros factores =^ 60 - 45^ = 15 F 0 A 1 F 0 A 1Efecto prueba =^ 110 -100^ = 10;
60 - 50 = 10
Este tipo de diseños son claramente superiores a cualquier otro tipo de evaluación que podamos hacer. Su punto fuerte radica en que los grupos que hemos constituido son auténticos grupos de control: selección aleatoria de los individuos.
Problemas :
Son complejos, son costosos, implican que hay un grado de control de la situación que raramente un evaluador tiene a su disposición. A veces no son defendibles desde el punto de vista político o ético. No
puedo elegir; a esta parte de la población le doy pensiones y a otra no. A veces proporcionan información de poca utilidad y resultan imposibles en el caso de programas de utilidad total o parcial.
Se usa en pruebas de medicamentos.
MODELOS NO EXPERIMENTALES:
- Estudio de caso a posteriori: X O
- Estudio de caso “antes y después”: O1 X O
Estudio de caso “a posteriori” con grupo de comparación: X O
O
En vez de utilizarse un grupo de control, se usa uno de comparación al que no se ha seleccionado alternativamente. N hay cambio bruto. Como mucho se puede observar el neto. Pero este se pude deber a una selección sesgada de los sujetos.
Estos 3 modelos son los menos capaces de explicar los factores externos que influyen en el programa. Ni tampoco en que medida es el programa el que está produciendo cambios.
MODELOS CUASIEXPERIMENTALES:
Solución de compromiso entre los experimentales y los no.
1º Estudio antes y después con un grupo de comparación que no hemos seleccionado alternativamente. Podemos aproximarnos al cambio bruto y neto.
O1 X O
O3 O
2º El estudio de series temporales “antes y después”: la evaluación del impacto del programa se hace viendo si ha habido alguna discontinuidad.
O1 O2 O3 O4 X O5 O6 O7 O
3º Estudio de series temporales “antes y después” con grupo de comparación.
Ob1 Ob2 Ob3 Ob4 X Ob5 Ob6 Ob7 Ob
Para gestionar los problemas intergubernamentales utilizamos técnicas: de carácter vertical (relación de superioridad clara) u horizontal (relación menos jerárquica).
TIPO DE TRANSFERENCIAS SUBVENCIONES:
Pueden ser…
Pueden variar por el grado de condicionalidad: que no sean condicionadas, que sí lo sean…Puede ser desde muy bajo hasta muy estricto.
EL MECANISMO DE CALCULO: Pueden realizarse a través del cálculo de la cantidad predeterminada, de una fórmula de reparto, de cofinanciación
LA TEMPORALIDAD PUEDE SER PERIÓDICA, NO PERIÓDICA…
CON TODAS ESTAS COSAS SE PUEDE DISEÑAR UN SISTEMA DE SUBVENCIONES.
SUPERVISIÓN: Cómo establecer un sistema de supervisión. Hay que ver; aspectos a supervisar…
PERSONAL/HORIZONTAL:
Técnicas especialmente útiles. La mejor herramienta que tenemos para gestionar intergubernamentalmente es la NEGOCIACIÓN. Después tenemos las técnicas de resolución de problemas.
ESTRUCTURAS ORGANIZATIVAS:
Estructuras organizativas….
