¡Descarga Evaluación de Programas: Conceptos, Tipos y Diseño y más Apuntes en PDF de Evaluación del Desempeño solo en Docsity!
TEMA 0. INTRODUCCION A LA EVALUACIÓN DE PROGRAMAS
La intervención social parte del concepto bienestar social; estar bien consigo mismo, con el contexto.. Esquema general dentro de la intervención psicosocial, pero fuera del área clínica ya que no tenemos aun la información necesaria. Nos centraremos en contextos sociales. DIMENSIÓN SUBJETIVA: lo que cada uno piensa ahora mismo, lo positivo y negativo que cada uno piense. DIMENSIÓN PSICOLÓGICA: capacidad que tenga cada uno, por ejemplo, de adaptarse: se que queda mes y medio para las vacaciones pero contando los fines y fiestas llegara pronto (capacidad de autoadaptarse). Relaciones positivas con el resto de la gente, cierta autonomía (No dependemos de nadie).. todo esto aumenta nuestra percepción de bienestar Dominio del entorno Objetivos vitales Crecimiento personal como individuo DIMENSIÓN SOCIAL: No somos seres aislados aunque las redes sociales nos lo hagan creer, necesitamos la sociedad para crecer, podemos adaptarnos a la realidad y a ese contexto social, buscamos la manera de adaptarnos. Se fundamenta en una parte psicológica y en otra social. Somos un sujeto contextuado: somos parte del contexto, no solo somos nosotros el contexto deja huella en cada uno de nosotros. Salud y enfermedad: el sujeto no esta enfermo (desterramos ese concepto negativo) y vemos un concepto. Positivo de lo que le pasa, de su situación o su contexto. Trabajamos en esa mejoría interviniendo INTERVENCION SOCIAL: modelo del sujeto socio-histórico, modelo en que se diseñaran implementaran y evaluaran programas. El sujeto no es pasivo (de ahí que no este enfermo); es un sujeto activo ya que puede y va a mejorar si planteamos bien nuestra investigación. Es un sujeto contextuado por lo que hay que tener en cuenta el contexto. Basado en una actitud positiva y actuar en esas tres patas (psicológico, subjetivo y social) a esto también se le llama una perspectiva integral del sujeto. 1 BIENESTAR PSICOSOCIAL BIENESTAR COMO MARCO DE LA INVESTIGACIÓN
- Ver que es lo que se necesita, que hace falta de verdad y documentar esa necesidad, porque hace falta.
- Implementación/implantación de programas: poner en marcha los programas; se va trabajando con los problemas y soluciones
- Evaluación (valoración); evaluamos si este ha sido efectivo (eficacia), la participación, _ Siempre se debe evaluar todo el proceso no solo el final_* , evaluar el programa desde la idea inicial (¿he dado realmente con el problema?, tenemos tendencia a echar la culpa a lo ultimo cuando probablemente el origen es lo que falla) Plan: marco general, teórico en el que se establecen unas líneas de actuación, estrategias, en base a un problema. Proyectos: En ese plan se concreta en proyectos, son los distintos ámbitos en los que trabajaremos. (ej.; educativo, sanitario, social, etc.). Programas: acciones concretas que se van a llevar a cabo. 2 FASE DE INTERVENCIÓN PSICOSOCIAL PLAN (^) PROYECTO PROGRAMA
o Falta de diseño. Hay muchas veces que no se especifican los recursos, los materiales, la planificación, el dónde, la fecha…. o No hay nada que preguntar sobre el programa. Con suerte hay programas muy bien hechos y explicados, por lo que no hay ninguna duda del programa ya que está todo bien diseñado y contestado. o Cuando no hay medios económicos y/o personales para llevarlo a cabo. Si no nos dan.
3. EL PORQUE DE LA EP
Puedo tener buenas intenciones pero hacer todo lo contrario. De que depende de que escoja unos o otros, depende de los objetivos, de la clientela (aquellas personas que me encarguen la evaluación). Objetivos : deseables, buenos positivos:
- Evaluación de la responsabilidad : muchas veces la evaluación no va tanto a probar si un programa es bueno sino a justificar o garantizar que quien lo hace es un buen profesor, psicólogo, etc. Van a garantizar a las personas responsables del programa - Evaluación para el desarrollo : evaluamos todo lo que es la eficacia, efectividad y la eficiencia del propio programa, se mira si se consiguen los objetivos del programa si el programa cumple todos los objetivos que nos hemos planteado o los cumple de manera parcial. - Evaluación para el conocimiento: cada vez mas se tiende a evaluar si las propias actividades que realizamos (talleres, seminarios) hay un producto final que es la mejora de conocimiento, aportar algo, se valora muy positivamente el que de la aplicación de un programa aparezca nuevo conocimiento. Objetivos encubiertos: Propósitos de una evaluación no tan buenos - Aplazamiento: para que retrase la puesta en marcha del programa, para que se retrase la dotación (donación) económica que un programa puede tener - Eludir responsabilidad: no depende de mi, no se sabe porque ha salido mal, seguramente ha sido cuestión del diseño en la que nosotros no hemos intervenido, es una manera de eludir responsabilidades. Tiene un particularidad; quien la encarga sabe muy bien el resultado, es decir, que se va a salir favorable - Relaciones públicas: no hay ninguna institución que no contemple que haya que hacer una evaluación, esta completamente institucionalizada. Utilizo mis informes de evaluación positivos para conseguir determinados favores, ms dotación económica…
CLIENTELA: (quien)
Es muy importante saber por muy imparcial que yo sea y bien que sepa evaluar un programa la clientela es la que va a dirigir mi proceso de evaluación, distinguimos dos: Cliente privado (particulares): el cliente estará interesado en las 3 E (eficacia, eficiencia y efectividad) no le importara TANTO la parte 4
económica del programa pero si ese cliente estará interesado en si se obtienen buenos resultados o no, interesados en el objetivo. Cliente publico: organismo publico, nuestras evaluaciones están encaminadas a determinar si un programa es económicamente bueno/viable o no, es decir, ¿me gasto el dinero y tenemos buenos objetivos o me lo gasto y son malos objetivos? El evaluador deberá saber algo de encomia ya que siempre quiere en el informe final datos
4. COMPETENCIAS DE UN EVALUADOR
Tiene tantas competencias como cualquier otro profesional del campo, tiene que conocer teorías y conocimientos relacionados con la propia evaluación de programas, va a tener que conocer o sino formarse a cerca de documentación sobre el programa que va a evaluar. Necesita tener conocimientos relacionados con el proceso de investigación, con los procesos de análisis de datos, conocimientos de tipo informático (bases de datos, SPSS, Excel…). En definitiva el evaluador debe tener conocimientos y competencias multidisciplinares de muchas ramas, aspectos relacionados con la evaluación y que nos sirvan para evaluar. Competencias del evaluador:
- Practica profesional: hacer una evaluación - Investigación sistemática: procesos investigación - Análisis de la situación: tener en cuenta contexto - Gestión de proyecto: tener en cuenta el contexto - Practica reflexiva: reflexionar acerca de la propia evaluación, tomar conciencia de lo que hacemos o no hacemos, no llega a la metaevaluación - Competencia interprofesional: cualquier capacidad de otra rama de conocimiento que nos pueda ser útil a nosotros (conocer programas informáticos que ayude al análisis) 5
- Sumativa ; es la contraria, una puntuación final (el examen), evaluación a una sola puntuación. Las dos son buenas, depende de cual quieras aplicar y te sea mas practica.
- Según el momento temporal - Antes del programa evalúas el diseño, la posibilidad de ponerlo en funcionamiento - Durante el programa evalúas la implementación (implantación, puesta en marcha) del programa, - Después del programa evalúas los resultados Según que se quiera evaluar del programa se posicionar en uno o en otro, las 3 son buenas
- Procedencia de los evaluadores - Evaluación externa ; la hace personal ajeno al programa no lo conocen ni lo saben. Ventajas ; da mas garantías de objetividad y la fuente tiene mas credibilidad por ser externo, no esta contaminada. Desventajas ; no conozcan el programa desconocimiento, hay que pagarles. - Interna ; son las propias personas que han diseñado el programa que implementan el programa quienes lo evalúan. Ventajas; conocimiento del programa, económicamente viable (no cuesta), conoce mejor a las personas que trabajan en el programa, puede evaluar mejor el proceso a largo plazo. Desventajas ; mucha subjetividad. - Mixta ; tenemos tanto evaluadores internos como evaluadores externos, siempre que se pueda utilizar esta en la que se combine lo externo con lo interno y así poder eliminar sobre todo la carga de subjetividad por un lado y la de desconocimiento por el otro. - Autoevaluación, ya no se usa. CRITERIOS MODALIDAD FINALIDAD
VENTAJAS E
INCONVENIENTES
FUNCIONES FORMATIVA Y
SUMATIVA
- SUMATIVA Continuidad. Justificación del programa. Económicamente fiable. Modificaciones - FORMATIVA Todo el proceso de la puesta en marcha. Idea de introducir mejoras - SUMATIVA Es muy rápida. El inconveniente que tiene es buscar buenos indicadores para medir, buenas características que me ayuden a evaluar si los resultados se han conseguido o no. 7
- FORMATIVA Conocemos muy bien el programa y nos ayuda a tomar buenas decisiones. El inconveniente es que es económicamente muy costoso. MOMENTO
ANTES,
DURANTE Y
DESPUÉS
- ANTES Cuestiones relativas al diseño. Ej.: viabilidad y pertinencia del programa. Sesiones del programa, como están clarificadas. Si están relacionadas con los objetivos generales. Diseño de los recursos. - DURANTE Llevar a cabo el programa. Satisfacción de los usuarios la mayoría de las veces. Cronograma del programa. Si el programa llega a todos los destinatarios (cobertura). Controlar o evaluar si las sesiones son suficientes o escasas - DESPUÉS Si hago una evaluación final, únicamente se evalúan los resultados. Si lo que el programa ha conseguido tiene algo que ver con los objetivos iniciales. Evaluación de tipo económica (esto cada vez se hace más) Un inconveniente es el tiempo, sobre todo antes del programa ya que lo detiene mucho. Si hacemos una evaluación completa, el tiempo también es malo y económicamente es costoso. Sin embargo si hacemos una evaluación completa, el programa queda completamente controlado, vamos a evitar mucho errores. EVALUADORE S
INTERNO,
EXTERNO Y
MIXTO
No es que tengan una finalidad conjunta de los evaluadores. Lo que sí que tenemos que tener en
- INTERNO Conocen el programa, pero son más 8
evaluación del programa porque si se hace al final ya no tengo acceso a los destinatarios y si no tengo acceso a los destinatarios ya no les puedo preguntar acerca del programa y por lo tanto no tengo datos. Que se haría entonces, a lo mas que podemos llegar si no tenemos esa precaución en lo único que nos vamos a poder basar es en aquellas personas o agentes que han puesto en marcha el programa si lo hacemos de este modo es una evaluación parcial porque solo tenemos en cuenta un elemento y es las personas que lo han puesto en marcha pero no vamos a trabajar en el diseño ni tenemos los sujetos.. La evaluación del esquema tradicional no tiene en cuenta para nada el contexto, es una evaluación completamente aséptica, da igual lo que haya pasado durante el programa, los problemas de diseño que hayan tenido o tengan pero se hace.
- Ventajas; es muy económico y rápido Esquema vigente ; seria el modelo que se debe de estar llevando ahora porque seria el modelo ideal. Evalúa todas y cada una de las fases, no lineal porque si yo veo problemas en el diseño no paso a la implementación y si encontró problemas en la implementación puedo hacer los cambios necesarios, hay una especie de feedback siempre entre la evaluación y el propio programa. Tanto el programa como la evaluación son dos procesos paralelos entre si, deben ir a la par. La evaluación tiene que estar previamente diseñada a la puesta en marcha del programa, así como en el diseño tradicional nos podíamos dar cuenta de que nos faltaba algo y corregirlo en esta se exige que hay un diseño propiamente de la evaluación - Ventajas; esta controlado todo el proceso del programa, vamos a evitar muchos errores de diseño e implementación, vamos a poder hacer ajustes y reajustes que nos va a permitir que el programa no sea estático y se pueda cambiar, este modelo de evaluación si tiene en cuenta el contexto ya que puede marcar mucho el programa, es importante. - Desventajas; no es un modelo de evaluación rápido ni económico, aporta muchos datos. Y mucha información que desde el punto de vista de un trabajo hay que gestionarlo, es decir da mucho trabajo, suele tener diseño de evaluación mixtos (de tipo cuantitativo y cualitativo)
FASES DE LA EP ( + fotocopia )
PASAR A LIMPIO AQUI
También consideramos parte de la evaluación las necesidades previas Tercer momento : el que todo el mundo llama evaluación de resultados. evaluación económica una vez se ha pasado todo el programa en relación coste-beneficio, simplemente que superaron más los costes o los beneficios aun que puede ser un poco peligrosa en los intereses de quien pide una evaluación, la mayoría de los programas los costes-beneficios son nulos o negativos; los costes superan a los beneficios, esto va a ser siempre así por que los beneficios son de carácter personal (beneficios intangibles, que no se pueden traducir en dinero). Si el programa llega a favorecer o beneficiar a personas mas allá de los destinatarios habrá sido producente. Las tres E en evaluación de programas Eficacia: grado en el que el programa ha conseguido los objetivos (lo que pretende) Eficiencia: análisis de los resultados obtenidos mediante la interacción en relación a los costos (costos/beneficios) Efectividad: beneficios colaterales, resultados que se consiguen pero no estaba planificado que se cumplieran. (añadir esquema con ejemplo) Cuarto momento ; institucionalización de la evaluación del programa (debería ser una norma). Es decir, obligatoriamente siempre hay una evaluación, que evaluar un programa sea una norma, no puede haber ningún programa que no se evalué, que la evaluación sea un proceso normalizado nadie concibe ahora una acción del tipo que sea aunque sean unas jornadas que no tengan un proceso de evaluación, es parte del propio proceso. 11
EP solo se usa para conocer si el programa que evaluamos ha alcanzado los objetivos del mismo. Solo utilizar para evaluar resultados, si se han conseguido o no. Es el diseño que mas datos da y mas compara. Muy difíciles de hacer Problemas :
- Los objetivos del programa tienen que poder ser cuantificables y se tiene que poder medir. Si no puedo encontrar indicadores que me ayuden a medir los objetivos me va a ser muy complicado utilizar este tipo de diseño porque necesito medir.
- Cuestión/problema ética: asignación de sujetos al GC y GE; como decido yo quien va a obtener beneficios por ir a un programa y quien no. El grupo experimental pasara por el programa y el control no. Quien priva quien va a tener beneficios y quien no
- Selección de la muestra (si yo propongo que los destinatarios tengan ciertas características donde esta el azar, si hago un programa destinado a 2º de psicología ¿donde esta el azar de la muestra?) dentro de esta selección de la muestra necesito encontrar a sujetos con la mismas características. Mortalidad experimental (si es del grupo control yo me iría y si es del experimental hay sujetos que se pueden ir. Cuando hay un grupo de los dos que empieza a descender/abandonar el diseño empieza a perder calidad). Instrumentos de medida (los cuidados o atenciones que uno debe de poner cuando va a evaluar un programa de este diseño deben de ser máximas, es el diseño que mas datos da y mas compara pero es muy riguroso para que salga bien).
DISEÑOS CUASI-EXPERIMENTALES
Quizás es el mas fácil de hacer, si nunca se ha evaluado un programa empezaría por este. Es el mas fácil de llevar a cabo, durante el proceso se llevan a cabo medidas que va a permitir hacer una valoración del programa (antes, durante y después) permite saber la causa por la que suceden los cambios lo cual el experimental no. El primero solo es un grupo el que va al programa. El contexto es muy relevante.
- Series temporales múltiples : lo comparamos con otros grupos semejantes - Series múltiples : el grupo de control no es elegido al azar, sujetos o grupos con las mismas características. Predicciones en los dos grupos antes y después del programa Problemas:
- Necesito tener indicadores; que los objetivos sean cuantificables y medibles
- Yo necesito recoger varias medidas a lo largo del proceso (antes- durante-después) y que no estén debidamente planificadas
- Cualquier hecho/circunstancia que pase durante el desarrollo del programa va a afectar a los resultados; contexto muy importante cosa que en el experimental no pasa 13
DISEÑOS NO EXPERIMENTALES
Se haría si me he olvidado de hacer una planificación. Diseños experimentales de un solo grupo, no se había planificado la evaluación pero al final se decide hacer. Se evaluara la satisfacción de las personas. Problema ; Con la satisfacción de las personas no puedo decir si el programa cumple los objetivos y metas o no. No es un comodín suficientemente bueno. Nunca podremos decir al 100% que los resultados se cumplen ya que no tenemos forma de comparar con nada. EXAMEN: PRACTICA 4 Diseños cualitativos: diseño narrativo, investigación acción y estudio de casos. Aplicar esta metodología en un programa cuando la cuantitativa no se pueda utilizar, sino siempre siempre emplear diseños cuantitativos. Empleo cualitativos cuando:
- Falta de instrumentación cuantitativa probada : no hay instrumentos de recogida de datos estandarizados, es decir, que sean validos y fiables, que estén probados, que midan lo que realmente ese test quiere medir. - Evaluación exploratoria: este tipo de evaluación no va a tener una aplicación directa en el programa, es decir, lo que quiero saber es mas o menos como va la marcha del programa, si los objetivos se han podido conseguir o no. Con este tipo de evaluación los resultados no son vinculantes porque no los puedo demostrar de manera estadística, no me servirían tampoco para modificar el programa si observo que va mal porque los resultados que obtengo son un poco pobres, tampoco podría basarme en estos resultados para seguir manteniendo el programa o eliminarlo. - Evaluación del proceso : el desarrollo o la implantación del programa. Aquí se evalúa la satisfacción (ejemplo programa de mujeres en la india). - Evaluación de resultados individualizados: aquí el diseño que se utiliza es el estudio de casos, NO CONFUNDIR CON N=1. Aquí se estudia el caso, los antecedentes… como una persona va evolucionando por eso son individualizados. **- Evaluación de la calidad de forma cualitativa
- Evaluación libre de objetivos:** cuando un programa no tiene objetivos. Se evalúa la intención de hacer algo, muchas veces se emplean muchos documentos de tipo institucional, se utilizan también los programas marco para saber de donde procede el programa. PASAR LO QUE FALTA 14
COSTES que puede tener el programa: Directos: están relacionados con los objetivos específicos del programa (gastos de personal, espacio y administración del programa). Son gestionados por el gestor. El dinero que yo me gasto para que se cumplan los objetivos (personal, materiales, inversiones,…) Indirectos: son los gastos que no tienen nada que ver con los objetivos pero que hay que afrontarlos, gastos no atribuibles a objetivos del programa. Fijos: el alquiler al mes, hasta que acabe el programa es el mismo Variable: Gasto de fotocopias variaran unas veces uno y después otros EVALUACIÓN ECONÓMICA (TABLA) todos los tipos de programas que hay. Todas tienen un principio básico en evaluación económica, común a todas, básico y es que los beneficios superen a los costes* *encontrar un programa en el que los costes no superen a los beneficios es muy difícil, siempre nos vamos a gastar mas de lo debido, es difícil encontrar un programa que no gaste algo mas que lo que tiene presupuestado. Eso no puede ser una razón única y exclusiva para dejar de seguir manteniendo un programa o pensar al menos si el programa debe continuar por otras razones. Las mejores son las que se comparan costes con beneficios.
2. Tipos de evaluaciones económicas
MINIMIZACIÓN DE COSTES
Escoger el programa que menos costes tenga, es un tipo de evaluación económica que hay que hacer al principio del programa no al final. No se evalúa la calidad del programa simplemente compara presupuestos.
- Solo para programas con el mismo resultado, eficacia y efectividad. - Solo para programas alternativos con similar eficacia pero costes distintos. Se evalúa la eficacia y se busca la alternativa con menor coste.
ANÁLISIS COSTE-EFECTIVIDAD
Comparación de los costes y los beneficios, esos beneficios son de tipo económico, es decir, cuantificables económicamente o tangibles.
- Si los costes superan a beneficios no se implanta el programa - Si hay programas a elegir, se optara por el que aporte mayores beneficios, no se prima la calidad sino la economía. - No solo lo que cuesta sino al menos los beneficios
ANALISIS COSTE-UTILIDAD
Se evalúa la calidad del resultado producido. Si lo que produce el programa no tiene cierta calidad no me sirve, calidad del producto Como evaluamos la calidad del resultado producido:
- Medición de la calidad de vida del usuario - Satisfacción del usuario una vez acabado el programa Seguimos sin tener en cuenta localidad del programa
ANALISIS COSTES-BENEFICIO
Es la que mas se utiliza y la que hacemos todos, la que mas se parece a la evaluación de un programa sin tener en cuenta la valoración económica, es la que mas información da. Lo primero que se haría seria determinar cuales son los beneficios y costes netos (lo que queda) La segunda cuestión que hacemos es examinar la ratio: numero de personas por profesional que tiene. Valoración previa para determinar el avance que supone con respecto al punto de partida , aquí se empiezan a tener en cuenta otros elementos. Comparar los costes y beneficios de un determinado programa con respecto a otros que tengan los mismos objetivos (cuando hagamos esto tienen que tener los mismos objetivos y que la ratio sea la misma). Solo se valora la rentabilidad económica Recomendable solo cuando los beneficios se puedan cuantificar. El programa tenga fondos independientes y separados (partidas económicas: división del presupuesto) Se debe conocer y poder estimar de forma valida la repercusión del programa y su magnitud Los beneficios deben poder reducirse a unidades monetarias Los responsables de la forma de decisión han de considerar la implementación de programas alternativos, es decir, aquí al menos si un programa es excesivamente costoso el responsable tiene otras alternativas, otros programas que pueden ser menos costosos o ajustar el presupuesto, hay una continuidad en la intervención. No recomendable si no es necesario hacer la evaluación económica ya que siempre se gasta mas de lo que uno tiene:
- Los procedimientos técnicos requeridos puedan no estar disponibles o ser innecesario - Las controversias éticas, políticas… que afecten al estudio - Al expresar los resultados en términos de eficacia, los costes y resultados pueden ser diferentes según se trate de las perspectivas y valores de quienes patrocinan el programa, usuarios y evaluación. Examen evaluación de programas: Cuatro temas de plataforma Ejercicios que hemos hecho y entregado (competencias, que tipo de evaluación hay que hacer, practicas, ejercicio en plataforma; examen: el tipo de evaluación en el siguiente caso es a. Proactiva, retroactiva, etc.). Pregunta: un evaluador debe ser experto en… 17
