practicas profesionales III, Ejercicios de Psicología Educacional

¡Descarga practicas profesionales III y más Ejercicios en PDF de Psicología Educacional solo en Docsity!

BBLBBLOLLOOOQQUQQUUUEE MEEMMMEETEETOTTOOODDODDOLOOLLLÓÓÓÓGGIGGICIICOCCOOO

Capitulo 4

tutores y orientadores implicados, y como se ha planificado el proceso de asesoramiento.

d. Será imprescindible desarrollar una evaluación que nos confiera información desde los diferentes profesionales que están llevando a cabo el proceso de intervención, el desarrollado en las aulas, el que se desarrolla internamente en el centro y el que también se desarrolla en el centro pero a través del asesor externo.

e. Nos interesará conocer los resultados globales de la intervención, por lo que se refiere a:

• éxito de los programas,
• cambios producidos en el centro,
• éxito del asesoramiento,
• perdurabilidad en el tiempo.

Todos estos aspectos se han tenido en cuenta en el momento de diseñar la evaluación que aquí presentamos.

444 4....2 22 2.... EEEEllll pplpplllaaaanntnnttteeaeeaaammmmiieiieeennnnttotto googggeeneenenneeerrrraaaall dlldddee leelllaaaa eeveevavvaaalllluuuuaaaacccciiiióónóónnn....

En el momento de plantearnos la evaluación de nuestra realidad, debemos tener presente que toda investigación evaluativa parte de un proceso sistemático para llegar a corroborar los objetivos que se plantea de antemano. Para

El proceso de evaluación de la intervención por programas

realizar la elección del proceso, debemos tener en cuenta que nuestra evaluación tiene un carácter formativo, con lo que resulta complicado, partir o definir un proceso cerrado de investigación dentro de nuestro proyecto evaluativo,.

La riqueza y características de la propia intervención ha hecho que debamos plantearnos un proceso abierto en el que se han ido añadiendo distintos procedimientos dentro de cada una de las fases de la investigación.

Hemos tomado como referentes para hablar de nuestro proceso evaluativo, el presentado por Latorre, del Rincón y Arnal (1996), al parecernos lo suficientemente sistemático y flexible como para poder ir introduciendo cambios en el transcurso de la investigación, el que propone Jiménez Jiménez (1999), al integrar todos los contenidos que creemos necesarios para garantizar que la evaluación se considere sistemática, rigurosa y creíble y el propuesto por Rodríguez Espinar y otros (1993), al contextualizarse el proceso en la evaluación de programas de orientación.

Estas tres aportaciones van a servirnos como puntos de referencia para intentar establecer las pautas de lo que va a ser nuestro proceso evaluativo, desde el planteamiento de los objetivos de la evaluación hasta la realización del informe final, por este motivo hemos creído oportuno presentar los tres procesos.

En este capítulo vamos solo a desarrollar los objetivos evaluativos de los que partimos y los criterios que hemos delimitado en la evaluación, por considerar éste capitulo un puente entre el marco teórico de nuestra evaluación y el

El proceso de evaluación de la intervención por programas

• Finalidad.
• Objeto: • Dimensiones, categorías o subcategorías.
  • Variables / indicadores / objetivos
  • Referentes y criterios de evaluación
• Metodología: • Cuantitativa, cualitativa, mixta.
  • La triangulación,
  • Validez, fiabilidad, credibilidad.
• Fuentes de información, informantes:
• Instrumentalización:
  • Selección, en el caso de aplicación de pruebas estandarizadas.
  • Adecuación, adaptación o elaboración de instrumentos y técnicas.
• Aplicación y recogida de datos y de información:
  • Estudio de poblaciones y técnicas de muestreo.
  • Elección para estudio de casos.
  • Exigencias metodológicas en cada proceso.
• Temporalización de las diversas actuaciones.
• Tratamiento de la información:
  • Programas estadísticos para datos cuantitativos: BMPD, SPSS, etc.
  • Programas informáticos para datos cualitativos: SPAD, ADQUA, Etnograf, etc.
  • Análisis textual.
• Las audiencias destinatarias de las conclusiones, aportaciones y propuestas. El informe.
• La composición y conformación del equipo evaluador y sus colaboradores.
• El presupuesto.

Cuadro nº15: LLLLaaaassss ccuccuuueeeessssttttiiiioonoonnneeeessss qqqquuuueeee ddddeeeebbbbeeee ccoccooonntnntetteeemmmmppppllllaaaarrrr uunuunnn ddddiiiisssseeeeññññoooo ddddeeee eeeevvavvalaalulluuuaaaacccciiiióóóónnnn.... ((((JJiJJiiimmmméénéénnneezeezzz JJJJiimiimmméénéénenneeezz,zz,,, 1 111999999999 9) 99 )))

Para Latorre y otros (1996) el proceso quedaría representado de la siguiente forma:

Capitulo 4

EEEEssssqqqquueuueeemmmmaaaa nnºnnººº1 111444 4: Fases de la investigación evaluativa (En: Latorre y otros, 1996)

Otro proceso que nos parece interesante, sobre todo porque está vinculado con programas de orientación, es el que presentan Rodríguez Espinar y otros (1993) que lo

¿Cuán buena/eficaz/eficiente es la intervención? ¿Cómo optimizarla? ¿Cuáles son sus efectos? ¿Porqué aparecen determinados efectos?

Valorar, tomar decisiones, optimizar, exigir responsabilidades, comparar eficacia.

Comprensión lectora, cálculo mental, técnicas de estudio, docencia

Planifica- ción del programa

Implanta- ción del programa

Criterios valorativos Juicios de valor

Observación, entrevista, cuestionario, encuestas, documentos y análisis de contenido, tests y otras técnicas e instrumentos

Cuantitativo / Cualitativo

Vías de acción Toma de decisiones

666 6)) A))ANAANNNÁÁLÁÁLLLIIIISSSSIISIISSS DDDDEE DEEDDDAATAATTTOOSOOSSS

777 7)))) PPPPRRRROOOOCCCCEESEESSSOO DOODDDEEEE VVVVAALAALLLOOOORRARRACAACCCIIIIÓÓÓÓNNNN

555 5)))) RRRREEEECCCCOOOOGGIGGIIIDDDDAAAA DDDDEE DEEDDDAAAATTOTTOSOOSSS

4 4) 44 ))) MMMMOOOODDDDEEEELLOLLOOO,,,, DDDDIIIISSESSEEEÑÑÑÑOOOO,, E,,ESEESTSSTTTRRARRAAATTTTEEEEGGGGIIIIAAAA,,,,

333 3)))) VVVVAAAARRIRRIIIAABAABBBLLLLEEEESS,SS,,, SSSSIIIITTTTUUUUAACAACCCIIIIOOOONNNNEEEESS,SS,,, ÁÁÁÁMMMMBBBBIIIITTTTOOOOSSSS,, A,,ASAASSSPPPPEEEECCCCTTTTOOOOSSSS

222 2)))) PPPPRRRROOPOOPPPÓÓÓÓSSSSIITIITTTOOOO

1 1) 11 )NECESIDAD,)) PROBLEMA, DEMANDA, AUDIENCIA,,,,

Capitulo 4

presentamos a continuación, los aspectos que componen la metodología que hemos seguido en esta investigación.

Para el desarrollo de la misma, hemos utilizado el siguiente procedimiento, que será desarrollado en los puntos siguientes de éste capítulo:

1. Delimitación del objeto de evaluación, debemos tener en cuenta que el tipo de evaluación que aquí intentamos desarrollar parte de un contexto determinado y pretende encontrar las pautas mediante las cuales se interviene por programas. Así, nuestro objeto de evaluación se limita a observar y analizar como en una realidad determinada se desarrolla un proceso de intervención en orientación.

El objeto de evaluación hará que las fuentes de información, los participantes, las estrategias evaluativas y el diseño se amolden a las necesidades de este objeto, y también seré este objeto de evaluación el que delimite los criterios y referentes que vamos a utilizar en la evaluación.

2. Objetivos de la evaluación: al implantar una nueva modalidad de intervención en los centros, éstos van adquiriendo unas competencias y recursos para mejorar la práctica educativa. De la misma intervención se extraen unos objetivos que vamos a intentar observar si se cumplen o no.

3. Elaboración de criterios evaluativos: en esta fase de la evaluación es de suma importancia encontrar los

El proceso de evaluación de la intervención por programas

referentes mediante los cuales vamos a desarrollar la investigación, estos indicadores y criterios pueden, en cierta medida, ayudar en el sistematismo del proceso evaluativo y ayudar a conseguir la fiabilidad y validez de la evaluación que se nutre fundamentalmente de datos y metodologias cualitativas como es el caso que nos ocupa.

4. Especificación del diseño de evaluación utilizado: sin duda, creemos que el diseño que planteamos viene muy determinado por el tipo de contexto y evaluación que pretendemos hacer, el optar por un tipo u otro de diseño va a ayudarnos a entender el proceso de recogida y análisis de la información.

5. Explicitación de los instrumentos de recogida de información teniendo en cuenta los momentos de la evaluación. Los instrumentos de recogida de información, deben diseñarse partiendo del objeto a evaluar. Desde nuestro planteamiento hemos diseñado distintos instrumentos dependiendo del momento en el que se desarrolla la intervención. (Este apartado y los tres siguientes los desarrollaremos en los siguientes capítulos).

6. Proceso de recogida de información. La recogida de información, en una investigación evaluativa es constante y se realiza a través de diferentes audiencias, con lo que la riqueza de matices y la profundización en aquellos aspectos considerados como importantes está garantizada. El problema reside en el hecho de obtener información dispersa, con lo que su reducción y análisis puede resultas, a veces, un tanto compleja.

El proceso de evaluación de la intervención por programas

“... cuando nos adentramos en los análisis sobre cualquier tipo de acción educativa, hemos de hacerlo desde la explicitación de intenciones.” (Pio, 1999:

De este modo, una de las primeras reflexiones a realizar será el pensar en lo que pretendemos llegar con nuestra evaluación, debemos tener claro si lo que pretendemos es evaluar la intervención en sí misma, es decir rendir cuentas al proceso seguido (accountability) o, si lo que deseamos es mejorar el proceso de intervención por programas (improvement).

Nuestra investigación evaluativa pretende comprender y explicar proceso un proceso de intervención en orientación, así como las causas del éxito y los posibles fracasos para poder formular posteriormente cuales deberían ser las condiciones y estrategias a seguir para que se trabajara por programas de orientación en los centros.

Cuando en investigación evaluativa se formulan los objetivos de la evaluación, observamos que es tarea difícil, puesto que si repasamos las distintas taxonomias existentes sobre formulación de objetivos, la mayoría se refieren a los procesos de enseñanza – aprendizaje.

Nosotros, al plantearnos los objetivos que buscamos con nuestra evaluación hemos creído necesario:

1. analizar el proceso de intervención por programas a partir del modelo de consulta, de aquí extraeremos pautas para comprobar si el proceso de intervención sigue los pasos del modelo y consigue lo que pretende:

Capitulo 4

• crear una dinámica en los centros de intervención por programas infusionados en el quehacer diario del aula.
• constituir un grupo de profesionales preocupados por la calidad educativa y por el rendimiento de sus alumnos, que trabajan en equipo para resolver los posibles problemas y que piensan en el futuro de sus alumnos.
• fomentar la figura del orientador (existente en todos los centros) como un dinamizador de todo este proceso.

2. Revisar investigaciones sobre la intervención por programas infusionados, que utilizan el modelo de consulta para detectar posibles lagunas en este campo. Ello nos ha hecho reflexionar sobre todo en todas aquellas cuestiones referentes al proceso de intervención, pero no tanto fijándonos en los resultados obtenidos por los alumnos, sino en la manera de hacer de los profesionales que utilizan este modelo, así como el impacto que puede tener una intervención de este tipo en un conjunto de centros.

A partir de estas reflexiones hemos planteado unos interrogantes evaluativos a los que deberemos dar respuesta a través del proceso evaluativo que vamos a llevar a cabo, a partir de estas preguntas intentaremos estructurar nuestra investigación, así hemos creído oportuno el formular como objetivos a comprobar mediante nuestra

Capitulo 4

recoger y analizar información en vistas a comprobar la permanencia y ampliación en los centros donde se ha desarrollado esta experiencia en la intervención por programas; es decir, analizar y valorar qué aspectos han permanecido en el tiempo de esta manera de trabajar la orientación y conocer y analizar como se ha ido desarrollando el proceso de intervención a través del asesoramiento proporcionado.

Las variables de la evaluación son muchas y las analizaremos a partir de los criterios e indicadores que hemos planteado en nuestra evaluación, de manera que reservaremos un apartado para analizar y describir los criterios que hemos considerado necesarios para realizar el análisis de toda la experiencia.

444 4....4 44 4.... CCCCrrrriiiitttteeeerrirriiiooooss psspappaaarrrraa laalllaaaa rrerreeeaaaallliliiizzzzaacaaccciiiióónóónnn ddddeeee uuuunnnnaaaa eeveevvvaalaallluuuuaaaaccicciiióóóónnnn ddddeeee llallaaa iiniinnnttetteeerrvrrvevveneennncccciióiióóónnnn ppppoooorr prrppprrorrogoogggrrrraaaammammaaass.ss...

Evaluar implica emitir un juicio de valor, si tenemos que emitir un juicio sobre algo, será necesario contar con un referente con el cual poder realizar comparaciones con los datos e informaciones que extremos de esa realidad. A estos referentes se les ha venido denominando ccrccrrriitiittteeeerrirriiioosoosss e iiiinndnndddiiciicaccaaaddddooroorrreeeessss....^ Hemos creído interesante la aportación de Tiana (1997ª) al ofrecernos tres formas posibles para realizar estas comparaciones:

1. La comparación con un criterio o norma, donde a través

El proceso de evaluación de la intervención por programas

del establecimiento previo de criterios evaluativos, se determinan los niveles de rendimiento y la evaluación lo que hace es verificar si se cumplen o no esos criterios.

2. La comparación sincrónica o transversal, donde se comparan diversas realidades entre sí, se seleccionan unos determinados indicadores que representen la realidad y la evaluación se centra en su análisis. Ejemplos de este tipo de comparaciones las tenemos en los Indicadores Internacionales publicados por la OCDE. Estos indicadores resultan excesivamente generales cuando se trata de evaluar realidades más reducidas, sin embargo son de gran utilidad para la toma de decisiones a escala general.

3. La comparación diacrónica o longitudinal, donde la realidad se compara con ella misma a través de indicadores, efectuándose el análisis a lo lardo del tiempo.

Nos parece interesante la valoración que Tiana (1997ª) realiza de la evaluación mediante criterios, como un argumento más por decantarse por el uso de criterios evaluativos:

“... el modo más transparente y menos controvertido de valorar el mérito de una realidad sometida a evaluación. En efecto, la existencia de una referencia externa y explícita evita la subjetividad en la valoración y confiere mayor credibilidad y confiabilidad al juicio emitido. La tarea de acordar los criterios en los que se debe basar el juicio de valor está obviamente lejos de ser sencilla pero ofrece la innegable ventaja de prestar

El proceso de evaluación de la intervención por programas

programas.

Tomamos como referencia la definición propuesta por Ruiz Ruiz (1996) Tejedor y otros (1994) al considerar al criterio de evaluación como la norma necesaria para poder emitir juicios de valor sobre una realidad, considerándolos como un elemento fundamental para poder valorar la realidad.

Tejedor y otros (1994) plantean el establecimiento de criterios evaluativos como un proceso en el que se debe:

1. Especificar los criterios que van a señalar que determinará que un programa o intervención se considere buena.

2 .Especificar para cada criterio estándares de funcionamiento que detallen niveles o grados de mérito.

3. Recoger información sobre esos criterios para comprobar si se han alcanzado o no los estándares.

A partir de estas reflexiones presentamos distintas maneras de establecer criterios evaluativos a partir de las aportaciones de diversos autores, este repaso puede servir como fuente de información y referencia en el momento de plantear los criterios que van a formar parte de nuestra evaluación.

Pérez Juste (1987), propuso el utilizar criterios intrínsecos y extrínsecos; los primeros criterios harían referencia a la coherencia interna del programa; mientras que los segundos se refieren a los efectos del mismo (utilidad y eficacia).

Sobrado y Porto proponen un modelo de evaluación en cinco

Capitulo 4

fases, conde en cada una de ellas se desprenden diferentes criterios de evaluación:

FFAFFAAASSESSESEESSS CCCCRRRRIITIITETTEEERRRRIIOIIOSOOSSS

Supuestos teóricos

Finalidad Propósitos tipo de información receptores características del profesorado y del contexto

Conocimiento del programa

Tipo de programa Destinatarios Conocimiento de metas y objetivos Conocimiento de las actividades Temporalización Recursos y medios

Validación de la evaluación

Evaluación de necesidades Especificación de objetivos Calidad en los criterios de selección Definición del programa Implantación Calidad del diseño Calidad de las operaciones Procedimientos de recogida de información Aceptabilidad Obstáculos Implicación del evaluador Finalidades de los resultados Coste de la evaluación

E v a l u a c i ó n d e l desarrollo

Cobertura del profesorado Realización de actividades Ejecución de la temporalización Funciones de los agentes Utilización de recursos Binomio programa-factor humano Autoevaluación del orientador o agente Análisis técnico del programa

Evaluación de la eficacia

Resultados y efectos Impacto Efectos colaterales Eficiencia Demanda Participación Cuadro nº16: CCCCrrrriiiitttteeeerrrriioiioooss psspappaaarrrraaaa llllaaaa eeveevavvalaallluuauuaaacccciióiióóónn dnndeddeee pprpprrrooooggggrrarraaammmmaaaassss eeeennnn ccccaaaaddddaa faafaffaaassssee deedddeeee llllaa eaaeeevvvvaalaalulluuuaacaaccciióiióóónnnn sssseeeeggggúúúúnnnn SSSSooboobrbbrarraaaddddoooo yyyy PPoPPoroorrrttottooo

También se han utilizado los criterios como referentes para evaluar la calidad de la intervención, de éste modo