t9 psicometria, Apuntes de Psicometría

¡Descarga t9 psicometria y más Apuntes en PDF de Psicometría solo en Docsity!

TEMA 9.VALIDEZ: FUENTES DE EVIDENCIA INTERNA I. Evidencia basada en el contenido del test 2. Evidencia basada en la estructura interna: Análisis Factorial Exploratorio 9.1 EVIDENCIA BASADA EN EL CONTENIDO OBJETIVO DE LA EVIDENCIA DEVALIDEZ BASADA EN EL CONTENIDO: = Examinar la adecuación con la que el contenido del test muestrea el dominio acerca del cuál se van a realizar las inferencias.Valora la adecuación muestral de los ítems en cuanto al dominio o campo de interés de un constructo determinado. = Evalúa la representatividad de los ítems que forman el test, como muestras de un dominio más amplio de ítems representativos. ¿Hemos hecho bien la operacionalización del constructo??? = Se realiza en las primeras etapas de construcción del test. 9.1 EVIDENCIA BASADA EN EL CONTENIDO La validez de contenido, por tanto, exigirá un amplio conocimiento del objetivo de la medida y los posibles indicadores empíricos. Pasos para evaluar la validez de contenido: 1. DEFINIR EL CAMPO O DOMINIO DE INTERÉS DEL TEST. Requiere disponer de una definición teórica del constructo clara y bien fundamentada. Proceso que va desde la teoría hacia lo empírico. 2. SELECCIONAR UN CONJUNTO DE EXPERTOS EN EL TEMA, además de la revisión sistemática de la literatura sobre el constructo a medir. Tienen que haber al menos 3 jueces (expertos) por cada ítem. 3. PROPORCIONAR UN MARCO ESTRUCTURADO PARA EL PROCESO DE EMPAREJAR LOS ÍTEMS CON LOSTEMAS DE INTERÉS DE MEDIDA DEL TEST. Enumerar todas las áreas de contenido del constructo que se consideren importantes y asegurarse de que el test contiene ítems que permiten cubrirlas de forma adecuada. 4. SELECCIONAR LOS ÍTEMS ADECUADOS a través del proceso de emparejamiento ítem-campo de interés. 9.1 EVIDENCIA BASADA EN EL CONTENIDO DEFINICIÓN DEL DOMINIO ES áreas a cubrir para una ANÁLISIS Grado en que los ítems son una muestra representativa y relevante del constructo constructo 9.1 EVIDENCIA BASADA EN EL CONTENIDO DEFINICIÓN DEL DOMINIO: Juicios de expertos en la materia para establecer las especificaciones del test. TABLA DE ESPECIFICACIONES: = Definición del constructo = Áreas de contenido (dimensiones, contextos...) = Procesos (comprensión, análisis, generalización...) 9.1 EVIDENCIA BASADA EN EL CONTENIDO ANÁLISIS: Grado en que los ítems son una muestra representativa y relevante del constructo. MÉTODO DE JUICIO: Consiste en calcular la media y la desviación típica de las puntuaciones otorgadas por los jueces/expertos para cada uno de los ítems con relación a diferentes criterios. A continuación, se determina el punto de corte que refleje una puntuación demasiado baja en relevancia como para que el ítem sea incluido en la escala. Ejemplo: En una escala de depresión, los expertos han de valorar cada ítem de | a 10. El punto de corte es 8, todo ítem que no llegue a esa puntuación, no tendrá validez de contenido. ero... ¿Cómo fijamos ese punto de corte? ¿Usamos el mismo para todos los ítems? ¿Es un punto de corte demasiado alto Pero... ¿Cómo fi ito de corte? ¿Us 1 todos los ítems? ¿E to de corte di do alt que implicará eliminar muchos ítems? 9.1 EVIDENCIA BASADA EN EL CONTENIDO ÍNDICE DE HAMBLETON: En este procedimiento se proporciona a los jueces una lista de los objetivos o áreas a cubrir por el test y se les presenta cada ítem en una ficha separada. Cada juez compara el ítem con la lista de objetivos y trata de establecer el grado en que se empareja cada ítem con el objetivo o área a partir de una escala de 5 puntos (1 = mal ajuste; 5 = ajuste excelente). N = número de objetivos o áreas a cubrir my = media de los jueces para el ítem i y el objetivo k m, = media de los jueces para el ítem i en todos los objetivos Aportación frente al IVC; Nos permite conocer con qué área en concreto se relaciona cada ítem. 9.1 EVIDENCIA BASADA EN EL CONTENIDO Ejemplo de cálculo del ÍNDICE DE HAMBLETON: Hemos construido un test de autoestima para estudiantes que queremos que cubra 5 áreas del constructo: académica, fsica, familiar, social y emocional. Preguntamos a 40 jueces en qué medida creen que el primer ítem se empareja con cada área, en una escala de | (mal ajuste) a 5 (ajuste excelente) En el área académica, el ítem obtiene una puntuación media de 4,5. En el área física, el ítem obtiene una puntuación media de 3,2. En el área familiar, el ítem obtiene una puntuación media de 4,1 En el área social , el ítem obtiene una puntuación media de 2,3. En el área emocional, el ítem obtiene una puntuación media de 3,0. PROCEDIMIENTO: calcular el Índice de Hambleton para el ítem | en cada una de las áreas. El ítem se asignará al área donde ajuste mejor (el valor del índice sea más alto). (my mM, ) 2 9.1 EVIDENCIA BASADA EN EL CONTENIDO Ejemplo de cálculo del ÍNDICE DE HAMBLETON: ¿Cuál es el valor del Índice de Hambleton para el área académica? N = número de objetivos o áreas a cubrir = 5 my = media de los jueces para el ítem ¡ (en este caso el ítem 1) y el objetivo k (objetivo 1 o área académica) = 4,5 m, = media de los jueces para el ítem ¡ en todos los objetivos = tendremos que sacar la media de todos los objetivos = (4,5 +32+4,1+2,33+3)/5=3,42 Aplicamos la fórmula. 1,3 N/(Q(N-2)) * (m,—m) = (5/(2*5-2)) *(45- 3,42) =5/(10-2) * 1,08= 5/8*1,08= 0,625 * 1,08 = 0,675 9.1 EVIDENCIA BASADA EN EL CONTENIDO Ejemplo de cálculo del ÍNDICE DE HAMBLETON: ¿Cuál es el valor del Índice de Hambleton para el área física? N = número de objetivos o áreas a cubrir = 5 m, = media de los jueces para el ítem ¡ (en este caso el ítem 1) y el objetivo k (objetivo | o área académica) = 3,2 m, = media de los jueces para el ítem i en todos los objetivos = tendremos que sacar la media de todos los objetivos = (4,5 +3,2+4,1+23+3)/5=3,42 y Epa 2N-2 le (my 1) Aplicamos la fórmula... 1, = N/ (2 (N—2)) * (m,—m) = (5/(2*5-2)) * (3,2 — 3,42) = 5 / (10 - 2) * (0,22) = 5/8* (0,22) = 0,625 * (0,22) = 0,138 9.1 EVIDENCIA BASADA EN EL CONTENIDO Ejemplo de cálculo del ÍNDICE DE HAMBLETON: ¿Cuál es el valor del Índice de Hambleton para el área familiar? N = número de objetivos o áreas a cubrir = 5 my = media de los jueces para el tem ¡ (en este caso el ítem 1) y el objetivo k (objetivo | o área académica) = 4,1 m, = media de los jueces para el ítem ¡ en todos los objetivos = tendremos que sacar la media de todos los objetivos = (4,5 +32+4,1+2,33+3)/5=3,42 N AN) Aplicamos la fórmula... 3 N/(2(N-2)) * (m,—m) = (5/(2*5-2)) *(4,1 - 3,42) =5/(10-2)*0,68= 5/8*0,68=0,625 * 0,68 = 0,425 9.1 EVIDENCIA BASADA EN EL CONTENIDO Ejemplo de cálculo del ÍNDICE DE HAMBLETON: ¿Cuál es el valor del Índice de Hambleton para el área social? N = número de objetivos o áreas a cubrir = 5 m, = media de los jueces para el ítem i (en este caso el ítem 1) y el objetivo k (objetivo | o área académica) = 4,5 m, = media de los jueces para el ítem ¡ en todos los objetivos = tendremos que sacar la media de todos los objetivos = (4,5 +32+4,1+23+3)/5=23 (my 0,3 Aplicamos la fórmula... 1,>N/Q (N-2))*(m,—m 7 =(5/(2*5-2))*(2,3-3,42) =5/(10-2)*(-1,12) = 5/8*(-1,12) = 0,625 * (-1,12) = 9.1 EVIDENCIA BASADA EN EL CONTENIDO VALIDEZ APARENTE: Grado en que el test produce la impresión de que mide el constructo propuesto cuando se observa su contenido. Hace referencia al grado en que es posible que los sujetos al contestar un determinado test reconozcan la utilidad para medir aquello que se pretende. Que de la formulación de los ítems del test se comprenda qué se pretende medir. = Consecuencias deseables: actitud y motivación positiva. = Consecuencias indeseables: falseo de respuestas (escalas de sinceridad). 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO OBJETIVO: Concluir sobre el grado en que las relaciones entre los ítems reproducen la estructura hipotetizada. Tradicionalmente ligada al estudio de la dimensionalidad del test. PASOS PARA EVALUAR LA ESTRUCTURA INTERNA: I. Definición del constructo. Especificación de las interrelaciones teóricas entre las dimensiones. 2. Contrastación empírica del grado en que las relaciones entre los ítems reflejan la estructura hipotetizada. Explicación e interpretación de cómo la evidencia empírica clarifica la validez de constructo de una medida particular. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO ANÁLISIS FACTORIAL: = Técnica estadística multivariada de reducción de datos. = Consiste en explicar las relaciones empíricas entre las variables observadas (ítems) a partir de un número reducido de variables no observadas (factores). = Objetivo: Encontrar el número mínimo de dimensiones que expliquen las diferentes respuestas de las personas o lo que los ítems tengan en común. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO FACTOR: =- Es un grupo homogéneo de elementos (ítems) que tienen altas correlaciones entre sí por compartir alguna característica subyacente. = Los factores son dimensiones relativamente independientes entre sí, formados por grupos de elementos (ítems) distintos. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO FACTOR: Autoestima académica/laboral 1. Hago bien las tareas o trabajos escolares/profesionales 6. Mis profesores/jefes me consideran un buen trabajador 11. Trabajo mucho en clase/en el trabajo 16. Mis profesores/superiores me estiman 21.Soy un buen estudianteltrabajador 26. Mis profesores/superiores me «consideran inteligente y trabajador Autoestima social 2. Consigo fácilmente amigos 7. Soy una persona amigable 12. Es difícil para mí hacer amigos 17.Soy una persona alegre 22. Me cuesta hablar con desconocidos 27.Tengo muchos amigos Autoestima física 15, Me cuido físicamente 10, Me buscan para realizar actividades deportivas 15. Me considero elegante 20. Me gusta como soy físicamente 25. Soy bueno haciendo deporte 30. Soy una persona atractiva 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO PROCESO Y FASES DEL ANÁLISIS: 1. Formulación del problema 2.Análisis de la matriz de correlación 3. Extracción de factores 4. Determinación del número de factores OS 6. Interpretación de factores 7.Validación del modelo 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 2.ANÁLISIS DE LA MATRIZ DE CORRELACIÓN: KMO. Medida de adecuación de la muestra = Si KMO > 0.90 > excelente = Si KMO > 0.70 > aceptable = Si 0.50 < KMO < 0.70 > dudosa = Si KMO < 0.50 > inaceptable 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 2.ANÁLISIS DE LA MATRIZ DE CORRELACIÓN: Prueba de esfericidad de Barlett. Contrasta si la matriz de datos es una matriz identidad (ortogonal; Hy: los datos NO están relacionados). = Si MH, (p > 0.05) —> los datos NO están relacionados > NO tiene sentido interpretar los resultados del análisis factorial =_ Si RH, (p < 0.05) > llos datos SÍ están relacionados > SÍ tiene sentido interpretar los resultados del análisis factorial 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 3. EXTRACCIÓN DE FACTORES MÉTODOS DE EXTRACCIÓN DE FACTORES. Obedecen a tres tipos de criterios: I.. Explicar el máximo de varianza observada. 2. Reproducir lo mejor posible las correlaciones observadas. 3. Obtener los mejores estimadores de la matriz factorial poblacional. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 3. EXTRACCIÓN DE FACTORES 1. EXPLICAR EL MÁXIMO DEVARIANZA OBSERVADA: COMPONENTES PRINCIPALES (componente = factor). = Combinación lineal de las variables observadas (Ítems). = Los componentes (factores) se extraen de manera que el primero (Fl) explica el máximo posible de la varianza total disponible. El segundo (F2) explica el máximo de la varianza que queda al eliminar la varianza explicada por el primer componente... = Este proceso continúa hasta explicar toda la varianza disponible, para lo que hay que extraer tantos factores como ítems. Esto es contrario al objetivo del análisis factorial, que es la reducción de datos. = Solución: Criterios que nos permiten seleccionar un número menor de componentes. = Problema: Dentro de la varianza total se incluye el error. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 3. EXTRACCIÓN DE FACTORES 2. REPRODUCIR LO MEJOR POSIBLE LAS CORRELACIONES OBSERVADAS: Ejes principales y Mínimos cuadrados no ponderados. = El método de extracción es igual que el de componentes principales, pero... = En lugar de extraer los factores en función de la varianza total que explican (componentes principales), se extraen en función de la COMUNALIDAD de los ítems (h,): Proporción de varianza que explica cada ítem sobre todos los factores en conjunto que extrae el análisis (varianza común: correlación múltiple al cuadrado de cada ítem). 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 3. EXTRACCIÓN DE FACTORES 2. REPRODUCIR LO MEJOR POSIBLE LAS CORRELACIONES OBSERVADAS: Ejes principales y Mínimos cuadrados no ponderados. = Los factores se extraen de manera que el primero (Fl) explica el máximo posible de la varianza común. El segundo (F2) explica el máximo de la varianza común que queda al eliminar la varianza común explicada por el primero... = El proceso continua hasta explicar el 100% de la varianza común. = Problema: Puede que se extraigan demasiados factores (contrario al objetivo del análisis factorial, que es la reducción de datos). = Solución: Criterios que nos permiten seleccionar un número menor de componentes. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 5. ROTACIÓN DE FACTORES. TIPOS DE ROTACIÓN: 1. ROTACIÓN ORTOGONAL: = Se asume la independencia o ausencia de relación entre las dimensiones analizadas. = Método más empleado:Varimax. = Si hipotetizamos una dimensión de mayor importancia seguida de otras menos importantes: Quartimax. 2. ROTACIÓN OBLICUA: = Se asume que las dimensiones o factores están correlacionados. = Método más empleado: Oblimin. = Método de rotación más utilizado en Psicología. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 6. INTERPRETACIÓN DE FACTORES. I.. PUNTUACIÓN FACTORIAL: =_ Saturación factorial (a,): correlación del ítem i con el factor j. . aj: varianza del ítem ¡ explicada por el factor j. 2. PUNTUACIÓN DIRECTA: = Las puntuaciones observadas (X) en los ítems. 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO Varianza totol explicada 6. INTERPRETACIÓN Sumas de DE FACTORES. rotación de cargos Astolores nicas A reso | te | tecovararzo | toacnuaso | ta cera N tiocmudo | 18 : To NET EY 24987 En p Y7, A AS E a B 088 Sam] ara . sr 152 54550 . ee. 57 . os cas e > os 615 rs . zos sao] ra . so pe so ES 4460 ao “ ss aa s2000 . se So 1 a all tonces 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO Matriz de estructura 6. INTERPRETACIÓN Factor DE FACTORES. 8. Dañar inmobiliario público (cabinas telefónicas, vagón de metro, papeleras, etc.) 7. Estropear o dañar árboles o plantas en espacios públicos 1. Pintar o dañar las paredes del colegio/instituto 9. Estropear coches de desconocidos 6. Apoderarse de mercancías de los supermercados (o grandes almacenes) 3. Quitar objetos de mis compañeros o de la escuela 12. Romper los cristales de las ventanas del colegio / instituto 5. Hacer equivocarse a un compañero de clase en los deberes o tareas a propósito 13. Pelarse la clase 4, Dañar el coche de los profesores 10. Agredir o pegar a desconocidos 2. Pegar a alguien o participar en peleas dentro del colegio/instituto 11, Insultar o molestar a inmigrantes/extranjeros 9.2 EVIDENCIA BASADA EN LA ESTRUCTURA INTERNA: ANÁLISIS FACTORIAL EXPLORATORIO 7.VALIDACIÓN DEL MODELO. ¿Se replica la estructura esperada? Añadimos evidencia de validez basada en la estructura interna Como el proceso de validación de un instrumento no termina nunca... Más análisis: AFE con otras muestras, AFC...