t8 psicometria, Apuntes de Psicometría

¡Descarga t8 psicometria y más Apuntes en PDF de Psicometría solo en Docsity!

TEMA 8.VALIDEZ: FUENTES DE EVIDENCIA EXTERNA I. Relaciones del test con otras variables 1.1. Evidencia convergente y discriminante 1.2, Relaciones test-criterio 2. Sesgo y funcionamiento diferencial del ítem 3. Otras fuentes de evidencia 3.1. Basada en el proceso de respuesta 3.2. Basada en las consecuencias de la aplicación 8.1 RELACIONES DELTEST CON OTRAS VARIABLES OBJETIVO DE LA EVIDENCIA DEVALIDEZ EXTERNA DE LAS PUNTUACIONES: = Concluir sobre el grado en que las relaciones de las puntuaciones del test con otras medidas reproducen las relaciones implicadas en la red nomológica. = Demostrar que los constructos no son productos artificiales creados por los instrumentos de medida utilizados. = Ejemplo: La calidad del servicio depende del compromiso organizacional Rota contar + ECETIA Paz y i El compromiso organizacional se relaciona con Menor conflicto de rol Menor ambigúedad de rol Mayor participación en la toma de decisiones Mayor consideración Mayor iniciación de la estructura 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE CONVERGENTE METE rasgo efectuadas con diferentes métodos tienen una alta correlación ¿Cómo esperamos que sean las correlaciones? DISCRIMINANTE METERS rasgo efectuadas con diferentes métodos correlacionan más que medidas de diferentes rasgos con el mismo método ¿Cómo esperamos que sean las correlaciones? 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE MATRICES MULTIRRASGO-MULTIMÉTODO (Campbell y Fiske, 1959): = Es uno de los métodos tradicionales para el estudio de la validez convergente/discriminante. = Se utiliza cuando disponemos de más de un test para medir más de un constructo, de modo que se pueden obtener diferentes medidas aplicando distintos métodos, sobre distintos constructos O rasgos. = La CONDICIÓN FUNDAMENTAL respecto de la consideración de rasgos diferentes es que sean teóricamente independientes, es decir, que se espere una correlación cercana a cero entre ellos (que no formen parte de la red nomológica del constructo). 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE EJEMPLO: Mi MZ M3 Consideramos 3 rasgos diferentes (RA, RB y RC) y utilizamos tres m métodos (tests) diferentes (MI, M2 y M3), deberemos construir 9 tests distintos (3 tests o métodos distintos para cada uno de los rasgos a medir). ma m3 ajaeisjasajsjas|s DD Valores monorrasgo-monométodo O valores heterorrasgo-monométodo U Valores monorrasgo-heterométodo E Valores heterorrasgo-heteromérodo 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE mí mz m5 VALORES MONORRASGO- 86] Rc] ma] as] ac] ea es] ae MONOMÉTODO: mi Están marcados en rojo, corresponden a la diagonal principal de la matriz. Teóricamente, evalúan la eS correlación de cada test consigo mismo, que obviamente es 1. Para que ml ajaeisjasajsjas|s la matriz resulte más informativa, sustituiremos estos valores por el valor del coeficiente de fiabilidad para Cada test. DD Valores monorrasgo-monométodo O valores heterorrasgo-monométodo U Valores monorrasgo-heterométodo E Valores heterorrasgo-heteromérodo 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE VALORES MONORRASGO- HETEROMÉTODO: Las tres casillas marcadas señalan las correlaciones entre los tres métodos para medir el rasgo A. Dado que los tres tests miden el mismo rasgo (A), esperamos que sus correlaciones sean altas (VALIDEZ CONVERGENTE) mi mz m5 RA] AS] RC] AA TAS] Ac | RA] AB] AS RA ma [as 3 3 >| m [ms Re [NS] ¡) ma [hs 3 DD Valores monorrasgo-monométodo O valores heterorrasgo-monométodo U Valores monorrasgo-heterométodo E Valores heterorrasgo-heteromérodo 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE VALORES HETERORRASGO- HETEROMÉTODO: Están marcados en amarillo, indican la relación que existe entre las puntuaciones obtenidas entre las medidas elaboradas sobre rasgos distintos con métodos diferentes. Esperamos que estos valores también sean bajos, dado que las correlaciones son entre rasgos distintos. Nos servirán para compararlos con los valores HETERORRASGO- MONOMETODO, que deberían ser también bajos. mm mz m5 RA] RS] RRA TAB] ARA] AB] O m [ne ne O mM [as 0 1 RA [E ma [re 3 O DD Valores monorrasgo-monométodo O valores heterorrasgo-monométodo U Valores monorrasgo-heterométodo E Valores heterorrasgo-heteromérodo 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE VALORES HETERORRASGO- HETEROMÉTODO: En el ejemplo hay marcado un valor heterorrasgo-heterométodo (RB-RA con MI-M2) y uno heterorrasgo- monométodo (RB-RA con M2-M2). Tienen que tener valores similares, sino, nos está indicando que no hay evidencia de validez discriminante (que los métodos sí afectan a las puntuaciones del test: SESGO DE MÉTODO). Mi MZ M3 RA] AB] RO] BA TRAS] AC | RA] AB] RC EJ mi [rs 3 BA m2 [ns > O 3 RA ma [rs RC DD Valores monorrasgo-monométodo O valores heterorrasgo-monométodo U Valores monorrasgo-heterométodo E Valores heterorrasgo-heteromérodo 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE Ejemplo de MULTIRRASGO- MULTIMETODO: Queremos medir el Razonamiento espacial (RE), la Ansiedad (ANS) y la Extraversión (EXT) de un conjunto de sujetos. Son rasgos que se espera que mantengan una relación teórica de independencia. Disponemos de tres métodos de medida diferentes: uno con formato de respuesta verdadero/ falso (V/F), otro con ítems de elección múltiple (EM) y otro mediante prueba manipulativa (MP). Aplicados los 9 tests al conjunto de sujetos obtenemos la siguiente matriz: Verdadero/Falso Elección Múltiple Manipulativa RE_|ANS | EXT | RE [ANS | EXT | RE [ANS | EXT RE [0.89 viF [ans [0.18 [0.90 EXT [0.24 [0.19 | 0.86 RE [0.89 [0.20 | 0.18 | 0.90 Em [ANS |0.17 [0.86 [0.17 | 0.12 | 0.88 ÉExT [0.20 [0.22 | 0.88 | 0.10 | 0.20 | 0.87 RE [0.86 [0.16 [0.17 | 0.85 | 0.10 | 0.08 | 0.93 mp |ans |o.15 [0.84 | 0.26 | 0.06 | 0.88 | 0.14 | 0.11| 0.87 ÉExT [0.17 [0.16 | 0.83 | 0.09 | 0.18 | 0.87 | 0.21| 0.18| 0.88 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE Preguntas sobre la matriz... (1) ¿Cuál es la fiabilidad del test de ansiedad con método (formato) verdadero/falso? ¿Y la fiabilidad de ansiedad del test con método de elección múltiple? ¿Y la fiabilidad de ansiedad del test con método de prueba manipulativa? ¿Cuál de los tres métodos de ansiedad muestra una fiabilidad más elevada? Verdadero/Falso Elección Múltiple Manipulativa RE_|ANS | EXT | RE [ANS | EXT | RE [ANS | EXT RE [0.89 vir [ans [0.18 [0.90 EXT [0.24 |0.19 | 0.86 RE [0.89 [0.20 | 0.18 | 0.90 Em [ANS [0.17 [0.86 [0.17 | 0.12 | 0.88 ÉExT [0.20 [0.22 | 0.88 | 0.10 | 0.20 | 0.87 RE [0.86 |0.16 | 0.17 | 0.85 | 0.10 | 0.08 | 0.93 mP [ans |o.15 [0.84 | 0.26 | 0.06 | 0.88 | 0.14 | 0.11| 0.87 ext [0.17 [0.16 | 0.83 | 0.09 | 0.18 | 0.87 | 0.21| 0.18| 0.88 8.1.1 EVIDENCIA CONVERGENTE-DISCRIMINANTE Preguntas sobre la matriz... (11) ¿Cuáles son los valores heterorrasgo- monométodo mínimos y máximos para el método de elección múltiple? ¿Podemos decir que los tests tienen validez discriminante? Verdadero/Falso Elección Múltiple Manipulativa RE | ANS | EXT | RE [ANS | EXT | RE [ANS | EXT RE [0.89 vir [ans [0.18 [0.90 EXT [0.24 |0.19 | 0.86 RE [0.89 [0.20 | 0.18 | 0.90 Em [ANS [0.17 [0.86 [0.17 | 0.12 | 0.88 ÉExT [0.20 [0.22 | 0.88 | 0.10 | 0.20 | 0.87 RE [0.86 [0.16 [0.17 | 0.85 | 0.10 | 0.08 | 0.93 mP [ans |o.15 [0.84 | 0.26 | 0.06 | 0.88 | 0.14 | 0.11| 0.87 ext [0.17 [0.16 | 0.83 | 0.09 | 0.18 | 0.87 | 0.21| 0.18| 0.88 8.1.2 RELACIONES TEST-CRITERIO OBJETIVO DE LA EVIDENCIA DEVALIDEZ DE RELACIONES TEST-CRITERIO: = Concluir sobre la existencia de relación entre las puntuaciones del test y las medidas del criterio que se pretende predecir. = Especial relevancia en el ámbito de la selección. ¿CUÁNDO MEDIR EL CRITERIO? = Primero el test, después el criterio > ESTUDIOS PREDICTIVOS = Test y criterio a la vez > ESTUDIOS CONCURRENTES = Primero el criterio, después el test > ESTUDIOS RETROSPECTIVOS 8.1.2 RELACIONES TEST-CRITERIO PROCEDIMIENTOS PARA LA RECOGIDA DE EVIDENCIA: = Coeficiente de validez = Regresión lineal simple " Regresión lineal múltiple 8.1.2 RELACIONES TEST-CRITERIO PROCEDIMIENTOS PARA LA RECOGIDA DE EVIDENCIA: COEFICIENTE DE VALIDEZ = Correlación entre las puntuaciones del test (X) y del criterio (Y) Pxw = Rango de valores admisibles =1 < Pyy < 1 = Interpretación: general (como cualquier correlación) y existencia (contraste de hipótesis) Hp Pxr=0 H¿: Pxyr+0 . z 2 = Importancia: coeficiente de determinación P*xr 8.1.2 RELACIONES TEST-CRITERIO PROCEDIMIENTOS PARA LA RECOGIDA DE EVIDENCIA: COEFICIENTE DEVALIDEZ Ejemplo: Correlación entre bienestar psicológico y apoyo social. Test: apoyo social. Criterio: bienestar. sor z Bienestar = ¿Cuál sería nuestra hipótesis? psicológico 1550 A (antes) social = ¿Interpretación general de la Elonostar Corrolación de Poarson 7 s00s*| correlación? psicológico (antes) sig. (bilateral) - 000 Ñ “denei N 20 20 CN] UN ¿Existe evidencia? ¿Se contrasta » | Apoyo social Correlación de Pearson 865 1 nuestra hipótesis empíricamente? Sig. (bilateral) “000 Ñ = ¿Cuál es el coeficiente de N 20 20 determinación? **. La correlación es significativa al nivel 0,01 (bilateral). 8.1.2 RELACIONES TEST-CRITERIO Rosumen del modelo PROCEDIMIENTOS PARA LA casarse [Evo de RECOGIDA DE EVIDENCIA: sosolo PEGA a custraso sntreción, | REGRESIÓN LINEAL SIMPLE = e to TAME ] . AnOWA: Ejemplo; R = coeficiente de correlación lineal e d+ re rescue ; í R? corregida = coeficiente de Tota m]| determinación = Variatio preto: (Coman, AUtDOREma > DVarabo Sepan: opresión Cuadro del ANOVA = Contraste de la hipótesis nula Aute” Gotas Beta = coeficiente de regresión parcial Goetiemtes no AN estandarza estandarizado (también se contrasta)* Modelo. E Errortip | Beta ñ O E a *En este caso coincide con el resultado Autoostima | mote | 006 40] 200 del ANOVA 3. Varlable dependiente: Y , 8.1.2 RELACIONES TEST-CRITERIO Resumer del modelo PROCEDIMIENTOS PARA LA R cuadrado | Enortio. de la RECOGIDA DE EVIDENCIA: Modelo | R_ |Rcudredo | corregida | estimación REGRESIÓN LINEAL : A A , 2 Variables vredictoras: (Constante) Autoestima, Apoyo H MULTIPLE ANOVA MH: R=o ] . A Suma de Media A Ejemplo: Model bcueérados | gr [cuserence| "| sg |. . o a 2| ome] ras] dor R = coeficiente de correlación lineal Residual | 197,775 208 735 i - ' Toral arado R? corregida = coeficiente de — Vatabiespredletoas: (Constante), Autoestima, Apoyo determinación b.variable devendiente Deresión Cosfciemtes* Cuadro del ANOVA = Contraste de Ñ Coeficientes la hipótesis nula Coefcientes no — | estandariza estandarizados dos Beta = coeficiente de regresión Modelo 8 |Erortip Beta 1 sig. : 7 TEonstanie) | 1387 E 0032 000 parcial estandarizado (también se grrr EA so 555 san Ea contrasta) Apoyo 013 006 138 2,368 019, a. Variable dependient: Depresión 8.2 SESGO Y FUNCIONAMIENTO DIFERENCIAL DEL ÍTEM ¿Qué condiciones deben darse para que ocurra el FDI? I. Multidimensionalidad del ítem. Un ítem que presenta FDI está tratando de medir una habilidad principal, aquella que pretende medir el test, pero también mide otras habilidades, espurias, que sin pretenderlo, afectan a los resultados del test. 2. Distintas distribuciones de los grupos en la habilidad espuria. Solamente si dos grupos tienen distintas distribuciones en las habilidades espurias, que no se pretenden medir, los ítems son capaces de medir esas múltiples dimensiones y la estimación de esas habilidades se concreta en una única medida. Ejemplo: Un ítem dirigido a medir razonamiento numérico pero que por su forma de redacción y, sin quererlo, mide también razonamiento verbal. Pensemos que las mujeres tienen mayor razonamiento verbal que los hombres. Entonces la probabilidad de contestar al ítem anterior dependerá de ambas capacidades y, a igual capacidad de razonamiento numérico, las mujeres tendrán mayor puntuación por tener mayor razonamiento verbal. 8.2 SESGO Y FUNCIONAMIENTO DIFERENCIAL DEL ÍTEM Procedimientos para la detección del FDI: = No paramétricos: tablas de contingencia. =. Paramétricos: regresión logística y TRI adaptada a diferentes grupos. 8.2 SESGO Y FUNCIONAMIENTO DIFERENCIAL DEL ÍTEM Tipologías de FDI: 1. EDI uniforme. Se produce cuando la probabilidad de contestar de forma correcta a un ítem es mayor para un grupo que para otro a través de todos los niveles de competencia de la habilidad medida. 2. FDI no uniforme. Se produce cuando la diferencia en la probabilidad de responder correctamente a un ítem entre dos grupos no es la misma en todos los niveles de competencia de la habilidad medida. DF uniforme Dino uniforme Mujeres Hombre Probabilidad. Probabilicad deacenar "descertar Nivel de competencia livelde competencia 8.3 OTRAS FUENTES DE EVIDENCIA Existen otras fuentes de evidencia externas de la validez: = Basadas en el proceso de respuesta = Basadas en las consecuencias de la aplicación 8.3 OTRAS FUENTES DE EVIDENCIA: EVIDENCIA BASADA EN EL PROCESO DE RESPUESTA OBJETIVO: Concluir sobre el grado en que las estrategias usadas para responder son acordes con la definición del constructo a medir. = Habrá que tener en cuenta si... ¿Se encuentran implicados en el proceso de respuesta de los individuos los componentes cognitivos que definen el constructo? = El enfoque tradicional de la validez es incompleto: Necesidad de considerar el análisis más profundo de los mecanismos implicados en el proceso de respuesta. Psicología Cognitiva Teoría Psicométrica Paradigma del procesamiento de la información Identificar cuáles son los componentes cognitivos implicados proporciona evidencia de validez y enriquece la definición del constructo. 8.3 OTRAS FUENTES DE EVIDENCIA: EVIDENCIA BASADA EN LAS CONSECUENCIAS DE LA APLICACION Incorporar en la conceptualización de la validez las consecuencias deseadas y no deseadas derivadas de la aplicación y uso de los tests (Messick, 1989). Hay ACUERDO en que el análisis de las consecuencias del uso de los tests es IMPORTANTE, pero... ¿Debe ser considerado como parte de la validación? Continua existiendo controversia y existen tanto detractores como defensores de esta propuesta. 8.3 OTRAS FUENTES DE EVIDENCIA: EVIDENCIA BASADA EN LAS CONSECUENCIAS DE LA APLICACIÓN ASPECTO POLÉMICO: “Espero que los autores de la revisión de las Normas reconozcan el debate y releguen cualquier discusión sobre las consecuencias a un contexto separado del concepto de validez” (Mehrens, 1997, pág. 18). Este aspecto fue incluido en la edición de 1999 de las Normas de la APA.