Vista previa parcial del texto
¡Descarga t10 psicometria y más Apuntes en PDF de Psicometría solo en Docsity!
TEMA 10. OTROS ASPECTOS DE LA VALIDEZ DEL TEST l. Factores que afectan a la validez del test 2. Coeficiente de validez y toma de decisiones 3. La validez en los manuales de los tests y en las recomendaciones del COP 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST ¿Qué factores afectan a la validez del test? = Fiabilidad de las medidas ¿Y qué factores afectan a la fiabilidad? = Longitud del test = Variabilidad de las muestras 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST FIABILIDAD DE LAS MEDIDAS: Coeficiente de validez: correlación entre X (test) e Y (criterio) Sin embargo lo que interesa es la relación no entre las variables observadas (medidas de X e Y) sujetas a error, sino la correlación entre las puntuaciones verdaderas de X e Y El error de medida de X e Y atenúa la correlación: CORRECCIÓN POR ATENUACION 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST FIABILIDAD DE LAS MEDIDAS: E rESTSPREDICTORES | AAA Fiabilidad test (noc) 0,40 0,50 0,20 Validez empírica (rxv) 0,50 0,55 0,40 V. desatenuada (rvxwy) 0,80 0,79 0,90 Fiabilidad criterio (ryy”): 0,97 o Por 0,50 080 MA ERJRQPo ñ ? ¿Pi yy 1/0/40 x 0,97 Ejemplo test predictor Al: 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST FIABILIDAD DE LAS MEDIDAS: AA Fiabilidad test (rox) 0,40 0,50 Validez empírica (rxv) 0,50 0,55 V. desatenuada (rvxvy) 0,80 0,79 Si ninguno es completamente adecuado, podremos mejorar el que tenga más validez potencial ¿Cómo? Mejorando la fiabilidad, aumentando la longitud del test fLONGITUD — 7 FIABILIDAD — 1 COERVALIDEZ 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST FIABILIDAD DE LAS MEDIDAS: Cuanto más fiable es un test > Mayor será el r,, ¿Cómo podemos estimar cómo cambia la validez en función de la fiabilidad? I. Ecuación de Spearman-Brown: Cómo mejora la validez si mejoramos la rxx, la ryy o ambas 2. Cómo mejora la validez si modificamos la longitud del test 3. Cuántos ítems hay que añadir para alcanzar un determinado coeficiente de validez deseado 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST ECUACIÓN DE SPEARMAN-BROWN: CÓMO MEJORA LA VALIDEZ SI MEJORAMOS LA Ry LA Ryy O AMBAS = Ry, = nuevo coeficiente de validez = 22? = r,, = coeficiente de validez (que se pretende mejorar) = 0,35 "Ty Ty = coeficientes de fiabilidad originales del test (x) y criterio (y) = 0,60 y 0,65, respectivamente "Ri Y Ry = nuevos coeficientes de fiabilidad del test (x) y criterio (y) = 0,70 y 0,75, respectivamente ¿Ha mejorado el coeficiente de validez y, por tanto, su capacidad predictiva? fz = 0,35 > R,, = 0,54 E? =0,12 > R,? = 0,29 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST CÓMO MEJORA LA VALIDEZ SI MODIFICAMOS LA LONGITUD DEL TEST nuevo coeficiente de validez. ". ., = coeficiente de validez (que se pretende mejorar) = 1, = coeficiente de fiabilidad original del test (x) "n= nP? de ítems que se han añadido 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST CÓMO MEJORA LA VALIDEZ SI MODIFICAMOS LA LONGITUD DEL TEST Ejemplo: Se ha construido un test de Ansiedad de 20 ítems, cuyo r,,, es de 0,60. Para obtener evidencias de validez, se elige como criterio un test de Depresión (r,,, = 0,65). La correlación entre las puntuaciones del test de ansiedad y las puntuaciones en depresión es de 0,35. =_ ¿Cuál es el valor del r,,? 0,35 = ¿Cómo es su capacidad predictiva? Py = 0,352 =0,12 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST CÓMO MEJORA LA VALIDEZ SI MODIFICAMOS LA LONGITUD DEL TEST Puesto que la validez ha resultado ser bastante más baja de lo esperado, optamos por mejorar la fiabilidad del test de ansiedad (x). Para ello, aumentamos cuidadosamente su longitud de 20 ítems a 35 ítems. ¿Cuál será el nuevo valor del coeficiente de validez? 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST CÓMO MEJORA LA VALIDEZ SI MODIFICAMOS LA LONGITUD DELTEST = R,, = nuevo coeficiente de validez. ” Ty” coeficiente de validez (que se pretende mejorar) = 0,35 = r,,= coeficiente de fiabilidad original del test (x) = 0,60 = n= n? de ítems que se han añadido = 15 Rxy = 0,35 / Y(((1-0,60)/15) + 0,60) = 0,35 / V((0,40/15) + 0,60) = 0,35 / Y(0,027 + 0,60) = 0,35 / 10,627 = 0,35 /0,79 = 0,44 ¿Ha mejorado el coeficiente de validez y, por tanto, su capacidad predictiva? y = 0,35 >R,, = 0,44 1? =0,12 >R,?=0,20 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST CUÁNTOS ÍTEMS HAY QUE AÑADIR PARA ALCANZAR UN DETERMINADO COEFICIENTE DEVALIDEZ DESEADO = n= n' de ítems que hay que añadir 1 E e a "Tr, = coeficiente de fiabilidad original del test (x r xx ¡gl a == = r,, = coeficiente de validez (que se pretende mejorar) e = R,, = coeficiente de validez que se desea alcanzar. 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST VARIABILIDAD DE LAS MUESTRAS COEFICIENTE DEVALIDEZ MUESTRA GRUPO SELECCIONADO TESTRENDIMIENTO TOTAL (13% de los mejores) Test principios mecánicos Test de coordinación compleja Test de comprensión de instrumentos Test de destreza manual Y Cuando disminuye, también lo hacen las correlaciones: PROBLEMA DE RESTRICCION DEL RANGO ¿Qué sucede con la variablidad? ¿Y con r,,? 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST VARIABILIDAD DE LAS MUESTRAS ¿Cómo calculamos el coeficiente de validez cuándo modificamos la variabilidad muestral? = S,, = desviación típica del grupo | m S,, = desviación típica del grupo 2 = Fy1y = Coeficiente de validez obtenido en el grupo | = Ry = Coeficiente de validez que se obtendría en el grupo 2 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST VARIABILIDAD DE LAS MUESTRAS Ejemplo: Se ha construido un test de Orientación espacial (r,, = 0,91). Con el fin de analizar su capacidad predictiva sobre el Rendimiento en vuelo se lo pasamos a 200 aspirantes a entrar en una determinada Escuela Aeronáutica, con los que obtenemos una media de 14 y una desviación típica de 3,48. De los 200 aspirantes, seleccionamos el 15% de los que obtienen las mejores puntuaciones, donde obtenemos una media de 16 y una desviación típica de 2,33. Correlacionamos sus puntuaciones en el test con sus puntuaciones obtenidas en ejercicios de simulacro de vuelo, obteniendo un valor de 0,60. ¿Cuál sería el coeficiente de validez si en lugar del 15% de los mejores hubiéramos cogido los 200 aspirantes? 9.1 EVIDENCIA BASADA EN EL CONTENIDO VARIABILIDAD DE LAS MUESTRAS Ejemplo: MUESTRA COMPLETA (200 aspirantes) SUBMUESTRA (15% mejores) Fay = 0,60 ¿Cuál sería el coeficiente de validez si en lugar del 15% de los mejores hubiéramos cogido los 200 aspirantes? 10.1 FACTORES QUE AFECTAN A LAVALIDEZ DEL TEST VARIABILIDAD DE LAS MUESTRAS = S,, = desviación típica del grupo | = 2,33 = S,, = desviación típica del grupo 2 = 3,48 = F,1y = coeficiente de validez obtenido en el grupo | = 0,60 "Ro, = coeficiente de validez que se obtendría en el grupo 2 Ray = (3,48*0,60) / Y (3,482*0,60? + (1-0,602)'2,332) = 2,088 / Y (12,1 10,36 + (1-0,36)'2,332) = 2,088 / Y (12,1.1%0,36 + 0,64*5,43) = = 2,088 / Y (4,36 + 3,48) = 2,088 / Y 7,84 = 2,088 / 2,8 = 0,745 Ray = 0,745? = 0,56 10.2 COEFICIENTE DEVALIDEZ Y TOMA DE DECISIONES Hasta ahora, los procedimientos que hemos visto: criterio cuantitativo ¿Qué pasa si el criterio es categórico? Seleccionados vs. no seleccionados en función de si se supera o no un punto de corte: = admitidos/ no admitidos = patologíal no patología Fines de selección, clasificación y diagnóstico UNTEST SERÁ UN MEJOR PREDICTOR DEL CRITERIO CUANTO MAYOR SEA EL NUMERO DE SUJETOS QUE SE CLASIFIQUEN CORRECTAMENTE 10.2 COEFICIENTE DEVALIDEZ Y TOMA DE DECISIONES SENSIBILIDAD: Proporción de sujetos clasificados correctamente por el test como positivos respecto del total de sujetos clasificados como positivos por parte de los expertos (criterio). La sensibilidad del test será máxima cuando no se hayan clasificado falsos negativos. a Cc Ejemplo de cálculo... Con los datos anteriores: Erterlo, S=(a)/ (a+c)=8/(8+2)=8/10=0,80 Depresión | No depresión El test es capaz de clasificar correctamente el 80% de sujetos realmente deprimidos. Depresión 8 5 Test No depresión 2 15 10.2 COEFICIENTE DEVALIDEZ Y TOMA DE DECISIONES ESPECIFICIDAD: Proporción de sujetos clasificados correctamente como negativos respecto del total de sujetos clasificados como negativos por parte de los expertos (criterio). La especificidad del test será máxima cuando no se hayan clasificado falsos positivos. Ejemplo de cálculo... Con los datos anteriores: Erterlo, E= (d) / (b+ d)=15/(5+ 15) = 15/20=0,75 Depresión | No depresión El test es capaz de clasificar correctamente el 75% de los Depresión 8 5 0 sujetos realmente no deprimidos. Test No depresión 2 15 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP DIRECTRICES INTERNACIONALES PARA EL USO DE LOSTESTS: http://www.cop.es/index.php?page=directrices-internacionales “Los tests deben de estar apoyados por datos empíricos sobre su fiabilidad y validez para medir los objetivos que se proponen. Hay que aportar datos que justifiquen las inferencias que se hacen a partir de las puntuaciones de los tests. Estos datos tiene que estar disponibles para los usuarios de los tests, así como para los profesionales e investigadores que deseen llevar a cabo una evaluación o revisión independiente” Veamos algunas de las más directamente relacionadas con la validez ... 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTSY EN LAS RECOMENDACIONES DEL COP Los usuarios competentes deberían 2.1. Estimar la utilidad potencial de los tests en una situación evaluativa 2.1.3. Comprobar que los conocimientos, destrezas, aptitudes, u otras características, que miden los tests correlacionan con las conductas pertinentes en el contexto en el que se van a llevar a cabo las inferencias. 2.2. Elegir tests técnicamente correctos y adecuados a cada situación 2.2.2. Comprobar que la documentación técnica sobre el test proporciona suficiente información para evaluar los siguientes aspectos. <.Validez para las poblaciones pertinentes y su aplicabilidad para el uso que se hace del test. d. Ausencia de sesgo para los grupos con los que se utilizará e.Aceptación por parte de quienes están implicados en su uso, incluyendo la pertinencia y validez aparente percibidas. 2.2.4, Utilizar tests sólo para aquellos objetivos para los cuales se dispone de una validez empírica adecuada y pertinente. 2.2.5. No aceptar un test basándose únicamente en su validez aparente, recomendaciones de otros usuarios, o consejos de quienes tienen intereses comerciales. 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP Los usuarios competentes deberían: 2.3. Prestar atención a los aspectos relacionados con el sesgo de los tests. Cuando los tests se van a utilizar con personas de diferentes grupos (por ejemplo: género, cultura, educación, etnia, origen, o edad, entre otros), los usuarios competentes de los tests harán todos los esfuerzos posibles para asegurarse de que: 2.3.1. Los tests son imparciales y adecuados para todos los grupos evaluados. 2.3.2. Los constructos que se están midiendo son relevantes para cada uno de los grupos evaluados. 2.3.3. Existen datos disponibles sobre las diferencias de rendimiento de los grupos en el test. 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS: http://www.cop.eslindex.php?page=evaluar-calidad 2.10.1.Validez de contenido 2.10.2.Validez de constructo 2.10.3.Validez predictiva 2.10.4. Comentarios sobre la validez en general 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS: http://www.cop.es/index.php?page=evaluar-calidad 2.10.2.Validez de constructo: 2.10.2.2.Tamaño de las muestras en la validación de constructo: () No se aporta información en la documentación () Muestra pequeña (N<200) vet () Muestra moderada (200 < N<500) eek () Muestra grande (N > 500) eek () Varios estudios (tamaño moderado) vebbbk() Varios estudios (tamaño grande) 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS: http://www.cop.es/index.php?page=evaluar-calidad 2.10.2.Validez de constructo: 2.10.2.3. Procedimiento de selección de las muestras () No se aporta información en la documentación () Incidental () Aleatorio (la metodología apropiada) 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS: http://www.cop.eslindex.php?page=evaluar-calidad 2.10.2.Validez de constructo: 2.10.2.4, Mediana de las correlaciones del test con otros tests similares: () No se aporta información en la documentación () Inadecuada (r<0.25) ** () Adecuada pero con carencias (0.25< r<0.40) veek () Adecuada (0.405 r<0.50) vetek () Buena (0.50S r<0.60) vet) Excelente (r2 0.60) 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOS TESTS: http://www.cop.eslindex.php?page=evaluar-calidad 2.10.2.Validez de constructo: 2.10.2.5. Calidad de los tests empleados como criterio o marcador: () No se aporta información () Inadecuada *k () Adecuada pero con carencias vetk () Adecuada veisek () Buena vetbek () Excelente 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOSTESTS: htep://www.cop.es/index.php?page=evaluar-calidad 2.10.2.Validez de constructo: 2.10.2.6. Datos sobre el sesgo de los ftems: () Característica no aplicable para el instrumento () No se aporta información () Inadecuados + () Adecuados pero con algunas carencias xet* () Adecuados zeek () Buenos ver () Excelentes (Información detallada sobre estudios acerca del sesgo de los ítems relacionado con el sexo, la lengua materna, etc. Empleo de la metodología apropiada) 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOSTESTS: http://www.cop.eslindex.php?page=evaluar-calidad 2.10.3.Validez predictiva Describa los criterios empleados y características de las poblaciones 2.10.3.1. Diseño de selección del criterio: () Concurrente () Predictivo () Retrospectivo 10.3 LAVALIDEZ EN LOS MANUALES DE LOS TESTS Y EN LAS RECOMENDACIONES DEL COP MODELO PARA EVALUAR LA CALIDAD DE LOSTESTS: http://www.cop.eslindex.php?page=evaluar-calidad 2.10.4. Comentarios sobre la validez en general 
