¡Descarga Tema 4 Psicometría y más Apuntes en PDF de Psicometría solo en Docsity!
Tema 4. Procedimientos empíricos para la estimación del coeficiente de fiabilidad en la TCT
4.1 Diseños para la estimación del coeficiente de fiabilidad
La estimación empírica del coeficiente de fiabilidad requiere disponer de al menos dos conjuntos de puntuaciones obtenidas de los mismos sujetos. La Operacionalización de estas medidas, supuestamente paralelas, se lleva a cabo de diversas maneras, lo que conduce a diferentes procedimientos para el cálculo de la fiabilidad que pueden dar lugar a valores diferentes y que tienen distinto significado: Dos formas alternativas, test-retest, dos o más calificadores.
4.2 Procedimientos que requieren dos aplicaciones de test
El cálculo de una aplicación directa de la definición, es decir, calcular la correlación entre los dos conjuntos de puntuaciones, que suelen ser cuantitativas por lo que se usa el coeficiente de correlación lineal de Pearson. En el caso de otros niveles de medida de las puntuaciones se calcula la correlación adecuada (tau, Spearman); con variables categóricas y para establecer el grado de acuerdo suelen obtener el coeficiente “kappa de Cohen”
a. Test-retest
Se aplica el mismo test a una muestra de sujetos en dos intervalos de tiempo diferentes. Se calcula la correlación entre los dos conjuntos de puntuaciones, el valor del coeficiente de correlación es un estimador del coeficiente de fiabilidad que indicaría el grado de estabilidad de las puntuaciones o consistencia temporal. Se emplea la correlación de Pearson.
Este metodo se ve afectado por los efectos derivados de la repetición del test, ya que el primero puede influir en los resultados del segundos, incrementando artificialmente la fiabilidad (recuerdo respuesta, efecto práctica) que pueden afectar de forma diferente a cada sujeto. Problema de determinar el intervalo temporal es que los intervalos largos pueden llevar a cambios en los sujetos y intervalos cortos intensificar efectos de la práctica o memoria. Suele ser adecuado con test de velocidad
b. Formas alternativas
Se construye dos formas “paralelas” (mejor decir alternativas o equivalentes, dada la dificultad del paralelismo estricto), bajo el mismo marco y especificaciones. Aplicar las dos formas a una muestra amplia y representativa de sujetos de la población (puede contrabalancearse el orden de la aplicación para evitar problemas de fatiga y/o aprendizaje) y después calcular un coeficiente de correlación entre los dos conjuntos de puntuaciones_._
Aunque teóricamente deberían ser paralelas en la práctica, raramente son estrictamente paralelas, de ahí el nombre de formas alternativas. Es un buen estimador con medidas tau equivalentes. También se aplica con otras formas de equivalencia. El valor del coeficiente de fiabilidad refleja dos aspectos: Los errores aleatorios y el grado de paralelismo de las formas. Puede verse afectado por efectos de la práctica como en el test-retest. Otra aproximación es aplicar las formas dejando un intervalo de tiempo entre las dos aplicaciones
4.3 Procedimientos basados en una única aplicación o de consistencia interna
La dificultad de obtener tests paralelos o equivalentes o la de la repetición del test, llevó a proponer alternativas para estimar la fiabilidad a partir de una única aplicación del test. Los items son una muestra de un dominio de ítems y una forma de estimar la consistencia es examinando la actuación de los sujetos en diferentes partes del test, de ahí el nombre de procedimientos de consistencia interna. Hay dos grandes grupos de estimadores:
-Los que se basan en la división en dos mitades (los primeros en aparecer y utilizados sobre todo en los primeros momentos de la Psicometría). Pueden hacerse divisiones en más bloques de ítems del test
-Los que utilizan la información de todos los ítems del test
a. Basados en la división en mitades
Cuando se utiliza este procedimiento, en un test completo que se aplica en su integridad a los sujetos, se dividen los items en dos partes, denominadas primera y segunda mitad, con objeto de obtener dos puntuaciones diferentes para cada sujeto, que podrían considerarse como paralelas.En principio, requiere que las mitades sean paralelas, pero hay procedimientos para otras formas posibles de equivalencia.
Existen muchas formas posibles de asignación de los items a las dos partes (Gulliksen , 1950). No obstante, en los tests cognitivos, la división más habitual es pares e impares. El procedimiento de cálculo consiste simplemente en la correlación lineal entre las dos conjuntos de puntuaciones. Esta correlación debe corregirse para que pueda estimar la fiabilidad, puesto que es la fiabilidad de un test con la mitad de elementos. Para corregirla se utiliza la ecuación de Spearman-Brown con k=2, ya que realmente el test completo tiene el doble de longitud.
ρxx' = 2ρ 12 / 1+ρ 12 CONFORME MENOS SEA ρ 12 , LA CORRELACIÓN ENTRE LAS PARTES, MENOR SERA LA FIABILIDAD DEL TEST.
ρ 12 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 ρxx' 0 0,18 0,33 0,46 0,57 0,67 0,75 0,82 0,89 0,95 1
Las mitades tau equivalentes o esencialmente tau-equivalentes; las ecuaciones anteriores, sin el supuesto de paralelismo, proporcionan por lo general valores más bajos que Spearman- Brown. La correspondencia dependerá del grado de paralelismo entre las dos mitades. Existen n! formas de obtener las dos mitades que llevan a resultados diferentes; la solución es considerar todos los ítems tratándolos como si produjesen puntuaciones de test con longitud n=
2. ANOVA
El coeficiente alpha puede calcularse mediante procedimientos de ANOVA de un factor de medidas repetidas, donde se consideran las siguientes fuentes de variación: Personas (P), equivalente a la variación entre puntuaciones verdaderas; Items (I); Interacción P x I, mezclada con el error, equivalente a la varianza de los errores E(MCP) = ςe^2 + nςπ^2 E(MCI) = ςe^2 + Nςj^2 E(MCPI) = ςe^2
ρn = ρxx = (MCP – MCPI) / MCP = 1 – MCPI/MCP = 1 - ςe^2 /( ςe^2 + nςπ^2 ) ρi = C. Intraclase (n=1) = (MCP – MCPI) / (MCP + (n-1) MCPI ) => ρi =(ςe^2 - nςπ^2 ) / (ςe^2 + nςπ^2 + (n-1) ςe^2 )
_3. Lambdas de Gutman
- Kuder-Richardson_
Presentaron múltiples coeficientes de consistencia interna para items dicotómicos, siendo los números 20 (KR-20) y 21 (KR-21) los que han tenido amplio uso en la práctica. Son equivalentes al coeficiente alpha, bajo ciertas condiciones.
·KR-20 Puede aplicarse en el caso de items dicotómicos (con puntuaciones 0 y 1) en los que la varianza es ςi^2 = pi · qi , la fórmula para el cálculo de KR-20 es:
pi proporción aciertos, qi proporción fallos (1- pi)
·KR-21 Caso particular de KR-20, en el que todos los elementos dicotómicos tienen la misma dificultad. El conjunto de los n ensayos (items) de la misma dificultad formarían una distribución binomial con media np y varianza np(1-p)=np-np^2 , la fórmula para calcular KR- es:
·Inferencias sobre el coeficiente alpha
Feldt et al. (1986) proponen contrastes de hipótesis para el coeficiente alpha, normalmente planteadas en términos de su compatibilidad frente a un coeficinte alpha poblacional
especificado por la H 0 (α 0 ) :
Donde n es el número de examinados y k el número de ítems del test. Si el valor de F calculado es menor que o mayor que los valores dados por la distribución F se rechaza la H0.
4.4 La fiabilidad como acuerdo entre jueces
El mismo protocolo de respuesta es evaluado por dos o más calificadores. Denotamos las puntuaciones como Xi (calificador i) y Xj (calificador j). Se calcula un coeficiente de correlación entre los dos conjuntos de puntuaciones. El coeficiente adecuado se seleccionará en función del nivel de medida de las puntuaciones. De especial interés es el coeficiente kappa de Cohen (1962), denominado coeficiente de acuerdo, para puntuaciones categóricas, tales como diagnósticos, etc.
La Kappa de Cohen Proporciona una medida del grado de acuerdo entre dos observadores o jueces al evaluar a una serie de sujetos u objetos. Una forma intuitiva de medir el grado de acuerdo entre los jueces podría ser el recuento del número de coincidencias o número de casos que ambos jueces han clasificado de la misma manera, es decir las frecuencias que se encuentran en la diagonal principal y dividir por el total de casos, y multiplicar por 100.
Otra forma posible sería calcular un coeficiente de correlación para variables categóricas. El % de coincidencias y los coeficientes de correlación para variables categóricas no tienen en cuenta los acuerdos que se pueden producir por azar. Esto es lo que trata de corregir el coeficiente kappa
Podemos escribir la suma de las covarianzas como:
Y la expresión para la fiabilidad será:
Baja fiabilidad puede comprometer la validez pretendida del uso de las puntuaciones del test. Baja fiabilidad se encuentra entre las “amenazas a la validez de las conclusiones estadísticas”, ya que puede reducir la potencia debido al incremento de la varianza error. (Wilkinson y ATF, 1999: “interpretar el tamaño de los efectos observados requiere la evaluación de la fiabilidad de las puntuaciones”. La baja fiabilidad compromete todos los tipos de significación: estadística, práctica y clínica.La fiabilidad de las puntuaciones debe presentarse en todos los artículos.
EJEMPLOS
- Un test cognitivo con 40 ítems posee una varianza total de 49. Se divide el test en dos partes con una correlación entre ambas de 0,88 ¿Cuánto es la fiabilidad del test? ¿Cuál es su varianza error? ¿Cuánto es su varianza verdadera?
- El 16PF es un test dicotómico de personalidad. Supongamos que se cogen las respuestas de 40 ítems del 16PF. Supongamos que existe una porción de aciertos de 26 ítems y el resto son errores. Si la varianza total es 64. ¿Cuál es el valor de KR-20?
0 ’2275 = pi · qi
- Un test compuesto por 10 ítems obtiene los siguientes valores. ς 1 = 4 ς 2 = 9 ς 3 = 6 ς 4 = 6 ς 5 = 4 ς 6 = 30 ς 7 = 8 ς 8 = 9 ς 9 = 13 ς 10 = 11 si ς^2 x es 1,5 veces el sumatorio de la varianza de los ítems. Calcule α
- Dos observadores han registrado la conducta de un individuo durante diez intervalos, dándose tres posibles categorías de respuesta: 1) Conducta participativa; 2) conducta no participativa; y 3) conducta disruptiva. Los resultados obtenidos por los dos observadores aparecen en la tabla siguiente:
INTERVALOS 1 2 3 4 5 6 7 8 9 10 Observador 1 1 3 3 2 2 2 1 3 3 2 Observador 2 1 2 3 2 2 2 2 3 3 2
