¡Descarga DEPURACION DE ITEMS CON TAP y más Apuntes en PDF de Psicometría solo en Docsity!
Depuración de ítems de ejecución
máxima con TAP
Antes de comenzar esta actividad es necesario tener instalado el programa TAP que podéis descargároslo desde el siguiente enlace:
http://www.ohio.edu/people/brooksg/tap_download.htm
Seguidamente debéis descargaros desde Enseñanza Virtual el archivo titulado examen0.txt (Módulos de aprendizaje Proceso de construcción de un test Depuración con TAP y SPSS Análisis de ítems con TAP).
Una vez abierto este archivo os encontraréis con este documento, aunque mucho más amplio.
La primera fila es la plantilla de respuestas correctas del examen que vamos a corregir, mientras que la segunda y la tercera fila corresponden con el número de opciones de respuesta.
La primera columna indica los DNI de los alumnos que realizaron este examen y la segunda las distintas opciones de respuesta que ellos eligieron. Las comas indican la ausencia de respuesta en un determinado ítem.
Antes de nada debemos copiar estos números en un Bloc de notas y eliminar la segunda y tercera fila. Una vez hecho esto guardamos el documento con el nombre examenres0.
Una vez hecho esto, abrimos el programa TAP y seguimos estos pasos para realizar una depuración general:
Marcar casilla Insert a TEXT file (see Help) y pulsar Go To Data Editor.
Abrir archivo examen0.txt.
Colocar en Title el nombre que le vamos a poner al archivo: “Actividad1”.
Colocar en Options el número de opciones de respuesta que tiene cada ítem del test, en nuestro caso: 3. Este número debe colocarse tantas veces como ítems haya. En nuestro ejemplo, 36. Como puede verse en la imagen ponemos tantos 3 como ítems hay en la plantilla ( Key ).
En Include debemos poner “y” tantas veces como ítems haya. Esta “y” significa “yes” y quiere decir que un determinado ítem se está teniendo en cuenta.
En #Students debemos poner el número total de sujetos, en nuestro caso: 228.
En #Test Items tenemos que poner el número de ítems que tenemos en nuestro test: 36.
Finalmente en Length of Examinee Names/IDs (# characters) ponemos 9, que es el número de espacios que ocupa el DNI más el espacio en blanco).
Una vez hecho esto, comprobamos que la primera fila de los datos no sea la plantilla que, como mencioné antes, debe colocarse de forma automática en Key. Nuestra Data Editor debe ser como este:
uno de los números de la columna Number Correct y dividiéndolo entre el número total de sujetos.
Bajo la consigna de que todos los sujetos respondan a todos los ítems, la distribución de la dificultad de los ítems debe reproducir una curva normal. Para depurar correctamente un test debemos eliminar los ítems que sólo saben responderlos el 5% o menos (por ser demasiado difíciles) y aquellos que son respondidos correctamente por el 95% o más (debidos a su facilidad).
Calculamos el intervalo de nuestra distribución con la siguiente fórmula:
Esto es, la proporción de aciertos totales es igual a la proporción de los que se saben más uno menos la proporción de los que se saben partido por el número de alternativas.
En otras palabras y con nuestro ejemplo sería:
Así, en la primera ecuación, 0.05 corresponde con las preguntas muy difíciles que son acertadas, mientras que el 0.95 reflejaría el número de respuestas que se conseguirían al azar. El 3 es el número de alternativas que tiene cada ítem de nuestro test. En la segunda ecuación, por el contrario, el 0.95 reflejaría las respuestas acertadas por ser demasiado fáciles y el 0.05 representaría el azar. Nuestra curva normal estaría en el intervalo determinado por 0.36 y 0.96. Todos los ítems que se encuentran fuera de este intervalo deben ser eliminados bien por ser fáciles o por ser muy difíciles.
Para comenzar con la eliminación debemos fijarnos en la anterior tabla citada, en el Item Diff. y apuntar qué ítems vamos a eliminar por ser poco útiles en una población normal.
Los ítems 2, 6, 13, 16, 17, 21 y 31 no están en nuestro intervalo por lo que deben ser eliminados. Ejemplo: en Item Diff. el ítem 2 tiene una puntuación de 0.99, que sobrepasaría 0.96. Es decir, es un ítem que aciertan muchos alumnos por lo que es muy fácil y debe ser eliminado.
Para eliminar dichos ítems debemos seguir los siguientes pasos:
Cerramos nuestra pantalla de resultados (donde se encontraba la tabla anterior) y volvemos al programa TAP.
Pulsamos Go To Data Editor. Comprobamos que se nos abre la ventana Data Editor.
- En Include sustituimos las “y” correspondientes con los ítems que vamos a eliminar por “n”.
Nos quedaría algo así:
Como podemos ver en la tabla, el ítem 35 tiene una dificultad de 0.36, justo nuestra puntuación para discriminar. Para saber si debemos eliminarlo o no, observamos el resto de puntuaciones. En los ítems dicotómicos, para que una puntuación se considere como buena debe tener el resto de puntuaciones superiores a 0.2. Estos ítems son dicotómicos ya que una vez corregidos sólo admiten dos valores, es decir, si la respuesta dada es correcta o no.
El ítem 35 no se elimina porque cumple este requisito ( Point Biser = 0.41; Adj Pt Bis = 0.3; Disc. Index = 0.54).
- Guardamos ( Save File ) el archivo con el nombre examen1.
Una vez realizada esta depuración general, ahora vamos a realizar una depuración ítem a ítem:
Nos fijamos en nuestra ventana de resultados qué ítem tiene la puntuación biseral ( Point Biser. ) más negativa. El primero es el 14.
Pulsamos Go To Data Editor y en Include colocamos una “n” en el ítem 14.
Le damos a Close & Analyze y a F6 (View/Print Quick Item Analysis full screen).
Repetimos esta operación con todos los ítems cuya Point Biser. sea menor de 0.2 ya que dificultan el desarrollo del test. Esta eliminación debe hacerse ítem a ítem, no todos a la vez, y comenzando por el más bajo. Cuando hay dos ítems con la misma puntuación deben eliminarse a la vez. El motivo por el que los ítems deben eliminarse uno a uno (comenzando por el que tenga la puntuación biseral más baja) es que a medida que se van a eliminado ítems la puntuación se va modificando automáticamente. De esta forma se acaban eliminando en total 15 ítems. (Se eliminan: 28, 29, 15, 22, 23, 30 y 32).
- Guardamos de nuevo el archivo como examen1 y la pantalla de resultados View Full Results and Graphs (F2) como examen1 pero en un archivo de texto (File Save examen1).
En esta pantalla de resultados ( F2 ) podemos ver los datos globales y en Items Exluded from Analysis comprobar que efectivamente son 15 los ítems eliminados.
La almohadilla aparece en las opciones incorrectas que compiten con la correcta ya que son más elegidas. Esto ocurre cuando los ítems son difíciles, puesto que nosotros ya hemos depurado nuestro test no nos encontramos con almohadillas.
Las opciones incorrectas deben ser más elegidas por el grupo inferior ( Low ) que por el superior ( High ). Cuando hablamos de grupo superior e inferior nos estamos refiriendo a porcentajes de sujetos, el 33% superior y el 33% inferior. Por ejemplo, en la opción 3 del primer ítem, podemos ver que quienes han elegido está opción corresponden al grupo inferior, mientras que el grupo superior se decanta más por la opción 2, la correcta.
Para calcular el índice de dificultad de un ítem podemos hacerlo con las siguientes fórmulas:
Los datos necesarios podemos obtenerlos de la tabla anterior ( Option Analysis ). El número de aciertos (A) correspondería con el número total que han elegido la opción correcta mientras que los errores (E) se calcularía restando los aciertos al número total de sujetos (N).
Como ejemplo vamos a calcular el índice de dificultad del ítem 1 utilizando la segunda fórmula (que tiene en cuenta los errores):
Como vemos esta puntuación se encontraría dentro de nuestro intervalo 0.36-0.96, por lo que su índice de dificultad sería razonable.
La primera de estas fórmulas no es recomendable ya que no tiene en cuenta ni los errores ni las omisiones a la hora de calcular el índice de dificultad de un ítem.
RESUMEN de cómo depurar un test con el programa TAP:
Abrir archivo con TAP y pulsar Close and Analyze.
Calcular el intervalo de dificultad aceptable (depende del número de alternativas) con:
Ir a la ventana de resultados pulsando F6 y comprobar qué ítems debemos eliminar (aquellos cuyo Item Diff. no esté en dicho intervalo).
Pulsar Go To Data Editor y en Include colocar una “n” en los ítems que se vayan a eliminar.
Cerrar y analizar. Desde F6 podemos ver las puntuaciones biserales e ir eliminando UNA A UNA las más bajas (si la puntuación es la misma en dos ítems estos se eliminan a la vez).
Repetir el paso anterior hasta que la puntuación biseral de todos los ítems esté por encima de 0.20.
Comprobar el índice de dificultad global ( Mean Item Difficulty ), debe ser superior al obtenido con esta fórmula:
Comprobar fiabilidad del test ( KR20 - Alpha ). Debe ser superior a 0.7, cuanto más alta, mejor.
