¡Descarga Psicometría tema 2 y más Apuntes en PDF de Psicometría solo en Docsity!
Tema 2: Construcción de test y análisis de ítems.
Construcción de test
Fases en la construcción de un test
- Definición del constructo a medir:
Saber qué queremos medir, definir muy bien el ámbito de aplicación, las técnicas para medir,...
Definición operativa: Hay que definir el constructo que se quiere medir y tiene que aparecer esta definición en el informe. En los test de rendimiento típico las definiciones se apoyan en teorías psicológicas, mientras que en los de conocimientos no tiene por qué. En esta definición debe constar:
- Dimensiones o componentes: Apoyo en las teorías psicológicas. Ejemplo: personalidad de las marcas comerciales: componentes de sinceridad, entusiasmo, competencia y sofisticación.
- Población a la que se aplicará: En función de ésta pueden usarse unos métodos de respuesta u otros, así como distintos vocabularios,... (no es lo mismo un test para un adulto que para un niño de 10 años). Hay que ajustar los ítems a la población.
- Contexto de aplicación: Hay que adaptar el test al contexto.
- Decisiones u objetivos: No es lo mismo un test para decidir unas cosas u otras (ej.: si un niño ha superado una materia o si necesita ir a un colegio especial)
- Acomodaciones: Tener en cuenta las condiciones especiales de la persona que hace el test (tema 1)
Debe hacer una tabla de especificaciones Nos permite definir el constructo, una vez decidido lo que vamos a medir se hace una tabla como esta.
Los contenidos de este ejemplo son de un examen de geografía en el que se quieren medir estos contenidos. Al cruzar las dos variables aparecen las celdillas en las que se incluyen los ítems que queremos que haya en cada celdilla, cada ítem tiene que medir un objetivo y un contenido (en la práctica es preferible que haya dos ítems por celdilla, como mucho tres, ya que hay que hacer sólo once ítems, así que tampoco hacer muchos objetivos o contenidos). Los objetivos instruccionales reflejan distintos grados de comprensión de los conocimientos:
- D1: Conocimiento Solo necesita de memoria para responder correctamente. Las habilidades que mide son recuerdo y reconocimiento. Es el nivel menos profundo y también el más común, ya que son los más fáciles de redactar, aunque miden las destrezas más bajas.
- D2: Comprensión Las habilidades que mide son: resumir o explicar.
- D3: Aplicación Las habilidades que mide son realizar operaciones y resolver problemas. Es el nivel más profundo y elevado de pensamiento.
Los tres primeros niveles suelen medirse con respuesta seleccionada o corta, los otros tres se miden mejo con respuestas extensas ya que van aumentando en dificultad y profundidad.
- Construcción provisional (generar ítems)
TRO (rendimiento óptimo) TRT (rendimiento típico) Formato más usual Opción múltiple o respuesta construida
Categorías ordenadas (frecuencia o acuerdo) muy de acuerdo, nada de acuerdo,… Tiempo de administración Velocidad o potencia Sin tiempo límite Respuesta en blanco Hay que diferenciar entre omisiones porque no lo sabes e ítems no alcanzados porque no ha dado tiempo
Imputación estadística si hay muchas respuestas en blanco
■ Evitar le excesiva complejidad del enunciado. La sintaxis no debe oscurecer el contenido evaluado. Evitar el uso de negaciones en el enunciado y, si se usan, destacarlas.
■ Evitar la textualidad.
■ Centrarse en un contenido simple.
■ Anticipar la dificultad de las cuestiones, e incluir variedad.
■ Evitar errores ortográficos y gramaticales.
■ Evitar proporcionar indicios sobre la solución (pistas semánticas, gramaticales)
■ Mantenga el contenido de cada ítem independiente del resto de los ítems.
- Las opciones de respuesta
■ Evitar el formato horizontal. Las opciones deben presentarse en vertical: facilita su lectura.
■ Una opción correcta y dos distractores plausibles es suficiente. Pueden emplearse los errores más comunes de los estudiantes o usar frases que son verdaderas para otras preguntas. Evitar alternativas “graciosas” o que no serían elegidas por nadie.
■ Evitar opciones de respuesta que no se asemejan formalmente (de longitud y lenguaje parecidos.)
■ Comprobar la ubicación de la alternativa correcta y repartir la opción correcta entre las distintas ubicaciones.
■ Ordenar las opciones del ítem de modo coherente.
■ Las opciones deben ser autónomas entre sí, sin solaparse. Evitar opciones del tipo “todas las anteriores son correctas” y “ninguna de las anteriores es correcta”.
■ Cuidado con fomentar otras estrategias ilegítimas de acierto: opciones antagónicas, opciones que se diferencian sólo en una palabra, afirmaciones excesivamente categóricas.
- Cuantificación de respuestas:
■ Opción múltiple: 1 = acierto; 0 = error
■ Verdadero/ falso: 1 = acierto; 0 = error
Recomendaciones para la redacción de ítems de opción múltiple (22 recomendaciones)
1) Cada ítem debería estar basado en un tipo de contenido y de demanda cognitiva.
2) Utilice material novedoso para poder examinar un nivel alto de pensamiento.
3) Mantenga el contenido de cada ítem independiente del contenido del resto de ítems del test.
4 ) Cada ítem debe basarse en contenidos importantes. Evite contenidos demasiado específicos o demasiado generales.
5) Evite que los ítems estén basados en opiniones a menos que sean cualificadas.
6) Evitar ítems con “truco” (engañosos).
7) Construya el ítem verticalmente en vez de horizontalmente.
8) Edite y corrija los ítems.
9) Mantenga una complejidad lingüística apropiada para el grupo que está siendo evaluado.
10) Reduzca al máximo la cantidad de lectura de cada ítem. Evite la palabrería excesiva.
11) Incluya la idea central clara y concisamente en el enunciado y no en las opciones.
12) Exprese el enunciado de manera afirmativa, evitando frases negativas.
- Referidas a las opciones:
13) Use opciones que sean plausibles y discriminativas. Usualmente con tres opciones es suficiente.
14) Asegúrese que sólo una de esas opciones es la respuesta correcta.
15) Varíe la colocación de la respuesta correcta entre las opciones posibles.
16) Coloque las opciones en un orden lógico o numérico.
17) Mantenga las opciones independientes. No deben solaparse.
18) Evite usar las opciones ninguna de las anteriores , todas las anteriores - y no lo sé.
19) Escriba las opciones de forma afirmativa, evite términos negativos tales como NO.
20) Evite dar pistas sobre la respuesta correcta, tales como:
Ejemplo: escala de calidad de vida
‐ Me siento apoyado por mi familia
- En desacuerdo( )
- Indeciso ( )
- De acuerdo ( )
‐ Mi vida carece de sentido
- En desacuerdo( )
- Indeciso ( )
- De acuerdo ( )
Media en ítems de TRT
- Cuantificación entre 1 y K: media entre 1 y K. La media de un ítem TRT nunca puede ser menor de 1 ni mayor del número de ítems (K).
- Valores extremos se asocian a varianzas bajas. Si la media es extrema (cerca de 1 o cerca de K) quiere decir que no hay mucha variabilidad en las respuestas (todas las personas puntúan o cerca de 1 o cerca de K, están concentradas), mientras que los valores medios lo contrario.
- Ejemplo: A continuación se ofrece parte del archivo de resultados del análisis de una escala. Tras examinar los resultados indique:
La escala es un test de rendimiento Se sabe que es un TRT porque la media es mayor que 1, en un TRO la media estaría entre 0 y 1 pues estas son las puntuaciones posibles. La puntuación máxima que se puede asignar a un ítem es… a) 3 b) 5 c) 7 Necesariamente tiene que haber más de cinco categorías de respuesta porque hay una media mayor que cinco.
Varianza en ítems de TRT
- Depende del valor de K. El valor mínimo de la varianza de cualquier variable es 0 y el valor máximo es infinito, aunque en los TRT depende del número de categorías (K). La máxima variabilidad se produce cuando la mitad de las personas van a un extremo y la otra mitad van al contrario, no cuando están todos repartidos. Hay que calcular una fórmula que tenga este patrón para saber cuál es el valor máximo posible de la varianza en el caso a tratar. Al interpretar la varianza siempre hay que tener en cuenta su valor máximo para saber si es alta o baja.
- Ejemplo: varianza máx. en un ítem con 4 categorías.
-->
Esta es la fórmula más común, que ya conocemos, pero la siguiente es muy útil.
--> Aquí hacemos la segunda fórmula (la de la varianza) para conseguir la máxima variabilidad (la mitad de las personas puntúan 1 y la otra mitad 4), así se sabe si la variabilidad que sale es muy alta o no.
Que el ítem tenga mucha variabilidad es buena señal, significa que discrimina entre los niveles de rasgo de las personas dentro de ese rasgo.
- Ejemplo: test de agresividad
Ítem 1 participo en peleas
Ítem 2 discuto con la gente
(Ej: para tener puntuación alta en participante en peleas hay que ser bastante violento por lo que su media sería baja ya que todo el mundo contestaría que no, sin embargo en discutir con gente la media sería más alta ya que no eres muy violento por participar en discusiones).
Índice de dificultad (Pj)
Pj = Aj/nj Proporción de aciertos en el ítem J, el índice de dificultad es como una media --> aciertos en el ítem J entre número de personas que responden al ítem J. Se encuentra entre 0 y 1. Índice de dificultad 0 es que nadie acierta (muy difícil) y uno que aciertan todos (muy fácil), entre medias son porcentajes. Si es 0 o 1 la varianza es 0 ya que no hay variabilidad. A mayor índice de dificultad el ítem es más fácil y al revés. El valor de este índice depende de la muestra (un ítem resultará más difícil a niños de tres años que a adultos, por ejemplo).
Índice de dificultad corregido (Pcj)
Como estamos en un TRO K = las opciones de respuesta; Fj son los fallos en el ítem; Nj las personas que responden al ítem. Si no hay fallos Pcj= Pj. Sirve para descontar los aciertos por azar.
Cuanto más baja sea la media, habrá que tener más nivel de rasgo para alcanzar una puntuación elevada en el ítem. La media es un indicador de la dificultad de estar de acuerdo con el ítem: si la media de un ítem es muy baja quiere decir que hay que tener un nivel muy alto del rasgo para tener una puntuación alta.
0,25 – 3/4 = 0 (siempre que sale negativo es 0)
