¡Descarga Análisis de ítems en pruebas psicométricas: dificultad, discriminación y fiabilidad. y más Apuntes en PDF de Psicometría solo en Docsity!
ANÀLISI D’ÍTEMS
Lectures: 1 BARBERO, 2 MUNIZ, 3 ABAD Un test esta format per una sèrie d’ítem La puntuació de test ens servirà per escalar el constructe. Els ítems han de ser bons indicadors per mesurar el constructe. L’anàlisi d’ítems consta de 2 fases:
- Anàlisi qualitatiu: es basa en judici d’experts sobre les característiques substancials, estilístiques, d’adequació i d’imparcialitat. Caldrà valorar: - Adequació del contingut - Format dels ítems per a la població diana i finalitat del test - Claredat en el redactat - Correcció gramatical - Seguiment de les regles bàsiques de redacció d’ítems
- Anàlisi quantitatiu: Càlcul d’indicadors per estudiar les característiques psicomètriques dels ítems a partir de les respostes obtingudes en mostres. Administrar el test i veure si els ítems es comporten de la manera que volem. - Índex de dificultat (ID) - Índex de discriminació (D) - Anàlisi dels distractors - Índex de fiabilitat - Índex de validesa Directrius per a la construcció dels ítems del test
- Definir l’objectiu de l’avaluació. Decidir quin constructe volem avaluar. Si s’utilitzarà per fer prediccions o per altres.
- Context en què s’utilitzaran els ítems (població objectiu, tipus d’administració i condicions en les que s’administrarà el test). Si fa falta ordinador, si no,...
- Domini i context d’interès. Determinar els nivells del constructe que volem mesurar i escollir els indicadors que el representen. **Tipus de test:
- Test de rendiment típic** No hi ha respostes correctes ni incorrectes i el temps no te rellevància. El que es pretén valorar es l’opinió, la preferència,... 2. Test de rendiment òptim o màxim Mesuren aptituds. Les respostes que pot donar l’individu son correctes o incorrectes.
2.1 Test de velocitat 2.2 Test de potència Es fixa un temps d’administració per a Es dona temps suficient per a que l’individu que sigui difícil resoldre els ítems. doni resposta meditada. l’objectiu es acertar. Son tasques molt fàcils. Velocitat viso motora. Mesura intel·ligència no verbal. Veure les........
. característiques dels Ítems. **Elaboració dels ítems del test
- Tancat o d’elecció:** la persona escull 1 o diverses alternatives
- Elecció binària
- Elecció múltiple
- Aparellament
- Format incomplet (cloze)
- Escales de classificació (rating scales)
- Llistats (checklists) 2. Obert o de construcció: l’individu elabora la seva pròpia resposta
- Resposta extensa
- Resposta curta Recomanacions per a la construcció d’ítems de resposta múltiple I (ex: examen tipus test)
- Contingut:
- Cada ítem dirigit a avaluar un únic aspecte.
- Parafrasejar material que ha de ser avaluat.
- Cada ítem ha de ser independent de la resta d’ítems del test.
- Avaluar contingut rellevant.
- Opcions clares, unívoques i indiscutibles.
- Evitar ítems “trampa”.
- Format:
- Alternatives en format vertical.
- Estil:
- Revisar aspectes gramaticals i ortogràfics.
- Complexitat del llenguatge ajustada a les persones avaluades.
- Brevetat.
- Redacció de l’enunciat:
- Idea central en l’enunciat i no en les alternatives.
- Expressar l’enunciat en termes positius.
- Redacció de les alternatives:
- Alternatives plausibles i discriminatives.
Exercici: Índex de Dificultat sense corregir per atzar Comproveu que la mitjana del test equival a la suma dels ID 1.2 ID corregit per atzar (per test de velocitat i de potència). 1 resposta correcta. A= encerts (1) E=errors (0) k=alternatives N=varia si es test de potencia o velocitat. A la potencia son el nombre total de persones que han intentat contestar a l’ítem (tots) i al de velocitat es el total d’individus que han contestat. X-> No contestat 1.2.1Test de potència: On N és el total d’individus que han intentat contestar l’ítem 1.2.2Test de velocitat: On N és el total d’individus que han contestat l’ítem Exemple test potencia : es conta encert i error i si no contesten. Sempre es el total. de intents (persones). a) a)Primer la resta parèntesis k-1, després divisió E/k-1, després la resta A-.. L’ítem mes fàcil es el 4.
b)La mitjana també ha de donar igual al sumatori de l’índex de dificultat de cada ítem. b) Exemple test de velocitat : La n no es el total de persones sinó les que han respost. el 6 es el mes difícil. Aquí la mitjana no dona igual al sumatori. Exercici: Índex de Dificultat corregit per atzar Test de potència
Com es decideix el grup inferior i superior? Amb la mediana. 50%. Altres propostes-> q1 i q3 (25%), kelley... Exemple: D basat en la diferència de les proporcions d’encert o respostes positives Grups basats en la mediana (50%) A partir de la puntuació total, s’ordena a partir de 3,5 (mediana de 6 ítems) en aquest cas serà inferior o superior. La suma de ns i ni es fa mirant si ha encertat el sp o inferior. Interpretació: Bona capacitat de discriminació-> 6 i 1 i 3 Si dona 0-> eliminar o modificar completament. Exercici: D basat en la diferència de les proporcions d’encert o respostes positives Índex de discriminació de l’ítem 1: Md= 4,
Índex de Disciminació (D) basats en la correlació ítem-test Rang: - 1 ≤ D ≤ 1, D=1: màxima capacitat discriminativa Tenen en compte la puntuació total i la del Ítem. (Ítem inclòs en el total). Hem de restar l’Ítem de la puntuació total. Hem de utilitzar la correlació biserial-puntual. (Restar la puntuació de l’ítem en la del test o utilitzar la fórmula de correcció de la correlació) Exemple: Correlació biserial-puntual
- Índex de discriminació rbp de l’Ítem 4? Primer calculem la puntuació total en la columna, i en la del costat restant l’ítem. Mitjana puntuacions dels individus que encerten l’item-> Xp (nomes agafem els que encerten l’ítem 4) La mitjana de totes les persones que han contestat l’item, independentment si encerten o no-> X. = 2, Sx-> desviació total de la puntuació total del test. A tots els valors de la variable elevarlos a 2.= 1, Rbp-> correlació biserial puntual = 0,27-> utilitzar criteris de Ebel & Frisbie per valorar aquest resultat.
Correcció de la correlació En cas de no haver eliminat l’ítem per calcular la correlació, caldrà aplicar la correcció següent: Si subíndex es x-> test i si es j-> item. Sx Sj. (desviació típica test i item) Exercici: Correlació biserial-puntual. Ítem 6 (sense restar puntuació de l’ítem – aplicant la correcció de la correlació) Comparació de resultats. Restar i no restar l’ítem Correlació biserial puntual. Ítem 6 (sense restar puntuació de l’ítem – aplicant la correcció de la correlació)
Comparació de resultats. Restar i no restar l’ítem Relacions entre indicadors Variabilitat i dificultat Què ocorre si tothom encerta un ítem? I si tothom el falla? → L’ítem no és útil per establir diferències entre persones En ítems dicotòmics (1 = encert i 0 = error)... On: p proporció d’encerts q proporció d’errors (1-p) màxima quan p = 0,5 i q = 0,5 → IDj = 0, s’aproxima al valor màxim quan els ID dels ítems que composen el test són més propers a 0, Variabilitat i discriminació Ítem pot discriminar si Mesura del poder discriminatiu d’un test → Dificultat i discriminació La variància de l’item ens mostra la dificultat de l’item. (Els valors que pot prendre l’índex de discriminació d’un ítem depèn del valor de l’índex de dificultat.) Dificultat i variabilitat estan molt relacionades. Si la dificultat es baixa la variabilitat es baixa i el índex de discriminació també. Items que no descriminen no serveixen. Es adequat quan la seva dificultat es mitjana, ni molt difícil ni molt fàcil, al voltant del ,5.
- Ítem fàcil → permet discriminar entre les persones amb nivells baixos en el tret mesurat (puntuacions baixes)
- Ítem difícil → permet discriminar entre les persones amb nivells elevats en el tret mesurat (puntuacions altes)
L’alternativa A és escollida per un percentatge massa baix de persones L’alternativa D és escollida amb major proporció pel grup superior que pel grup inferior Exemple: Anàlisi dels distractors a partir de D p.49-> si es un índex de discriminació, sempre hauria de ser positiu però en aquest cas, busquem que sigu el grup inferior el que major seleccioni la alternativa arronea. Volem que el resultat de discriminació sigui negatiu aquí, això voldrà dir que els del grup inferior seleccionen mes la alternativa distractora. Si dona 0 vol dir que han respost per igual, això no ens interesa, volem que el inferior seleccioni mes les respostes distractores. Si dona positiu, no ens interesa, reformulem. Exercici: Anàlisi dels distractors a partir de D L’alternativa C és escollida amb major proporció pel grup superior que pel grup inferior
4. Índex de fiabilitat de l’ítem Estimació de la fiabilitat amb la que l’ítem mesura la característica que mesura el test en conjunt. Ve donat de sj (desv d¡típica de les puntuacions de l’item) i dj (index de discriminació de l’item).
5. Índex de validesa de l’ítem
- Contribució de l’ítem en la predicció d’una variable externa (criteri)
- Correlació de l’ítem amb un criteri extern
- El tipus de correlació està en funció del tipus d’ítem i el tipus de criteri Estimació de la validesa de l’ítem. Vol fer prediccions respecte a una variable externa. Correlacionem cada un dels items amb una variable externa (criteri extern). El coeficient de correlació dependra de l’item i el criteri. Mes allunyat de 0, mes forta la correlació entre item i criteri . com mes alt, mes relació i mes capacitat de l’item en relació al criteri. Exemple: criteri quantitatiu i item dicotòmic. Qüestionari de depressió. Correlaciono l’item amb un criteri exern= index d’ansietat. Xp= Primer agafem les persones que han encertat a l’item. Aquí no restem la puntuació de l’item, perquè en aquest test es una variable externa (test ansietat, no del test) Si elevem el resultat de la correlació biserial - > coeficient de determinació, també seria alt. Amb això, podem fer prediccions amb puntuacions d’un test. Amb aquest resultat tindríem un excel·lent resultat de predicció.
