Docsity
Docsity
Prepara tus exámenes
Prepara tus exámenes

Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity

Consigue puntos base para descargar
Consigue puntos base para descargar

Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium

Orientación Universidad
Orientación Universidad
Vende en Docsity
Vende en Docsity
Docsity AI
Docsity AI
Inicia sesiónRegístrate

Prepara tus exámenes

Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity

Busca documentos

Prepara tus exámenes con los documentos que comparten otros estudiantes como tú en Docsity

Busca tu universidad

Encuentra los documentos específicos para los exámenes de tu universidad

Video Cursos

Estudia con lecciones y exámenes resueltos basados en los programas académicos de las mejores universidades

Quiz

Responde a preguntas de exámenes reales y pon a prueba tu preparación

Docsity AINEW

Resume tus documentos, hazles preguntas, conviértelos en quiz y mapas conceptuales

Ver preguntas

Despeja tus dudas leyendo las respuestas a las preguntas que realizaron otros estudiantes como tú

Consigue puntos base para descargar

Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium

Compartir documentos
download point icon20 Puntos

Por cada documento subido

Responde a las preguntas
download point icon5 Puntos

por cada respuesta dada (máx. 1 al día)

Todos los modos para conseguir puntos gratis
Consigue puntos de inmediato

Elige un plan Premium con todos los puntos que necesitas.

Oportunidades de estudio

Elige tu próximo programa de estudio

Ponte en contacto inmediatamente con las mejores universidades del mundo. Busca entre miles de universidades en todo el mundo. Busca entre miles de universidades partner oficiales

Comunidad

Pregúntale a la comunidad

Pide ayuda a la comunidad y resuelve tus dudas de estudio

Ebooks gratuitos

¡Nuestros e-books salva-estudiantes!

Descarga nuestras guías gratuitas sobre técnicas de estudio, métodos para controlar la ansiedad y consejos para la tesis preparadas por los tutores de Docsity

Análisis de Items: Creación y Análisis de Preguntas para el Diseño de Pruebas - Prof. Guil, Apuntes de Psicometría

Universitat de Barcelona (UB)Psicometría
Prof. Georgina Guilera Ferré

Direcciones para la construcción de ítems de pruebas, incluyendo la definición específica del objetivo de evaluación, el contexto, el dominio y el nivel de interés, y el tipo de prueba (rendimiento óptimo o típico). Además, se detalla el proceso de elaboración de ítems, las recomendaciones para la creación de ítems de respuesta múltiple, y el análisis de calidad de los ítems a través de niveles de calidad qualitativa y cuantitativa. Se abordan conceptos como fiabilidad, validez, índice de dificultad, índice de discriminación, y análisis de distractors.

Tipo: Apuntes

2016/2017

Subido el 24/04/2017

laurareina-1
laurareina-1 🇪🇸

4.2

(148)

27 documentos

1 / 11

Toggle sidebar

Esta página no es visible en la vista previa

¡No te pierdas las partes importantes!

bg1
2. ANÀLISI D’ÍTEMS
Directrius per la construcció dels ítems del test:
-Definir de forma molt específica l’objectiu d’avaluació: l’objectiu de la creació del test.
-Especificar el context en que s’utilitzaran els ítems: població objectiu, circumstàncies
ambientals en que s’aplicaràn,…
-Domini i context d’interès -> nivells constructe + indicadors -> continguts: del
constructe he de donar una definició i mesurar quins nivells volem mesurar per fer preguntes
relacionades amb els seus indicadors.
Segons quina variable estudii el test en trobem de 2 tipus:
Test rendiment òptim o màxim: mesuren variables cognitives on tenim respostes correctes o
incorrectes (test inteligencia, examen de psicometria etc).
Test de rendiment típic: mesuren variables afectives i no tenim respostes correctes o incorrectes
(motivació, interessos, etc).
ELABORACIÓ DELS ÍTEMS DEL TEST
Els ítems poden ser de molts dipus diferents segons la seva tipologia de resposta:
Tancats o d’elecció
-Elecció binària: cal escollir l’alternativa correcte d’entre dues respostes.
-Elecció múltiple: s’escull entre les diverses opcions de resposta.*
-Aparellament: relacionar paralules de 2 columnes (aparellar).
-Format incomplert: posar cada una de les alternatives donades al seu lloc corresponent.
-Escales de classificació (rating scales/Lickert): no hi han respostes correctes o incorrectes, sino
respostes en escala gradual (T.d’acors……T.desacord).
Oberts o de construcció (no ens proporcionen cap alternativa de resposta)
-Resposta extensa
-Resposta curta
*Recomanacions per la confecció d’ítems de resposta múltiple:
- Cada ítem dirigit a avaluar un únic problema.
-Plausibilitat de les alternatives incorrectes, també anomenades distractors: les alternatives
incorrectes han de ser igualment atraients per a una persona que no sap la resposta correcta.
-Ubicació a l’atzar de l’alternativa correcta.
-Evitar ítems que es puguin contestar de froma lògica o amb sentit comú.
-No repetir paraules o expressions per cada alternativa.
-Mateixa longitud de les alternatives.
-No utilitzar com alternativa: totes les anteriors o cap de les anteriors.
-Evitar negacions dobles (en l’enunciat i en l’alternativa)
pf3
pf4
pf5
pf8
pf9
pfa

Vista previa parcial del texto

¡Descarga Análisis de Items: Creación y Análisis de Preguntas para el Diseño de Pruebas - Prof. Guil y más Apuntes en PDF de Psicometría solo en Docsity!

2. ANÀLISI D’ÍTEMS

Directrius per la construcció dels ítems del test:

  • (^) Definir de forma molt específica l’ objectiu d’avaluació: l’objectiu de la creació del test.
  • (^) Especificar el context en que s’utilitzaran els ítems: població objectiu, circumstàncies ambientals en que s’aplicaràn,…
  • (^) Domini i context d’interès -> nivells constructe + indicadors -> continguts: del constructe he de donar una definició i mesurar quins nivells volem mesurar per fer preguntes relacionades amb els seus indicadors. Segons quina variable estudii el test en trobem de 2 tipus: Test rendiment òptim o màxim: mesuren variables cognitives on tenim respostes correctes o incorrectes (test inteligencia, examen de psicometria etc). Test de rendiment típic: mesuren variables afectives i no tenim respostes correctes o incorrectes (motivació, interessos, etc). ELABORACIÓ DELS ÍTEMS DEL TEST Els ítems poden ser de molts dipus diferents segons la seva tipologia de resposta: Tancats o d’elecció
  • (^) Elecció binària: cal escollir l’alternativa correcte d’entre dues respostes.
  • (^) Elecció múltiple: s’escull entre les diverses opcions de resposta. *****
  • (^) Aparellament: relacionar paralules de 2 columnes (aparellar).
  • (^) Format incomplert: posar cada una de les alternatives donades al seu lloc corresponent.
  • (^) Escales de classificació (rating scales/Lickert): no hi han respostes correctes o incorrectes, sino respostes en escala gradual (T.d’acors……T.desacord). Oberts o de construcció (no ens proporcionen cap alternativa de resposta)
  • (^) Resposta extensa
  • (^) Resposta curta _Recomanacions per la confecció d’ítems de resposta múltiple:_*
  • Cada ítem dirigit a avaluar un únic problema.
  • (^) Plausibilitat de les alternatives incorrectes, també anomenades distractors: les alternatives incorrectes han de ser igualment atraients per a una persona que no sap la resposta correcta.
  • (^) Ubicació a l’atzar de l’alternativa correcta.
  • (^) Evitar ítems que es puguin contestar de froma lògica o amb sentit comú.
  • (^) No repetir paraules o expressions per cada alternativa.
  • (^) Mateixa longitud de les alternatives.
  • (^) No utilitzar com alternativa: totes les anteriors o cap de les anteriors.
  • (^) Evitar negacions dobles (en l’enunciat i en l’alternativa)

ANÀLISI D’ÍTEMS: PASSOS (control de qualitat) Alhora de fer el test, elaborem molts més ítems dels necessaris que hauran de passar per un control de calitat per quedar-me amb el més adequat. Hauràn de passar per dos nivells de qualitat: Nivell 1 -> QUALITATIU: puntuació i valoració dels ítems per part d’experts. Nivell 2 -> QUANTITATIU (anàlisi d’ítems): apliquem tots els ítems que hem elaborat i fem una prova pilot a una petita part de la població a la qual va dirigit el test. Registrem les respostes i analitzem quantitativament com estan mesurats els ítems. L’anàlisi quantitatiu te 6 parts:

  1. Decidir les principals propietats de les puntuacions del test.
  2. Identificar les anàlisis d’ítems més rellevants per a aquestes propietats (aquelles que si calcularem).
  3. Administrar els ítems a una mostra representativa de la població a la qual està dirigit el test.
  4. Estimar les anàlisis identificades en el pas 2 per cada un dels ítems (calcular-les).
  5. Establir un pla per a la selecció d’ítems. Identificar i revisar els que funcionen malament: l’investigador ha de marcar un criteri per saber quins ítems funcionen bé o malament (ex: a partir de 0,6 està bé).
  6. Seleccionar el bloc final d’ítems. Indicadors clàssics de l’anàlisi d’ítems
  • (^) Fiabilitat de l’ítem -> precissio amb que mesura l’item
  • (^) Validesa -> capacitat de litem per predir una variab externa
  • (^) Índex de dificultat -> indica el grau de dificultat de l’ítem (test de rendiment òptim)
  • (^) Índex de dificultat (ID) (1-0) L’índex de dificultat indica el grau de dificultat de l’ítem i serveix per als tests de rendiment òptim. Sempre oscil·larà entre 1 (molt senzill / tothom encerta) i 0 (molt difícil-ningú lencerta). Com més baix és l’índex de dificultat (més proper a 0), més difícil serà l’item (ex: 0,20 implica que un 20% ha resolt correctament l’ítem). ID sense corregir per atzar: s’utilitza quan el format de l’item no admet l’encert per atzar (ex. el nom del president és…). ID corregit per atzar: s’aplica en els ítems que permeten la probabilitat d’acertar per atzar (ex. en elecció múltiple) i, per tant, cal corregir-ho. La puntuació corregida (Pc): En molts casos, la mitjana de la puntuació de molts individus és igual a la suma de l’índex de dificultat.

k = Total d’alternatives de resposta

A = persones que han encertat l’ítem

E = persones que han errat l’ítem

N = nª de persones que l’han intentat resoldre

- (^) Índex de Discriminació (0 a -1) L’Índex de Discriminació avalua que els ítems siguin capaços de posar de manifest les diferències individuals entre subjectes en la variable que mesurem, es a dir, si l’ítem per si sol es capaç de distingir entre epersones amb puntuacions altes i puntuacions baixes. Això implica que l’ítem té poder discriminant. Si els subjectes que tenen un nivell alt en la variable encerten més l’ítem/obtenen puntuacions més elevades que els subjectes que tenen un nivell baix en la variable. Aquest tipus d’indicador es pot mesurar tant amb test de rendiment òptim o test de rendiment típic. Per avaular la capcitat discriminativa, estem posant en realció la direcció de resposta a un ítem concret i la puntuació total del test. Tenim 2 formes de calcuar l’índex de discriminació:

  • (^) Índex basat en la diferència de les proporcions d’encert o de respostes positives a l’ítem (menys precís): Consisteix en dividir el grup de subjectes en dos, grup inferior (puntuacions baixes en el test) i grup superior (puntuacions altes en el test). En cada grup ens fixem en el nombre d’encerts o les respostes positives, esperant que el grup superior encerti / respongui positivament més cops que el grup inferior. MÀX capacitat discriminativa = 1, quan tots els subjectes del grup superior donen repsosta positiva i els inferiors tots negativa. MÍN capcitat discriminativa = 0, quan no hi ha relació entre ser del grup superior i encertar / respontre + o ser del grup inferior i fallar / respondre -. Seria una capacitat discriminativa de -1 quan tots els subjectes del grup superior fallesin i tots els de l’inferior encertessin. Criteris Ebel i Frisbie per valorar la capacitat de discriminació (=criteris de Cohen): El que ens interesa és quedar-nos amb els ítems que millor discriminen. Ara bé, com determinem qui pertany al grup superior i qui a l’inferior?
    • (^) Mediana:
  • (^) Q1 i Q3:
  • (^) Criteris de Kelly: crtiteri més optim 27% inferior i superior. Exemple: Exercici:
  • (^) Índex basats en les correlacions ítem-test (més òptim): Consisteix a mesurar les correlacions entre la puntuació de l’ítem i la puntuació total del test. Podem aplicar aquest procediment de 2 maneres:
  1. Restar a la puntuació total del test amb la puntuació de l’ítem ja que si correlaciono una variable amb una altre que ja inclou la primera, estarem sobrevaloran una mica la correlació.
  2. Calcular la correlació sense restar la puntuació de l’ítem a la puntuació total i després aplicar un coeficient de correlació adequat per a les variables. Si una persona té depressió, davant de l’ítem de l’exemple esperariem una correlació d’1, es a dir, una correspondència perfecte entre la puntuació de l’ítem amb la puntuació total d’encert. Exemple: Estic trist T.d’acord …………………………T.desacord 5 4 3 2 1

Exemple: CORRELACIÓ BISERAL - PUNTUAL (rbp Ítem 4) Exercici: CORRELACIÓ BISERAL - PUNTUAL (rbp Ítem 6) Recordem que una altre manera de treure la sobreestimació era calcular la correlació i, un cop calculada, corregir-la amb un coeficient de correlació. NOTA: Cal recordar que la variància per variables dicotòmiques:

Exercici: CORRELACIÓ BISERAL - PUNTUAL (rbp item 6) sense restar la puntuació del item aplicant la correcció de la correlació Relacions entre indicadors a) Variabilitat i dificultat Perquè un ítem pugui discriminar entre els subjectes necessitem variabilitat en les respostes dels individus a l’ítem, es a dir, els individus han d’escollir diferents opcions de resposta de l’ítem. En ítems dicotòmics, la variabilitat en la resposta de l’ítem (variància) serà màxima quan p=0, (prop encerts) i q=0,5 (prop errors), es a dir, quan l’índex de dificultat sigui 0,5 de mitjana. b) Dificultat i discriminació Un ítem molt difícil em permet discriminar entre persones amb un nivell molt alt en el test, mentre que un ítem fàcil no ens permetria fer-ho. Això ens mostra que, la màxima capacitat discriminativa en un test sencer quan la majora d’ítems son de dificultat mitjana (0,5), utilitzem uns pocs ítems fàcils per discriminar les persones amb nivells baixos, i uns quants ítems difícils per discriminar les persones amb més nivell.

- (^) Anàlisi de Distractors: Els distractors s’utilitzen per distreure al subjecte i el que podem mesurar és si aquests distreuen de la mateixa forma o en mateixa mesura, ja que en principi, una persona que no sap la resposta a l’ítem s’hauría de sentir atreta per igual davant totes les respostes d’aquest. Perque un distractor específic sigui adequat, s’han de complir tres coses: - (^) Han de ser escollits almenys per una persona: no pot ser que ningú esculli una opció de l’ítem perque llavors perdem una alternativa de resposta. - (^) Els % de resposta de cada un dels distractors han de ser similars per demostrar que són equiparables, es a dir, que distreuen de la mateixa manera.

- (^) Índex de Fiabilitat de l’ítem: Estimació de la fiabilitat amb la que l’ítem mesura la característica que mesura el test en conjunt. Alhora de selccionar items cal escollir el de lIF més elevat (en termes absoluts) ja qu eno tenim punts de tall, ja que depenen de la puntuació de l’ítem. Perque així s’afavoreix a que el test sigui més faible. - (^) Índex de Validesa de l’ítem: Mesura la capacitat que té l’ítem per medir una variable externa al test anomenada criteri. L’index pot ser de 1 a -1.

Exemple: ÍNDEX DE VALIDESA DE L’ÍTEM