Docsity
Docsity
Prepara tus exámenes
Prepara tus exámenes

Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity

Consigue puntos base para descargar
Consigue puntos base para descargar

Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium

Orientación Universidad
Orientación Universidad
Vende en Docsity
Vende en Docsity
Docsity AI
Docsity AI
Inicia sesiónRegístrate

Prepara tus exámenes

Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity

Busca documentos

Prepara tus exámenes con los documentos que comparten otros estudiantes como tú en Docsity

Busca tu universidad

Encuentra los documentos específicos para los exámenes de tu universidad

Video Cursos

Estudia con lecciones y exámenes resueltos basados en los programas académicos de las mejores universidades

Quiz

Responde a preguntas de exámenes reales y pon a prueba tu preparación

Docsity AINEW

Resume tus documentos, hazles preguntas, conviértelos en quiz y mapas conceptuales

Ver preguntas

Despeja tus dudas leyendo las respuestas a las preguntas que realizaron otros estudiantes como tú

Consigue puntos base para descargar

Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium

Compartir documentos
download point icon20 Puntos

Por cada documento subido

Responde a las preguntas
download point icon5 Puntos

por cada respuesta dada (máx. 1 al día)

Todos los modos para conseguir puntos gratis
Consigue puntos de inmediato

Elige un plan Premium con todos los puntos que necesitas.

Oportunidades de estudio

Elige tu próximo programa de estudio

Ponte en contacto inmediatamente con las mejores universidades del mundo. Busca entre miles de universidades en todo el mundo. Busca entre miles de universidades partner oficiales

Comunidad

Pregúntale a la comunidad

Pide ayuda a la comunidad y resuelve tus dudas de estudio

Ebooks gratuitos

¡Nuestros e-books salva-estudiantes!

Descarga nuestras guías gratuitas sobre técnicas de estudio, métodos para controlar la ansiedad y consejos para la tesis preparadas por los tutores de Docsity

Análisis de Ítem: Evaluación de la Calidad de los Preguntas - Prof. Barrios, Apuntes de Psicometría

Universitat de Barcelona (UB)Psicometría
Prof. Mayte Barrios

El proceso de análisis de ítems en una prueba de evaluación, enfocándose en la calidad subjetiva de las preguntas. Se abordan temas como la adaptación al público objetivo, el tipo de elección y la plausibilidad de las opciones incorrectas. Además, se detallan pasos para la construcción de ítems, como definir el objeto de la evaluación y el contexto en que se utilizarán. Se incluyen ejemplos y consejos para evitar errores comunes en la creación de ítems.

Tipo: Apuntes

2018/2019

Subido el 07/09/2019

dana_romero
dana_romero 🇪🇸

4.5

(4)

20 documentos

1 / 17

Toggle sidebar

Esta página no es visible en la vista previa

¡No te pierdas las partes importantes!

bg1
TEMA 2- ANÀLISI D’ÍTEMS
Anàlisi qualitatiu
És el judici d’experts que valoren l’adequació de l’ítem i les característiques substancials,
estilístiques, d’adequació i d’imparcialitat. Caldrà valorar:
1. Adequació del contingut
2. Format dels ítems per a la població diana i finalitat del test
3. Claredat en el redactat
4. Correcció gramatical
5. Seguiment de les regles bàsiques e redacció d’items
Anàlisi quantitatiu
Càlcul d’indicadors per estudiar les característiques psicomètriques dels ítems a partir
de les respostes obtingudes en mostres
1. Índex de dificultat (ID)
2. Índex de discriminació (D)
3. Anàlisi dels distractors
4. Índex de fiabilitat
5. Índex de validesa
Directrius per la construcció dels ítems del test
• Definir l’objecte de l’avaluació
• Context en que s’utilitzaran els ítems (població objectiu, tipus d’administració i
condicions en el que s’administrarà el test)
• Domini i context d’interès. Determinar el nivell del constructe i escollir els
indicadors que el representin.
Test de rendiment típic valora aspectes opinió o de personalitat. En aquest test no hi
hauran respostes correcte so incorrectes perquè estem valorant una opinió
Test rendiment òptim/màxim son aquells que valoren capacitats, aptituds,
intel·ligència.. En aquests hi hauran preguntes amb alternatives de resposta que poden
ser correctes o incorrectes
pf3
pf4
pf5
pf8
pf9
pfa
pfd
pfe
pff

Vista previa parcial del texto

¡Descarga Análisis de Ítem: Evaluación de la Calidad de los Preguntas - Prof. Barrios y más Apuntes en PDF de Psicometría solo en Docsity!

TEMA 2- ANÀLISI D’ÍTEMS

Anàlisi qualitatiu És el judici d’experts que valoren l’adequació de l’ítem i les característiques substancials, estilístiques, d’adequació i d’imparcialitat. Caldrà valorar:

  1. Adequació del contingut
  2. Format dels ítems per a la població diana i finalitat del test
  3. Claredat en el redactat
  4. Correcció gramatical
  5. Seguiment de les regles bàsiques e redacció d’items Anàlisi quantitatiu Càlcul d’indicadors per estudiar les característiques psicomètriques dels ítems a partir de les respostes obtingudes en mostres
  6. Índex de dificultat (ID)
  7. Índex de discriminació (D)
  8. Anàlisi dels distractors
  9. Índex de fiabilitat
  10. Índex de validesa Directrius per la construcció dels ítems del test
  • Definir l’objecte de l’avaluació
  • Context en que s’utilitzaran els ítems (població objectiu, tipus d’administració i condicions en el que s’administrarà el test)
  • Domini i context d’interès. Determinar el nivell del constructe i escollir els indicadors que el representin. Test de rendiment típic valora aspectes opinió o de personalitat. En aquest test no hi hauran respostes correcte so incorrectes perquè estem valorant una opinió Test rendiment òptim/màxim son aquells que valoren capacitats, aptituds, intel·ligència.. En aquests hi hauran preguntes amb alternatives de resposta que poden ser correctes o incorrectes

ELABORACIO DELS ITEMS

Items d’elecció o tancat  el subjecte l’únic que ha de fer es assenyalar la categoria que pensa que es correcte. Hi ha diferents tipus de elecció:

  • Elecció binaria
  • Elecció múltiple diferents categories de resposta 1 correcta i diferents distractors. El subjecte nomes ha de seleccionar una resposta.
  • Aparellament
  • Format incomplet
  • Escales de classificació enunciat en el qual el subjecte ha de valorar on es posiciona en una escala des de molt d’acord a poc d’acord.
  • Llistats Items oberts  el subjecte ha d’elaborar una resposta:
  • Resposta extensa descripció d’alguna cosa
  • Resposta curta ha de contestar una cosa molt concreta EX. Quina es la seva edat?

PRINCIPALS RECOMANACIONS

  • Que cada ítem només valori un aspecte, en el moment en que trobem dos adjectius en un ítem o be una “i” o una “o” ens esta indicant que probablement l’enunciat estarà malament redactat. EX. Te sientes alegre i feliz?
  • Plausabilitat de les alternatives incorrectesSi en un ítem de resposta múltiple en el qual tens un enunciat i diferents categories de resposta i el dissenyes perquè hi hagi 1 correcte i diferents incorrectes hauria de distreure igualment a una persona que sap com a una que no sap. No pot ser que eliminis una resposta incorrecta per sentit comú.
  • Ubicacio de
  • Evitar items que es puguin

INDICADORS MES BASICS

  • Dificultat
  • Discriminació
  • Distractors
  • Fiabilitat de l’ítem
  • Validesa de l’ítem 1.ANALSI DEL INDEX DE DIFICULTAT
  • S’utilitza per un test de rendiment màxim o òptim. ID SENSE CORREGIR PER ATZAR ID  índex de dificultat sense corregir per atzar. Ens trobem en una situació amb diferents alternatives de resposta i estem valorant la seva dificultat. Aquest índex valora la proporció d’encert dividint el nombre d’encerts que ha tingut l’ítem entre el numero de persones que l’han respost.
  • Si ens trobem una proporció alta ID=0.8 podem deduir que l’ítem es fàcil. Alguns autors diuen que índex s’hauria de anomenar índex de facilitat ja que contra més alt més fàcil es l’ítem.
  • Si ens trobem amb un ID=0.2 trobem un ítem difícil ja que nomes un 20% de persones han resolt l’ítem correctament EXEMPLE
  • 0 vol dir que s’ha equivocat
  • 1 vol dir que ha encertat Columnes com es comporta aquest item A= encerts N= nombre d respostes q han respost l’ítem
  • ÍTEM 1  es encertat per 4 persones i trobem que l’índex de dificultats es 0. per tant no es ni difícil ni fàcil.
  • ÍTEM 2 ítem més fàcil ja que ha estat resolt correctament per un 87.5% de la mostra.
  • ÍTEM 3 item més difícil ja que nomes un 25% de la mostra ha estat capaç de resoldre-ho correctament. La mitjana de la puntuació total del test es igual a la suma dels índexs de dificultat. És a dir, si sumo aquests valors del índex de dificultat em donarà exactament 3.38 i si faig la mitjana de la puntuació total del test i els divideixo entre els subjectes tinc exactament el mateix valor. EXERCICI
  • ÍTEM 4 Més fàcil, índex de dificultat s’acosta més a 1
  • ÍTEMS 2 I 8 Més difícil ja que l’índex de dificultat s’acosta més a 0 PUNT CORREGIDA DEL SUBJECTE
  • Quan fem un examen tipus test i volem saber la nota que hem tret Pc= A-E/(K-1) En el cas de la imatge anterior el subjecte 1 treurà una nota de: 5 - 1/(5-1)= 4. EXERCICI PER CASA Primer es divideixen els errors i després es resten els encerts

TEST DE VELOCITAT dissenyat perquè ningú l’acabi, perquè cap subjecte arribi a l’últim item. Massa llarg. TEST DE POTENCIA estan dissenyats perquè ningú pugui resoldre els últims items. Massa difícil. INDEX DE DSCRIMINACIÓ

  • Un item que no es capaç de discernir entre els que presenten un nivell alt en el constructe dels que tenen un nivell baix.
  • NO ens serveix per mesurar, per tant, hem d’assegurar-nos que els items són capaços de discriminar i posen de manifest les diferencies individuals entre els subjectes que estem valorant.
  • Si un subjecte encerta l’item en principi la puntuació del test haurà de ser alta o si nosaltres tenim un subjecte amb una situació alta i ens fixem en un item concret haurem de pensar que aquell item l’ha encertat.
  • Hem de trobar una relació entre encertat o no l’item amb la puntuació del test. ALTA CAPACITAT Alta puntuació encert de l’item El càlcul hem podem fer a partir:
  1. Índex basat en la diferencia de les proporcions d’encert o respostes positives a l’item
  2. Índexs basats en les correlacions item-test Totes dues es basen en les següents correlacions:

Per tal de classificar les persones que corresponen al grup alt i les que corresponen al grup baix trobem diverses maneres:

  • El punt de tall per dir qui forma part d’un grup o d’un altre pot venir per la mediana, es a dir, que el 50% superior serà superior i 50% inferior serà inferior. Amb aquesta manera tenim en compte tota la distribució. Per fer la mediana ordenem 1 2 3 3 4 4 4 6 8(posicions)+1(perquè es faci imparell)/24, La posició estaria entre el 3 i 4 3+4/2= 3. D= ns/NS - ni/Ni

✓ ITEM 1 D = 3/4 – 1/4 = 0,5 Està bé formulat l’ítem

✓ ITEM 5 D= 2/4 - 2/4= 0  Està malament formulat l’ítem

✓ IITEM 2 4/4-3/4= 0,25 Requereix millorar l’ítem

  • Si tenen en compte el Q3 que estarà format pel grup superior 25% superior o el Q1 que seria el 25% inferior
  • Kelley va proposar que el criteri més òptim per establir superioritat o inferioritat s’establia no en el 25% sinó en el 27% inferior i superior.

EXERCICI A CASA

  1. Índexs basats en les correlacions item-test
    • La correlació ha de ser acorde amb la puntuació total del test. Les tres correlacions més usuals son:
    • A vegades la puntuació del test la interpretem com una variable quantitativa i com l’ítem també es quantitatiu utilitzem la correlació de Pearson.
    • Relació encert-error biserial puntual
    • Si l’ítem es una variable continua quantitativa i la transformem en una dicotòmica, d’aquestes en diem dicotomitzades biserial

EXEMPLE DE CORRELACIÓ BISERIAL-PUNTUAL

CORRECIÓ DE LA CORRELACIÓ

En cas de no haver eliminat l’ítem per calcular la correlació, caldrà aplicar la correcció següent: La variància per les variables dicotòmiques és igual a p per q EXEMPLE:

  • Alguns ítems difícils per discriminar entre persones amb més nivell 4. ANÀLISI DELS DISTRACTORS
  • Els distractors han de ser igualment atractius, és a dir, tenir la mateixa capacitat per distreure.
  • El que sabem es que un distractor ha d’estar seleccionat amb major proporció pels que tenen un baix nivell en el constructe.
  • A mesura que augmentem la mostra haurem de saber diferenciar els distractors
  • Quan parlem de distractors volem un ID NEGATIU ID POSITIU  NO SERVEIX
  • L’anàlisi de distractor el podem fer servir a partir de la discriminació EXEMPLE 1. Podem observar que es un ítem amb 5 alternatives. La opció correcta és la C i tal i com hauria de ser, més individus del grup superiors encerten l’ítem i més individus del grup inferior el fallen. EXEMPLE 2 Observem dues coses “fora de lo norma” i es que la opció B confon al dels grup superior i per tant hauríem de canviar aquella alternativa. A més a més la opció A no arriba al 5% d’errors per tant es una opció molt fàcil i també l’hauriem de considerar. 5. ÍNDEX DE FIABILITAT DE L’ÍTEM
  • Serveix per saber si estic mesurant el que vull mesurar
  • A mesura que incorporem items amb un índex de fiabilitat alt obtindrem fiabilitat EX. El despertador sona a l’hora que ha de sonar
  • Per valorar fiabilitat:
  • Un indicador de fiabilitat es la desviació típica
  • Si ens interessa tenir instruments fiables hem de seleccionar els que ens maximitzen la fiabilitat. 6. ÍNDEX DE VALIDESA DE L’ÍTEM La validesa és la capacitat que té el ítem per poder predir el constructe o el resultat
  • Variable criteri fem correlacionar l’ítem amb una variable externa (o criteri) EX. No puc dormir per les nits correlaciona amb diagnòstic clínic. L’ítem és vàlid per mesurar el constructe que nosaltres volem mesurar.
  • La correlació va de - 1 a 1 EX. Tengo muchos amigos inversamente proporcional con los abusos EX. “disfruta comiendo” correlaciona con la depressió inversament EXEMPLE: