Docsity
Docsity

Prepara tus exámenes
Prepara tus exámenes

Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity


Consigue puntos base para descargar
Consigue puntos base para descargar

Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium


Orientación Universidad
Orientación Universidad


Validesa de un test psicométrico: contenido, criterio y procedimiento de respuesta - Prof., Apuntes de Psicometría

La importancia de la validesad en un test psicométrico y las diferentes facetas que se validan: contenido, procedimiento de respuesta y criterio. Se detalla cómo se validan cada una de ellas y su importancia para medir correctamente el constructe objetivo. Además, se incluyen ejemplos y procesos para evaluar la relevancia de los ítems, la relación entre la puntuación total del test y un criterio externo y el proceso de respuesta.

Tipo: Apuntes

2015/2016

Subido el 23/01/2016

raquel961214
raquel961214 🇪🇸

3.9

(112)

10 documentos

1 / 5

Toggle sidebar

Esta página no es visible en la vista previa

¡No te pierdas las partes importantes!

bg1
TEMA 4: VALIDESA
1-CONCEPTES BÀSICS
Validesa: és una de les característiques psicomètriques que més ha variat en la historia de la
psicometria (el contrari que la fiabilitat, la qual té una definició fixa).
Segons APA, la validesa interna és el grau en què l’evidència aportada per l’estudi permet
atribuir un efecte (o resultat) al tractament, és a dir, estem validant la interpretació sobre l’ús
específic que estem fent del test.
Històricament, fent referència a la psicometria, els estàndards van basar-se en valorar la validesa de
contingut, de criteri i de constructe. A partir de l’any 1999 fins ara, es va afirmar que els
estàndards havien de valorar cinc facetes per tal de validar un test, aquestes són: validesa de
contingut, procés de resposta, estructura interna, relacions amb altres variables i
conseqüencial. Les úniques que van sorgir completament noves són el procés de resposta i la
validesa conseqüencial. La validesa de contingut va quedar-se exactament igual, l’estructura interna
correspon a la validesa de constructe i les relacions amb altres variables correspon tant a la validesa
de criteri com la de constructe. Per tant, hi ha una equivalència entre les tres facetes històriques i les
cinc modernes.
Com he comentat anteriorment, la concepció del que és la validesa ha variat en el temps.
Històricament, la validesa era una propietat inherent en el test, és a dir, podíem dir si un test era vàlid
o no. Actualment, amb els nous estàndards, no podem afirmar aquest concepte, sinó que el que diem
és que les inferències que fem a partir d’aquest test són valides o no. Exemple: es dissenya un test
per mesurar la deficiència cognitiva amb trastorn d’Alzheimer i aquest es valida per aquesta
població. Posteriorment, s’aplica aquest test per subjectes amb demència vascular, però les
inferències que fem no seran valides ja que aquesta patologia no té rés a veure amb l’Alzheimer.
Per tant, un test vàlid és aquell en que les inferències que fem a partir d’ell s’adeqüen als objectius
pel qual ha sigut construït (mesura el que volem mesurar).
2-CINC FACETES A VALIDAR
La primera faceta a validar és la validesa de contingut, que fa referència a que els ítems siguin
rellevants i representatius del constructe que pretenem mesurar.
La següent faceta a validar és el procés de resposta, faceta nova dels nous estàndards, que pretén
validar justament que el procés que utilitza els subjectes per respondre un test és el que marca la
teoria. P. ex. en un test d’intel·ligència el que s’intentaria validar es que les maneres o formes de
procedir dels subjectes als resultats coherents amb els que marca la teoria.
La següent faceta a validar és l’estructura interna, en la versió històrica l’anomenaven validesa de
constructe. Pretén analitzar la relació amb els ítems, si aquests són congruents amb el model teòric
per analitzar el constructe. Amb aquesta estructura valorarem com els ítems s’agrupen per mesurar
uns determinats constructes, per tant, la seva agrupació depèn del constructe que es vol analitzar.
La següent faceta a validar és la relació amb altres variables, en la versió històrica l’anomenaven
validesa de criteri. Pretén estudiar quina és la relació entre la puntuació total del test i un criteri
extern (variable externa). En els estàndards del 1999 la defineixen com les relacions que
s’estableixen entre el constructe del test i altres constructes externs al test.
Per últim, tenim la faceta a validar, segons els estàndards del 1999, de la conseqüències de
l’aplicació de l’aplicació del qüestionari. Aquí una de les preocupacions es que les conseqüències
d’aplicació del test siguin les esperades, siguin les previstes.
Actualment, les noves facetes modernes que es van desenvolupar no estan prou validades com per
poder aplicar-les. Així que, normalment, s’apliquen les tres facetes ja existents des de la antiguitat,
que són que emfatitzarem en aquest tema.
3-VALIDESA DE CONTINGUT (domini conductual)
PSICOMETRIA VALIDESA: TEMA 3
pf3
pf4
pf5

Vista previa parcial del texto

¡Descarga Validesa de un test psicométrico: contenido, criterio y procedimiento de respuesta - Prof. y más Apuntes en PDF de Psicometría solo en Docsity!

TEMA 4: VALIDESA

1-CONCEPTES BÀSICS

Validesa : és una de les característiques psicomètriques que més ha variat en la historia de la psicometria (el contrari que la fiabilitat, la qual té una definició fixa). Segons APA, la validesa interna és el grau en què l’evidència aportada per l’estudi permet atribuir un efecte (o resultat) al tractament , és a dir, estem validant la interpretació sobre l’ús específic que estem fent del test.

Històricament, fent referència a la psicometria, els estàndards van basar-se en valorar la validesa de contingut, de criteri i de constructe. A partir de l’any 1999 fins ara, es va afirmar que els estàndards havien de valorar cinc facetes per tal de validar un test, aquestes són: validesa de contingut, procés de resposta, estructura interna, relacions amb altres variables i conseqüencial. Les úniques que van sorgir completament noves són el procés de resposta i la validesa conseqüencial. La validesa de contingut va quedar-se exactament igual, l’estructura interna correspon a la validesa de constructe i les relacions amb altres variables correspon tant a la validesa de criteri com la de constructe. Per tant, hi ha una equivalència entre les tres facetes històriques i les cinc modernes.

Com he comentat anteriorment, la concepció del que és la validesa ha variat en el temps. Històricament, la validesa era una propietat inherent en el test, és a dir, podíem dir si un test era vàlid o no. Actualment, amb els nous estàndards, no podem afirmar aquest concepte, sinó que el que diem és que les inferències que fem a partir d’aquest test són valides o no. Exemple: es dissenya un test per mesurar la deficiència cognitiva amb trastorn d’Alzheimer i aquest es valida per aquesta població. Posteriorment, s’aplica aquest test per subjectes amb demència vascular, però les inferències que fem no seran valides ja que aquesta patologia no té rés a veure amb l’Alzheimer.

Per tant, un test vàlid és aquell en que les inferències que fem a partir d’ell s’adeqüen als objectius pel qual ha sigut construït (mesura el que volem mesurar).

2-CINC FACETES A VALIDAR La primera faceta a validar és la validesa de contingut , que fa referència a que els ítems siguin rellevants i representatius del constructe que pretenem mesurar.

La següent faceta a validar és el procés de resposta , faceta nova dels nous estàndards, que pretén validar justament que el procés que utilitza els subjectes per respondre un test és el que marca la teoria. P. ex. en un test d’intel·ligència el que s’intentaria validar es que les maneres o formes de procedir dels subjectes als resultats coherents amb els que marca la teoria.

La següent faceta a validar és l’estructura interna , en la versió històrica l’anomenaven validesa de constructe. Pretén analitzar la relació amb els ítems, si aquests són congruents amb el model teòric per analitzar el constructe. Amb aquesta estructura valorarem com els ítems s’agrupen per mesurar uns determinats constructes, per tant, la seva agrupació depèn del constructe que es vol analitzar.

La següent faceta a validar és la relació amb altres variables , en la versió històrica l’anomenaven validesa de criteri. Pretén estudiar quina és la relació entre la puntuació total del test i un criteri extern (variable externa). En els estàndards del 1999 la defineixen com les relacions que s’estableixen entre el constructe del test i altres constructes externs al test.

Per últim, tenim la faceta a validar , segons els estàndards del 1999, de la conseqüències de l’aplicació de l’aplicació del qüestionari. Aquí una de les preocupacions es que les conseqüències d’aplicació del test siguin les esperades, siguin les previstes.

Actualment, les noves facetes modernes que es van desenvolupar no estan prou validades com per poder aplicar-les. Així que, normalment, s’apliquen les tres facetes ja existents des de la antiguitat, que són que emfatitzarem en aquest tema.

3-VALIDESA DE CONTINGUT (domini conductual)

Un dels aspectes basics per valorar la validesa de contingut és decidir quins ítems del test són rellevants i representatius. Quan es parla de rellevància , fa referència a que el contingut ha d’incloure informació que directament està relacionada amb el constructe, amb allò que es pretén valorar. Mentre que quan es parla de representativitat , fa referència a que l’ítem ha d’incloure informació complementaria en l’aportada per la resta d’ítems del instrument.

Imaginem que el quadrat blau es el nostre

constructe i que les rodones grises son els ítems del test.

  • Primer cas: es mostra una falta de representativitat. Els ítems del test no son capaços de determinar un determinat o diversos aspectes del constructe que volem mesurar. Aquí es produiria el que s’anomena validesa per defecte , és a dir, la validesa fallaria per defecte perquè ens deixem coses/aspectes a valorar, hi ha ítems que ens falten per cobrir la totalitat del constructe.
  • Segon cas: es mostra una falta de rellevància. El mateix constructe es valora totalment (perquè els ítems cobreixen tot el constructe) però hi ha ítems que es troben fora del requadre blau. Així que hi ha ítems en el test que no tenen res a veure amb el constructe que volem valorar. Esta fallant la validesa per accés , estem incorporant ítems en el test que no mesura adequadament el nostre constructe i, per tant, són irrellevants pel nostre objectiu.

Els passos a seguir per tal de determinar la validesa de contingut serien els següents:

  1. Definir i especificar un camp o domini del test (ex. volem mesurar la cognició en pacients esquizofrènics, el domini del test seria valorar la cognició en aquests tipus de pacients tenint en compte tests sobre aspectes frontals, memòria, atenció...)
  2. En els ítems que nosaltres hem dissenyat hauran d’haver persones expertes que ens diguin si són adequats o no pel domini objectiu, ja que son ells els qui coneixen de manera substantiva (ja sigui perquè són clínics, han estudiat molt el camp centrat, etc) el cas. Per tant, el següent pas consisteix en seleccionar els jutges experts. En l’exemple anterior, aquests jutges serien persones expertes en l’esquizofrènia que ens dirien quins ítems o tests son adequats per valorar aquests aspectes de cognició.
  3. Mesurar la validesa de contingut mitjançant el procés d’aparellament d’ítems amb els temes d’interès de mesura del test (mitjà més típic), el qual consisteix en demanar als experts que aparellin cada un dels ítems que hem creat amb el constructe estan mesurant. Ex. ítem 1 mesura aspectes més frontals, ítem 2 aspectes mes de memòria...
  4. A partir d’aquest aparellament, es podran valorar la rellevància i representativitat dels ítems.
  5. A partir d’aquesta valoració, i en funció del judici dels experts, podrem seleccionar els ítems adequats. Aquest procés ve d’una fase d’anàlisi d’ítems, que consisteix en que primer partim d’uns ítems, ens quedem els que millors s’ajusten al constructe i finalment valorem ‡‡‡la validesa de contingut.

Exemple: Imaginem que volem dissenyar un examen de Psicometria per poder avaluar els coneixements (el nivell dels subjectes sobre el constructe de Psicometria) i hem de comprovar que el nostre test mostri una validesa de contingut.

  1. Continguts a mostrejar : saber els coneixements que tenen els subjectes sobre la teoria clàssica, l’anàlisi d’ítems, la fiabilitat, la validesa, la baremació i el manual del test.
  2. Seleccionar experts: els millors experts serien professors de Psicometria.
  3. Procés d’aparellament: els professors han de fer correspondre cada ítem amb cada un dels continguts, és a dir, valorar que és el que mesura cada un dels ítems (p. ex.: ítem 1 Baremació, ítem 2 Validesa, ítem 3 Fiabilitat,...). Tindríem una representació de tots els aspectes que nosaltres volem valorar, sempre i quant hi hagi un equilibri en funció de la importància considerada respecte a que els subjectes tinguin uns coneixements o altres
  1. Accessibles: a igualtat de condicions d’adequació, escollirem aquell criteri que és més fàcil i pràctic d’aconseguir. Tindrem en compte aspectes econòmics, temporals, etc.

Els passos a seguir per tal de determinar la validesa de criteri serien els següents:

  1. Definir el criteri que es pretén mesurar.
  2. Identificar l’indicador o indicadors que s’utilitzaran per mesurar el criteri.
  3. Seleccionar una mostra representativa de subjectes.
  4. Administrar el test a la mostra i obtenir una puntuació per a cada persona.
  5. Mesurar cada persona en el criteri:
    • Validesa de criteri retrospectiva: quan la validesa del criteri es recull abans de l’administració del test. És un disseny molt poc comú.
    • Validesa de criteri concurrent: quan la validesa de criteri i test es recullen al mateix temps, simultàniament. Ex: imaginem que administrem un test per mesurar el grau de depressió d’una persona (sí-no depressió) i al mateix moment faig una entrevista per valorar si realment presenta depressió. Tant l’administració del test com l’entrevista es pot realitzar al mateix moment. Si aconsegueixo aportar evidència de que el meu test permet predir el criteri, podria eliminar 2h d’entrevista i utilitzar només el test per poder predir el criteri (objectiu de la validesa de criteri). Els criteris de valoració per la validesa concurrents proposats per Prieto i Muñiz són: Si.. Llavor es.. r < 0,25 Inadequada 0,25 ≤ r < 0,40 Suficient 0,40 ≤ r < 0,50 Molt bona 0,50 ≤ r < 0,60 Bona r ≥ 0,60 Excel·lent
  • Validesa de criteri predictiva: quan la validesa de criteri es recull després de l’administració del test. Ex: imaginem que administrem un test per validar l’èxit acadèmic i el criteri són les notes de la carrera. L’administració es realitza ara, mentre que el criteri no el podrem obtenir fins que els subjectes acabin la carrera. Si aconsegueixo aportar evidència de que el meu test permet predir el criteri, podria predir l’èxit acadèmic sense esperar els anys necessaris pel subjecte per acabar la carrera. Els criteris de valoració per la validesa predictiva proposats per Prieta i Muñiz són: Si.. Llavor es.. r < 0,20 Inadequada 0,20 ≤ r < 0,35 Suficient 0,35 ≤ r < 0,45 Molt bona 0,45 ≤ r < 0,55 Bona r ≥ 0,55 Excel·lent
  1. Calcular el coeficient de validesa: determinar el grau de relació entre les puntuacions en e test i en la mesura del criteri.

Com deia amb el tema de fiabilitat (rxx), la mesura perfecte no existeix, així que en la validesa (r (^) xy)

també existeixen errors.

Predicció del criteri a partir del test: Mentre que en la fiabilitat l’objectiu era predir les puntuacions del test, en la validesa el nostre interès és predir el valor del criteri a partir del test.

rL’error del coeficient de validesa és l’errorxx d’estimació (S (^) xy), l’objectiu del el càlcul d’aquest és conèixer l’ interval entre el qual es troba la puntuació verdadera del criteri.

S (^) e