¡Descarga 4. Validesa y más Apuntes en PDF de Psicometría solo en Docsity!
4. VALIDESA
Diem que un test és vàlid quan les inferències que fem a partir del test s’adeqüen al propòsit del test. El terme de validesa inclou diverses idees. La divisió inicial en validesa consistia en 3 tipologies: la validesa de Condingut, de Criteri i de Constructe ; que van derivar a 5 tipus diferents:
- (^) De Contingut
- (^) Procés de Resposta: quan presentem els ítems als individus mentalment fan el procés de resposta. Per saber què està fent mentalment se li pregunta: digues en veu alta el procés mental que estas fent servir per resoldre l’ítem. Llavors, aquest explicarà: dons primer penso això, que hem porta a allò, etc.
- (^) Estructura interna: mira com s’agrupen els ítems i si s’adeqüen a la teoria.
- (^) Relacions amb variables: si les variables del test es relacionen de manera esperada amb altres variables.
- (^) Conseqüencial: les conseqüències que deriven de la aplicació del test són les previstes i rellevants per l’individu (ho utilitzarem en proves d’accés, a llocs de treball, etc.). Actualment la major part dels tests i manuals es basen en el criteri antic de validesa, per tant, veurem la validesa des del punt de vista històric.
- VALIDESA DE CONTNGUT - Domini Conductual (continguts que està mesurant el test) Fa referència a si els items que planteja el test són representatius* i **rellevants**** del constructe que volem mesurar. *Representativitat -> els items aporten informacio complementaria a la que aporten els altres items **Rellevants -> contingut que inclou l’ítem conté info directament relacionada amb el constructe que vol mesurar el test. ex. un item es rellevant per mesurar working memory si lítem em pregunta directament sobre qorking memory Podem cometre 2 errors:
- (^) Error de valides per excès: pregunto mes coses de les que he de preguntar o pregunto coses que no ens aporten infromació -> Falta de rellevància : pregunten coses que no estan relacionades amb el constructe.
- (^) Error de validesa per defecte: pregunto menys coses de les necessàries -> Falta de representativitat : falta preguntar coses sobre una part del constructe Passos:
- Definir i especificar el camp o domini del test Ex. constructe = funcions cognitives: working memory, AVI, AV-D, VPI, etc.
- Selecció de jutges experts: sels hi diu diguem que creus que mesura cada un dels ítems i van aparellant cada item amb el que se suposa que mesura. Aleshores que abaluen la rellevancia de cada un dels items (com mesura de bé el paràmetre).
- Procés d’aparellament d’ítems amb els temes d’interès de mesura del test (experts).
- Valoració de la rellevància i representativitat (experts).
- Selecció dels ítems adequats Exemple: Prova per avaluar els coneixements de Psicometria Continguts a mostrejar: TCT / Anàlisi d’ítems / Fiabilitat / Validesa / Baremació / Manual del test Experts: professors de Psicometria de la UAB. Aparellament: fer correspondre cada ítem amb cada un dels continguts (ex.: ítem 1 -> Baremació, ítem 2 -> Validesa,…). Valoració: els experts valoren la rellevància i representativitat dels ítems (p.ex.: puntuant-los de l’ al 5). Selecció d’ítems: seleccionar els ítems adequats (més ben valorats pels jutges experts) tenint en compte la importància relativa de cada contingut (p.ex.: 1 ítem de TCT, 5 d’Anàlisi d’ítems,…). 2. VALIDESA DE CRITERI - Diagnosticar o Predir una variable criteri/externa Capacitat que té un test per diagnosticar o predir una variable externa al test. Aquesta variable externa que volem predir s’anomena variable criteri.
- Mesura de cada persona en el criteri: definim diferents tipus segons quan recollim les dades del test i de criteri -> abans del test: variable criteri passada (retrospectiva), mateix temps el test i el criteri (concurrent) o després del test: variable criteri futura (predictiva -> ex. nota de les PAU recollides al 2015 però esperarem fins a acabar la carrera per tenir la mitjana (que es el que volia predir)).
- Càlcul coeficient de validesa: determinar el grau de relacio entre les puntuacions en el test i en la mesura del criteri Criteris valoració de… Validesa concurrent Validesa predictiva 2.1. COEFICIENT DE VALIDESA Mitjançant la validesa, puc estimar per un individu concret la seva puntuació en el criteri a partir de la seva puntuació en el test. COM?? Predir una variable externa al test: ex. sabem que el Francesc te una puntuació específica de 40 en el test -> per predir el seu futur rendiment acadèmic aplicarem la fòrmula. Tot i així, quan fem prediccions cometem errors per tant treballarem de manera probabilística, es a dir, amb intervals de confiaça. Primer haurem de calcular l’error que cometem, que s’anomena Error Típic d’Estimació , a través del coeficient de validesa -> en el cas que el coef de validesa fos 1, l’error típic d’estimació seria 0 i podriem predir perfectament. Interval de confiança del criteri i error típic d’estimació:
Exemple: Validesa de criteri (coef de validea) Suposem que tenim un test amb una fiabilitat de 0,75, una mitjana de 80 i una desviació típica de
- Es correlaciona amb un criteri de mitjana 20 i una desviació típica de 8, obtenint un coeficient de correlació de 0,46. Un subjecte obté una puntuació de 86 en el test. Quin és l’error típic d’estimació? En quin interval se situa la puntuació del subjecte en el criteri a un nivell de confiança de 95%? Exercici: Validesa de criteri (coef de validesa) ImaginemImaginem que tenim un test amb una fiabilitat de 0,80, una mitjana de 40 i una variància de 64. Es correlaciona amb un criteri de mitjana 60 i una desviació típica de 12, obtenint un coeficient de correlació de 0,52. Un subjecte presenta una puntuació de 35 en el test. Quin és l’error típic d’estimació? En quin interval se situa la puntuació del subjecte en el criteri a un nivell de confiança de 95%?
Índex de validesa de decisió:
- Proporció de classificacions correctes (Pc): com més propera a 1 sigui la proporció, millor discriminarà el test respecte el criteri (VERTADERS).
- (^) Sensibilitat és la capacitat d’un test per a diagnosticar els casos positius. Indica la poporció de persones que tenen transtorn que han estat classificades correctament (VERTADERS POSITIUS). Si el test calssifica totes les persones com a malaltes (resp positiva), la sensibilitat serà 1, per tant, la sensibilitat serà maxima si no tinc falsos positius. -> es centra en la classificicació de persones malaltes!
- (^) Especificitat és la capacitat d’un test per a diagnosticar els casos negatius. Indica la proporció de persones que NO tenen el transtorn que han estat classificades correctament (VERTADER NEGATIU). L’especificitat serà màxima quan no hi hagin falsos positius. -> es centra en la classificació de les persones sanes! Direm que te una bona proporció, sensibilitat i especitat en valors iguals o majors a 0,80.
El coefincient Kappa é s una mesura global del test respecte el criteri que incorpora la possibilitat de que coincideixin per atzar.
*Fc = suma dels vertaders (positius o negatius). **Fa = freqüència esperada d’acords per atzar més els marginals. El coef Kappa ens donarà un número que oscila de 0 a 1 i com mes s’acosta a 1, més s’aproxima el test respecte el criteri. Criteris de valoració del coef Kappa segons Landis i Koch: Exemple: Validesa de decisió
Punt de tall 7 -> treure un 7 o més en el test implica que lindiv va a teràpia A -> Vertader negatiu: test diu que no ha d’anar a teràpia i el diagnòstic també. B -> Fals negatiu: el test diu que ha d’anar a terapia però el diagnòstic NO. C -> Vertader positiu: test diu que sí ha d’anar a terapia i el diagnòstic també. D -> Fals positiu: test diu que si ha d’anar a teràpia però el diagnòstic NO. E -> VN F -> VP G -> VN H -> VP I -> VN J -> VP K -> FP L -> VP Un cop tinguessim tots els punts de tall, en una taula sabriem el nombre de Fp, Fn, Vp i Vn en cada cas i escolliriem el punt on hi ha menys errors de classificació. Si tenen el mateix número d’errors de classificació, haurem de mirar la grabetat de cometre un fals positiu (dir-li a una persona que no ha danar a terapia que hi vagi) o fals negatiu (dir-li algu qe hauria danar a terapia que no hi vagi) —> pitjor cometre FN per tant intentariem minimitzar-los. Un cop tinguem el punt de tall, podrem generar la classificació de subjectes (en aquest cas) en funció de la taula de punts de tall numero 6, a partir de la qual puc calcular tots els index de validesa de decisió per a aqeust punt de tall en concret. Exercici: Validesa de decisió - Punt de tall En una residència d’avis es posa a prova la validesa d’una escala d’observació dissenyada per a detectar la dependència funcional dels residents i assignar-los a un grup de rehabilitació (R) o no (NR). Es disposa de les puntuacions obtingudes per 11 residents en l’escala d’observació, així com del diagnòstic emès per un especialista (R o NR).
Determinar el punt de tall òptim en l’escala d’observació, tenint en compte que la rehabilitació no es considera nociva per l’individu. Construir la corresponent taula de classificacions. Punt 1: 1-FP 2-FP 3-FP 4-FP 5-FP 6-VP 7-VP 8-FP 9-FP 10- VP 11-VP VN=0 VP=4 FP= 7 FN= Punt 2: 1-FP 2-FP 3-VN 4-VN 5-FP 6-VP 7-VP 8-FP 9-FP 10-VP 11-VP VN= 2 VP= 4 FP=5 FN= Punt 3: VN=3 VP=4 FP=4 FN= Punt 4: VN=4 VP=4 FP=3 FN= Punt 5: VN=5 VP=3 FP=2 FN= Punt 6: VN=6 VP=3 FP=1 FN= Punt 7: VN=6 VP=2 FP=1 FN= Punt 8: VN=7 VP=2 FP=0 FN= Punt 9: VN=7 VP=2 FP=0 FN= Punt 10: VN=7 VP=1 FP=0 FN= Ens quedaríem amb el Punt de Tall 6 -> i podríem calcular els índexa de validesa de decisió per aquest punt de tall concret. Psicòleg TE NT Total Escala TE 29 23 52 NT 11 47 58 Total 40 70 110
Un ítem passa a formar part dun factor quan la seva saturació és de 0,35.
- a = saturació de càrrega factorial Els ítems que tenen la mateixa saturació en dos factors seran de càrrega/saturació complexe, es a dir, són ítems que carreguen / mesuren dos factors alhora (cal intentar evitarlos perq confonen). En la mesura que la matriu factorial correspon a les hipòtesis que he pantejat, podem dir que tenim evidencies de constructe. a) Anàlisi factorial exploratòria (AFE): deixo que el propi anàlisi faci la divisió dels ítems en factors i miro si te validesa psicològica. b) Anàlisi factorial comfirmatoria (AFC): partim d’una estructura factorial molt concreta i veiem si les dades que recollim s’hi ajusten o no -> fixem cada ítem a un factor i l’obligo a carregar NOMÉS a aquest factor (i q als altres no ho faci). Es a dir, el AFC busca confirmar una estructura factorial. Suposem que construim un test per mesurar tres factors de manera que: Factor 1: ítems 1 i 2 Factor 2: ítems 3, 4 i 5 Factor 3: ítems 6 i 7 AFE : miraré si els resultats / puntuacions són altes o baixes on han de ser-ho, en la mesura en que les hipòtesis s’adeqüen als resultats —> els items carreguen en tots els factors! AFC : obliguem a que la saturació factorial en els factors que l’ítem NO ha de mesurar sigui 0 i mirem si la puntuació en el factor s’adequa a les hipotesis —> els ítems carreguen només als factors que han de carregar!
Exemple: Anàlisi factorial exploratòria “Se efectuó un análisis factorial exploratorio mediante extracción de ejes principales y rotación oblimin. Teniendo en cuenta el elevado número de ítems que se desarrollaron al inicio, se depuró la escala eliminando todos aquellos ítems que presentaran saturaciones inferiores a 0,35 o saturaciones complejas (superiores a 0,35 en más de un factor).” —> Hauriem da saber ja que és exploratòria ja que els ítems carreguen a TOTS els factors. En la mesura que les agrupacions siguin lògiques (s’ajusta al que diu la teoria / comfirma les hipòtesis) podem dir que tenim evidències de constructe.
- Valors negatius = tenen una relació inversa -> si aquell ítem mesurava felicitat i treu una correlació negativa -> diriem que mesura infelicitat. Normalment però, no es solen veure valors negatius ja que s’inverteixen. Exemple: Anàlisis factorial confirmatòria “El primero de los objetivos era comprobar si la estructura factorial de la escala era la esperada, con las 4 dimensiones descritas anteriormente. Para ello se llevó a cabo un análisis factorial confirmatorio mediante el programa AMOS 4. Los parámetros del modelo original fueron estimados siguiendo el criterio de Máxima Verosimilitud.”
Passos (AFE):
- Comprovar que es complexien les condicions d’aplicació
- (^) Kaiser-Meyer-Olkin (KMO)
- (^) Prova d’esfericitat de Barlet
- Seleccionar un mètode d’extracció de factors: cada un parteix de suposits difreents i te procediments de selecció diferents -> eixos principals o
- Escollir un mètode de rotació (ortogonal o obliqua): En l’anàlisi factorial exploraoti, la primera matriu de dades / matriu inicial genera uns valors que difícilment ajuden a determinar quins factors s’amaguen darrere l’ítem. Per aclarir aquestes dades, apliquem els mètodes de rotació per poder interpretar millor la matriu. Poden ser:
- (^) Rotació ortogonal: assumeix que els possibles factors que resultin de l’anàlisi factorial (no se el nº de factors) no estan relacionats entre ells, es a dir, són independents. La tècnica de rotació més comuna és el varimax.
- (^) Rotació obliqua: assumeix que els possibles factors que em resultin de l’AFE estiguin relacionats entre ells, es a dir, existeix relació entre factors. La tècnica més comuna és la oblimin. Per tant, ho decidim abans de l’AFE, es a dir, ens hem de plantejar prèviament si estan relacionats o no. Ex. Insomni: oblimini -> és lògic pensar que els problemes de dia i de nit estan relacionats. L’únic que em canvia la rotació són les puntuacions dels ítems en la matriu de dades per facilitar la seva interpretació.
- Interpretar els resultats: comunalitats, nombre de factors, variància explicada, matriu factorial, etc. Exemple: AFE AMB SPSS (Athens Insomnia Scale) Imagina que tenim la matriu de dades, PRIMER hem de mirar si se’ns compleixen les 2 condicions d’aplicació (CA), que m’indiquen si es pertinent o no agrupar els ítems en factors -> si no es compleixen no és adequat generar un anàlisi factorial.
- (^) KMO (Kaiser-Mayer-Olkin) indica fins a quin punt les associacions entre variables (ítems) poden ser explicades per un número de factors més reduït que el de les variables. Pot oscilar entre 0 - 1 i s’esperen valors de 0,7 com a adequats.
- Prova d’esfericitat de Barlett: avalua l’H 0 de què les variables o ítems no estan relacionats entre ells. Si acceptem l’hipòtesi nula no podem extreure factors (gràfic de punts separats - en esfera = equidistants entre ells), si la rebutjo podem agrupar en factors (gràfic amb puntets agrupats). Un cop veiem que s’ens compleixen les CA hem de seleccionar el mètode d’extració de factors i mètodes de rotació. En aquest cas concret de l’insomni la rotació serà obliqua. Aleshores interpretarem les dades: Comunalitat : quantitat d’informació que l’ítem comparteix amb els factors comuns —> com de realcionats estan els ítems amb la resta. Les comunalitats han de ser altes (aprox 0,50) i homogènies, ja que ens indicarà que els diferents indicadors es veuen iguament representats. Si la comunalitat fos baixa, ens podria indicar que aquell ítem mesura una cosa diferent a la resta. Criteri de Kaiser: només retenim aquells factors que obtenen un mínim dinformació -> els ordena de més a menys informació i retén aquells que més variabilitat presenten en les dades. Ex. ens treuen 2 factors amb un autovalor de 3,4 i de 1,3 (el tercer ja era menor). Es molt més explicatiu el factor 1 que el factor dos -> tindrà més ítems l’1 que el 2 (ja que explica més variancia). La variancia a partir d’un 50% podem estar força contents. El valor pròpi m’indica quan informatiu és un factor i per a que sigui prou autodeterminant ha de ser major que 1. En la última columna, hem aplicat la rotació i veiem que no em canvia la dimensionalitat del test (la variancia explicada serà la mateixa i tambe el nº de factors), sinó el valor propi / autovalor fent-los més explicatius.
RESUM AFE: tècnica que em serveix per comfirmar la dimensionalitat del test 3.2. MATRIU MULTITRET - MULTIMÈTODE És una matriu de correlacions on tinc multitrets (dif trets, constructes, dimensions,..) mesurats amb diferents mètodes. Ens permet descriure dos tipus de validesa:
- (^) Validesa convergent: mesurem 2 constructes amb 2 mètodes diferents que estarien correlacionats. Si les correlacions són altes, es diu que el tret tindrà validesa convergent. - (^) Validesa discriminant: mesurem 2 constructes amb 1 mateix mètode que no estan correlacionats. Les correlacions que esperaríem són baixes i diriem que el tret tindrà validesa discriminant (divergeixen). Matriu de correlacions Multitret-Multimètode -> on tenim diferents trets mesurats per diferents mètodes (ex. 3 constructes mesurats per 3 mètodes): La diagonal principal indica els índex de fiabilitat dels diferents metodes per mesurar les diferents categories (ex. 0.89 -> fiab del test 1 mesurant A).
Validesa Discriminant (heterotret - monomètde): mesura amb un mateix mètode (1) trets diferents (A, B i C) -> puntuacions baixes ens indiquen validesa discriminant. Validesa Convergent (monotret - heteromètode): mesura un mateix tret (A) amb diferents mètodes (1, 2 i 3) -> puntuacions altes ens indiquen validesa discriminant, Valors heterotret - heterometode esperariem treure valors encara més baixos que en vàlidesa discriminant. Exemple: En la següent matriu mutitret-multimètode hi ha 3 trets: extraversió, lideratge i inteligencia social i 3 mètodes: AI, OS, EP. A la diagonal principal apareixen les correlacions dels tests amb si mateixos, això ens indica els coeficents de fiabilitat. En l’anàlisis de la Validesa convergent (caselles monotret-heterometode): , és a dir, en el cas que un mateix tret es mesura amb diferents mètodes, s’obtenen valors iguals o superiors a 0.60 en tots els casos. Les correlacions entre les mesures de difrenents trets mesurades amb el amteix mètode (heterotret-monometode) ens informen de la Validesa discriminant -> esperem cor baixes com a evidència i així és, ja que la correlació més alta és de 0.20. Heterotret - heteromètode
