¡Descarga Fiabilidad en Psicometría: Definición, Teoría Clásica y Métodos - Prof. Navarro y más Apuntes en PDF de Psicometría solo en Docsity!
Fiabilitat
Psicometria - 10.11.
Definició de fiabilitat
- Reliability refers to the consistency of a measurement when the testing procedure is repeated on a population of individuals or groups
- The usefulness of behavioral measurements presupposes thatTh f l f b h i l t th t individuals and groups exhibit some degree of stability in their behavior
- To say that a score includes a component of error implies that there is a hypothetical error-free value… true score
“Que al repetir las medidas de la misma magnitud se produzcan resultados igualesp g p g o parecidos” (Manual, p. 75) Si las medidas no se replican de una situación a otra, difícilmente podremos defender ninguna inferencia (…/…) diremos que son poco precisas o poco fiables” (Manual, p. 76)
AERA, APA i MCME (2014). Standards for educational and psychological testing. Washington, DC: Autor
Teoria Clàssica dels Tests (TCT)
X = V + e
- L’error (e) és la discrepància entre la puntuació vertadera (V) i la puntuacióL error (e) és la discrepància entre la puntuació vertadera (V) i la puntuació observada (X): e = X − V
- Aquesta discrepància (error) existeix sempre i és inevitable (les mesures observades són falibles)
Els estudis de fiabilitat pretenen quantificar aquest error:
- Coeficient de fiabilitat
- EError Estàndard de Mesura (EEM) E tà d d d M (EEM)
Error Estàndard de Mesura (EEM)
S’anomena EEM a la desviació estàndar dels errors de mesura σe Quantifica la precisió de les puntuacions observades
Disseny de mesures paral·leles: Equivalència
- S’obtenen medicions amb 2 instruments o avaluadors paral·lels/equivalents
- Les dues medicions són simultànies
Característiques:
- És aplicable a qualsevol constructe, si es diposa de formes paral·leles (continguts similares; mateixes mitjanes, variàncies i covariàncies)
Es calcula l’associació entre les 2 mesures
- Especificitat de les mesures (contingut concret dels ítems presentats) Factors aleatoris
Factors que generen error de mesura:
- Factors aleatoris
- Disposar de 2 formes exactament paral·leles és molt costós
- No es dissenyen per avaluar fiabilitat, sinó al contrari
Inconvenients:
Acord entre avaluadors. Concordança interjutges
-Quan altres persones actuen com a instrument de mesura o “test”: observadors, jutges experts, avaluadors Si t t t h i d i bl
Característiques:
- Si estan entrenats, haurien de proporcionar mesures comparables
Es calcula l’associació entre les 2 mesures
- Grau d’entrenament Si comparteixen els criteris per a la tasca d’avaluació
Aspectes que cal tenir en compte:
- Si comparteixen els criteris per a la tasca d avaluació
Disseny de consistència interna: Indicadors múltiples
- S’obté 1 única medició del test
- S’estudia el grau de concordança entre les puntuacions en diferents “parts del t t”
Característiques:
test”
- Les “parts” més elementals del test són els ítems: les respostes són coherents?
Es calcula l’associació entre totes les mesures (e.g., ítems)
- Especificitat de les mesures (contingut concret dels ítems presentats) Factors aleatoris
Factors que generen error de mesura:
- Factors aleatoris
- Cal haver recodificat els ítems inversos (tots en la mateixa direcció)
- Grau de covariació (correlació) entre els ítems: constructes homogenis (concepte estret/concret) vs. constructes hererogenis (concepte ampli)
- Número d’ítems: interpretar tenint en compte la longitud del test
Aspectes que cal tenir en compte:
Coeficient de fiabilitat
X = V + e
No podem conèixer directament la relació entre X i V ρXV
Però sí podem conèixer l’associació entre les mesures observades X i X’ ρ
σ^2 X = σ^2 V + σ^2 e
Coeficient de fiabilitat : precisió d’X o d’X’ Es pot interpretar com la proporció de variància de la puntuació vertadera present en la variància observada
Però sí podem conèixer l’associació entre les mesures observades X i X’ ρXX’
ρXX’ = σ^2 V / σ^2 X = 1 − (σ^2 e / σ^2 X )
Exemple: estabilitat temporal (I)
Espinoza, P. et al. (2012). Assessment of body image: Psychometric properties of the Body Image Questionnaire. Journal of Health Psychology, 17 , 556-566. doi: 10.1177/
Exemple: estabilitat temporal (II)
Penelo, E. et al. (2013) Psychometric properties of the Eating Disorder Examination Questionnaire (EDE-Q) and norms for rural and urban adolescent males and females in Mexico. Plos One , 8 (12), e83245. doi: 10.1371/journal.pone.
Exemple: consistència interna
Espinoza, P. et al. (2012). Assessment of body image: Psychometric properties of the Body Image Questionnaire. Journal of Health Psychology, 17 , 556-566. doi: 10.1177/
Fórmula general de Spearman-Brown: Profecia
c
c
h k
k
n
n
c
on k és la relació entre les longituds k^ h
- Preveure la fiabilitat de les puntuacions d’un test format per nh elements equivalents als nc elements d’un test inicial (Manual, exemple 3.6)
- Comparar la fiabilitat de dues proves amb diferent longitud (Manual, segon exemple 3.7)
Aplicacions:
ρc: fiabilitat “coneguda” ρh : fiabilitat “hipotètica”
nh : nº d’ítems de l’instrument “hipotètic” nc: nº d’ítems de l’instrument “conegut”
exemple 3.7)
- Extrapolar el nº d’ítems necessari per assolir un determinat coeficient de fiabilitat (per quin valor k cal multiplicar la longitud actual) (Manual, primer exemple 3.7)
La relació entre el coeficient de fiabilitat i el nombre d’ítems no és lineal
Estimació per interval de la puntuació vertadera
EEM = σe
ρXX’ = σ^2 V / σ^2 X = 1 − (σ^2 e / σ^2 X)
Aplicacions de l’EEM: Conèixer el rang de puntuacions en el qual es troba la puntuació vertadera d’una persona
- Es fa a partir d’X atès que V és desconegudaEs fa a partir d X, atès que V és desconeguda
- I amb l’estimació mostral de l’EEM
IC 95% (V) = X ± 1.96 EEM = X ± 1.96 ( )
Estimació per interval de la puntuació vertadera
Imaginem una prova en què les puntuacions oscil·len entre 0 i 10 punts. Analitzem diferents escenaris definits per desviació estàndard Sx (0.5, 1.0, 1.5 i
- i dues fiabilitats (.7 i .8)
Per una puntuació observada X igual a 7 punts: quin serà l'interval de la puntuació vertadera amb una confiança del 95%?
IC 95% (V) = X ± 1.96 EEM
Exemple: EEM
Penelo, E., Viladrich, C. & Domènech, J.M. (2010). Perceived parental rearing style in childhood: Internal structure and concurrent validity on the Egna Minnen Beträffande Uppfostran–Child version in clinical settings. Comprehensive Psychiatry, 51 (4), 434-442. doi: 10.1016/j.comppsych.2009.08.
Evidències de fiabilitat
Els diferents dissenys avaluen diferents aspectes de la fiabilitat Per tant, les evidències que s'obtenen amb cada estratègia poden diferir entre sí
Factors que afecten al coeficient de fiabilitat (TCT):
- Les característiques de la mostra
- La variabilitat de l’atribut mesurat
- Les fonts d’errors a què és sensible l’estratègia emprada
- La situació d’aplicació (p.e. instruccions, temps)
El coeficient de fiabilitat (associació entre mesures obtingudes amb diferents estratègies) aumenta com major és la variabilitat de l’atribut en la mostra
