








Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Prepara tus exámenes
Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Prepara tus exámenes con los documentos que comparten otros estudiantes como tú en Docsity
Encuentra los documentos específicos para los exámenes de tu universidad
Estudia con lecciones y exámenes resueltos basados en los programas académicos de las mejores universidades
Responde a preguntas de exámenes reales y pon a prueba tu preparación
Consigue puntos base para descargar
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Comunidad
Pide ayuda a la comunidad y resuelve tus dudas de estudio
Ebooks gratuitos
Descarga nuestras guías gratuitas sobre técnicas de estudio, métodos para controlar la ansiedad y consejos para la tesis preparadas por los tutores de Docsity
Conceptos clave en la evaluación de la fiabilidad y precisión de instrumentos de medida y observadores. Se abordan conceptos como precisión, validez, fiabilidad, concordancia y tipos de concordancia entre observadores. El texto incluye ejemplos y procedimientos para calcular la concordancia global y local.
Tipo: Apuntes
1 / 14
Esta página no es visible en la vista previa
¡No te pierdas las partes importantes!









Adaptado Quera 2009
5.5. Sesgos de la observación 5.4. Cálculo de la concordancia secuencial 5.3. Cálculo de la concordancia local 5.2. Cálculo de la concordancia global 5.1. Fiabilidad, precisión, concordancia y validez
Bakeman, R. y Gottman, J.M. (1989).
(^) Observación de la
interacción:
Una introducción al análisis secuencial.
(^) Madrid: Morata. (Ed. orig. 1986).
Behar, J. y [Capítulo 4]
Riba, C. (1993).
Sesgos de la observación. En M.T. Anguera
(Ed.),
Metodología Observacional en la
(^) investigación psicológica,
(^) Vol. 2
(pp. 11-148). Barcelona: PPU.
5-
(^) Los resultados que se obtienen en una investigacíón son
(^) creíbles
o
fiables
si se logra garantizar que los datos que se han registrado son
objetivos
(^) Por muy complejo o sofisticado que sea el análisis de los datos, no carecen de error. erróneos. Por ello es necesario demostrar que los datos poseen calidad, producirá más que resultados equivocados si los datos de partida son
gana.” vigilante del pueblo, el cual toma nota de los datos que le da la todas y cada una de esas cifras provienen en primera instancia del con ellas bonitos diagramas. Pero lo que nadie debe olvidar es que las elevan a la enésima potencia, les extraen la raíz cúbica y hacen “El gobierno es muy propenso a amasar estadísticas: las recogen, (comentarios de un juez británico, citados por Suen y Ary, 1989).
5-
(^) Fiabilidad de un instrumento de medida:
(^) El instrumento es fiable si
no cambia). objeto (se supone que la propiedad que se está midiendo de dicho objeto proporciona la misma medida al aplicarlo dos veces o más al mismo
Ejemplo:
un test de inteligencia es fiable si al administrarlo dos o más veces a
la misma persona proporciona el mismo CI para esa persona.
(^) Precisión de un instrumento de medida:
El instrumento es preciso si
misma. el valor de la medida que proporciona es igual al valor “verdadero” de la
Ejemplo:
un test de inteligencia es preciso si el CI que proporciona para una
persona es igual a su auténtico CI.
(^) Validez de un instrumento de medida:
(^) El instrumento es válido si mide
aquella propiedad que se supone que ha de medir.
Ejemplo:
un test de inteligencia es válido si las puntuaciones de CI que
propiedad (p.e., de ansiedad ante el test). proporciona son realmente una medida de la inteligencia y no de otra
5-
(^) Fiabilidad de un observador:
El observador es fiable si obtiene el mismo
(^) El observador es preciso si el registro que
infalible o perfecto obtiene es idéntico al registro “verdadero” que obtendría un observador
aplicando los mismos sistemas de categorías.
(^) Validez de un sistema de categorías:
(^) Un sistema de categorías es válido
5-
creíbles si es posible demostrar que los observadores son
(^) intercambiables.
Cuanto mayor sea la
(^) concordancia
(^) entre los registros de los observadores,
(^) sine qua non
(^) de la observación
(^) Se estima como el grado de concordancia entre
los registros obtenidos por
dos observadores falibles
al observar de forma
(^) Se estima como el grado de concordancia entre
los registros obtenidos por
un observador falible y uno infalible, perfecto o
estándar
(^) al observar de forma independiente la misma conducta empleando
los mismos sistemas de categorías.
5-
Relación entre fiabilidad y precisión:
Una fiabilidad alta no indica necesariamente que los datos de los dos observadores estén exentos
(^) precisión
(^) es un mejor indicador de la calidad de los datos observacionales que la
simplemente la fiabilidad.
6-
(^) Se comparan los datos obtenidos por dos
observadores falibles que:
Han sido igualmente entrenados y utilizan los mismos sistemas de
! categorías. Observan de forma independiente.
Observan a los mismos individuos durante las mismas sesiones.
Si los datos concuerdan, se concluye que los observadores son
(^) equivalentes
(^) Se comparan los datos obtenidos por un
mismo observador falible:
(^) Al observar en dos ocasiones (distantes temporalmente) a los mismos
! individuos, que han sido grabados en vídeo. Empleando los mismos sistemas de categorías.
Si los datos concuerdan, se concluye que el observador es
consistente.
5-
Definición general: Error observacional:
Error = Medida obtenida (X) – Medida verdadera (V)
(^) La medida verdadera es desconocida. Por tanto, el error exacto que se comete al obtener X también lo es. Cuanto mayor es el
error
cometido por
un observador falible, menor es su
(^) precisión
(^) X y V son medidas conductuales cuantitativas básicas
o derivadas, como frecuencias, duraciones, tasas
etc. A mayor error
cuantitativo, menor
(^) concordancia global
con un observador estándar.
(^) Error cualitativo:
X y V son medidas binarias, como la
presencia /
ausencia
(^) de una categoría en una unidad o intervalo de tiempo. A mayor
error cualitativo, menor
(^) concordancia local
con un observador estándar.
5-
(^) Error cuantitativo:
(^) Puede ser
(^) por exceso
(^) o
por defecto
observador comete error por exceso si obtiene Por ejemplo, si la frecuencia verdadera de una conducta es 15, el
(^) > 15 y error por
defecto si obtiene
(^) Error cualitativo:
Puede ser de
omisión
(^) o de
(^) comisión.
5-
Grado en que las categorías de conducta reflejan
adecuadamente el dominio conductual objeto de estudio.
! (^) Por ejemplo, grado en que un sistema de categorías del juego infantil refleja
adecuadamente el juego de los niños de una determinada edad.
(^) Validez de constructo:
(^) Grado en que las categorías de conducta son
buenos indicadores de constructos inobservables.
! (^) Por ejemplo, grado en que conductas observables como “pegar”, “dar patadas”,
! etc. pueden considerarse manifestaciones del constructo “agresividad”. (^) Las categorías cuyas definiciones poseen términos
(^) inferenciales
(^) (por ejemplo,
! causales) deben tener validez de constructo. (^) La validez de constructo
(^) no es un problema
(^) si las categorías se definen de
inobservables. forma estructural y no pretenden utilizarse como indicadores de constructos
(^) La existencia de validez es un problema teórico, que puede abordarse a
5-
F, D, t
, etc.) de dos o más observadores.
(^) Las medidas han sido obtenidas:
(^) A lo largo de varias sesiones de observación,
(^) o bien
Para varios individuos,
o bien
Para varias categorías de conducta,
o bien
Para varios individuos a lo largo de varias sesiones, etc.
(^) Lo esencial es que existe una
variable relevante
(sesiones, individuos,
Ejemplo: obtenidas por los observadores concuerdan. categorías) respecto a la cual se desea saber si las medidas globales
(^) Dos observadores han obtenido estas tasas por minuto de la categoría “llorar”
en 12 niños (observados en distintas sesiones):
Niños
1 2 3 4 5 6 7 8 9
10
11
12
Obs 1
3.
5.
1.
0.
1.
2.
2.
2.
1.
0.
3.
2.
Obs 2
2.
5.
1.
1.
1.
3.
3.
2.
0.
0.
2.
2.
5-
Niños
1 2 3 4 5 6 7 8 9
10
11
12
Obs 1
3.
5.
1.
0.
1.
2.
2.
2.
1.
0.
3.
2.
Obs 2
2.
5.
1.
1.
1.
3.
3.
2.
0.
0.
2.
2.
0 1 2 3 4 5 6 (^0) (^1) (^2) (^3) (^4) (^5)
6
Obs 1
Obs 2
Diagrama de dispersión:
Es útil como indicio de la existencia de relación
entre las medidas obtenidas por los dos observadores.
En este ejemplo, las tasas según uno
las medidas: indica en qué grado están relacionadas
r = 0.
[ -1 <= r <= +1 ]
5-
Niños
1 2 3 4 5 6 7 8 9
10
11
12
Obs 1
3.
5.
1.
0.
1.
2.
2.
2.
1.
0.
3.
2.
Obs 2
3.
5.
1.
0.
1.
2.
2.
2.
1.
0.
3.
2.
Las medidas de uno y otro observador están correlacionadas.
La (^) correlación lineal
(^) r (^) de Pearson
(^) indica la concordancia relativa.
(^) Absoluta:
(^) Las medidas de uno y otro observador coinciden exactamente.
La (^) correlación intraclase
de Berk
(^) indica la concordancia absoluta.
Tiene en cuenta si uno de los observadores sobre-registra respecto al otro.
c 2
2
c
En este ejemplo existe concordancia relativa y
concordancia absoluta:
0 1 2 3 4 5 6 (^0) (^1) (^2) (^3) (^4) (^5)
6
Obs 1
Obs 2
Los puntos del diagrama se sitúan en una línea
recta que pasa por (0,0)
5-
Concordancia global absoluta y relativa
Niños
1 2 3 4 5 6 7 8 9
10
11
12
Obs 1
4.
6.
2.
1.
2.
3.
3.
3.
2.
1.
4.
3.
Obs 2
3.
5.
1.
0.
1.
2.
2.
2.
1.
0.
3.
2.
2
c
(^) En este ejemplo existe concordancia relativa, pero NO concordancia absoluta:
00 1 2 3 4 5 6
(^1) (^2) (^3) (^4) (^5) (^6)
7
Obs 1
Obs 2
(^) Los puntos del diagrama se sitúan en una línea
(^) Obs 1 sobre-
registra respecto a Obs 2.
(^) Por lo tanto,
r no es sensible al
sobre-registro
, pero
sí lo es.
(^) La correlación intraclase de Berk es un indicador de concordancia global más exigente que la correlación lineal de Pearson.
c 2
5-
c 2
2
2
2
2
2
e
o
s
s
c
2
c
(^) Es
(^) sensible al sobre-registro
: Si algún observador tiende a obtener
de Berk será menor que su valor máximo. sistemáticamente medidas globales mayores que los otros, la correlación
Concordancia perfecta
concordancia Ausencia total de
variable relevante Variancia de las medidas globales que es debida a la
(^) (individuos, sesiones o categorías)
la Variancia de las medidas globales que es debida a (^) variable irrelevante
(^) (observadores).
“variancia de error”). interacción de ambas variables (“variancia residual” o Variancia de las medidas globales que es debida a la
5-
2
2
(^2)
2
2
s
c
s
o
e
σ
ρ
σ
σ
σ
(^) Cálculo de la correlación intraclase:
s 2
σ
o 2
σ
e 2
σ
2
c
es la concordancia global promedio de estos 4 observadores
observados en una sesión. respecto a la frecuencia de una cierta categoría en estos 5 individuos
5-
En el registro activado por unidades de tiempo
(^) (RAUT): Los observadores
Por ejemplo, un muestreo instantáneo con 22 intervalos: concuerdan si en cada intervalo anotan categorías idénticas.
Ejemplo con un sistema de categorías simplificado de juego infantil:
{Grupal, Solitario, Desocupado, Paralelo}
5-
En el registro activado por transiciones
(RAT):
(^) Los observadores han anotado los tiempos de inicio y fin de las categorías: D,3:05-3:30 G,2:40-3:05 P,1:21-2:40 D,1:10-1:21 S,0:43-1:10 D,0:00-0:
D,3:05-3:30 G,2:35-3:05 D,1:49-2:35 P,1:21-1:49 D,1:10-1:21 S,0:40-1:10 D,0:00-0:
Obs 1
Obs 2
Dos tipos de
(^) discordancia
(^) posibles:
durante unas unidades de tiempo. Anotar una categoría diferente una categoría. o fin para una misma ocurrencia de Anotar distintos tiempos de inicio y/
discordancias
Los observadores
(^) concuerdan
en la misma unidad de tiempo. cuando registran la misma categoría
5-
Tabla de confusión
(^) m
(^) x
m : Para calcular un coeficiente de concordancia local
en una tabla de confusión de se contabilizan la cantidad de concordancias y de discordancias y se disponen
(^) m
(^) filas por
m (^) columnas (
m
= núm de categorías).
sido anotadas por Obs 2 Categorías según han
sido anotadas por Obs 1 Categorías según han
( mientras Obs 2 anotó E en los que Obs 1 anotó A segmentos conductuales unidades de tiempo oCantidad de intervalos, discordancia
)
concordaron en los que Obs 1 y Obs2 segmentos conductuales unidades de tiempo o Cantidad de intervalos,
(^) en anotar E
contiene las concordancias La diagonal de la tabla
concordancia respecto a un sistema de categorías EME. En una tabla de confusión únicamente puede representarse la
5-
Tabla de confusión:
Ejemplo para un muestreo instantáneo con 22 intervalos:
de intervalos Cantidad total
5-
Tabla de confusión:
Ejemplo para un RAT con tiempos de inicio y fin:
de la sesión) segundos (duración Cantidad total de
5-
Coeficiente
(^) kappa
) de Cohen (1960):
(^) Indica el grado de concordancia local entre dos observadores respecto a un
Calcular
, la
proporción de concordancia observada.
Calcular
, la
proporción de concordancia esperada
(^) que se
! conducta al azar. estima que tendrían los observadores si uno o ambos registrasen la Calcular
(^) kappa:
o
e
1 o
e
e
P
P
P
κ
−
=
−
5-
Coeficiente
(^) kappa
1
m
ii
i
o
++
∑
observada concordanciaProporción de
esperada concordancia Proporción de
debida
al azar:
1
2
m
i
i
i
e
=
++
∑
o
2
e
κ
5-
Obtención de tablas de confusión 2 x 2 a partir de una tabla
m x m:
m Cuando se han contabilizado las frecuencias de una tabla de confusión
x m
(categorías EME) pueden obtenerse las tablas de confusión 2 x 2
para cada categoría
agrupando filas y columnas
(^) de la tabla original:
Tabla
(^) m (^) x (^) m (^) para las 4 categorías EME:
Tabla 2 x 2 para la categoría D:
5-
Relación entre las
(^) kappas
(^) de las categorías y la
(^) kappa
(^) del sistema EME:
i
i
i
κ
κ
(^) Los pesos son función de los totales de filas y de columnas en la tabla
(^) m
(^) x m :
i
i
i
i
i
Peso de la categoría
(^) i
Totales de la fila
(^) i
y (^) de la
(^) columna
(^) i
Kappa
(^) del sistema
Kappa
(^) de la categoría
(^) i
Peso de la categoría
(^) i
(^) La
kappa
del sistema de categorías es igual a la
(^) media ponderada
(^) de las
kappas
(^) de las categorías:
Por lo tanto, la
(^) kappa
(^) del sistema de categorías
no puede ser mayor
que la
kappa
(^) de la categoría donde existe más concordancia
(^) ni puede ser menor
que la
(^) kappa
(^) de la categoría donde existe menos concordancia.
5-
Relación entre las
(^) kappas
(^) de las categorías y la
(^) kappa
(^) del sistema EME:
i
i
i
r r
κ Se calculan las=
(^) kappas
(^) para cada categoría
ponderada de las Se comprueba que la media
(^) kappas
(^) de las
categorías es igual a la
(^) kappa
general del sistema
5-
(^) observador falible
y las
columnas a un
(^) observador estándar o perfecto
, entonces el coeficiente
kappa
indica el grado de
(^) precisión del observador falible
Otros indicadores de precisión que complementan la información
proporcionada por
(^) kappa:
Sensibilidad
respecto a una categoría de conducta:
roporción de
unidades de tiempo o intervalos en las que
(^) el observador falible
registra
(^) la
categoría de conducta cuando ésta verdaderamente
ocurre
cuándo ocurre Es una estimación de la probabilidad de que el observador falible detecte
la categoría.
Especificidad
(^) respecto a una categoría de conducta:
roporción de
unidades de tiempo o intervalos en las que
(^) el observador falible
no
registra
(^) la categoría de conducta cuando ésta verdaderamente
(^) no ocurre
cuándo no ocurre Es una estimación de la probabilidad de que el observador falible detecte
(^) la categoría.
5-
Coeficientes de precisión local: a + c Valores verdaderos:
(^) = cantidad de unidades de
b + d verdaderamente ha ocurrido. tiempo en las que la categoría X
(^) = cantidad de unidades de
verdaderamente no ha ocurrido. tiempo en las que la categoría X
a Concordancias: = cantidad de aciertos en registrar la categoría
d (^) = cantidad de aciertos en no registrarla
b Discordancias: (^) = cantidad de errores de comisión, o falsos
c positivos = cantidad de errores de omisión, o falsos
negativos
η
Sensibilidad:
Especificidad:
5-
Coeficientes de precisión local.
Ejemplo:
Si la sensibilidad
(^) o
la especificidad son
(^) bajas
entonces kappa es
baja
Ejemplos:
Categorías S y D.
Si la sensibilidad
(^) y (^) la especificidad son
altas
entonces kappa es
alta
Ejemplos:
Categorías G y P.
Sensibilidad
Especificidad
5-
(^) Concordancia secuencial:
es el grado de semejanza de las secuencias
que registran
(^) dos observadores.
(^) Problema:
Si
no existe un consenso previo
acerca de cuáles son los
segmentos de conducta y los observadores
(^) sólo registran el orden en que
ocurren las categorías
pero no sus tiempos de inicio y fin, entonces
(^) no
(^) es
: Desocupado,
: Juego solitario,
: Juego conjunto,
: Juego
paralelo,
: Juego grupal):
una de las categorías? mientras Obs 1 registraba cada ¿Qué categorías registró Obs 2
(^) Dos conjeturas posibles (entre muchas otras) acerca de cómo
(^) alinear
o
5-
(^) Algoritmo de Needleman y Wunsch (1970):
Es un procedimiento que
(^) software
(^) específico para aplicar el algoritmo.
(^) El resultado es el
alineamiento óptimo
(^) de las secuencias. Para el ejemplo
anterior es:
(^) La proporción
indica el grado de concordancia secuencial entre los
observadores.
5-
Cuanto mayor es el número de categorías que se han definido.
Cuando se han definido sistemas multidimensionales de categorías o
! cuando varias categorías pueden ocurrir simultáneamente. Cuando las definiciones de las categorías contienen términos
interpretativos o inferenciales.
(^) Cuanta mayor complejidad, más difícil puede ser para el observador discriminar
(^) entre las categorías y, por lo tanto, más probable que cometa
Cuando la complejidad es grande es necesario observar
grabaciones audiovisuales
(^) y evitar la observación en vivo.
5-
(^) Cuanto más lejos se
no pueda detectar todas sus conductas. encuentre el observador de los individuos observados más probable es que
Solución:
(^) Usar vídeo, micrófonos direccionales, binoculares.
(^) Causados por la duración y tasa de los estímulos:
(^) Cuanto más corta es la
observador detectar sus ocurrencias y registrarlas correctamente. duración de las conductas y/o mayor es su tasa, más difícil es para el
Solución:
(^) Usar vídeo.
(^) Causados por déficit de atención:
(^) Cuanto más compleja sea la situación a
que cometa errores. atención en la conducta durante largos periodos de tiempo y más probable es simultáneamente, etc.), más difícil es para el observador mantener la observar (cantidad de categorías, tasas altas, muchos individuos a observar
Solución:
(^) Usar vídeo, sesiones de observación cortas, muestreo
intrasesional de individuos.
5-
“efecto de la expectativa”
(^) cuando el observador obtiene datos
En una investigación sobre la agresión en las escuelas se informa al
! escuelas de “clase media-baja” y “clase baja”. media-alta” existe una tasa de agresión menor entre los niños que en las observador que se cree que en las escuelas de “clase alta” y “clase Se han definido categorías de agresión “grave”, “intermedia” y “leve”.
Conociendo la conjetura, el observador puede tender a registrar
baja” y como agresión “intermedia” en las de “clase alta”. ejemplo, empujones) como agresión “grave” en las escuelas de “clase determinadas interacciones que se consideran agresión “intermedia” (por
(^) Solución:
Los investigadores
no deben informar
a los observadores acerca
5-
(^) entrenamiento previo
(^) en el uso de los sistemas
(^) re-entrenados periódicamente
en el curso de la investigación.
Debe calcularse su
(^) precisión
(^) (o su fiabilidad) de forma periódica y deben ser
informados
de la misma. Conocer que la precisión no es buena es un incentivo
manual de uso
(^) de las categorías.
Deben diferenciarse claramente las funciones:
! (^) El
(^) investigador
planifica la investigación, establece conjeturas, define
! variables y categorías, entrena a los observadores, analiza los datos, etc. (^) El
(^) observador
(^) únicamente registra la conducta pero no debe conocer las
conjeturas y los objetivos de la investigación.
5-
de los individuos [que es lo que se pretendía] sino de
su
conducta como reacción a la situación de observación.
(^) Por lo tanto, los datos no reflejarán aquello que se pretendía que reflejasen: No tendrán validez
(^) Indicadores
de que puede existir reactividad:
Los individuos observados se enfrentan al observador o muestran
! resistencia a ser observados. Los individuos observados se esconden o parecen sobreactuar.
Los individuos observados miran a la cámara de vídeo o al observador.
(^) Aparecen conductas nuevas o no aparecen conductas esperables en la
situación concreta, en comparación con otros estudios similares.
5-
(^) Sus rasgos físicos (talla, peso, sexo, procedencia, etnia,
Hay individuos más reactivos que otros, desde los más
(^) Cuanto más diferentes
sea el observador y los observados, más reactivos pueden ser éstos.
(^) Por
ejemplo,
(^) se espera mayor reactividad en hombres que son observados por
(^) Las conductas voluntarias, la conducta verbal y la conducta
mediadores hormonales (p.e., respuesta a una agresión). que las conductas automáticas, motrices, posturales y causadas por social en general son más proclives a cambiar por efecto de la reactividad
5-
La mejor solución pero no siempre factible. El observador
(^) Los individuos observados se hallan en una
pueden sospechar encuentra fuera de la habitación viéndolos a través del espejo. Los observados habitación en cuya pared hay un espejo unidireccional, y el observador se
(^) que están siendo observados, pero no lo saben con
(^) La presencia del observador es evidente y se
(^) evitar informar
(^) a los individuos observados que van a ser
observados. En ciertas situaciones es posible emplear
múltiples observadores
sin informar a los observados cuáles están realmente observando ni a quién.