Estude fácil! Tem muito documento disponível na Docsity
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Prepare-se para as provas com trabalhos de outros alunos como você, aqui na Docsity
Encontra documentos específicos para os exames da tua universidade
Prepare-se com as videoaulas e exercícios resolvidos criados a partir da grade da sua Universidade
Responda perguntas de provas passadas e avalie sua preparação.
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Um modelo de crédito parcial generalizado para estimar parâmetros em um teste de habilidades múltiplas. O modelo utiliza a função de informação de um item e a distribuição multinomial para calcular a probabilidade de respostas corretas e erradas. O algoritmo em é utilizado para estimar os parâmetros, sendo que as equações de estimação final são apresentadas em forma de quadratura. O documento também discute a aplicação do método de fisher e a representação gráfica da distribuição a posteriori das habilidades.
Tipologia: Notas de estudo
1 / 164
Esta página não é visível na pré-visualização
Não perca as partes importantes!
i
(^1) Professor Titular do Departamento de Estat´ıstica e Matem´atica Aplicada
da Universidade Federal do Cear´a (UFC). e-mail: [email protected]
(^2) Professor do Departamento de Estat´ıstica da Universidade Federal do Par´a
(UFPA). e-mail: [email protected]
(^3) Estat´ıstico da Funda¸c˜ao Carlos Chagas (FCC). e-mail: [email protected]
Andrade, Tavares & Valle SINAPE 2000
ii
Andrade, Tavares & Valle SINAPE 2000
iv Apresenta¸c˜ao
modelos matem´aticos utilizados, os problemas de estima¸c˜ao e equaliza¸c˜ao, e aponta os recursos computacionais adequados.
Certamente, o texto se tornar´a um referencial obrigat´orio para todos aque- les interessados em contribuir para o progresso dos aspectos quantitativos e metodol´ogicos da Educa¸c˜ao Brasileira.
Rubens Murillo Marques Prof. Titular Estat´ıstica-Matem´atica da UNICAMP Diretor Presidente da Funda¸c˜ao Carlos Chagas
Andrade, Tavares & Valle SINAPE 2000
A id´eia de escrever um texto introdut´orio sobre a Teoria da Resposta ao Item – TRI, at´e agora t˜ao pouco conhecida pelos especialistas em avalia¸c˜ao e pelos estat´ısticos no Brasil, surgiu da necessidade de se divulgar o poten- cial dessa teoria tanto no seu aspecto estat´ıstico-matem´atico quanto na sua aplica¸c˜ao e interpreta¸c˜ao na avalia¸c˜ao da aprendizagem e em outras ´areas.
Nosso envolvimento com a TRI come¸cou em 1996, com a an´alise dos dados gerados pela pesquisa AVEJU, da Secretaria de Estado da Educa¸c˜ao de S˜ao Paulo, e continuou no Sistema de Avalia¸c˜ao do Rendimento Escolar do Estado de S˜ao Paulo – SARESP e no Sistema de Avalia¸c˜ao da Educa¸c˜ao B´asica – SAEB do INEP/MEC. Esses dois sistemas de avalia¸c˜ao possuem a sua base metodol´ogica fundamentada na TRI e s˜ao, atualmente, os grandes exemplos no Brasil da sua potencialidade.
Nossa maior preocupa¸c˜ao foi a de escrever um texto que pudesse ser utili- zado n˜ao s´o pelos estat´ısticos, mas tamb´em pelos especialistas em avalia¸c˜ao. O sucesso da TRI passa necessariamente pelo trabalho conjunto de especia- listas dessas duas ´areas. Devido a enorme abrangˆencia da TRI. Nesse sentido, procuramos detalhar alguns pontos que achamos importantes.
Muito do material e id´eias apresentadas nesse livro foram desenvolvidos durante o planejamento e a an´alise do SARESP e nos treinamentos que minis- tramos para t´ecnicos da Secretaria de Estado da Educa¸c˜ao de S˜ao Paulo, da Funda¸c˜ao para o Desenvolvimento da Educa¸c˜ao - FDE e da Funda¸c˜ao Carlos Chagas, aos quais queremos agradecer a paciˆencia e dedica¸c˜ao. Gostariamos tamb´em de expressar os nossos maiores agradecimentos a Yara L´ucia Esp´osito, Ruben Klein e Heraldo Vianna pelos longos papos e discuss˜oes sobre os as- pectos te´oricos e aplicados da TRI e a Profa. Rose Neubauer, Secret´aria de
Apresenta¸c˜ao iii
x Conte´udo
Referˆencias Bibliogr´aficas 147
Andrade, Tavares & Valle SINAPE 2000
2.1 Exemplo de uma Curva Caracter´ıstica do Item – CCI..... 11
2.2 Curvas caracter´ısticas e de informa¸c˜ao de v´arios itens..... 14
2.3 Representa¸c˜ao gr´afica dos modelos de escala gradual e de res- posta gradual............................ 22
4.1 Representa¸c˜ao gr´afica de 6 situa¸c˜oes quanto ao n´umero de gru- pos e de tipos de provas...................... 80
4.2 Gr´afico de dispers˜ao das estimativas do parˆametro de dificul- dade - b dos itens comuns da prova de L´ıngua Portuguesa da 8 .a^ s´erie entre o RN e o SAEB.................. 89
4.3 Gr´afico de dispers˜ao das estimativas do parˆametro de discri- mina¸c˜ao - a dos itens comuns da prova de L´ıngua Portuguesa da 8.a^ s´erie entre o RN e o SAEB................. 90
6.1 Exemplo de 2 itens ˆancora..................... 111
6.2 Esquema da composi¸c˜ao da prova de liga¸c˜ao........... 116
6.3 Representa¸c˜ao gr´afica da distribui¸c˜ao a posteriori das habilida- des em L´ıngua Portuguesa dos alunos da 3.a^ s´erie........ 117
6.4 Representa¸c˜ao gr´afica da distribui¸c˜ao a posteriori das habilida- des em L´ıngua Portuguesa dos alunos da 4.a^ s´erie........ 118
7.1 Esquematiza¸c˜ao dos itens comuns entre as provas........ 132
Cap´ıtulo 1
Resultados obtidos em provas, expressos apenas por seus escores brutos ou padronizados, tˆem sido tradicionalmente utilizados nos processos de avalia¸c˜ao e sele¸c˜ao de indiv´ıduos. No entanto, os resultados encontrados dependem do particular conjunto de itens (quest˜oes) que comp˜oem o instrumento de me- dida, ou seja, as an´alises e interpreta¸c˜oes est˜ao sempre associadas a prova como um todo, o que ´e a caracter´ıstica principal da Teoria Cl´assica das Me- didas. Assim, torna-se invi´avel a compara¸c˜ao entre indiv´ıduos que n˜ao foram submetidosas mesmas provas, ou pelo menos, ao que se denomina de for- mas paralelas de testes. Maiores detalhes sobre essa metodologia, incluindo sua fundamenta¸c˜ao matem´atica, podem ser encontrados em Gulliksen (1950), Lord & Novick (1968) e Vianna (1987), entre outros.
Atualmente, em v´arias ´areas do conhecimento, particularmente em avalia¸c˜ao educacional, vem crescendo o interesse na aplica¸c˜ao de t´ecnicas derivadas da Teoria de Resposta ao Item – TRI, que prop˜oe modelos para os tra¸cos la- tentes, ou seja, caracter´ısticas do indiv´ıduo que n˜ao podem ser observadas diretamente. Esse tipo de vari´avel deve ser inferida a partir da observa¸c˜ao de vari´aveis secund´arias que estejam relacionadas a ela. O que esta metodologia sugere s˜ao formas de representar a rela¸c˜ao entre a probabilidade de um in- div´ıduo dar uma certa resposta a um item e seus tra¸cos latentes, proficiˆencias ou habilidades na ´area de conhecimento avaliada.
Uma das grandes vantagens da TRI sobre a Teoria Cl´assica ´e que ela permite a compara¸c˜ao entre popula¸c˜oes, desde que submetidas a provas que tenham alguns itens comuns, ou ainda, a compara¸c˜ao entre indiv´ıduos da mesma po- pula¸c˜ao que tenham sido submetidos a provas totalmente diferentes. Isto por- que uma das principais caracter´ısticas da TRI ´e que ela tem como elementos centrais os itens, e n˜ao a prova como um todo.
Assim, v´arias quest˜oes de interesse pr´atico na ´area da Educa¸c˜ao podem
4 Introdu¸c˜ao
ser respondidas. E poss´´ ıvel por exemplo, avaliar o desenvolvimento de uma determinada s´erie de um ano para outro ou comparar o desempenho entre escolas p´ublicas e privadas. Os primeiros modelos de resposta ao item surgiram na d´ecada de 50, e eram modelos em que se considerava que uma ´unica habilidade, de um ´unico grupo, estava sendo medida por um teste onde os itens eram corrigidos de maneira di- cotˆomica. Estes modelos foram primeiramente desenvolvidos na forma de uma fun¸c˜ao ogiva normal e, depois, foram descritos para uma forma matem´atica mais conveniente, e que vem sendo usada at´e ent˜ao: a log´ıstica.
Lord (1952) foi o primeiro a desenvolver o modelo unidimensional de 2 parˆametros, baseado na distribui¸c˜ao normal acumulada (ogiva normal). Ap´os algumas aplica¸c˜oes desse modelo, o pr´oprio Lord sentiu a necessidade da incor- pora¸c˜ao de um parˆametro que tratasse do problema do acerto casual. Assim, surgiu o modelo de 3 parˆametros. Anos mais tarde, Birnbaum (1968) substi- tuiu, em ambos os modelos, a fun¸c˜ao ogiva normal pela fun¸c˜ao log´ıstica, ma- tematicamente mais conveniente, pois ´e uma fun¸c˜ao expl´ıcita dos parˆametros do item e de habilidade e n˜ao envolve integra¸c˜ao. Independentemente do tra- balho de Lord, Rasch (1960) propˆos o modelo unidimensional de 1 parˆametro, expresso tamb´em como modelo de ogiva normal e, tamb´em mais tarde descrito por um modelo log´ıstico por Wright (1968).
Samegima (1969) propˆos o modelo de resposta gradual com o objetivo de obter mais informa¸c˜ao das respostas dos indiv´ıduos do que simplesmente se eles deram respostas corretas ou incorretas aos itens. Bock (1972), Andrich (1978), Masters (1982) e Muraki (1992) tamb´em propuseram modelos para mais de duas categorias de resposta, assumindo diferentes estruturas entre essas categorias. Recentemente, Bock & Zimowski (1997) introduziram os modelos log´ısticos de 1, 2 e 3 parˆametros para duas ou mais popula¸c˜oes de respondentes. A introdu¸c˜ao desses modelos trouxe novas possibilidades para as compara¸c˜oes de rendimentos de duas ou mais popula¸c˜oes submetidas a diferentes testes com itens comuns, conforme discutido em Hedges & Vevea (1997) e Andrade (1999), por exemplo. Um ponto cr´ıtico na TRI ´e a estima¸c˜ao dos parˆametros envolvidos nos modelos, em particular quando necessita-se estimar tanto os parˆametros dos itens quanto as habilidades. Inicialmente, a estima¸c˜ao era feita atrav´es do
Andrade, Tavares & Valle SINAPE 2000
6 Introdu¸c˜ao
conceito de equaliza¸c˜ao e suas diferentes formas de obten¸c˜ao s˜ao discutidos no Cap´ıtulo 4. Os m´etodos de estima¸c˜ao s˜ao retomados no Cap´ıtulo 5 com o modelo para duas ou mais popula¸c˜oes. No Cap´ıtulo 6 discute-se a cria¸c˜ao de escalas de habilidade e suas interpreta¸c˜oes e uma aplica¸c˜ao a dados reais. No Cap´ıtulo 7 apresentam-se os principais recursos computacionais e no Cap´ıtulo 8 apresentam-se coment´arios sobre a utiliza¸c˜ao da TRI, inclusive em outras ´areas, e poss´ıveis t´opicos para pesquisa. Por ´ultimo, apresentam-se demons- tra¸c˜oes de alguns dos resultados do Cap´ıtulo 3 no Apˆendice e uma bibliografia com outras referˆencias al´em daquelas citadas no texto, com o objetivo de for- necer ao leitor o maior n´umero de informa¸c˜oes sobre a TRI. Os autores recomendam fortemente a leitura de Lord (1980) e Hamble- ton, Swaminathan & Rogers (1991) para maiores detalhes dos fundamentos e aplica¸c˜oes dessa teoria.
Andrade, Tavares & Valle SINAPE 2000
Cap´ıtulo 2
A TRI ´e um conjunto de modelos matem´aticos que procuram representar a probabilidade de um indiv´ıduo dar uma certa resposta a um item como fun¸c˜ao dos parˆametros do item e da habilidade (ou habilidades) do respondente. Essa rela¸c˜ao ´e sempre expressa de tal forma que quanto maior a habilidade, maior a probabilidade de acerto no item. Os v´arios modelos propostos na literatura dependem fundamentalmente de trˆes fatores:
(i) da natureza do item — dicotˆomicos ou n˜ao dicotˆomicos;
(ii) do n´umero de popula¸c˜oes envolvidas — apenas uma ou mais de uma;
(iii) e da quantidade de tra¸cos latentes que est´a sendo medida — apenas um ou mais de um.
Nesse livro estaremos somente considerando modelos que avaliam apenas um tra¸co latente ou habilidade, os chamados modelos unidimensionais. Modelos que consideram que mais de uma habilidade est´a sendo medida, os chamados modelos multidimensionais, podem ser encontrados em Linden & Hambleton (1997), por exemplo. Na Se¸c˜ao 2.2 apresentaremos os modelos unidimensionais mais utilizados para um ´unico grupo. Os modelos para dois ou mais grupos ser˜ao discutidos na Se¸c˜ao 2.3.
2.2 Modelos envolvendo um ´unico grupo 9
ou errado) quanto para a an´alise de itens abertos (de resposta livre), quando avaliados de forma dicotomizada. Na pr´atica, os modelos log´ısticos para itens dicotˆomicos s˜ao os modelos de resposta ao item mais utilizados, sendo que h´a basicamente trˆes tipos, que se diferenciam pelo n´umero de parˆametros que utilizam para descrever o item. Eles s˜ao conhecidos como os modelos log´ısticos de 1, 2 e 3 parˆametros, que consideram, respectivamente:
(i) somente a dificuldade do item;
(ii) a dificuldade e a discrimina¸c˜ao;
(iii) a dificuldade, a discrimina¸c˜ao e a probabilidade de resposta correta dada por indiv´ıduos de baixa habilidade.
Neste livro, daremos maior ˆenfase `a explica¸c˜ao do modelo log´ıstico de 3 parˆametros, uma vez que ´e o mais completo e portanto os outros dois podem ser facilmente obtidos a partir dele.
O modelo log´ıstico de 3 parˆametros (ML3)
Defini¸c˜ao
Dos modelos propostos pela TRI, o modelo log´ıstico unidimensional de 3 parˆametros (ML3) ´e atualmente o mais utilizado e ´e dado por:
P (Uij = 1|θj ) = ci + (1 − ci)
1 + e−Dai(θj^ −bi)^
com i = 1, 2 , · · · , I, e j = 1, 2 , · · · , n, onde:
Uij ´e uma vari´avel dicotˆomica que assume os valores 1, quando o indiv´ıduo j responde corretamente o item i, ou 0 quando o indiv´ıduo j n˜ao responde corretamente ao item i.
θj representa a habilidade (tra¸co latente) do j-´esimo indiv´ıduo.
Andrade, Tavares & Valle SINAPE 2000
10 Modelos Matem´aticos
P (Uij = 1|θj ) ´e a probabilidade de um indiv´ıduo j com habilidade θj responder corretamente o item i e ´e chamada de Fun¸c˜ao de Resposta do Item – FRI.
bi ´e o parˆametro de dificuldade (ou de posi¸c˜ao) do item i, medido na mesma escala da habilidade.
ai ´e o parˆametro de discrimina¸c˜ao (ou de inclina¸c˜ao) do item i, com valor proporcional `a inclina¸c˜ao da Curva Caracter´ıstica do Item — CCI no ponto bi.
ci ´e o parˆametro do item que representa a probabilidade de indiv´ıduos com baixa habilidade responderem corretamente o item i (muitas vezes referido como a probabilidade de acerto casual).
D ´e um fator de escala, constante e igual a 1. Utiliza-se o valor 1,7 quando deseja-se que a fun¸c˜ao log´ıstica forne¸ca resultados semelhantes ao da fun¸c˜ao ogiva normal.
Interpreta¸c˜ao e representa¸c˜ao gr´afica
Note que P (Uij = 1|θj ) pode ser vista como a propor¸c˜ao de respostas cor- retas ao item i dentre todos os indiv´ıduos da popula¸c˜ao com habilidade θj. A rela¸c˜ao existente entre P (Uij = 1|θj ) e os parˆametros do modelo ´e mostrada na Figura 2.1, que ´e chamada de Curva Caracter´ıstica do Item – CCI. O modelo proposto baseia-se no fato de que indiv´ıduos com maior habilidade possuem maior probabilidade de acertar o item e que esta rela¸c˜ao n˜ao ´e linear. De fato, pode-se perceber a partir do gr´afico acima que a CCI tem forma de “S”com inclina¸c˜ao e deslocamento na escala de habilidade definidos pelos parˆametros do item. A escala da habilidade ´e uma escala arbitr´aria onde o importante s˜ao as rela¸c˜oes de ordem existentes entre seus pontos e n˜ao necessariamente sua magnitude. O parˆametro b ´e medido na mesma unidade da habilidade e o parˆametro c n˜ao depende da escala, pois trata-se de uma probabilidade, e como tal, assume sempre valores entre 0 e 1. Na realidade, o parˆametro b representa a habilidade necess´aria para uma
Andrade, Tavares & Valle SINAPE 2000
