Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Testes educacionais e avaliações em larga-escala

Apresentação feita por Alexandre Peres, pesquisador do Inep, durante o evento formativo do Prêmio Inovação em Gestão Educacional 2011, realizado em novembro de 2012 em Brasília.
by

Alexandre Peres

on 9 November 2016

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Testes educacionais e avaliações em larga-escala


Pesquisador-tecnologista em avaliações e informações educacionais
Diretoria de Estudos Educacionais
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - Inep

Testes educacionais e avaliação em larga-escala
O que é avaliar?
Fim
Para tentar responder essa pergunta, a psicometria investiga pelo menos dois parâmetros ou características dos testes:

- validade
- precisão
Mas, como saber se um teste tem qualidade?
Não, teste e avaliação são coisas diferentes.

Um teste é apenas um instrumento que tem como objetivo coletar informações sobre características de alunos, turmas, escolas e redes educacionais.

Uma avaliação é um processo complexo, amplo e contínuo.
Teste e avaliação são a mesma coisa?
alexandre.peres@gmail.com


hgjh
Qualquer método usado para compreender melhor o conhecimento corrente que um estudante possui, incluindo desde a simples avaliação realizada pelo julgamento subjetivo baseado numa única observação do desempenho até um teste padronizado complexo que exige técnicas de análise sofisticadas (Rodrigues, 2007).
Qual a diferença entre avaliação escolar e avaliação em larga-escala?
Avaliação em larga-escala
Avaliação escolar
- Coletar informações que subsidiem o planejamento e o desenvolvimento do trabalho pedagógico

- Subsidiar outras decisões pedagógicas, como progressão e retenção dos alunos

- Fornecer informações para a avaliação e planejamento da unidade escolar
- Diagnosticar aspectos do desevolvimento e da aprendizagem de cada aluno e da turma
- Foco no processo amplo de ensino-aprendizagem

- Ação contínua, sistemática e orientadora

- Não tem objetivos de seleção

- Pode ser diagnóstica, formativa ou somativa

>>> Utiliza diversos instrumentos, como provas, fichas de registro, portifólios

>>> Os instrumentos não costumam ser padronizados e normatizados
Características da avaliação no âmbito da unidade escolar:
Objetivos da avaliação escolar:
Características das avaliações em larga-escala:

- Fornecer informações diagnósticas sobre a realidade educacional em vários níveis: escolas e universidades, Municípios, Estados e País

- Subsidiar a formulação, planejamento, monitoramento e avaliação de impacto de políticas públicas educacionais

- Selecionar candidatos mais bem preparados: ENEM, Prova Docente

- Avaliar o desempenho de profissionais


>> Costuma adotar como instrumentos os testes educacionais psicométricos, também chamados de testes padronizados ou testes em larga-escala
Alexandre J. S. Peres
Testes educacionais psicométricos (ou padronizados)
- O que é um teste?
- O que é um teste psicométrico?
- O que é psicometria?
Um teste é um procedimento sistemático para observar o comportamento e descrevê-lo com a ajuda de escalas numéricas ou categorias fixas (Cronbach, 1996)

ou seja

Um teste consiste em submeter uma pessoa a uma situação planejada em que ela deve executar algumas tarefas também planejadas, sendo que suas respostas (comportamentos) são descritas geralmente por meio de números (Pasquali, 2003)
Não é tão complicado quanto parece!
Vejamos!
O Professor Luciano quer avaliar o resultado de suas aulas de matemática. Então, ele poderia preparar uma prova mais ou menos assim:
1 + 2 =
4 - 2 =
6 ÷ 2 =
3 x 3 =
Mas, como Luciano é um professor bem preparado, ele gostaria de saber se seus alunos aprenderam de maneira significativa e se sabem aplicar seu conhecimento em problemas cotidianos
O Calvin certamente ainda não desenvolveu plenamente suas habilidades e competências aritméticas.

Todo educador sabe que é uma tarefa muito difícil avaliar construtos tão complexos como aprendizagem, conhecimento, habilidades, competências, desenvolvimento cognitivo, socioafetivo etc.

Mas, mesmo assim, todo educador busca avaliar essas coisas.

Como fazemos isso tradicionalmente?
Seguimos sempre mais ou menos o seguinte caminho:

1. Decidimos o que queremos avaliar
O Luciano, por exemplo, queria avaliar competências e conhecimentos relacionados às operações aritméticas básicas.
2. Como não podemos observar diretamente um conhecimento ou uma competência, estruturamos tarefas que nos demonstrem indiretamente o desenvolvimento do aluno.
O que queremos avaliar?
Competências, habilidades e conhecimentos
Subtração
Adição
Multiplicação
Divisão
1 - 1 = ?
2 + 2 = ?
5 x 5 = ?
5 : 5 = ?
Adição
3. Então, atribuímos ao desempenho dos alunos nessas tarefas conceitos, que podem ser numéricos ou categóricos:
Por exemplo:

Excelente Notas de 1 a 10 A+ A-
Ótimo Notas de 1 a 100 B+ B-
Muito Bom C+ C-
Bom D+ D-
Regular E+ E-
F+ F-
4. Por fim, fazemos hipóteses e tomamos decisões sobre os alunos.
"Aquela aluna, que sempre tira 10, é a aluna mais inteligente!"

"Quem tirar menos que 6 ficará de recuperação."

"Um aluno com conceito Regular não está preparado para seguir adiante."

"A turma desse ano é melhor que a do ano passado, pois tiveram uma média maior."
Mas, será que extrapolamos ao fazer afirmações como essas e ao tomar decisões a partir delas?
Um aluno que tirou 10 sabe o dobro do outro aluno que tirou 5 ?

A prova que preparei consegue avaliar todos os níveis de conhecimento dos alunos? Ou será que avalia apenas um nível?

Uma turma que tinha média 8 e passou para uma média 8,5 realmente melhorou? Essa mudança é significativa?
A psicometria

é a área da psicologia (e da educação) que busca investigar soluções para esses problemas que acabamos de abordar

se ocupa do desenvolvimento de medidas mais confiáveis e precisas sobre construtos e processos cognitivos como conhecimentos, habilidades, competências etc

usa instrumentos chamados "testes" para coletar informações e fazer essas medidas

adota métodos cuidadosos para construção e aplicação desses testes e para a análise e interpretação do desempenho das pessoas neles

adota análises estatísticas, como os modelos da Teoria Clássica dos Testes (TCT), Teoria de Resposta ao Item (TRI), análise fatorial, modelos de equações estruturais etc
Características dos testes educacionais psicométricos:

- padronização
- normatização
- precisão
- validade
1. Os testes educacionais psicométricos são PADRONIZADOS, ou seja, sua aplicação segue uma metodologia uniforme

- material de testagem
- o ambiente físico da testagem
- ambiente psicológico/social (relação aplicador-aluno, condições de saúde etc)
- instruções padronizadas
- tempo de aplicação padronizado (quando for o caso)
- comportamento do aplicador

Por exemplo, o ENEM:
- é aplicado em todo Brasil no mesmo dia e horário
- todos os candidatos têm o mesmo tempo disponível para responder a prova
- todas os cadernos de prova têm a mesma qualidade gráfica
- os aplicadores são treinados para passarem as mesmas instruções e se relacionares adequadamente com os aplicadores
- o ambiente psicológico também é padronizado: nesse caso, todo mundo está tenso pois o ENEM é um teste de seleção!
2. Os testes educacionais psicométricos são NORMATIZADOS, ou seja

- seguimos uma metodologia uniforme para interpretar o desempenho dos alunos

- os resultados devem ser interpretados de acordo com critérios justos e adequados pedagogicamente

- uma "norma" é a de interpretar o desempenho de um estudante indentificando em que nível ele está em uma escala de proficiência. Ou seja, o que significa a nota dele? O que alguém com essa nota sabe e é capaz de fazer?

- outra "norma" é a de interpretar o resultado de um aluno observando seu desempenho em comparação com o desempenho de outros alunos que tenham a mesma idade ou estejam no mesmo ano/série, por exemplo

>> Assim, normatização são metodologias para interpretar o desempenho dos alunos e que são estabelecidas por meio de pesquisas e análises psicométrias (estatísticas e pedagógicas) dos testes educacionais
Escala de proficiência em raciocínio matemático
Validade:

- o teste está medindo o que ele se propõe a medir? Por exemplo, a prova de história avalia mesmo conhecimentos dessa área ou está avaliando apenas interpretação de texto?

- o teste consegue predizer o sucesso acadêmico de um aluno? ele consegue selecionar os melhores candidatos?

- o teste consegue avaliar toda a dimensão relacionada à proficiência?
1. Diagnosticar
(aqui entra o teste)
2. Integrar as informações
3. Interpretar as informações e inferir hipóteses
4. Planejar e intervir
5. Monitorar todos os processos anteriores
Então, o que é uma avaliação em larga-escala? É um processo que deve integrar:

- planejamento pedagógico para definir por que e o quê se avaliar
- trabalho pedagógico para definir como avaliar (matriz de referência)
- construção de um instrumento (teste) para coleta de informações
- padronização do teste
- análise da qualidade desse instrumento por meio das técnicas da psicometria
- análise pedagógica dos resultados dos estudantes por meio de normas de interpretação
- planejamento pedagógico e de gestão a partir das informações
- feedback dos resultados para alunos, professores e gestores
- intervenção planejada
- monitoramento de todos os passos
- nova coleta de informações com o teste
Precisão (fidedignidade):

- um professor aplica dois tipos de prova, A e B. Será que os resultados são comparáveis? As provas têm o mesmo nível de dificuldade?

- precisão diz respeito ao quanto um teste é consistente, ou seja, se os resultados que produz são constantes sob condições similares
Como avaliamos?
Essa apresentação foi feita no dia 21 de novembro de 2012, durante o evento formativo do Prêmio Inovação em Gestão Educacional 2011 promovido pelo Inep, em parceria com o MEC, FNDE, Undime e Unesco.
Referências:

Pasquali, L. (2003). Psicometria: teoria dos testes na psicologia e na educação. Petrópolis, Editora Vozes.

Rodrigues, M. M. M. (2007). Avaliação educacional sistêmica na perspectiva dos testes de desempenho e de seus resultados: estudo do SAEB. Tese de Doutorado. Instituto de Psicologia, Universidade de Brasília.

http://download.inep.gov.br/download/basica/concurso_docente/proposta_matriz_discussao_versao_atualizada_13042011.pdf

http://download.inep.gov.br/educacao_basica/prova_docente/legislacao_documentos/2011/documento_aberto_ao_comite_governanca.pdf
Full transcript