ENEM - EXAME NACIONAL DO ENSINO MÉDIO
Avaliação da qualidade do ensino médio
ou avaliação para ingresso no ensino superior?
O ENEM - Exame Nacional do Ensino Médio, atualmente encarado como um instrumento para o processo seletivo nacional de ingresso no Ensino Superior tem sido, nos últimos anos, constrangedor.
Criado em 1998, o ENEM foi teve por objetivo servir como instrumento de avaliação da qualidade dos egressos do ensino médio, caracterizando-se como importante instrumento de avaliação externa a disposição do MEC, para um mapeamento e monitoramento da qualidade das escolas, bem como das escolas, permitindo uma auto-avaliação do seu desempenho.
O ENEM foi utilizado com este critério até 2008. A partir de 2009, os resultados individuais do ENEM passaram a ser utilizados na implementação de outras políticas públicas como democratizar as oportunidades de acesso às vagas no sistema de ensino superior, além de, recentemente, proporcionar a certificação dos Jovens e Adultos no ensino médio. Também passa a servir de parâmetro para a reestruturação dos currículos no ensino médio, o que, na minha opinião, já era possível antes.
O primeiro grande equívoco ocorrido em 2009, quando ocorreu a primeira tentativa de unificação dos vestibulares. Uma cópia da prova foi furtada em uma das gráficas responsáveis pela impressão do caderno de questões, fazendo com que a data de realização do exame fosse adiada por quase 60 dias.
Em 2010, novamente ocorre uma série de equívocos, que colocam em xeque a credibilidade do exame como forma de concurso para seleção de ingresso à Universidade. Uma série de verdadeiras "trapalhadas" em erros de questão, cadernos de provas trocadas transformaram o exame em motivo de protesto e deboche por parte de estudantes do Brasil inteiro.
Neste ano de 2011, novamente o escândalo. Uma denúncia de 13 questões vazaram para alunos de uma escola de Fortaleza, no Ceará, em outubro do ano passado, após a aplicação do pré-teste.
Penso que há uma série de equívocos neste processo de condução do ENEM.
Em primeiro lugar, a origem do ENEM é ser um instrumento que permite avaliar em que condições se encontra o egresso do final da escolaridade básica, medindo, com a aplicação de um exame, quais as habilidades e competências do aluno egresso do ensino médio estão evidenciadas e quais não estão presentes ou se apresentam em um índice insuficiente. Quem vai dizer isso é o mapeamento dos resultados das instituições e regiões onde o exame é aplicado.
Para atingir este objetivo, o MEC, a partir do trabalho de um grupo de profissionais do INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, elaborou uma Matriz de Competências. A Matriz de Competências contempla, segundo o INEP, a indicação das competências e habilidades gerais próprias do aluno, na fase final da sua escolaridade básica, associadas aos conteúdos do Ensino Fundamental e Ensino Médio.
O que são HABILIDADES e COMPETÊNCIAS? As competências são estruturas da inteligência que utilizamos para estabelecer relações entre objetos, situações, fenômenos, pessoas e outras informações. As habilidades estão relacionadas ao "saber fazer". Por meio de ações e operações, adquirimos e aperfeiçoamos habilidades que, em conjunto e articuladas geram competências. Estas competências, por sua vez, possibilitam novas ações e operações que interligadas possibilitam a reorganização das competências.
Gosto muito de um exemplo prático para ilustras o que são habilidades e competências. Imaginemos alguém que está aprendendo a dirigir um automóvel. O candidato a motorista precisa aprender uma série de ações e operações necessárias para dirigir um automóvel de forma correta e segura. No início, para troca de marcha, ele pensa "agora vou trocar de marcha". Ou seja: está exercitando uma operação "trocar de marcha", que é "saber fazer". A partir do momento em que este movimento se tornar automático, este candidato passou a adquirir uma competência.
O ENEM tem um processo complexo de elaboração e correção das questões. A prova do ENEM é elaborada e corrigida com base na TEORIA DE RESPOSTA AO ITEM (TRI). O TRI é um instrumento da estatística que permite identificar o grau de dificuldade de questões, a partir das suas propriedades; a habilidade dos alunos e o acerto casual. Assim, é possível, segundo esta teoria, identificar, com uma margem de erro muito pequena, quando alguém "chutou" em alguma questão.
Professores elaboram questões (itens), a serem utilizadas pelo MEC, que realiza um pré-teste com as questões com alunos do 2º ano do ensino médio e 1º ano da universidade, permitindo atribuir às questões o grau de dificuldade. As questões pré-testadas vão para um banco de questões, que contém atualmente cerca de 20.000 questões. Destas questões são selecionadas 180 que cairão na prova do ENEM. As questões pré-testadas são dispostas em uma escala numérica, que servirá de base para classificar os alunos de acordo com sua proficiência.
Pela lógica, um aluno que acertou as questões mais difíceis e errou as mais fáceis pode ter um resultado inferior ao aluno que acerta as mais fáceis e erra as mais difíceis. Isso se dá porque a TRI permite identificar quando o aluno "chuta" uma resposta. O resultado não é obtido apenas pelo número absoluto de acertos.
Se corretamente aplicado, a TRI de fato permite que provas com questões diferentes permitam "medir" as mesmas habilidades e competências. Em sala de aula, é comum o aluno responder a questões de provas em uma mesma turma, formuladas com dados diferentes, mas explorando as mesmas dificuldades e visando identificar a mesma matriz de habilidades e competências.
O que ocorreu com o ENEM de 2011, segundo pude apurar nos noticiários, é que dois cadernos do "pré-teste" aplicado em 2010, em duas turmas, uma de 47 alunos e outra de 44 alunos, em um dia normal de aula, foram retidos ou copiados por alguém da escola ou alguém que aplicava o "pré-teste".
Segundo o MEC, todos os cadernos foram devolvidos, devidamente conferidos e depois incinerados. O protocolo não aponta a falta de algum dos cadernos. Não houve, portanto, extravio do material.
Portanto, não há "vazamento" de questões. Houve, sim, uma tentativa de burlar um sistema e beneficiar um grupo de alunos de uma escola, mesmo que uma nova aplicação e correção de provas com estes mesmos alunos, de acordo com a TRI, coloca em dúvida se estes alunos se beneficiam.
Antes de opinar sobre qual alternativa considero mais adequada para sanar o problema, tenho que me manifestar pelo encaminhamento da aplicação do "pré-teste". Ora, não há como não considerar que quem não consegue ter a vigília necessária para impedir deslizes na aplicação de um teste em duas turmas, para 42 + 47 alunos, jamais poderá ter a competência necessária para vigiar a aplicação com o devido cuidado de um exame no país inteiro, em inúmeras escolas e pontos de aplicação da prova, espalhados por este Brasil imenso, para mais de 3.000.000 de alunos.
Somente isto já seria o argumento suficiente para afirmar que os responsáveis pela aplicação do ENEM não são competentes o suficiente para fazê-lo.
Mas, milhares de estudantes se prepararam para realizar uma prova e sonham com o seu resultado. Inúmeras instituições aguardam o resultado para realizarem as suas avaliações e, consequentemente, reorganizações e reestruturações.
Como instrumento de avaliação externa, o ENEM já está deixando a desejar, uma vez que a sua aplicação não se mostra com a integridade, fidelidade e fidedignidade necessárias para permitir uma avaliação institucional.
Como instrumento de "democratização" das políticas públicas, o ENEM é um fracasso total, pois é aplicado de forma incompetente e está sujeito a uma série de ações e questionamentos que, no seu curso, colocam em dúvida o conceito democrático do uso de seus resultados.
Porém, o exame foi realizado, houve novamente uma "trapalhada" (sim, porque não há, ao meu ver, um outro adjetivo senão uma verdadeira trapalhada), mas os cerca de 3.000.000 não podem ser penalizados com a anulação do exame ou com a realização de uma nova prova, em detrimento da "trapalhada" que supostamente beneficia um grupo de alunos de uma única escola.
As alternativas postas são - na ordem que, ao meu ver, dão prioridade aos encaminhamentos, considerando o menor prejuízo - 1) Elaboração, aplicação e correção de nova prova para os alunos que são alvo da suspeita de terem beneficiados pela divulgação de questões na escola de Fortaleza; 2) Anulação das questões suspeitas no ENEM 2011; 3) Anulação do exame realizado, para todos os alunos e realização de nova prova.
A primeira opção não trará benefício a estes alunos que realizarem a nova prova, desde que a aplicação da TRI - Teoria de Resposta ao Item seja cercada da devida seriedade e competência e acredito que os profissionais do INEP e do MEC que estão vinculados à elaboração das questões tem essa competência.
A segunda opção, embora também possa ser caracterizada como alternativa que não traria prejuízos, com base na TRI, segundo o MEC afirma, já não compartilha da minha segurança, pois não tenho informações e garantias de que as questões a serem anuladas distribuem-se uniformemente entre questões fáceis, médias e difíceis. Portanto, suspeito de que haverá prejuízos, sim.
A terceira opção é a que, talvez, poderia ser a forma mais radical de resolver o problema, eliminando-o, traz um prejuízo pecuniário altíssimo, o que já aconteceu em outra anulação do exame, além de não haver tempo hábil para uma nova elaboração, impressão, distribuição, aplicação e correção de nova prova.
Na verdade, tenho para mim um posicionamento mais radical, mas sei que não seria aceito e não há aplicabilidade para isto. Quem comete o deslize deve pagar com uma pena pelo seu ato. Sendo assim, se a escola proporcionou de forma anti-ética e, porque não dizer, criminosa, o benefício aos seus alunos, em detrimento dos demais, divulgando questões que teve acesso de foma ilícita e, se estes alunos, foram sabedores de que isto é ilícito, os únicos responsáveis a serem punidos deveriam ser esta escola e os seus alunos beneficiados com a divulgação das questões. A pena? Anulação da prova do ENEM para estes alunos, apuração e responsabilização criminal pelo(s) responsável(eis) por adquirir e divulgar ilicitamente as questões. Os alunos, cumprida a pena, podem fazer nova prova no ENEM no ano seguinte.
Mas, isto é uma outra história...
Prof. Uwe Roberto Strauss