Perícia aponta falhas na metodologia de correção do Enem 2016

Análise pericial identifica vulnerabilidades no Enem 2016

Uma avaliação técnica realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) examinou detalhadamente a aplicação do Enem 2016, destacando diversos problemas no processo de pontuação e na metodologia adotada. O Enem 2016 enfrentou desafios específicos por ter sido aplicado em dois períodos distintos, com quantidades significativamente diferentes de participantes em cada etapa.

A investigação foi solicitada pelo Ministério Público Federal (MPF) em Uberlândia (MG) mediante ação judicial, com o objetivo de verificar se a grande disparidade no número de candidatos entre as duas aplicações influenciou nos resultados finais e prejudicou especificamente os alunos que realizaram a segunda prova.

Contexto da dupla aplicação em 2016

O ano de 2016 foi marcado por intensas ocupações estudantis em escolas públicas de 23 estados e do Distrito Federal. Essas manifestações impediram a realização normal do exame na data prevista, levando o Ministério da Educação a convocar uma segunda aplicação. A primeira etapa ocorreu nos dias 5 e 6 de novembro, contando com a participação de aproximadamente 5,8 milhões de candidatos. Já a segunda aplicação, realizada em 3 e 4 de dezembro, recebeu menos de 170 mil inscritos, representando uma diferença drástica entre as duas versões.

Na ocasião, o governo federal garantiu que existiria isonomia nas avaliações, independentemente da data em que os candidatos realizassem as provas. Porém, resultados posteriores desmentiriam essa promessa, gerando reclamações massivas de estudantes em todo o país.

Detalhes da perícia e conclusões

O perito responsável pela avaliação foi Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) na Universidade Federal de Juiz de Fora. Soares possui credenciais reconhecidas internacionalmente em análise estatística e já havia atuado como membro do conselho científico do próprio Enem, além de ser especialista em Teoria da Resposta ao Item (TRI), a metodologia utilizada no exame.

Com acesso a informações sigilosas do Inep, o perito produziu um laudo de 207 páginas documentando as fragilidades descobertas. O relatório enfatizou que o processo de pontuação apresentava vulnerabilidades que poderiam comprometer a comparabilidade entre os resultados das duas provas distintas.

Principais vulnerabilidades encontradas

O laudo listou os pontos críticos identificados em ordem de relevância. Em primeiro lugar, destacou-se o número insuficiente de itens comuns previamente calibrados nos pré-testes e incluídos na prova regular do Enem. Em segundo lugar, o documento apontou o tamanho inadequado das amostras de calibração em determinados pré-testes. A terceira fragilidade referia-se à precisão deficiente com que os resultados eram reportados ao público. Por fim, identificou-se a ausência de informações transparentes sobre a qualidade dos testes e das medidas implementadas.

Conforme o laudo, ambas as aplicações nas disciplinas de Ciências Humanas e Ciências da Natureza demonstraram níveis praticamente equivalentes de precisão em praticamente todos os graus de proficiência. A prova de Ciências da Natureza da segunda aplicação apresentou um ligeiro viés de facilidade em relação à primeira. Contudo, as maiores disparidades ocorreram nas disciplinas de Linguagens e Códigos e Matemática, sendo que candidatos da primeira prova obtiveram vantagem em Linguagens, enquanto candidatos da segunda aplicação saíram beneficiados em Matemática.

Posicionamento do Inep e próximos passos

Em resposta formal, o Inep informou ao G1 que não havia sido notificado oficialmente sobre qualquer resultado referente à perícia. A instituição ressaltou contar com consultoria de diversos especialistas de destacada experiência em análise estatística e psicométrica de avaliações em larga escala. O instituto afirmou ter total segurança na metodologia adotada desde 2009, reconhecida tanto em âmbito nacional quanto internacional, e prometeu se manifestar quando devidamente notificado. A assessoria de comunicação do Inep também observou que o laudo, independentemente de seu conteúdo, representaria apenas uma opinião isolada.

O procurador da República Leonardo Macedo, responsável pelo inquérito civil que investiga irregularidades na correção das provas do Enem 2016, informou que encaminhou o resultado da perícia tanto para o Inep quanto para estudantes que se sentiram prejudicados. Macedo explicou que o laudo é extensivo e não apresenta uma conclusão única e definitiva. O primeiro passo consistiria em disponibilizar a perícia aos principais interessados com prazo para análise. Posteriormente, será marcada uma audiência pública para que todas as partes possam apresentar seus pontos de vista antes de o MPF decidir sobre possíveis ações, como pedidos de indenização ou revisão de notas.

Reclamações dos candidatos prejudicados

A investigação do MPF iniciou-se após a divulgação dos resultados em janeiro de 2017. Naquele momento, numerosos estudantes de toda a nação procuraram o Ministério Público manifestando insatisfação com as notas resultantes das duas aplicações. Segundo análise do MPF, candidatos que realizaram a primeira prova obtiveram notas significativamente superiores quando comparadas aos da segunda aplicação. O procurador Leonardo Macedo atribuiu essa discrepância à metodologia da TRI, que leva em consideração o número total de candidatos, as variações no percentual de treineiros, a maior abstenção na segunda aplicação e o perfil diferente de candidatos em cada local de prova.

Histórico e cronologia dos acontecimentos

O processo que culminou na perícia teve início meses antes. Em outubro de 2016, ocupações estudantis se espalharam por todo o Brasil, afetando 181 escolas inicialmente segundo levantamento do MEC, e posteriormente atingindo 1.154 ocupações conforme dados da União Brasileira dos Estudantes Secundaristas. Na véspera da primeira aplicação do Enem, o governo anunciou o adiamento do exame em 364 locais de prova.

A primeira aplicação, realizada em 5 e 6 de novembro, teve abstenção de aproximadamente 30%. A segunda aplicação, nos dias 3 e 4 de dezembro, contou com 277.657 inscritos, mas registrou abstenção muito superior, cerca de 40%, resultando em aproximadamente 166 mil candidatos efetivos. Quando os resultados foram divulgados em janeiro de 2017, 20 mil candidatos não conseguiram acessar suas notas imediatamente, sendo necessária intervenção técnica do Inep.

O MPF iniciou contatos com o Inep e o MEC em janeiro de 2017 para investigar a denúncia. Em setembro de 2017, o Inep concordou em conceder acesso a um especialista para realizar perícia com dados sigilosos, mas o perito foi inicialmente barrado. Em dezembro de 2017, o MPF ingressou na Justiça com ação civil pública solicitando acesso aos dados. Somente entre 5 e 9 de fevereiro de 2018 a perícia foi efetivamente realizada.

Implicações e perspectivas futuras

A descoberta das fragilidades no Enem 2016 levanta questões importantes sobre a confiabilidade de processos de avaliação em larga escala. O perito Tufi Soares ressalvou que não é possível realizar análise de comparabilidade para todos os casos individualmente nas dimensões do Enem, e que cada situação precisaria de exame específico. Ele também sugeriu mudanças na forma de confecção e divulgação das provas, buscando maior transparência e qualidade futura.

Enquanto isso, a investigação continua seu curso. O MPF aguarda a realização de audiência pública ainda a ser agendada, quando avaliará se solicitará indenizações aos candidatos prejudicados, aumento de notas ou outras medidas cabíveis. O procurador Leonardo Macedo afirmou estar lidando com questão delicada e agindo com cautela para encontrar solução adequada.