Perícia aponta fragilidades na pontuação do Enem 2016

Análise técnica revela problemas na estrutura de avaliação do Enem 2016

Uma perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou significativas fragilidades na pontuação do Enem 2016, exame aplicado em duas ocasiões distintas naquele ano. O estudo técnico foi contratado pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, mediante ação judicial, com objetivo de investigar se as diferenças substanciais no número de candidatos entre as duas aplicações influenciaram nos resultados finais e causaram prejuízos aos alunos que realizaram o segundo exame.

Em 2016, devido às ocupações estudantis em escolas públicas, o Enem foi aplicado em dois momentos diferentes. A primeira aplicação ocorreu nos dias 5 e 6 de novembro, com participação de aproximadamente 5,8 milhões de candidatos. A segunda aplicação aconteceu em 3 e 4 de dezembro, com menos de 170 mil participantes. Essa discrepância substancial no número de inscritos gerou questionamentos sobre possíveis prejuízos aos candidatos que realizaram a prova em dezembro.

Metodologia e processo de execução da perícia

O trabalho técnico foi desenvolvido por Tufi Machado Soares, professor do Departamento de Estatística da Universidade Federal de Juiz de Fora (UFJF) e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed). O perito, reconhecido como especialista em Teoria da Resposta ao Item (TRI), metodologia utilizada no Enem, obteve acesso a informações sigilosas do Inep e produziu relatório com 207 páginas detalhando suas descobertas.

A perícia foi realizada entre os dias 5 e 9 de fevereiro de 2018, nas dependências do Inep, em Brasília. Tufi Soares havia atuado anteriormente como membro do conselho científico do Enem e possuía ampla experiência em análise de avaliações em larga escala. Seu relatório foi encaminhado ao Ministério Público Federal e posteriormente enviado aos principais interessados para análise.

Principais fragilidades identificadas na pontuação do Enem 2016

O documento produzido pela perícia identificou quatro principais pontos de fragilidade no processo de pontuação das medidas do Enem 2016, classificados por ordem de importância. O primeiro ponto refere-se ao número limitado de itens comuns previamente calibrados nos pré-testes e fixados nas provas regulares do exame. O segundo envolve o tamanho reduzido das amostras de calibração em determinados pré-testes realizados pelo Inep.

A precisão com que os resultados do Enem são reportados ao público foi identificada como terceiro ponto de fragilidade. O quarto aspecto está relacionado à ausência de informações públicas sobre a qualidade dos testes e das medidas utilizadas na avaliação. Essas deficiências poderiam prejudicar significativamente a comparabilidade dos resultados produzidos para as duas provas diferentes.

Análise comparativa entre as disciplinas e níveis de proficiência

O relatório da perícia revela que ambos os testes nas disciplinas de Ciências Humanas e Ciências da Natureza apresentavam praticamente os mesmos níveis de precisão em praticamente todos os níveis de proficiência. Nesse aspecto, portanto, os testes demonstraram-se praticamente equivalentes, embora a prova da segunda aplicação em Ciências da Natureza tenha apresentado grau de dificuldade ligeiramente inferior.

Contudo, o perito identificou que a maioria das diferenças observadas ocorreu nas disciplinas de Linguagens e Códigos e Matemática. Na primeira, os candidatos da primeira aplicação obtiveram vantagem nas pontuações, enquanto na disciplina de Matemática, os candidatos da segunda aplicação apresentaram melhor desempenho relativo. As menores diferenças entre as aplicações foram observadas em Ciências da Natureza.

Tufi Soares ressalvou em seu relatório que não seria possível realizar análise completa de comparabilidade em todas as situações individuais dentro das dimensões do Enem. Conforme destacou no documento, cada caso necessitaria ser analisado individualmente e, provavelmente, não se chegaria a conclusão definitiva na maioria dos cenários possíveis.

Posicionamento do Inep sobre as fragilidades identificadas

O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira informou ao público que não foi notificado oficialmente sobre qualquer resultado referente à perícia realizada em suas dependências. Em nota oficial, o Inep ressaltou que conta com consultoria de diversos especialistas de destacada atuação em análise estatística e psicométrica de avaliações em larga escala.

A instituição manifestou total segurança quanto à metodologia que vem sendo adotada no Enem desde 2009, metodologia essa reconhecida nos âmbitos nacional e internacional. Conforme comunicado oficial, o Inep declarou que se pronunciará formalmente quando for devidamente notificado sobre os resultados da perícia. A assessoria de comunicação do instituto concluiu sua nota ressalvando que, independentemente do conteúdo do laudo, este representa uma opinião isolada.

Próximos passos e audiência pública prevista

O procurador da República Leonardo Macedo, responsável pelo inquérito civil que apura irregularidades na adoção de critérios de correção das provas do Enem 2016, informou que encaminhou o resultado da perícia para o Inep e para estudantes que afirmaram ter sido prejudicados pelo exame. De acordo com Macedo, a próxima etapa do processo consiste em marcar audiência pública na qual todos os interessados poderão apresentar seus pontos de vista sobre o assunto.

O procurador explicou que o laudo produzido pela perícia é extenso e não apresenta conclusão única e definitiva. O primeiro passo foi distribuir o material aos principais interessados e conceder prazo para análise detalhada. Somente após a realização da audiência pública é que o MPF analisará as ações possíveis, que podem incluir pedido de indenização, aumento de notas de estudantes ou outras opções a serem avaliadas.

Segundo informações do MPF, ainda não havia previsão definida para realização dessa audiência. Macedo declarou que o órgão está atuando com cautela na questão, descrevendo o caso como um assunto delicado que requer abordagem cuidadosa antes de qualquer decisão definitiva.

Contexto das ocupações estudantis e suas consequências no Enem 2016

As ocupações estudantis que levaram à necessidade de aplicações múltiplas do Enem 2016 começaram em outubro daquele ano, inicialmente no Paraná, espalhando-se posteriormente por todo o país. Os estudantes protestavam contra diversas medidas governamentais, incluindo a reforma do ensino médio e a Emenda Constitucional 241. Muitas escolas que serviriam como locais de aplicação do exame encontravam-se ocupadas.

Levantamentos realizados à época indicavam a existência de aproximadamente 1.154 ocupações em escolas, institutos e universidades em pelo menos 21 estados e no Distrito Federal. Diante dessa situação, o Ministério da Educação decidiu adiar o Enem para mais de 270 mil candidatos que teriam provas comprometidas pelas ocupações. Essa decisão resultou em um Enem 2016 com três aplicações distintas, sendo duas as principais mencionadas neste caso.

Reclamações dos candidatos prejudicados

A investigação do Ministério Público Federal sobre o Enem 2016 teve origem após a divulgação dos resultados das provas em janeiro de 2017. Estudantes de todo o país procuraram o MPF relatando insatisfação com as notas resultantes das aplicações, particularmente aqueles que realizaram a segunda edição do exame. Análises das notas dos candidatos que apresentaram reclamações revelaram diferenças significativas quando comparadas aos resultados de candidatos da primeira aplicação.

O procurador Leonardo Macedo apontou que alunos que participaram da primeira prova obtiveram notas sistematicamente maiores. O MPF levantou a hipótese de que a metodologia da TRI pudesse ser responsável por essas discrepâncias, considerando que essa metodologia leva em conta o número total de candidatos, as diferenças no percentual de treineiros entre aplicações, as diferentes taxas de abstenção e o perfil dos candidatos participantes de cada aplicação.