INTRODUÇÃO
A avaliação educacional, especialmente em larga escala, desempenha um papel crucial no cenário acadêmico contemporâneo, fornecendo informações importantes sobre o desempenho dos alunos, a relevância das políticas educacionais, entre outros. Na América Latina, essa prática tem sido objeto de intensos debates e reflexões, dada a sua relevância para o desenvolvimento e aprimoramento dos sistemas educacionais na região (Bauer et al., 2015). Nesse contexto, o presente estudo explora a temática da avaliação em larga escala na América Latina, com foco nos desafios e implicações encontradas nas questões de Ciências da Natureza do Exame Nacional do Ensino Médio (Enem).
O Enem já foi reconhecido como um dos maiores exames do planeta em termos de número de inscritos (Travitzki, 2017). Apesar de sua participação ser voluntária, o exame pode ser considerado de larga escala devido à sua ampla participação. Criado como uma maneira de avaliar o ensino médio, ao longo dos anos, sua estrutura e propósito foram modificados. Atualmente, sua alta adesão acontece porque a nota obtida na avaliação pode garantir acesso ao ensino superior público em todo o país, além de servir como requisito para concorrer a vagas e financiamentos em instituições privadas (Soares et al., 2021).
O bom desempenho no Enem pode proporcionar diferentes benefícios aos participantes, moldando suas perspectivas presentes e futuras em relação à educação e à ascensão social. Dada a influência significativa que a prova pode ter na trajetória dos participantes, é crucial assegurar sua qualidade, tanto na distribuição segura quanto na elaboração dos itens que fazem parte do teste. Sobre este último, é essencial que a prova possua certo nível de qualidade psicométrica (Hutz et al., 2015).
Uma das frentes de trabalho da psicometria é o desenvolvimento e validação de testes, a fim de garantir os parâmetros de qualidade dos instrumentos utilizados (Hutz et al., 2015). No âmbito internacional, uma referência relevante é o Standards for educational and psychological testing (American Educational Research Association [Aera] et al., 2014), que estabelece padrões para os parâmetros de qualidade que os testes da educação e da psicologia devem seguir.
Considerando o impacto do Enem na vida das pessoas e a relevância de uma prova possuir características de validade e confiabilidade, surge a questão: qual a qualidade das questões de Ciências da Natureza do Enem?
Este artigo pretende aferir indicadores psicométricos de questões de Ciências da Natureza do Enem entre 2009 e 2022. Especificamente, pretende-se: 1) obter acesso aos microdados do Enem de 2009 a 2022; 2) filtrar informações alusivas às questões da prova de Ciências da Natureza; 3) calcular indicadores psicométricos das questões; e 4) classificar as questões conforme suas características de qualidade.
Um estudo como este pode ser importante para a área, uma vez que permite refletir sobre a qualidade do exame com base em dados reais e verificar se alguns dos critérios de qualidade da prova são atendidos. A importância dessa temática reside também na necessidade de compreender e analisar criticamente os processos e resultados das avaliações educacionais, especialmente em um país marcado por desigualdades socioeconômicas e educacionais (Faillace et al., 2022). A avaliação em larga escala desempenha um papel fundamental na formulação de políticas públicas, na tomada de decisões pedagógicas e na promoção da equidade e qualidade da educação. Portanto, examinar de forma sistemática e rigorosa a qualidade dos itens dessa avaliação mostra-se essencial.
No âmbito geral, merecem destaque os estudos conduzidos por Travitzki (2017), que discute aspectos da qualidade da prova e examina as edições entre 2009 e 2011; Pontes et al. (2016), que analisam a qualidade de questões de Educação Física nos anos de 2009 a 2013; Gomes et al. (2020), que mensuram a fidedignidade dos escores de participantes na edição de 2011; Piton-Gonçalves e Almeida (2018), que examinam os índices de dificuldade e discriminação dos exames de Matemática de 2012; e também o estudo realizado por Soares et al. (2021), que exploram as medidas de tendência central das questões de 2016 a 2018.
Ao refletir sobre as pesquisas já realizadas, torna-se evidente o interesse de pesquisadores por investigar aspectos relacionados à qualidade da prova. Portanto, este artigo pode contribuir para enriquecer esse debate, ao analisar fatores que influenciam a garantia da qualidade tanto das provas quanto dos itens.
Nesse contexto, este estudo destaca-se ao oferecer uma análise detalhada de alguns aspectos associados à qualidade das questões de Biologia, Física e Química do Enem para um intervalo temporal de 14 anos de prova. Ao investigar o tema, busca-se identificar padrões, tendências e desafios específicos enfrentados nessas disciplinas. Dessa forma, contribui não apenas para a compreensão do panorama educacional na região, mas também para o desenvolvimento de práticas avaliativas mais justas e de maior fidedignidade.
Do ponto de vista social, o manuscrito se destaca por apresentar à literatura uma análise crítica e detalhada dos itens de Ciências da Natureza do Enem, especialmente em um contexto de profundas desigualdades educacionais no Brasil. Ao avaliar rigorosamente a qualidade psicométrica das questões, este estudo proporciona subsídios essenciais para o aprimoramento do exame, que desempenha um papel decisivo na democratização do acesso ao ensino superior. Uma prova que falha em medir com precisão as habilidades e conhecimentos dos candidatos pode perpetuar ou até ampliar as desigualdades existentes. Assim, ao identificar inadequações e sugerir melhorias, o artigo não apenas enriquece o debate acadêmico, mas também oferece uma base sólida para políticas educacionais que visem à equidade e à justiça social. Em última análise, contribui para assegurar que o Enem cumpra seu papel social de maneira efetiva, promovendo uma seleção mais justa e representativa.
Portanto, a seguir, discutem-se as bases deste estudo.
FUNDAMENTAÇÃO TEÓRICA
A noção de qualidade pode variar dependendo do referencial adotado. Por exemplo, uma avaliação pode se constituir como uma das maneiras de refletir sobre a educação. Foi para esse propósito que o Enem foi concebido há mais de vinte anos.
Na área de Educação em Ciências, alguns autores destacam a importância de exames desse tipo, enquanto outros apontam críticas, expondo aspectos negativos desse tipo de prova (Silveira et al., 2015; Nascimento et al., 2018). Dessa perspectiva, é justo o interesse em garantir que provas como o Enem atendam a um certo grau de exigência para cumprir sua meta, que, hoje em dia, além de refletir sobre o sistema educacional, também serve como um caminho para o ensino superior.
Para aferir a qualidade de uma prova como essa, as recomendações internacionais recorrem à psicometria, uma área que estuda fatores intrínsecos dos indivíduos e as diretrizes para elaboração e validação de exames. Nessa área abordam-se os conceitos de validade e fidedignidade. A validade verifica se o instrumento mede aquilo que se pretende medir, enquanto a fidedignidade analisa se o teste produz resultados consistentes com o passar do tempo (Hutz et al., 2015).
Diferentes métodos são usados, a fim de aferir indicadores de qualidade de questões nesse tipo de exame. Duas categorias amplamente utilizadas para a análise são a Teoria Clássica de Testes (TCT) e a Teoria da Resposta ao Item (TRI).
A TCT visa a medir o desempenho de um indivíduo com base em seu índice de acertos. Isso significa que a nota final dos participantes determina os indicadores de qualidade do teste. De modo a garantir a qualificação do exame, é preciso analisar o teste na íntegra. Os procedimentos seguem certos pressupostos. Um deles é a exigência de que os indivíduos respondam aos mesmos itens sob as mesmas condições, com um número mínimo de respondentes. Porém, apenas o escore bruto não permite um paralelo apropriado entre pessoas que alcançaram bons resultados em uma prova fácil e aquelas que apresentaram menor nota em um exame difícil. Por isso, são necessários indicadores que avaliem a dificuldade das provas e questões, assim como a aptidão do item em distinguir participantes com e sem conhecimento, indicador chamado de discriminação.
Em contrapartida, a TRI busca avaliar a proficiência de um indivíduo em determinado conhecimento, não se limitando a um escore final de acertos. A TRI afere um traço latente (habilidade) que é observado por meio das respostas aos itens, representando parâmetros de tal traço latente. Assim, a TRI baseia-se no pressuposto de que a pessoa acerta ou erra um item conforme seus saberes sobre a temática abordada.
Até o ano de 2008, o Enem utilizava a TCT. A partir de 2009, a prova foi reestruturada e adotou a TRI para avaliação das questões e estimação de desempenho. O modelo utilizado em cada questão da prova é o de três parâmetros em função da proficiência do indivíduo. Os três parâmetros do modelo são: parâmetro de discriminação (“a”), parâmetro de dificuldade (“b”) e probabilidade de acerto ao acaso (“c”). Deseja-se que o parâmetro “a” seja alto, o “b” tenha uma distribuição equilibrada e um parâmetro “c” mínimo (por exemplo, menor que 20% (ou 1/5) no caso de uma questão com cinco alternativas de resposta) (Travitzki, 2017).
Por fim, tanto a TCT quanto a TRI são referenciais capazes de auxiliar a responder às perguntas desta pesquisa. A seção seguinte detalha quais indicadores foram empregados para aferir a qualidade das questões de Ciências da Natureza, assim como os critérios para compreendê-los.
INDICADORES DE QUALIDADE
O indicador “dificuldade” permite avaliar o quão difícil um item é para os participantes. Na TCT, a dificuldade de uma questão é determinada observando-se a média de acertos. Questões as quais poucas pessoas acertaram são classificadas como difíceis. Por outro lado, itens em que muitas pessoas obtiveram acerto são fáceis. Segundo Vilarinho (2015), itens com dificuldade igual ou superior a 0,7 são considerados fáceis; entre 0,7 e 0,3 são de dificuldade média; e abaixo de 0,3 são considerados difíceis. Na TRI, o parâmetro “b” é usado para avaliar este indicador, com valores considerados adequados pela literatura quando variam entre -3 e +3 (Soares et al., 2021) ou -4 e +4 (Travitzki, 2017).
A “discriminação” avalia a capacidade de uma questão diferenciar participantes com níveis de habilidade diferentes. Denominada de parâmetro “a” na TRI, uma discriminação é considerada adequada quando o seu valor é no mínimo 0,5, duvidosa se estiver entre 0,2 e 0,5, e ruim se for menor que 0,2 (Travitzki, 2017). Uma discriminação negativa pode sugerir que a chance de resposta correta diminui com o aumento da proficiência (Pontes et al., 2016). Quanto maior a discriminação de uma questão, maior poderá ser a contribuição dela na medição da competência avaliada.
A “correlação item-total” mede a associação de uma questão com o escore total do exame. Questões com alta correlação contribuem significativamente para a confiabilidade do teste, ao mesmo tempo que questões com baixa correlação podem prejudicar essa consistência (Travitzki, 2017). Para o presente estudo, a correlação item-total foi aferida considerando todos os 45 itens de cada prova.
O “coeficiente de correlação bisserial” é um parâmetro que examina se os participantes que tiveram uma boa performance na prova tendem a escolher as respostas corretas das questões. Esse cálculo é realizado através da análise da correlação entre o escore dos indivíduos e a frequência de escolha de cada resposta do item. Idealmente, deseja-se que a correlação seja positiva para a resposta correta e negativa para as incorretas. Esse indicador tem a capacidade de localizar questões problemáticas, com aspectos a melhorar na formulação ou no gabarito, uma vez que uma correlação negativa para uma resposta certa pode significar que a questão foi mais acertada por pessoas com menor escore (Travitzki, 2017). No entanto, se uma resposta incorreta possuir uma correlação positiva, isso indica que essa alternativa está sendo mais escolhida pelo grupo de indivíduos com escores satisfatórios. Essa disparidade pode indicar um problema de discriminação da questão, sugerindo sua revisão ou remoção. Na interpretação desse indicador, um item é bom se o bisserial da resposta certa for no mínimo 0,3; duvidoso se estiver entre 0,15 e 0,30; e ruim se for inferior a 0,15 (Travitzki, 2017).
Por fim, o “ajuste do modelo” é outro indicador importante que avalia se o modelo de três parâmetros da TRI se ajusta adequadamente aos dados. Um ajuste insatisfatório pode comprometer a precisão dos parâmetros e das estimativas de proficiência. Nesse indicador é gerado um valor de p para cada questão. Esse necessita ser menor que 0,05 (estatisticamente significante). Questões com p-valor abaixo desse limite são consideradas adequadas; entre 0,05 e 0,10 são duvidosas; e acima de 0,10 sugerem uma inadequação no seu ajuste (Travitzki, 2017).
METODOLOGIA
Este é um estudo quantitativo, exploratório quanto aos seus objetivos, básico quanto à sua natureza, e usa estatística descritiva e inferencial para investigar dados do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) (Robaina et al., 2021; Gil, 2008). Os microdados são arquivos com os mais completos dados sobre pesquisas e/ou avaliações. Eles contêm informações sobre os itens das provas, os acertos e erros dos participantes, suas informações socioeconômicas, etc. Os microdados do Inep1 são de acesso público e qualquer indivíduo pode baixá-los para realizar seus estudos.
As informações analisadas nesta pesquisa referem-se ao Enem de 2009 a 2022. Esse recorte justifica-se, pois, conforme referido, o Enem sofreu uma grande reestruturação em 2009, que alterou, entre outras coisas: a matriz de referência; a estrutura do teste; a inclusão da TRI. É relevante destacar que, até o momento de finalização deste artigo, os microdados de 2023 ainda não haviam sido disponibilizados pelo Inep.
Classificação dos itens
Os itens agrupados como pertencentes à área de Física são os que abordaram exclusivamente temas relacionados à Física ou que exigiram o emprego de saberes de Física para analisar as alternativas do item. O mesmo critério foi adotado para as questões categorizadas na Biologia e na Química.
Para avaliar o desempenho de cada questão analisada e categorizá-las com base em padrões de qualidade, foram utilizados os indicadores mencionados anteriormente. A classificação adotada neste estudo baseou-se na abordagem feita por Travitzki (2017).
A Tabela 1 apresenta os elementos empregados para categorização das questões segundo a sua qualidade.
TABELA 1 Critérios de classificação das questões
| Teoria Clássica dos Testes (TCT) | Teoria da Resposta ao Item (TRI) | ||||
|---|---|---|---|---|---|
| Classificação do item | Correlação item-total (CORR) | Coeficiente bisserial (BISS) | Parâmetro de discriminação (a) | Ajuste do modelo (p-valor) | |
| Bom | CORR ≥ 0,30 | BISS ≥ 0,30 | a ≥ 0,5 | FIT < 0,05 | |
| Duvidoso | 0,15 < CORR < 0,30 | 0,15 < BISS < 0,30 | 0,2 < a < 0,5 | 0,05 < FIT < 0,10 | |
| Ruim | CORR ≤ 0,15 | BISS ≤ 0,15 | a ≤ 0,2 | FIT ≥ 0,10 | |
Fonte: Travitzki (2017).
Após a verificação das questões, elas foram agrupadas em uma classificação global, conforme a sugestão de Travitzki (2017), que as organiza como:
item duvidoso (indicador global): quando a questão for considerada duvidosa em pelo menos três dos quatro indicadores, ou ruim em pelo menos um.
item ruim (indicador global): quando o item for classificado como ruim em pelo menos três dos quatro indicadores, ou anulado do gabarito.
item bom (indicador global): se as questões não se enquadrarem nas duas classificações.
Programa utilizado e recorte amostral
A fim de obter acesso aos microdados e estimar os parâmetros necessários, usou-se o software R (R Core Team, 2018), com os pacotes “mirt” (Chalmers, 2012) para a TRI e o “psych” (Revelle, 2024) para a TCT.
Ao longo das 14 edições examinadas, encontrou-se um total de 82.190.898 inscritos. Dada essa magnitude, tornou-se necessário realizar um recorte nos dados. Como critérios para essa delimitação foram usados os dados daqueles que: 1) participaram da primeira aplicação; 2) assinalaram todas as questões; 3) frequentaram escolas regulares; 4) haviam terminado o ensino médio no ano do exame; 5) não faltaram a nenhuma prova da edição; 6) responderam ao caderno azul.
Assim, como ilustrado na Tabela 2, o recorte resultou em uma redução significativa no número de informações analisadas, usando uma amostra de 10,3% (8.436.775) dos indivíduos.
TABELA 2 Número de inscritos e amostra filtrada por edição
| Ano | Inscritos | Amostra | Ano | Inscritos | Amostra |
|---|---|---|---|---|---|
| 2009 | 4.148.720 | 571.247 | 2016 | 8.627.367 | 349.597 |
| 2010 | 4.626.094 | 727.174 | 2017 | 6.731.341 | 305.701 |
| 2011 | 5.380.856 | 817.224 | 2018 | 5.513.747 | 543.571 |
| 2012 | 5.791.065 | 776.140 | 2019 | 5.095.270 | 512.707 |
| 2013 | 7.173.563 | 1.011.596 | 2020 | 5.776.800 | 538.867 |
| 2014 | 8.722.248 | 1.030.138 | 2021 | 3.389.100 | 442.037 |
| 2015 | 7.746.427 | 336.720 | 2022 | 3.468.300 | 474.056 |
Fonte: Inep (2024).
Validação dos dados gerados
Os parâmetros da TRI foram calculados para cada ano analisado de forma independente. Devido à falta de disponibilidade, por parte do Inep, dos parâmetros das questões para a maioria das edições, foi realizada uma análise paralela entre os dados gerados nesta pesquisa e os parâmetros estimados por outro estudo da literatura, visando a verificar a consistência dos dados obtidos neste trabalho.
Para esse propósito, foi destacado o estudo de Rubini (2019), que calculou os parâmetros do Enem para as edições de 2009 a 2017, com base nos dados da população de participantes de cada exame. Tendo em vista que neste trabalho foi selecionada uma amostra, a comparação dos dados foi considerada apropriada para avaliar a fidedignidade dos dados gerados por este estudo, pois esse recorte faz parte do todo, considerando o mesmo período de tempo do referido estudo.
Com isso, notou-se que os parâmetros da TRI (de 2009 a 2017) gerados nesta pesquisa e no estudo de Rubini (2019) não são exatamente idênticos, mas são, na maioria, equivalentes (correlação de Pearson entre os parâmetros dos dois estudos: parâmetro a: 0,994, p < 0,000; parâmetro b: 0,998, p < 0,000; parâmetro c: 0,990, p < 0,000). Portanto, esse resultado contribuiu para validar a consistência dos dados estimados neste estudo.
A seção seguinte apresenta o resultado dos indicadores psicométricos das questões.
RESULTADOS
Visão geral dos dados
Em um primeiro momento, apresenta-se, na Figura 1, a proporção de itens de Biologia, Física e Química da prova de Ciências da Natureza para cada edição do Enem analisada.

Fonte: Elaboração do autor com dados da pesquisa.
FIGURA 1 Distribuição dos itens de Biologia, Física e Química para cada edição do Enem
Na Figura 1, pode-se notar que apenas nas edições de 2015 e 2022 a distribuição foi de 15 itens por disciplina. Nos demais anos, a quantidade de itens de cada tema teve ligeira variação, acentuando-se nas edições de 2009 e 2021 (contendo mais itens de Biologia) e em 2018 (com mais itens de Química). Isso significa que, na maioria das edições, a distribuição dos itens pode ser considerada equilibrada, o que ajuda a mostrar que, nas análises seguintes, se uma das disciplinas apresentar maior percentual de itens ruins ou duvidosos, essa divergência não pode ser explicada tão somente pela diferença de quantidade de itens para cada tema.
Ainda realizando uma análise panorâmica dos dados, a Figura 2 mostra, para cada edição, a quantidade de itens classificados em cada uma das categorias de qualidade.

Fonte: Elaboração do autor com dados da pesquisa.
FIGURA 2 Distribuição da qualidade dos itens por edição analisada
Nota-se que a edição com maior porcentagem de itens considerados ruins foi a de 2013, na frente de 2019 e 2017. Já o ano de 2022 deteve a maior porcentagem de itens duvidosos. Por sua vez, observa-se que em 2013 foi o ano com menor porcentagem de itens bons. Apenas em 2020 a porcentagem de itens bons foi superior tanto à porcentagem de itens duvidosos quanto à de ruins. Na maior parte das demais edições, a porcentagem de itens duvidosos foi superior à de itens bons.
Na Figura 2 já é possível notar com maior detalhamento o comportamento empírico dos itens a partir da classificação realizada. Esta análise sinaliza que a área de Ciências da Natureza pode possuir grande quantidade de itens “problemáticos”, que demandam uma análise qualitativa de maior monta em suas estruturas pedagógicas.
Em um terceiro momento, pode-se observar, na Figura 3, um aprofundamento das análises a partir de cada disciplina da área de Ciências da Natureza. Nela, apresenta-se a porcentagem de itens bons, duvidosos e ruins para Biologia, Física e Química, somadas todas as edições analisadas.

Fonte: Elaboração do autor com dados da pesquisa.
FIGURA 3 Distribuição da qualidade dos itens para Biologia, Física e Química
Na Figura 3, é possível observar que Biologia detém a maior porcentagem de itens bons (23,5 p.p. acima da segunda maior) e a menor de itens ruins (27,1 p.p. abaixo da segunda menor), comparada à Física e Química. No entanto a porcentagem de itens duvidosos em relação às duas outras disciplinas, além de ser maior, tem magnitude expressiva (40,9%). Por outro lado, Química apresentou o pior conjunto de itens em termos de qualidade, com a menor porcentagem de itens bons e a maior de itens ruins, em relação às outras duas disciplinas. Física variou ligeiramente quando comparada à Química, mostrando comportamento similar.
Essa análise aponta que os itens de Física e Química são aqueles que necessitam receber maior atenção no que tange a uma análise pedagógica de maior detalhamento. Isso porque é importante compreender quais aspectos desses itens mais contribuem para a classificação observada.
Não obstante, é fundamental reconhecer que ambas as disciplinas são consideradas desafiadoras por grande parte dos alunos (Quadros et al., 2011). Com isso, destaca-se que, na presente classificação, esse fato pode não ter influenciado no resultado obtido, uma vez que apenas o parâmetro de discriminação da TRI foi levado em conta. Ou seja, a metodologia que classificou os itens para este artigo não levou em consideração o parâmetro de dificuldade de cada um deles. Esse indicador, em particular, será objeto de estudo individual nas páginas a seguir.
Análise da qualidade das questões por disciplina
Após observar a qualidade das questões de cada disciplina a partir de uma classificação geral, considerando todas as edições juntas, a Figura 4 apresenta uma análise individual para a disciplina de Física.

Fonte: Elaboração do autor com dados da pesquisa.
FIGURA 4 Distribuição da qualidade dos itens de Física de 2009 a 2022
A partir da Figura 4 é possível perceber que apenas no ano de 2012 o percentual de itens bons foi superior tanto aos itens duvidosos quanto aos ruins. Destaca-se o ano de 2013, em que nenhuma questão foi considerada boa e mais de 80% dos seus itens foram classificados como ruins. As edições de 2014, 2020, 2021 e 2022 tiveram pelo menos 50% dos seus itens considerados duvidosos. Mais da metade dos itens foram considerados ruins nas edições de 2016, 2018 e 2019 (73,3%, 66,7% e 56,3%, respectivamente). A fim de complementar a análise e fornecer subsídios para pesquisas futuras, o Apêndice A apresenta, para cada edição, a lista de questões de Física (Tabela A1) classificadas segundo sua qualidade.
Por sua vez, uma análise detalhada também foi feita para as questões de Química. A Figura 5 apresenta seus resultados.

Fonte: Elaboração do autor com dados da pesquisa.
FIGURA 5 Distribuição da qualidade dos itens de Química de 2009 a 2022
Em Química também houve uma edição do Enem em que nenhum item foi considerado bom (2009). Nas edições de 2020 e 2021, o percentual de questões boas superou tanto o de duvidosas quanto o de ruins. No entanto, esse padrão não se repetiu em nenhuma outra edição analisada. Por outro lado, em 2009, 2010, 2013, 2014, 2017 e 2019, os itens ruins formaram 50% ou mais do total de questões de cada prova. O Apêndice A expõe também uma lista de questões de Química (Tabela A2) classificadas segundo sua qualidade.
Por fim, realizou-se igual análise para os itens de Biologia, que pode ser conferida na Figura 6.

Fonte: Elaboração do autor com dados da pesquisa.
FIGURA 6 Distribuição da qualidade dos itens de Biologia de 2009 a 2022
Biologia apresentou um maior percentual de itens bons em relação às outras duas disciplinas em todas as edições do Enem, com exceção de 2012. As edições de 2009, 2010, 2011, 2014, 2017, 2019, 2020 e 2021 tiveram maior percentual de questões boas em relação ao percentual de duvidosas e de ruins.
Destacam-se os anos de 2018 e 2020, nos quais não houve itens ruins. Não obstante, nota-se que em 2012, 2013, 2015, 2016, 2018 e 2022 o percentual de itens duvidosos foi superior tanto ao de itens bons quanto ao de ruins. Mesmo assim, na visão geral, os itens de Biologia superaram os de Física e Química em termos de qualidade a partir dos parâmetros empregados na análise. O Apêndice A exibe, por sua vez, a lista de questões de Biologia (Tabela A3) classificadas segundo sua qualidade.
Dificuldade dos itens
Outra informação obtida a partir da análise empregada é referente ao nível de dificuldade dos itens. Com base no parâmetro “b” da TRI, classificaram-se as questões em ordem de dificuldade.
A fim de apresentar uma síntese, a Tabela A4 lista os dez itens mais fáceis e os dez itens mais difíceis da prova de Ciências da Natureza de cada edição.
Deseja-se que este levantamento possa servir de subsídio para pesquisas futuras que tenham como foco aprofundar investigações acerca das características de itens considerados fáceis e/ou difíceis nas provas de Ciências da Natureza do Enem. Uma análise pedagógica pode contribuir para verificar os assuntos, formatos, abordagens, contextualizações, entre outros aspectos que possam ter em comum questões fáceis ou difíceis.
Acredita-se que esse diagnóstico contribua significativamente para aprimorar o processo de ensino e aprendizagem desses conteúdos, permitindo a elaboração de estratégias didáticas com maior direcionamento às necessidades dos estudantes.
Na sequência, os resultados apresentados são discutidos à luz do referencial teórico da área.
DISCUSSÕES
Ao observar a Figura 2, que apresenta a classificação dos itens por qualidade em cada edição, torna-se evidente que há uma proporção significativa de itens considerados ruins ou duvidosos em várias edições do Enem. Essa constatação estimula reflexões importantes sobre a validade e confiabilidade dos resultados obtidos por meio de avaliações em larga escala. Afinal, a qualidade dos itens tem um impacto direto na capacidade de mensurar de forma precisa o conhecimento e as habilidades dos estudantes.
A análise por disciplina, como evidenciada nas Figuras 4, 5 e 6, permitiu uma compreensão mais aprofundada dos desafios específicos enfrentados por cada disciplina da área. É evidente que tanto Física quanto Química apresentam itens com padrões consistentes de baixa qualidade em diversas edições do Enem, com percentuais significativos de questões classificadas como ruins ou duvidosas. Essa tendência fornece subsídios para discussões acerca dos processos de elaboração e revisão dos itens nessas disciplinas. Por outro lado, os itens de Biologia mostraram um panorama de maior otimismo em termos de qualidade, com uma proporção maior de questões classificadas como boas. Isso pode indicar, entre outras coisas, uma maior adequação dos conteúdos e abordagens pedagógicas utilizadas nessa disciplina, bem como maior sucesso no processo de elaboração e revisão dos itens.
Na literatura da área de ensino de ciências, há uma série de estudos que investigaram os fatores que afetam a qualidade das questões utilizadas e que podem contribuir para explicar os resultados encontrados nesta pesquisa. Para ilustrar, pode-se destacar o artigo de Bassalo (2011), o qual identificou que a maioria das questões de Física analisadas continha “pegadinhas”, informações irrelevantes e dados essenciais ausentes para sua resolução. Adicionalmente, o autor relata que algumas questões apresentavam mais de uma resposta correta.
Lopes (2015) observou a falta de congruência entre os temas tradicionalmente ensinados no ensino médio e os abordados nas questões das avaliações. Enquanto isso, Duarte et al. (2013) realizaram uma análise pedagógica de uma questão de alto grau de dificuldade do Enem de 2009. Eles notaram que essa questão demandava um conhecimento altamente específico de física e exigia uma memorização particular de uma relação matemática para ser resolvida com êxito.
O estudo conduzido por Silveira et al. (2015) identificou deficiências na elaboração das questões de Física e ressaltou a importância da qualidade dos itens para garantir a validade dos exames. Eles destacaram a presença de falhas nos enunciados das questões, nas opções de resposta e na ênfase excessiva na necessidade de uma interdisciplinaridade não crítica.
Na área da Química, em especial, destaca-se o estudo conduzido por Núñez e Ramalho (2017), que investigaram os equívocos e desafios enfrentados por um grupo de alunos ao realizar o Enem. Os autores destacaram um desempenho insatisfatório dos estudantes em relação aos erros e dificuldades de aprendizagem, especialmente relacionados à compreensão da estrutura, propriedades e aplicações de substâncias e materiais, interpretação de reações e cálculos estequiométricos, entre outros aspectos.
No âmbito da Biologia, o estudo realizado por Mancini et al. (2017) analisou os itens de Biologia presentes no Enem de 2009 a 2014, utilizando a Taxonomia de Bloom Revisada. Os autores buscaram classificar as exigências cognitivas e o nível de conhecimento demandados por cada item. Os resultados revelaram que 84% das questões se enquadram em domínios de baixa ordem cognitiva, enquanto apenas 16% abordavam domínios de alta ordem cognitiva.
No entanto, é importante ressaltar que a qualidade dos itens não deve ser avaliada apenas com base em critérios de dificuldade e discriminação, como delimitado nesta pesquisa. Outros aspectos, como relevância, clareza, alinhamento com os objetivos educacionais, entre outros, também desempenham um papel fundamental na construção de avaliações confiáveis e justas. Portanto, uma análise de maior abrangência, com vistas a incluir também tais aspectos, mostra-se necessária para pesquisas futuras, a fim de garantir a qualidade e equidade dos processos avaliativos.
Também é importante ressaltar que esta análise se baseou apenas em alguns indicadores psicométricos. Contudo, a validade dos itens, por exemplo, não foi objeto de investigação, o que sugere outra lacuna para estudos futuros. Assim, é possível que itens considerados duvidosos possam ter certa relevância para a prova, uma vez que a distribuição dos tópicos abordados deve ser considerada de maneira abrangente.
Ao mesmo tempo, destaca-se novamente que, para a maioria das edições, os parâmetros de cada item não são disponibilizados nos microdados do Enem. Isso significa que esta pesquisa teve de calcular esses parâmetros a partir do índice de acertos dos participantes, o que pode resultar em alguma discrepância entre os resultados obtidos e os parâmetros utilizados pelo Inep para calcular a nota de cada participante. Para mitigar esse potencial viés, conforme apresentado, foi realizada uma comparação entre os parâmetros gerados por esta pesquisa e os parâmetros da pesquisa de Rubini (2019), observando-se uma correlação de Pearson considerada muito forte. Isso indica uma confiabilidade satisfatória para as conclusões obtidas a partir das análises realizadas neste manuscrito.
Ao analisar os resultados desta pesquisa, e considerando a rigidez que a TRI e outros procedimentos psicométricos utilizados pelo Inep podem oferecer para a qualidade de uma prova, surgem reflexões como: quais aspectos do Enem requerem maior atenção para melhorar a qualidade das questões de Ciências da Natureza? Elaboração dos itens? Revisão pedagógica? Processo de calibração? As possibilidades de investigações são diversas, representando sugestões de estudo potencialmente valiosas para pesquisadores da área da educação e ensino de ciências.
De modo geral, os resultados desta pesquisa fornecem dados relevantes para a compreensão dos desafios enfrentados na elaboração e aplicação de avaliações em larga escala no Brasil e na América Latina, especialmente no que diz respeito às disciplinas de Ciências da Natureza. Essas reflexões são fundamentais para embasar políticas e práticas educacionais que visem não apenas a mensuração do conhecimento dos estudantes, mas também o aprimoramento da qualidade do ensino e da aprendizagem nas escolas do país.
Ao examinar mais profundamente os resultados da pesquisa, é importante considerar o contexto mais amplo da educação na América Latina. A região enfrenta uma série de desafios estruturais e socioeconômicos que impactam diretamente a qualidade e equidade do sistema educacional como um todo (Rosa & Silva, 2017). Dessa forma, acredita-se que os resultados dessas avaliações em larga escala refletem não apenas as características intrínsecas das questões de Biologia, Física e Química, mas também as dinâmicas mais amplas que moldam o cenário educacional latino-americano.
Além disso, é importante destacar a necessidade de uma abordagem ampla e inclusiva na elaboração e aplicação das avaliações em larga escala. Muitas vezes, as avaliações padronizadas tendem a privilegiar determinados tipos de conhecimento e habilidades, deixando de fora aspectos importantes do currículo e da experiência educacional dos estudantes (Souza, 2019). Isso pode levar a uma visão limitada e distorcida do desempenho dos alunos, bem como a uma marginalização de certos grupos e formas de conhecimento, como aqueles relacionados à cultura local e à diversidade étnica.
Não obstante, é fundamental reconhecer que as avaliações em larga escala têm sido frequentemente utilizadas como ferramentas de prestação de contas e tomada de decisões políticas na América Latina. No entanto, essa ênfase excessiva na avaliação quantitativa pode levar a uma cultura de ensino centrada na preparação para os testes, em detrimento de uma abordagem mais ampla e significativa da educação (Moreira, 2018). Portanto, é essencial que as avaliações em larga escala sejam complementadas por outros instrumentos de avaliação, como avaliações formativas e qualitativas, que forneçam uma visão mais abrangente e contextualizada do progresso dos alunos e do desempenho das escolas. Ao mesmo tempo, é importante destacar que o Enem pode ser também um importante instrumento de avaliação de políticas públicas, e não ser instrumentalizado como uma ferramenta de culpabilização da escola e/ou do docente pelo fracasso escolar dos alunos (Cavalcanti et al., 2018).
Por fim, é essencial que as avaliações em larga escala sejam vistas como parte de um processo mais amplo de melhoria da qualidade da educação. Isso requer um compromisso contínuo com a equidade, a inclusão e a justiça social, bem como uma abordagem colaborativa e participativa que envolva todos os atores da educação.
CONSIDERAÇÕES FINAIS
O presente estudo teve como objetivo analisar a qualidade dos itens de Biologia, Física e Química do Enem. Nesse sentido, a pesquisa procurou contribuir para uma compreensão mais aprofundada dos desafios e implicações encontrados nas disciplinas de Ciências da Natureza, fornecendo reflexões para a literatura da área e para o debate acadêmico sobre aspectos de qualidade da avaliação educacional no Brasil.
Os principais resultados da pesquisa revelaram padrões consistentes de baixa qualidade dos itens de Física e Química em diferentes edições do Enem, contrastando com o desempenho de grande parte das questões de Biologia. Esses achados ressaltam a necessidade de estudos futuros com enfoque em uma análise qualitativa dos aspectos pedagógicos de cada item e dos processos de elaboração e revisão das questões dessas disciplinas.
No entanto, é importante reconhecer as lacunas do estudo, incluindo a falta de consideração de outros aspectos importantes da avaliação educacional, como a relevância dos itens, a clareza das questões e o alinhamento deles com os objetivos educacionais, representados pela matriz de referência do Enem. Além disso, a análise se limitou às disciplinas de Biologia, Física e Química, deixando de fora as demais áreas do conhecimento que também são avaliadas no Enem.
Destaca-se o importante papel desempenhado por instituições como o Inep, que desenvolvem um trabalho crucial ao disponibilizar os microdados e uma variedade de outros documentos para acesso público. Essa postura transparente possibilita a realização de numerosas pesquisas na área da educação, permitindo análises, questionamentos e reflexões sobre o papel, a importância, a intencionalidade e os desafios das avaliações em larga escala existentes no Brasil. Os resultados provenientes dessas investigações podem servir como embasamento teórico para fundamentar políticas públicas que ajudem a assegurar que exames de larga escala, como o Enem, possam cumprir seu objetivo.
É crucial ressaltar a importância que o Enem possui para cada cidadão que almeja ingressar no ensino superior. Investigações voltadas para avaliar a qualidade do exame não têm a intenção de desacreditá-lo, mas, sim, de reconhecer sua relevância e magnitude, promover reflexões que visem a aprimorá-lo e estimular discussões sobre como enfrentar os desafios associados à elaboração de uma avaliação em larga escala com validade e confiabilidade.
Por fim, é importante ressaltar que uma análise psicométrica, conforme conduzida neste artigo, apesar da solidez do método empregado, examina apenas uma parte dos dados com base nas informações oficiais disponíveis. Isso significa que, devido às limitações metodológicas, epistemológicas e práticas, uma avaliação mais abrangente deve contemplar também outros aspectos, muitos dos quais qualitativos, como uma análise pedagógica das questões, por exemplo.
Assim, este estudo não tem a intenção de encerrar a discussão sobre a qualidade dos itens do Enem, mas, sim, incentivar a realização de mais pesquisas com esse propósito em diversas áreas, utilizando uma variedade de instrumentos, métodos e referências teóricas.



