Introdução

As Avaliações em Larga Escala (ALE) têm como objetivo avaliar a qualidade da educação, subsidiar reformas educacionais, além de ser um instrumento de gestão das redes de ensino e de responsabilização dos profissionais de educação. Entretanto, tais avaliações estão sendo utilizadas como uma tendência para mensurar o desempenho dos estudantes.

Destacamos que as ALE podem ser divididas em três gerações, conforme explicito em: “a análise dos desenhos das avaliações em andamento leva a que se identifiquem três gerações de avaliações da educação em larga escala, com consequências diferenciadas para o currículo escolar (BONAMINO; SOUZA, 2011, p. 375). Os autores complementam que essas três gerações não são estanques, ou seja, não necessitam que uma finalize para que outra se inicie. Na verdade, elas coexistem nas redes de ensino. Por esse motivo, é necessário entender esse recurso como um artifício analítico utilizado apenas para fins didáticos. Assim, as avaliações da primeira geração, cujo o fim é acompanhar o progresso da qualidade da educação, fazem uso da mídia e de outras formas de disseminação para a divulgação desses resultados, sem que esses sejam devolvidos às escolas.

Entretanto, as avaliações de segunda geração, além da divulgação pública, proporcionam a devolução dos resultados para as escolas, porém, sem estabelecer consequências materiais. Tanto as famílias, como a sociedade veem efeitos apenas simbólicos (ranking), pois esse tipo de mecanismo de responsabilização implica - quase que exclusivamente - sobre a gestão escolar da instituição, tendo poucos efeitos práticos para a qualidade educacional, além de resultar, na maioria das vezes, em uma pressão da sociedade. Em se tratando da terceira geração dessas avaliações, a principal característica é a forte responsabilização ou high stakes abrangendo punições ou compensações em decorrência dos resultados de alunos e escolas. Nesse caso, abarcam-se experiências de responsabilização perceptíveis em normas e que envolvem mecanismos de remuneração em função de metas determinadas (^{ZAPONI; VALENÇA, 2009}).

Um exemplo de ALE é o Exame Nacional do Ensino Médio (ENEM), que tem como objetivo avaliar o desempenho escolar dos estudantes ao término da educação básica, além de ser utilizado como mecanismo de acesso ao ensino superior e que em sua última aplicação teve mais de quatro milhões de inscritos, já tendo chegado a mais de oito milhões de inscritos em 2014. Apesar de ser a menor quantidade de participantes, desde 2007 demonstra a abrangência que essa avaliação tem no país (INEP, 2022).

Diante do papel, das modificações e da importância das ALE, a presente pesquisa tem como objetivo analisar como a produção científica brasileira tem abordado e utilizado o ENEM como política de ALE. Além disso, pretende realizar uma caracterização das pesquisas em relação às implicações nas instituições de ensino, referente ao currículo escolar, às práticas pedagógicas e sua finalidade como política pública.

Procedimentos metodológicos

O presente trabalho de natureza exploratória (^{GIL, 2002}), é classificado como qualiquantitativo e configura-se como um estudo cienciométrico, que busca delinear panoramas detalhados, a partir de indicadores numéricos, referentes às diversas áreas do conhecimento (^{RAZERA, 2016}). Nesse sentido, foram analisadas dissertações e teses presentes na Biblioteca Digital Brasileira de Teses e Dissertações (BDTD)¹. Para a análise, utilizamos a combinação entre os termos de busca: “Exame Nacional do Ensino Médio”, “ENEM” e “Avaliação em Larga Escala”. Além disso, utilizamos o recorte temporal de dez anos (2011-2021).

Em uma primeira busca, verificamos as produções que continham todos os termos, sendo identificadas 53 produções, sendo 42 dissertações e 11 teses. Em seguida, fizemos uma leitura dinâmica das dissertações e teses encontradas, na finalidade de verificar quais realmente discutiam as questões de maneira articulada. Os estudos que apenas citavam os termos isoladamente ou que não tinham como objetivo discutir sobre o ENEM e as ALE, bem como os que não estavam disponíveis, foram descartados, pois não ajudavam a responder ao problema de pesquisa. Assim, identificamos um total de 46 produções científicas, sendo 37 dissertações e 9 teses.

A análise dos dados ocorreu de duas maneiras, a primeira delas, a partir da cienciometria, em que verificamos as regiões brasileiras, as instituições, os anos de publicação dos estudos e as suas áreas do conhecimento. Posteriormente, realizamos uma análise qualitativa, através da Metodologia da Análise Textual Discursiva (ATD), cuja organização estrutura-se em três etapas, as quais correspondem: à unitarização, à categorização e à produção de metatextos (^{MORAES; GALIAZZI, 2016}).

Na unitarização foram retirados fragmentos textuais que respondem ao problema de pesquisa: “como a produção científica brasileira tem abordado e utilizado o ENEM como política de ALE?”. Os fragmentos são denominados de unidades de significado e, nesse caso, foram extraídos das dissertações e teses. As unidades (U) receberam códigos, sendo a letra “D” relativa às dissertações e a letra “T” correspondente às teses, como por exemplo: D1_U1, D1_U2, etc. Na categorização, as unidades foram aproximadas e distanciadas a partir da identificação de elementos comuns ou incomuns apresentados por elas. Obtivemos três categorias: 1) Avaliações em Larga Escala e suas implicações no Currículo do Ensino Médio; 2) O impacto das avaliações em Larga Escala na prática pedagógica: apontamentos a partir do ENEM; e, 3) ENEM como política de Avaliação em Larga Escala e mecanismo de ingresso ao Ensino Superior. Por fim, produzimos os metatextos, os quais referem-se às discussões e às análises das categorias, a fim de gerar uma compreensão acerca do problema investigado.

Panorama cienciométrico em torno do ENEM como política de Avaliação em Larga Escala (ALE)

Quanto à distribuição das produções por região do Brasil, a maioria (16) concentra-se na região Sudeste, seguida das regiões Sul (15), Centro-Oeste (7), Nordeste (4) e Norte (4) (Figura 1).

Fonte: Dados da pesquisa.

Figura 1 Quantitativo de teses e dissertações e a distribuição por região 

Identificamos que, durante os dez anos analisados, houve um aumento progressivo de produções, passando de nenhuma em 2011 até alcançar o seu ápice na produção acadêmica nos anos de 2015 e 2017, alcançando sete publicações em cada ano, tendo uma posterior queda nos anos seguintes até chegar a somente uma publicação na área durante o ano de 2021 (Figura 2).

Consideramos alguns elementos para a explicação desses dados, entre eles está a coincidência do ápice das publicações com os maiores números de inscritos no exame, consequentemente em 2014 e 2016 (^{SPAZZIANI, 2019}), o que pode ter levado a um grande interesse de estudo por parte dos pesquisadores durante esses anos. Outra explicação pode estar atrelada à reformulação do ENEM, que ocorreu no ano de 2008 (^{SPAZZIANI, 2019}), quando foram incrementadas áreas do conhecimento, e, consequentemente, mais pesquisadores passaram a se interessar pela temática.

Em contraponto, para explicar o declínio das publicações a partir de 2017, podemos considerar a mudança da política pública no incentivo à pesquisa científica brasileira, devido à diminuição do incentivo à pesquisa, pois a “conjuntura política brasileira, no momento, não está favorável à ciência, à pesquisa e às Universidades Federais” (^{FROZZA, 2021}).

Fonte: Dados da pesquisa.

Figura 2 Ano de publicação das teses e dissertações 

Em complemento, examinamos que a maioria das instituições de ensino das teses e dissertações do corpus de estudo vêm de universidades públicas, representando 89,1%, com uma maior visibilidade às Universidades de Brasília (UNB), com sete, e São Paulo (USP), com cinco publicações (QUADRO 1). Tal resultado pode estar ligado ao empenho dessas instituições em serem referência na produção de conhecimento relacionado à pesquisa científica (^{BORGES, 2016}).

Por fim, investigamos a área das teses e dissertações, tendo como base a área de avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). De acordo com a Figura 3, a área da educação contempla a maioria das produções (18), seguida das áreas do Ensino (8), da Matemática/Probabilidade Estatística (6), da Linguística e Literatura (6) e da Interdisciplinar (3). Cabe ressaltarmos também, que outras áreas foram identificadas, porém com apenas uma ocorrência em cada.

Fonte: Dados da pesquisa.

Figura 3 Área de avaliação das teses e dissertações - CAPES 

Diante do exposto, observamos que há uma predominância da área de educação, tendo em vista que é a área da CAPES com maior abrangência. É indiscutível que existe uma relação intrínseca do ensino com a educação, porém, a educação é considerada como outra área, tendo sido reconhecida há mais tempo (^{VIVEROS et al., 2020}). Notamos, também, um grande quantitativo de trabalhos na área de ensino, se caracterizando como a segunda maior área de trabalhos apresentados, o que representa um crescimento dessa área, que surgiu em 2000 e desde então vem apresentando um crescimento substancial (^{VIVEROS et al., 2020}).

Ao alcançarmos o final desta análise, conseguimos obter um panorama da produção científica na área, durante os últimos dez anos e, assim, obter subsídios para discutir as próximas categorias.

Avaliações em Larga Escala e suas implicações no Currículo do Ensino Médio

O currículo escolar é estruturado a partir de intencionalidades, conteúdos, saberes, competências/habilidades, conforme aponta ^{Silva (2010)}:

O currículo é sempre o resultado de uma seleção: de um universo mais amplo de conhecimentos e saberes seleciona-se aquela parte que vai construir, precisamente, o currículo. As teorias do currículo, tendo decidido quais conhecimentos devem ser selecionados, buscam justificar por que “esses conhecimentos” e não “aqueles” devem ser selecionados (^{SILVA, 2010}, p. 15).

Assim, o currículo passou por diversas transformações no decorrer do tempo, percorrendo desde as perspectivas mais tradicionais de educação até as mais contemporâneas. Além disso, não podemos esquecer das mais recentes modificações que ocorreram através da Base Nacional Comum Curricular (BNCC), elaborada no ano de 2017 e instituída pela Lei 13.415/17 (^{BRASIL, 2017}). Através dessa, instituiu-se uma base comum a todo território nacional e uma - pequena - parte diversificada, procurando atender as especificidades multiculturais de cada região do país.

A BNCC busca desenvolver um currículo alinhado com as habilidades e competências, como um agrupamento de conhecimentos, atitudes e valores para melhorar as necessidades da vida cotidiana, para a prática da cidadania e do mundo do trabalho, conforme aponta a unidade D7_U2:

[…] torna-se imprescindível a construção de uma matriz de referência pautada na matriz curricular [...] e que possibilitaram, de alguma forma, o desenvolvimento das competências e das habilidades, que possam contribuir para a sua formação como cidadãos. Competências as quais sejam capazes de auxiliar os estudantes nas diversas situações de suas vidas […] (D7_U2).

Assim, a BNCC busca o desenvolvimento integral do estudante, tendo como compromisso a formação de sujeitos autônomos, a partir de um processo de ensino e aprendizagem que considere as necessidades, as possibilidades e os interesses dos educandos, além dos desafios encontrados na sociedade (BRASIL, 2018). Nesse sentido, as ALE, mais precisamente o ENEM - foco deste estudo, têm um alinhamento muito forte com as possibilidades do currículo, pois teriam como principal função orientar o currículo do ensino médio, além de “medir” sua qualidade e conduzir as políticas públicas nacionais (D8_U1), conforme abaixo:

[…] o Exame é uma avaliação externa que teria como principal função orientar o currículo do ensino médio, aferindo sua qualidade e orientando políticas públicas (D8_U1).

Entretanto, nem todos os trabalhos apontam para essa possibilidade como a alternativa para a constituição de um currículo alinhado com as necessidades do século XXI, apontando que as ALE estão longe de serem referência para a estruturação do currículo do ensino médio. Em contraponto às ALE como balizadoras/orientadoras do currículo do ensino médio, apresentamos a unidade T6_U2, que expõe a seguinte afirmação:

Também comparou-se esses assuntos com o currículo mínimo do ensino médio do estado do Rio de Janeiro [...]. Isso sinaliza como a prova [...] está longe de ser referência para a composição do currículo do ensino médio (T6_U2).

Já em outro ensaio, alguns professores consideram que a matriz de referência do ENEM atende parcialmente os conteúdos do ensino médio e, dessa forma, não podem ser orientadores do currículo, conforme abaixo:

A opção tem se mantido igual, foi escolhida majoritariamente por professores que têm mais anos de trabalho [...] e boa parte destes considera que a matriz de referência do ENEM contempla apenas parcialmente os conteúdos do ensino médio [...] (T5_U4).

Deste modo, consideramos que, em algumas disciplinas do currículo escolar, como a Educação Física, a matriz de referência está adequada com os objetos de estudo, entretanto, elas não continuam num processo de aperfeiçoamento das competências e das habilidades que essa disciplina pode oferecer, como demonstra a unidade D18_U1:

[…] a falta de clareza dos elementos mais relevantes da Educação Física pode tornar os resultados dessa prova pouco confiáveis, correndo-se o risco de um descompasso, o que pode tornar pouco críveis os resultados do exame […] (D18_U1).

Para essa disciplina em específico, consideramos que houve um avanço significativo referente à compreensão de sua importância no currículo escolar a partir de 2008, quando a matriz de referência passou a fazer essa cobrança nas ALE. Entretanto, estudos indicam que algumas áreas ainda necessitam de avanços, a exemplo de um estudo realizado por ^{Maceno et al. (2011)}, ao analisar a matriz de referência de Ciências da Natureza. Os autores sinalizam que os objetos de conhecimento presentes no documento possuem elementos que dificultam o desenvolvimento de eixos cognitivos, habilidades e competências da área de Química.

As matrizes de referências do ENEM não implicam somente no currículo, mas também na prática docente. Assim, entendemos que as ALE têm um papel primordial na definição dos rumos das políticas públicas. Além disso, seus resultados não devem servir para exercer nenhum tipo de pressão para que professores desenvolvam uma prática docente voltada a preparar para elas (ENEM), propiciando um aumento na regulação das práticas docentes, conforme explana a unidade D34_U16:

É certo que a liberdade no fazer pedagógico não deve remeter a uma inconsequente seleção de saberes considerados úteis para a vida do aluno, mas sim ao fato de ter a oportunidade de fazer uma seleção a partir de outros parâmetros que não sejam os citados apenas em matrizes de instrumentos de ALE (D34_U16).

A aprovação da Lei de Diretrizes e Bases da Educação Nacional, a partir da presença de currículos nacionais empregados para a estruturação das ALE, são estudados por ^{Esteban e Afonso (2010)} e ^{Sousa (2010)}, nos permitindo compreender a influência no fazer docente, conforme a unidade:

[…] os currículos se tornam tendenciosos e compulsórios às matrizes de referência das avaliações em larga escala, uma vez que a opção por não os seguir pode acarretar prejuízos ao sistema de ensino. Assim, questionamos como essa política vem influenciando a dinâmica do trabalho docente […] (D34_U1).

No próximo tópico, discutiremos com mais ênfase como a prática pedagógica se desenvolve em consonância com o currículo, assim como os meios e finalidades das ALE e suas implicações no desenvolvimento da política educacional brasileira.

O impacto das Avaliações em Larga Escala na prática pedagógica: apontamentos a partir do ENEM

As ALE - entre elas o ENEM - estão cada vez mais presentes na educação básica e, consequentemente, interferindo no processo educativo. Entretanto, é necessária uma cautela para que elas não sejam os únicos e exclusivos instrumentos da organização curricular e da prática docente. Ademais, tais avaliações ganharam tamanha proporção, que se encaminham para se tornarem obrigatórias, como explana a unidade abaixo:

Se o ENEM está se tornando cada vez mais uma avaliação compulsória, inclusive o MEC pensa em tornar o exame obrigatório. [...] na prática, a Matriz do Enem já está se transformando no referencial curricular básico para todo o território nacional? [...] (D34_U7).

É notável que as instituições de ensino modificam sua organização curricular e pedagógica para estarem em sintonia com os conteúdos das ALE (^{ROCHA; FERREIRA, 2017}). Em complemento, ^{Rocha e Ferreira (2020)} acentuam, novamente, a influência do ENEM perante à autonomia dos docentes e das instituições de ensino, entretanto, sinalizam para que ele sozinho não determine as políticas educacionais, conforme consta abaixo:

[...] os professores podem mudar a forma como preparam as suas aulas, para contemplar os conteúdos abordados nos exames, os alunos podem mudar suas rotinas estudando mais ou de forma diferenciada, a equipe diretiva pode solicitar/estimular o professor a abordar os assuntos dos exames, promover oficinas e simulados voltados para a preparação dos testes (D26_U2).

A utilização do ENEM como meio de ingresso ao ensino superior acentuou sua influência no fazer pedagógico, pois a partir dos seus resultados são apontados o sucesso ou insucesso do estudante - sem levar em consideração sua trajetória educacional e suas oportunidades (^{ROCHA; PEREIRA, 2020}). O trecho da unidade T6_U3 expõe que essa responsabilidade não deve ser exclusiva do estudante, pois o resultado final do desempenho do ENEM depende de vários fatores:

Não se deve responsabilizar o aluno por essa postura passiva e desinteressada, que parece esclarecer os baixos desempenhos nas avaliações externas, sobretudo daqueles provenientes das escolas públicas (T6_U3).

Outra consequência dos resultados do ENEM é apontar o comprometimento/descomprometimento dos professores (^{ROCHA; PEREIRA, 2020}). Em que, na maioria das vezes, são responsabilizados pelo desempenho insatisfatório dos estudantes, resultando na modificação da sua prática docente. Essa interferência na prática docente tornou-se ainda mais marcante as mudanças nas finalidades do ENEM:

[...] o ENEM tornou-se mais relevante no momento em que passou a distribuir bolsas de estudos e passou a ser forma de ingresso em universidades públicas [...] os alunos [...] passam a se prepararem para realizar esta prova [...], com isso, as aulas sofrem alterações em seus conteúdos, os professores adaptam suas metodologias e sugerem novos materiais para leitura e estudo (D26_U1).

Desta maneira, podemos evidenciar que as ALE tem influenciado de maneira significativa tanto na organização dos currículos escolares, como na prática pedagógica dos professores. Por fim, o impacto dessas relações acaba refletindo em um dos objetivos do ENEM, que é a possibilidade de acesso ao ensino superior, pois o exame vem em contraponto aos antigos vestibulares, que tinham como premissa uma cobrança de conteúdos fragmentados:

Reafirmando, o objetivo primordial do Enem foi de flexibilizar o acesso ao ensino superior ao aproximar a avaliação dos alunos formados no Ensino Médio das premissas preconizadas pela LDB e os PCN, que valorizam as competências e habilidades para a formação cidadã, em contraste com os vestibulares, que focam exclusivamente em conteúdo de forma fragmentada, sem relação com o contexto dos estudantes [...] (D25_U1).

Assim, nesta categoria procuraremos aprofundar a discussão das finalidades do ENEM e suas implicações na educação. Destacamos esses pontos, porque apesar de o ENEM ter como objetivo inicial a avaliação do ensino médio, conforme (^{SPAZZIANI, 2019}) evidenciado através das investigações das unidades anteriores, esse objetivo fica à margem, pois, atualmente, o propósito da inserção no ensino superior está em destaque.

ENEM como política de Avaliação em Larga Escala e mecanismo de ingresso no ensino superior

A presente categoria emerge da análise de diversas unidades que questionam a finalidade e as implicações oriundas a partir dessa avaliação. As discussões se encaminham em duas direções: a) O ENEM como instrumento de avaliação da educação básica; e, b) O ENEM como mecanismo de ingresso ao ensino superior. Abaixo consta-se uma unidade (D12_U2), a qual contém ambas as finalidades identificadas:

No princípio, o objetivo era avaliar o desempenho dos estudantes ao fim da educação básica e, assim servir de parâmetro para a melhoria da qualidade do ensino no país [...] desde 2009, o exame deixou de servir apenas para avaliação do desempenho dos estudantes brasileiros e passou a ser aproveitado para ingresso na maioria das universidades [...] (D12_U2).

Como visto, o ENEM surge como uma política de avaliação da educação básica, sobretudo, do ensino médio. Para além de avaliar, esse exame deveria gerar um panorama dos processos de ensino-aprendizagem presentes no país, elucidando suas fragilidades e potencialidades. Entretanto, as avaliações da educação básica, através das ALE, “controlam” a qualidade da educação por meio da verificação da elevação dos níveis de aprendizagem. Esse controle tem ocorrido a partir dos resultados obtidos nessas provas padronizadas, os quais também têm sido comparados ao longo dos anos (^{BAUER; ALAVARSE; OLIVEIRA, 2015}).

A unidade D4_U5 salienta que o ENEM atua também sobre a gestão educacional e possibilita um olhar acerca dos possíveis rumos da educação.

Estes dispositivos, mais do que oferecer subsídios ao planejamento educacional [...] e aos processos de gestão educacional, poderiam, ainda [...] ser utilizados como um recurso da própria sociedade na definição dos rumos da educação [...] (D4_U5).

Além da definição de novos rumos à educação, as ALE, como é o caso do ENEM, têm sido associadas a possibilidade de responsabilização do Estado, dos profissionais da educação e dos próprios estudantes pela qualidade da educação. Tudo isso, poderia supostamente contribuir para que houvesse um maior compromisso com as práticas educativas, com a organização curricular, com a gestão escolar e com o cumprimento das políticas públicas, com a finalidade de garantir o aprendizado dos e das estudantes e, consequentemente, apresentar melhores índices nas ALE. Contudo, as ALE têm produzido diversas comparações e competições entre as escolas e entre os próprios estudantes (^{BAUER; ALAVARSE; OLIVEIRA, 2015}). Segundo os autores supracitados, isso tem se tornado ainda mais latente a partir da atribuição de premiações aos docentes e às escolas.

Os resultados dessa ALE são extraídos anualmente, a partir de uma prova, contendo 180 questões de múltipla escolha, além da redação. A prova é estruturada a partir de quatro áreas do conhecimento, sendo essas: a) Ciências Humanas e suas Tecnologias; b) Ciências da Natureza e suas Tecnologias; c) Linguagens, Códigos e suas Tecnologias; e, d) Matemática e suas Tecnologias (^{GOMES, 2018}). Desse modo, a prova é predominantemente de caráter quantitativo.

A partir dos resultados obtidos no ENEM são fornecidos dados sobre as escolas e criados rankings, classificando aquelas com melhor desempenho nessa avaliação. Contudo, considerando a forma como é utilizado, seria ele um exame capaz de, efetivamente, analisar a qualidade da educação brasileira? E o que seria afinal uma educação de qualidade? Conforme ^{Saul (2015)}, é preciso ter clareza sobre isso, uma educação de qualidade seria apenas aquela que apresenta melhores desempenhos nas avaliações externas? Como são levados em consideração os conhecimentos das crianças e dos adolescentes “que vivem em contextos diversos, submetidos a injustiças sociais, discriminação, exclusão e violência. Que sentido faz e tem feito a escola para esses educandos?” (^{SAUL, 2015}, p. 1304).

A unidade (T7_U1) reflete sobre a importância das ALE considerarem os aspectos sócio-econômicos-culturais de cada realidade:

[...] os próprios resultados [...] do Enem, ao apresentarem, [...] resultados tão díspares [...] se põem a escancarar as contradições que perpassam a denominada “qualidade” da educação defendida pelo MEC, que escamoteia o peso e o valor que aspectos sócio-políticos-econômicos-culturais possuem no contexto da implementação de exames de larga escala, em um país tão amplo, diverso e heterogêneo quanto o Brasil (T7_U1).

O Brasil, um país de extensão continental, utiliza uma mesma prova em todo seu território, desconsiderando as pluralidades culturais e a desigualdade social existente. Por esse motivo, questionamos como são avaliadas outras habilidades e competências, sobretudo, aquelas atreladas aos valores, às atitudes e às práticas sociais dos sujeitos? Em corroboração à reflexão, a unidade T5_U6 defende que a avaliação da educação brasileira deveria ocorrer mais de perto, considerando outros elementos.

O ENEM não deveria ser o "termômetro" para avaliação das escolas e dos alunos. A avaliação deveria ser mais profunda, mais de perto, porque o desempenho depende de cada região. [...] Gostaria que verificassem as questões sociais e de saúde dos alunos e professores porque quando estamos sem boa saúde ou passando por grandes dificuldades financeiras torna-se impossível ter melhores resultados (T5_U6).

Identificamos, ainda, duas situações contrastantes, a primeira relativa à padronização curricular das escolas para atender aos fins do ENEM e obter melhores posições nos rankings (D34_U9) e a segunda, referente ao pouco retorno dado às escolas (D31_U4).

[...] Assim, a tendência é que cada vez mais ocorra nas salas de aula uma preparação para o Enem, e não um processo educacional visando à formação integral do aluno [...]. Nesses termos então, o aluno passa seiscentos dias se preparando para uma única finalidade: um exame de dois dias (D34_U9).

[...] não há um momento específico para analisar e refletir sobre os dados do ENEM [...] as escolas ainda não desenvolvem um trabalho consistente em relação aos dados desta avaliação [...] (D31_U4).

Desse modo, é importante refletirmos sobre os resultados do ENEM para redimensionar o processo educativo. Infelizmente, na classificação das escolas por ranking, a equidade não está presente, resultando em uma seletividade, que na sua maioria, privilegiam as escolas particulares, com as melhores colocações, em virtude da distinta realidade entre a rede pública e a privada (^{ALMEIDA, 2019}). Apontamos como superficial a mera divulgação dos resultados e como desigual a avaliação uniforme aplicada pelo ENEM, pois como é possível avaliar da mesma maneira uma escola localizada em um contexto de vulnerabilidade social com uma escola situada em um bairro de classe alta, com infraestrutura adequada?

Ainda, referente à forma de divulgação pública dos dados, em forma de microdados organizados em planilhas, sua análise demanda conhecimento por parte da comunidade escolar (^{SPAZZIANI, 2019}). Nesse sentido, ^{Almeida (2019)} salienta o impasse do ENEM em firmar-se como uma avaliação sistêmica do Ensino Médio, pois não se preocupa em ensinar a gestão escolar e os professores a analisar corretamente seus indicadores, a fim de superar possíveis lacunas educacionais e efetivamente melhorar a qualidade da educação. Uma outra discussão é quanto à limitação desse instrumento de avaliação é relativa ao pagamento da taxa de inscrição:

Primeiramente, entendemos que o Enem nasce confuso, uma vez que a intenção era utilizar o exame como avaliador da educação, este não poderia ser facultativo, isto porque, os sujeitos que realizam o Enem poderiam não ser representativos do universo de egressos do ensino médio [...] nas primeiras edições, o Exame era pago, portanto, fazendo uma seleção socioeconômica prévia de quem poderia pagar. [...], precisaria ser realizado por todos ou ter critérios de definição de amostras, no sentido de que os realizassem a amostra representassem todos as características sociais do universo de estudantes concluintes da educação básica. [...] entendemos que apesar de podermos utilizá-lo como avaliação diagnóstica [...] há limitações quanto à representatividade ao universo de concluintes do ensino médio (T9_U3).

Mesmo com tantas fragilidades, o ENEM tem ocupado um papel importante, principalmente, por ter se tornado o principal mecanismo de ingresso ao ensino superior, conforme a unidade abaixo.

Entretanto, ao longo dos anos, o número de alunos participantes se multiplicou, hoje no Brasil, o ENEM configurou-se como a maior avaliação em larga escala do país [...]. Esse aumento significativo pode ser decorrência de algumas vantagens [...], como: critério de seleção para ingresso em universidades, critério de seleção do Programa Universidade para Todos (ProUni) [...] (D9_U2).

Assim, com a adoção dessa avaliação para o ingresso ao ensino superior, o ENEM passa a transcender seu objetivo inicial de avaliar as aprendizagens dos sujeitos concluintes do ensino médio. A adesão ao exame passou a substituir muitos vestibulares nas instituições de ensino superior (^{WERLE, 2011}). Conforme a autora, isso pode ter ocorrido, principalmente, em razão da instituição do PROUNI, o qual considera apenas os resultados obtidos no ENEM e a partir do Sistema de Seleção Unificada (SISU).

Outrossim, o ENEM possibilita que estudantes possam realizar a avaliação nas cidades que residem ou em cidades próximas que aplicam o exame e após buscar uma vaga em quaisquer universidades públicas brasileiras, que o utilizam como instrumento de ingresso. Ao mesmo tempo que facilita o acesso à universidade, existe a preocupação com sua natureza classificatória e excludente, conforme ressalta a unidade D34_U11:

Evidenciamos [...] que a avaliação em larga escala pode também ser fruto de uma pedagogia comprometida com a consolidação de uma sociedade burguesa, na qual constatar, classificar e excluir são ações determinantes para sua existência (D34_U11).

A consolidação desta desigualdade social é refletida quando há sujeitos que têm acesso a cursos preparatórios, enquanto outros precisam conciliar trabalho e escola. ^{Santos (2011}, p. 200) sinaliza que o aumento desses cursos de preparação para o ENEM é um “sintoma de um sistema que vê a educação, a aprendizagem e o saber como mercadorias”. E acrescenta: “o treinamento para a realização da prova tira o caráter espontâneo de conhecimento adquirido e se transforma em um novo vestibular, com dicas, com ‘bizus’, com a aflição da concorrência” (^{SANTOS, 2011}, p. 202). Dessa forma, estaria o ENEM realmente avaliando as aprendizagens dos estudantes ou seria ele uma avaliação voltada àqueles que têm melhores condições de acesso e preparação?

A ausência do retorno às escolas, a forma como o ENEM vem controlando o currículo, a formação docente, a seleção de materiais e a sua utilização como mecanismo de classificação/exclusão, são indicativos de que o ENEM apresenta pressupostos de uma Pedagogia do Exame, a qual segue os propósitos de uma educação domesticadora (^{SAUL, 2015}).

O Enem nasce com dupla função: avaliação de sistema educacional e exame, o que é uma contradição. Um exame, normalmente, tem a intenção de selecionar e classificar, enquanto uma avaliação sistêmica tem por intenção fornecer informações para subsidiar políticas públicas [...] (T9_U4).

Por fim, percebemos que o ENEM tem potencial de contribuir para os processos educativos, no entanto, precisa criar caminhos de diálogo com a escola, dando o respectivo retorno dos seus resultados. Além disso, precisa ser repensado para que possa efetivamente avaliar os estudantes, sobretudo, no quesito da consideração da diversidade cultural e socioeconômica do Brasil. Como visto, algumas inquietações precisam ser aprofundadas, tais como: a) qual o tipo de qualidade que se espera avaliar; e, b) quais mudanças seriam necessárias para que essa avaliação consiga avaliar os (as) estudantes de maneira mais justa e democrática.

Considerações finais

No objetivo de analisar a produção científica referente ao ENEM e às ALE, identificamos 46 produções. Verificamos que a maioria das produções foram realizadas na região Sul e Sudeste, todavia, foram produzidas pesquisas em todas as regiões brasileiras. Ademais, identificamos que no período analisado (2011-2021), houve um aumento das publicações referentes à temática, o que pode estar atrelado à adesão das universidades em utilizar o ENEM como mecanismo de ingresso no ensino superior e o aumento significativo de estudantes que realizam o exame. Também evidenciamos que a diminuição das produções, a partir de 2017, pode estar relacionada à mudança orçamentária disponibilizada à CAPES.

Uma outra análise é relativa às universidades em que as pesquisas foram produzidas, havendo uma presença majoritária de instituições públicas, representando 90% do total evidenciado. Além disso, as áreas de educação e ensino foram as mais contempladas, com 56,5% das publicações.

Na primeira categoria, dialogamos sobre como o ENEM, têm influenciado o currículo do ensino médio e como essas questões podem induzir às práticas pedagógicas de professores, além do direcionamento de gestores e gestoras. Entendemos, que para algumas disciplinas, com a implementação do Novo ENEM, a partir de 2008, houve uma melhoria na prática pedagógica, trazendo um caminho antes não presente, todavia, não podemos fazer essa mesma colocação em todas as áreas do currículo. Por fim, acreditamos que as ALE têm um papel primordial no estabelecimento das políticas públicas, entretanto, ainda é necessário um processo de construção alicerçado em bases mais sólidas e com objetivos mais específicos do seu papel frente aos problemas enfrentados.

Na segunda categoria, argumentamos sobre a interferência das ALE no processo de ensino e aprendizagem. Com destaque para a influência do ENEM na prática docente, resultando em um excessivo direcionamento para os conteúdos do exame, e, consequentemente, diminuindo a autonomia docente. Ademais, o ingresso ao ensino superior, a partir do ENEM, ampliou a possibilidade de acesso dos estudantes da classe socioeconômica menos favorecida a esse nível de ensino, o que não acontecia com a utilização dos antigos vestibulares (^{OLIVEIRA, 2015}). Todavia, essa crescente adesão ao ENEM, no Brasil, acentuou a responsabilização dos resultados aos estudantes e professores, não considerando todo o processo educacional e os elementos culturais, econômicos, sociais, entre outros.

Na terceira categoria, discutimos sobre as finalidades do ENEM enquanto ALE e mecanismo de ingresso ao ensino superior. De modo geral, consideramos que as pesquisas realizam uma crítica ao modo como essa avaliação vem sendo realizada. Outrossim, grande parte dos autores e das autoras sinalizam que, embora o ENEM tenha como pretensão avaliar a qualidade da educação básica e contribuir para melhorias nas instituições de ensino, não tem alcançado esses dois objetivos de maneira efetiva, haja vista que: 1) O ENEM é uma prova predominantemente quantitativa, cuja avaliação não analisa outras questões relativas aos processos educativos, como valores e práticas sociais; 2) Não tem dado o devido retorno às instituições de ensino, para que possam reconhecer suas lacunas e potências; 3) É uma prova paga e facultativa, não realizando uma amostra de toda população brasileira; e, 4) É uma prova única para todo o Brasil, isto é, não considera as pluralidades culturais e de realidades.

Visto que todos esses elementos foram sinalizados pelas pesquisas analisadas, nos questionamos para que/quem tem servido, então, o ENEM? Parece que a principal utilização dessa avaliação, hoje, é para ingresso no ensino superior, todavia, também tem enfrentado grandes desafios. Tudo isso, faz com que reflitamos sobre o papel e as implicações do ENEM. Defendemos, como necessárias modificações, para que de fato venham a contribuir com o processo educacional - e talvez seja possível reconquistar sua finalidade primária: uma política pública direcionada à formação qualificada dos estudantes brasileiros.