O que é considerado na avaliação do Enade?

Para situar o leitor nesse processo de avaliação, faremos um breve resgate. Na década de 1990, a avaliação do ensino superior foi instituída enquanto política pública por meio do Exame Nacional de Cursos (ENC), conhecido como Provão. Naquele contexto, foram inúmeras as críticas e os estudos sobre a avaliação do ensino superior (^{Rothen; Barreyro, 2010}; ^{Andrade, 2012}; ^{Verhine; Freitas, 2012}; ^{Lima, 2013}; ^{Catani; Hey; Gilioli, 2006}; Marinho-Araújo, 2004, entre outros), principalmente no que se referia a avaliar competências dos graduandos (^{Souza, 2014}). Esses autores apontam, por exemplo, que não se consideravam aspectos¹ fundamentais do processo de ensino e aprendizagem (^{Verhine; Dantas; Soares, 2006}).

Apesar de não ser nossa intenção abordar quando e como surge o Enade, entendemos a relevância de se discutir a avaliação do ensino superior no Brasil como processo das relações dialéticas, o qual implicaria uma análise profunda em que se destacam as contradições para compreender as transformações sociais da quantidade em qualidade e, particularmente, da negação da negação (^{Cheptulin, 2004}). Cabe-nos aqui sinalizar que, durante o Governo Lula (^{Rothen; Barreyro, 2010}; ^{Mazze et al., 2017}), ocorreu um processo de expansão e democratização do acesso à educação superior apoiado pelo Plano de Desenvolvimento da Educação (PDE), pela integração dos institutos federais e pela Reestruturação e Expansão das Instituições de Ensino Superior (Reuni). Segundo ^{Rothen e Barreyro (2010}), foram propostos três instrumentos para atingir as metas previstas pelo governo: o Reuni e o Plano Nacional de Assistência Estudantil (Pnaes); o Programa Universidade Para Todos (Prouni) e a Reformulação do Fundo de Financiamento ao Estudante do Ensino Superior (Fnaes); e a inclusão de mecanismo de avaliação e regulação com o Sistema Nacional de Avaliação da Educação Superior (Sinaes) via Enade.

Assim, o Sinaes é instituído com o objetivo de assegurar um processo nacional de avaliação das IES, dos cursos de graduação e do desempenho acadêmico dos estudantes (^{Souza, 2014}). Nesse contexto é que temos a implementação do Enade em “substituição” ao Provão. Em linhas gerais, a diferença entre o Provão e o Sinaes se apoia nas proposições de democratização com vistas à inclusão de estudantes no ensino superior e a um novo mecanismo no processo de avaliação e regulação, o qual relacionasse outras variáveis, como a avaliação institucional e suas dimensões de infraestrutura e corpo docente, do curso em si e dos estudantes (^{Souza, 2014}).

O Sinaes visa, entre outros, à melhoria da qualidade da educação superior, à orientação da expansão da sua oferta, à caracterização de mérito de instituições, áreas, cursos e programas na tríade de ensino, pesquisa e extensão e à promoção da responsabilidade social das instituições de ensino superior (^{Brasil. Inep, 2014}). Para tanto, três indicadores de qualidade são considerados: Índice Geral de Cursos, Conceito Preliminar de Curso e Conceito Enade. Dentre as críticas a esse sistema, destaca-se o fato de ele se caracterizar como uma forma de competição ou, ainda, de promoção de instituições (^{Souza, 2014}). Apesar disso, o Conceito Enade é, sem dúvida, o mais conhecido dos três indicadores.

E o que avalia a prova do Enade? Ou, em outros termos, quais seriam os seus objetivos? De uma forma bem sucinta, o Enade tem quatro objetivos básicos: (1) contribuir para a avaliação dos cursos de graduação por meio da verificação das competências e dos conhecimentos desenvolvidos pelos estudantes em sua formação, em consonância com características do perfil profissional da área; (2) aferir o desempenho dos estudantes no que se refere ao uso, à síntese e à integração de conhecimentos adquiridos ao longo do curso; (3) possibilitar aos cursos o acompanhamento dos resultados de suas ações pedagógicas; (4) avaliar comparativamente a formação oferecida pelas IES aos estudantes das respectivas áreas avaliadas.

A partir desses quatro objetivos, destacaremos alguns pontos de interesse para nosso trabalho. Com relação ao primeiro objetivo, as competências a serem verificadas devem ser coerentes com o perfil profissional previsto nas diretrizes curriculares do curso a ser avaliado. Apesar de não ser o nosso foco, reconhecemos que o termo “competência” é discutido (de forma polêmica e/ou diversificada) por distintos autores e passa a ser considerado pelo Enade um indicador de qualidade, assumindo o conceito de ^{Le Boterf (2003}) e outros autores como: “ser competente é saber agir e reagir com pertinência, saber combinar recursos e mobilizá-los em um contexto, saber transpor, saber aprender e aprender a aprender, saber envolver-se” (^{Marinho-Araújo; Rabelo, 2015}, ²⁰¹⁶). Concebe, portanto, as habilidades como de natureza interna ao indivíduo e a competência como a compreensão de questões de natureza exteriores e vinculadas à atuação profissional. Além disso, nesse processo de avaliação, inclui também outros conhecimentos que são desenvolvidos ao longo do curso de acordo com o perfil profissional, expressos nos conteúdos disciplinares gerais e específicos ou chamados de conteúdos programáticos (Freitas, Silva, Silva Júnior, 2016). No caso do nosso estudo, o perfil profissional do curso de Química previsto nas Diretrizes Curriculares Nacionais tanto do bacharel como do licenciado almeja uma formação generalista, considerando as especificidades da atuação profissional no que se refere à formação pessoal, compreensão da Química, busca de informação, comunicação e expressão (Parecer CNE/CES nº 1.303, 6 de novembro de 2001). Particularmente, para o bacharel, enfatiza-se o trabalho de investigação científica e produção/controle de qualidade, assim como a aplicação do conhecimento. Já com relação à licenciatura, enfatiza-se uma preparação em termos pedagógicos no tocante tanto ao conhecimento químico como também de outras áreas na sua atuação profissional.

O segundo objetivo do Enade diz respeito essencialmente à matriz de avaliação. A elaboração dessa matriz, que dará origem à prova do Enade propriamente dita, é realizada pela Comissão Assessora de Área (CAA) a partir de diretrizes também definidas pela comissão (considerando as Diretrizes Curriculares Nacionais) e publicadas em portaria com base no sentido assumido por competência e habilidade, perfil do egresso e conteúdos programáticos. Já o terceiro objetivo, que particularmente foi o aspecto motivador deste estudo, está relacionado ao acompanhamento dos resultados da avaliação em termos de competências e habilidades, conteúdos gerais e específicos disponibilizados em um relatório com dados estatísticos detalhados. O último objetivo, que remete à comparação das instituições, favorece a regulação e a promoção de proposição de “possíveis” políticas públicas de melhoria da educação superior ou leva ao ranking das instituições de ensino superior?

Compreendemos que o segundo e o terceiro objetivos afetam diretamente cada Núcleo Docente Estruturante dos cursos e suas estruturas curriculares formativas. Nesse sentido, cabe uma análise crítica dos resultados dos relatórios e do próprio processo de elaboração das provas do Enade. É o que propomos tentar entender.

A prova do Enade-Química: algumas características

Em termos operacionais, a prova do Enade avalia os concluintes de um curso de graduação a cada três anos e é composta por questões que exigem do candidato a compreensão, explicação e resolução de tarefas de abordagens multidimensionais, assim como suas possíveis correlações com diferentes contextos (^{Mazze et al., 2017}).

A elaboração das provas é desenvolvida por Comissões Assessoras de Área, compostas por docentes de diferentes instituições de ensino superior tanto públicas como privadas. Tais comissões têm como atribuição principal definir diretrizes para as provas no tocante a conteúdos programáticos, competências e perfil dos concluintes que nortearão a matriz com especificações necessárias à elaboração dos itens.

E como se dá a seleção dos docentes que compõem as CAAs? De uma forma sucinta, essa formação ocorre em quatro etapas: (1) é considerado o relatório final das CAAs sobre as dificuldades em relação ao equilíbrio da representatividade das áreas, quer dizer, se havia ou não docentes com a formação exigida; (2) selecionam-se dois veteranos do grupo anterior para a próxima edição considerando a participação e a frequência às reuniões desses docentes na CAA, sua formação acadêmica, o equilíbrio entre a presença das instituições públicas e privadas e a representatividade dos cursos; (3) considera-se o indicador da CAA e observam-se os critérios de representatividade a partir de três dimensões do Conceito Preliminar de Curso (apenas as instituições que participaram do Enade em anos anteriores), as quais incluem o Conceito Enade, o IDD - que é o indicador de diferença entre desempenho observado e esperado - e a nota sobre qualificação/dedicação do corpo docente, abrangendo titulação e regime de trabalho; (4) o convite em si, pois, a princípio, examina-se se o coordenador do curso atende a requisitos como experiência e atuação na área e formação - no caso de não atender, busca-se outro docente do curso.

Seguidos esses critérios, as CAAs são nomeadas por meio de portarias e, particularmente, aquelas relacionadas ao Enade-Química de 2011, 2014 e 2017 estão listadas nos Quadros 1, 2 e 3.

Fonte: Elaboração própria

*Os nomes dos membros das CAAs foram mantidos em sigilo, apesar da divulgação pública no Diário Oficial da União (DOU), respectivamente, Portarias n^o 155/2011, n^o 12/2014 e n^o 103/2017. Optamos por usar somente as letras iniciais dos nomes

Quadro 1 Dados* da Comissão Assessora de Área dos cursos de Química - 2011 

De modo resumido, os docentes da CAA do Enade-Química de 2011, quanto à formação, em sua maioria, são químicos e, naquele ano, três ministravam disciplinas² na área de Ensino, dois em Química Analítica, um em Química Inorgânica e um em Química Orgânica. Nenhum docente atuava ou tinha formação na área de Físico-Química e há um maior número de docentes que atuam na área de Ensino. Em termos de distribuição de IES, todas as regiões do País são contempladas e há apenas uma instituição privada.

Fonte: Elaboração própria

Quadro 2 Dados da Comissão Assessora de Área dos cursos de Química - 2014 

De acordo com o Quadro 2, os docentes envolvidos na CAA do Enade-Química de 2014 possuem formação acadêmica mais variada, sendo quatro químicos, um engenheiro, um de Biodiversidade e um de Biologia Funcional e Molecular. Quanto à atuação, dois ministravam na área de Ensino e Orgânica, um em Química Analítica, um em Química Inorgânica, dois em Química Orgânica e um em Físico-Química. Observa-se uma presença maior de docentes que atuam com Química Orgânica. Todas as regiões do País são contempladas, com maior ênfase na região Sul, e há um aumento na participação de IES privadas. Entretanto, toda a equipe foi mudada, ou seja, o critério de manter dois docentes “veteranos” da CAA de 2011 não ocorreu em 2014. Isso nos leva a outros questionamentos sobre possíveis impactos e/ou alterações que a pouca experiência desse grupo ocasionou com relação à elaboração/seleção dos itens para a prova, à organização dos conteúdos programáticos gerais e específicos a serem publicados no Diário Oficial da União (DOU) e à distribuição das questões em termos de competências e habilidades.

Fonte: Elaboração própria

Quadro 3 Dados da Comissão Assessora de Área dos cursos de Química - 2017 

Segundo o Quadro 3, os envolvidos na CAA do Enade-Química de 2017, com relação à formação, em sua maioria, são químicos e não há docente com formação em Educação ou Ensino. Por outro lado, há um docente que atua na área de Ensino e Físico-Química, um em Química Analítica, um em Química Inorgânica, dois em Química Orgânica e três em Físico-Química. Há mais docentes de Físico-Química. Todas as regiões do País são contempladas, com maior ênfase na região Sudeste, e foi mantido o critério de dois veteranos da comissão de 2014.

Os resultados do desempenho dos estudantes que realizaram a prova do Enade são apresentados na forma de relatórios e disponibilizados às IES, com intenção de sinalizar os pontos fortes e as fragilidades vivenciadas pelos concluintes do curso. Desse modo, enquanto política pública, cada corpo docente ou Núcleo Docente Estruturante poderia se debruçar sobre esses dados e analisá-los à luz do seu projeto pedagógico.

Cabe, mais uma vez, examinar criticamente tal processo de construção a fim de compreender os possíveis pontos fortes e as fragilidades da avaliação e em que medidas tais elementos podem contribuir com a realidade de cada curso.

Após a disponibilização dos relatórios, a cada ano, ocorre um seminário nacional organizado pelo MEC cujo objetivo é discutir os resultados divulgados pelo Inep. Particularmente, buscaremos expor uma síntese do último, pois entendemos se tratar de um processo de construção. Assim, na apresentação do Seminário Enade 2017, sobre a Educação Superior, a partir dos dados estatísticos da análise dos resultados do Enade (^{Brasil. Inep, [2017a]}), foram sinalizados desafios decorrentes das características do próprio processo de avaliação, dentre os quais se destacaram:

Fonte: Elaboração própria baseada em ^{Brasil. Inep (2017b})

Figura 1 Desafios decorrentes da análise dos dados estatísticos do Enade 

Para além dessas dificuldades, sinalizamos outra que constitui o nosso objeto de estudo: a organização das questões do Enade em termos de habilidades cognitivas e sua correlação com o nível de dificuldade delas, materializando-se nos seguintes objetivos de pesquisa:

As habilidades/operações cognitivas na resolução de tarefas

Buscaremos sinalizar o que assumimos na nossa análise como habilidades/operações cognitivas exigidas na resolução das tarefas, partindo da definição proposta por ^{Salovey et al. (2004}) e da taxonomia de ^{Alonso (2000}). Tais habilidades se relacionam aos estudos de Psicologia, os quais não constituem nosso objeto, mas nos orientam na inferência das dificuldades cognitivas. Segundo ^{Primi et al. (2001}), três grandes correntes são utilizadas nos modelos explicativos: a psicométrica ou fatorial (define as estruturas da inteligência e sua organização, focando o produto e não o processo); a desenvolvimentalista (determina as estruturas de inteligência e sua dinâmica ao longo do desenvolvimento, descrevendo o processamento cognitivo em função dos diferentes estágios); e a da abordagem do processamento humano de informação (investiga os processos cognitivos envolvidos na resolução de tarefas). É a partir dos estudos desses modelos, e particularmente do processamento humano de informação, que diferentes autores buscam dar sentido ao que se entende por habilidade e competência durante a resolução de uma tarefa (Primi et al., 2001).

^{Mayer, Salovey e Caruso (2004}) afirmam que habilidade ou operação representa o potencial expresso durante a realização de uma ação em que se apresentam respostas corretas a um dado problema a partir de um conhecimento de determinado conteúdo. Já a competência indicaria um nível padronizado de realização das ações para resolução das tarefas (^{Primi et al., 2001}). ^{Alonso (2000}) considera uma taxonomia das tarefas exigidas pelos alunos ao tentarem solucionar as questões/atividades/tarefas referidas, conforme o Quadro 4.

Fonte:^{Alonso (2000}, p. 56), tradução nossa

Quadro 4 Taxonomia das tarefas de aprendizagem e avaliação 

Segundo o autor, o critério que distingue a dificuldade cognitiva é a compreensão. Isto é, uma tarefa classificada como não compreensiva implica verificar a capacidade de recordar a informação na forma como foi apresentada e a tarefa compreensiva implica construir ou reconstruir o significado da informação apresentada (^{Mazze et al., 2017}). As tarefas de ordem superior requerem operações cognitivas exigidas nas tarefas de ordem inferior. Entre as operações cognitivas envolvidas nas tarefas, podemos citar: identificar, memorizar, aplicar, resumir, interpretar, generalizar, comparar, classificar, organizar dados, criticar, induzir, argumentar, criar, imaginar, planejar e pesquisar, como mostra o Quadro 5.

De acordo com o Quadro 5, as tarefas aumentam de complexidade (de cima para baixo e da esquerda para a direita); entretanto, é possível realizar uma dada tarefa sem executar (pular) uma dada operação cognitiva. Esse quadro foi elaborado a partir da taxonomia de ^{Alonso (2000}), tendo como foco buscar uma classificação mais detalhada para atender ao objeto de estudo. A partir da análise das operações cognitivas, elaboramos um indicador que se refere ao nível cognitivo de dificuldade (NCD), assumindo valores inteiros que variam de 1 a 5, apresentados no Quadro 5. Por exemplo, uma questão com NCD igual a 1 indica que as operações cognitivas exigidas para sua resolução envolvem tarefas do tipo identificar, memorizar e aplicar, enquanto uma questão com NCD igual a 2 demanda as tarefas anteriores (NCD = 1) acrescidas de resumir e interpretar.

Fonte: Elaboração própria

Quadro 5 Relação entre as operações cognitivas e o nível de dificuldade (taxonomia) 

O Quadro 5 expressa a relação entre as dificuldades das tarefas que emergiram das análises do nosso estudo a partir das operações cognitivas exigidas para resolvê-las e, assim, tal taxonomia nos fornece o que denominamos de nível cognitivo de dificuldade.

Embora não seja o escopo do presente trabalho, a elaboração dos indicadores relacionados ao NCD ocorreu com o intuito de encontrar possíveis correlações entre esse indicador e o “índice de facilidade” que emerge das análises estatísticas da prova e é fornecido pelo Inep. De forma bem sucinta, o índice de facilidade se refere ao percentual de acerto de cada questão e apresenta as seguintes classificações: muito fácil, para uma questão acertada por 86% ou mais dos estudantes; fácil, quando o percentual de acerto varia entre 61% e 85%; médio, para uma variação de acerto entre 41% e 60%; difícil, com um intervalo de acertos variando entre 16% e 40%; e muito difícil, para questões cujo percentual de acerto foi menor ou igual a 15%. Nesse sentido, a pergunta que se coloca é: os percentuais de acerto das questões (índice de facilidade) podem ser traduzidos em termos das operações cognitivas mobilizadas pelos estudantes para a resolução da questão? Ou seja, uma questão cujo índice de facilidade é muito fácil se refere a uma questão com NCD igual a 1, na qual os estudantes devem utilizar apenas as tarefas de identificação, memorização e aplicação para resolvê-la? Ainda, o que a análise das questões em termos das operações cognitivas pode sinalizar em relação à elaboração da prova? Ou seja, são exigidos dos estudantes a mobilização de diferentes operações cognitivas para resolver a prova ou a prova se concentra em questões que exigem algumas poucas operações cognitivas?

Categoria: conteúdos programáticos

Nesta categoria, observamos que, em 2014 e 2017, ocorreu uma simplificação expressiva nos conteúdos programáticos (Quadro 8): foram de 17 para 11 tópicos e ainda estavam mais resumidos. Inferimos que tal mudança tenha acontecido talvez pelo fato de, no ano de 2014, toda a equipe ter sido mudada, não se cumprindo o critério de dois docentes “veteranos”.

Fonte: Elaboração própria baseada em ^{Brasil. Inep (2011}, ^2017b, ^2017c)

Quadro 7 Conteúdo programático de conhecimento geral previsto nas portarias do Enade - 2011, 2014 e 2017 

Ao retomarmos os objetivos do Enade - “possibilitar aos cursos o acompanhamento dos resultados de suas ações pedagógicas” e “avaliar comparativamente a formação oferecida pelas IES aos estudantes das respectivas áreas avaliadas” -, entendemos que a apresentação do conteúdo programático consiste em uma orientação ao corpo docente da instituição. A sintetização dos conteúdos⁵ dificulta a própria avaliação comparativa da formação que está sendo exposta.

A análise dos conteúdos programáticos de conhecimento geral⁶

Na prova de 2011, foram analisadas 3 questões discursivas (D) e 17 de múltipla escolha. Dessas 20 questões comuns ao bacharelado e à licenciatura a serem distribuídas nos 17 conteúdos programáticos previstos em portaria (Quadro 7, coluna Enade 2011), tivemos uma maior ênfase nos conteúdos de análise química (refere-se à Química Analítica) e de estudo de substâncias (Química Geral), respectivamente 4 e 3 questões. Não foram observadas questões envolvendo os conteúdos de Cinética Química, Bioquímica e operações básicas de laboratório.

Na prova de 2014, foram analisadas 2 questões discursivas e 17 de múltipla escolha. Dentre os 11 conteúdos programáticos previstos (Quadro 7, coluna Enade 2014), nota-se destaque em “compostos orgânicos”, com um total de 7 das 19 questões examinadas presentes tanto para o bacharelado quanto para a licenciatura. O conteúdo de Bioquímica não foi observado na prova de 2014. Ao retomar a composição da CAA, constatamos que existe uma estreita relação com a formação acadêmica e a atuação dos docentes. Há um número maior de docentes da área de Química Orgânica (quase a metade), o que pode ter influenciado a escolha dos itens. Ainda, destacamos os conteúdos das questões 12, 16 e 18 (equação dos gases ideais e comportamento, tratamento de águas e efluentes), que não estão explicitados na portaria. Quer dizer, apesar de estes terem relação com os grandes temas, as questões abordam conteúdos expressivos na formação do profissional no contexto atual, como o tratamento de efluentes. Assim, o detalhamento sinaliza para os cursos que tal temática é relevante. Seria esse ponto relacionado à supressão ou à síntese dos conteúdos realizada pela CAA de 2014?

Na prova do Enade de 2017, foram analisadas 2 questões discursivas e 17 de múltipla escolha comuns ao bacharelado e à licenciatura. Observa-se que, apesar de uma melhor distribuição dos 13 conteúdos programáticos previstos em portaria (Quadro 7, coluna Enade 2017), a ênfase se localiza em conteúdos relativos a Físico-Química (gases e termodinâmica com 3 questões), Química Analítica (métodos de análise) e Química Orgânica (compostos orgânicos) com 4 questões cada uma. A comparação entre os Quadros 2 e 3 parece nos indicar que essa melhor distribuição nos conteúdos programáticos está relacionada ao fato de a CAA de 2017 ter, na sua composição, dois professores que participaram da CAA de 2014, possibilitando à comissão de 2017 avançar nas discussões referentes à matriz da prova considerando suas experiências anteriores.

Análise dos conteúdos programáticos de conhecimento específico

Os conteúdos específicos foram organizados em dois blocos: um destinado à licenciatura; outro, ao bacharelado. Os Quadros 8 e 9 apresentam os conteúdos específicos expressos nas portarias para o bacharelado e para a licenciatura, respectivamente. Nos Quadros 8 e 9, a primeira coluna se refere ao Enade 2011, a segunda ao Enade 2014 e a terceira ao Enade 2017. Com relação ao bacharelado, observamos que em 2011 foram cinco tópicos e, em 2014 e 2017, foram seis, havendo em todos os anos pequenas mudanças.

Fonte: Elaboração própria baseada em ^{Brasil. Inep (2011}, ²⁰¹⁴, ^2017b

Quadro 8 Conteúdo programático de conhecimento específico para o bacharelado previsto nas portarias do Enade - 2011, 2014 e 2017 

Em 2011, foram analisadas as questões 36 a 45 e observamos que estas abordam apenas três conteúdos específicos do bacharelado dos cinco previstos em portaria, sendo eles: métodos analíticos como cromatografia (já abordado em uma das questões de conhecimento geral) e de absorção atômica, purificação e caracterização de biomoléculas e teoria dos orbitais moleculares em moléculas poliatômicas. Mas o que chama a atenção é que três questões (43, 44 e 45) tratam de conteúdos de conhecimento geral. Em 2014, foram analisadas 11 questões (questão dissertativa 5, questões objetivas 26 a 35) e ocorreu o mesmo de 2011, por exemplo, o conteúdo de estereoquímica refere-se a um dos tópicos abordados em Química Orgânica (conteúdo programático de conhecimento geral, Quadro 7) e não em compostos organometálicos (conteúdo programático de conhecimento específico - bacharelado, Quadro 8). Já os conteúdos equilíbrio, estudo das substâncias e transformações químicas estão na lista daqueles de conhecimento geral, e não específico. Por fim, termogravimetria, composição de materiais e estabilidade térmica não constam na lista de conteúdos nem de conhecimento geral e tampouco específico. Em 2017, das dez questões de conteúdo específico para o bacharelado (questão dissertativa 5, questões objetivas 26 a 35), três eram de Química Analítica (métodos analíticos). Além disso, outras três tinham seus conteúdos já abordados nos conteúdos gerais, ou seja, os concluintes não foram avaliados em termos de conhecimento específico, e sim geral.

Quanto aos conteúdos específicos para licenciatura publicados nas portarias (Quadro 9), percebemos que de 2011 para 2014 foram alterados dois tópicos (comparação realizada nas colunas 1 e 2 do Quadro 9). Os tópicos conteúdos curriculares de Química e análise crítica de materiais didáticos, presentes no Enade 2011, foram suprimidos no Enade 2014, sendo acrescentados nesse ano os tópicos recursos didáticos e projetos e propostas curriculares. Para o Enade 2017, houve a supressão dos tópicos experimentação no ensino de Química e estratégias de ensino e de avaliação (presentes em 2014), o acréscimo de dois novos tópicos (identificação de barreiras epistemológicas em materiais didáticos escritos e parametrização de métodos de avaliação), e outros tópicos foram “somados”, por vezes, não havendo relação entre eles - por exemplo, “projetos e propostas curriculares” é distinto de “políticas públicas”; propostas curriculares podem ou não vir a ser políticas públicas. Além disso, o tópico de identificação de barreiras epistemológicas se restringe apenas aos materiais didáticos escritos, quando, no contexto da sala de aula, existem diferentes recursos a serem utilizados.

Fonte: Elaboração própria baseada em ^{Brasil. Inep (2011}, ²⁰¹⁴, ^2017c)

Quadro 9 Conteúdo programático de conhecimento específico para a licenciatura previsto nas portarias do Enade - 2011, 2014 e 2017 

Em 2011, foram examinadas cinco questões específicas, com distribuição equilibrada, sendo todos os tópicos atendidos. Em 2014, as seis questões objetivas (26 a 31) e uma discursiva (5) atendiam a todos os conteúdos específicos de forma equilibrada. Em 2017, todos os conteúdos também estavam presentes apesar de a distribuição ter uma pequena ênfase em “relações ciência, tecnologia, sociedade e ambiente (CTSA)”, questões 32 e 33.

Categoria: competências

As competências expressas nas portarias de 2011, 2014 e 2017 são elencadas no Quadro 10. Para apresentação desse quadro, foi realizado um exercício de identificação/correlação das competências previstas em 2011, 2014 e 2017. Assim, as competências dos diferentes anos situadas em uma mesma linha correspondem a essa tentativa de identificação/correlação. Observa-se que há pouca diferença das competências entre 2011 e 2014. Em 2014, é excluída a competência relativa ao conhecimento dos materiais, suas composições, propriedades físicas e químicas e possibilidades de transformações.

Em 2017, há uma ampliação do domínio de compreender as leis, os princípios e saber utilizá-los para explicar um determinado fenômeno à luz do conhecimento científico e de “argumentar cientificamente a resolução de problemas”. Por outro lado, as competências relativas à leitura, compreensão e interpretação de textos científicos em outro idioma e à adoção de procedimentos em caso de eventuais acidentes são excluídas.

Fonte: Elaboração própria baseada em ^{Brasil. Inep (2011}, ²⁰¹⁴, ^2017b, ^2017c)

Quadro 10 Competências gerais - Enade Química - 2011, 2014 e 2017 

Embora nos ¨ Enade 2014: relatório da área de Química¨ (^{Brasil. Inep, 2016}) e “Enade 2017: relatório síntese da área: Química (Bacharelado/Licenciatura)” (^{Brasil. Inep, [2017a]}) emitidos pelo Inep apareçam no anexo “A concepção e elaboração das provas do Enade”, a encomenda da matriz de prova em que cada item é definido a partir da articulação entre uma característica de perfil, uma competência e até três conteúdos, os docentes do grupo de pesquisa na análise das questões buscavam identificar qual perfil, competência e conteúdo deveriam ser mobilizados para a resolução daquela questão. Assim, os dados aqui apresentados se referem a um exercício dos autores e docentes envolvidos no projeto no sentido de relacionar as questões de prova às competências retratadas em portaria.

Com relação à prova de 2011, foram analisadas 20 questões comuns ao bacharelado e à licenciatura. Observamos uma ênfase em três competências gerais: compreender as leis, princípios e modelos da Química e saber utilizá-los para a explicação e previsão de fenômenos químicos (5 questões); conhecer os materiais, suas composições, propriedades físicas e químicas e possibilidades de transformações (10 questões); interpretar, analisar dados e informações e representá-los, utilizando diferentes linguagens próprias da comunicação científica e da Química em particular (8 questões). É importante ressaltar que uma mesma questão por vezes foi enquadrada em mais de uma competência e, por isso, constata-se a divergência numérica entre o número total e o número de questões somando as três competências mais contempladas na prova. No tocante à prova de 2014, das questões analisadas, verificamos a ênfase em apenas duas competências e habilidades gerais: compreender leis e modelos da Química e utilizar na explicação e previsão de fenômenos químicos (15 questões) e interpretar, analisar dados/informações e representar em diferentes linguagens próprias da Química (7 questões). A prova de 2014 deixa, portanto, de avaliar outras quatro competências e habilidades gerais. Em 2017, há um desequilíbrio na distribuição com ênfase na competência “explicar e prever fenômenos químicos com embasamento teórico” (14 questões). O Quadro 11 traz as competências específicas para o bacharelado.

Fonte: Elaboração própria baseada em ^{Brasil. Inep (2011}, ²⁰¹⁴, ^2017b)

Quadro 11 Competências específicas para o bacharelado - Enade - 2011, 2014 e 2017 

Para a prova de 2011, foram investigadas as dez questões específicas para o bacharelado e identificadas duas competências, uma delas geral (compreender modelos quantitativos e probabilísticos teóricos relacionados à Química), sendo utilizada em sete das nove questões específicas (37, 39, 40, 42, 43, 44 e 45). Em 2014, ocorre o mesmo, apenas duas competências específicas e duas gerais. Em 2017, não aparece a competência “elaborar projetos de pesquisa e desenvolver métodos, processos, produtos e aplicações”. O Quadro 12 mostra as competências específicas para a licenciatura.

Fonte: Elaboração própria baseada em ^{Brasil. Inep (2011}, ²⁰¹⁴, ^2017b)

Quadro 12 Competências específicas para a licenciatura - Enade - 2011, 2014 e 2017 

Já com relação à licenciatura, em 2014, é introduzida uma competência relacionada à reflexão crítica e, em 2017, há pequenas mudanças na elaboração da escrita, mas se mantém a essência do conteúdo.

Para a licenciatura, em 2011, há uma distribuição equilibrada de todas as competências específicas nas questões. Em 2014, apesar da ênfase em uma das competências (compreender modelos quantitativos e probabilísticos teóricos relacionados à Química), são observadas as demais também. Em 2017, não são abordadas as competências “desenvolver ações docentes que contribuam para despertar o interesse científico, promover o desenvolvimento intelectual dos estudantes e prepará-los para o exercício consciente da cidadania” e “utilizar estratégias didáticas no ensino de Química”.

Categoria: operações cognitivas e nível cognitivo de dificuldade

A última categoria refere-se às operações cognitivas exigidas para a resolução das questões. O indicador que produzimos com base nas operações cognitivas é o nível cognitivo de dificuldade (NCD), o qual emerge da análise a partir da taxonomia elaborada para as operações cognitivas, sendo classificado em cinco níveis. Cada nível considera as operações cognitivas de menor (nível 1) até as de maior complexidade (nível 5).

Com relação às questões de conhecimento geral, emergem, em nossa análise, 24 tipos de operações, das quais 42% são de dificuldade mínima, incluindo tarefas do tipo reconhecimento, memorização e aplicação de fórmulas. O Gráfico 1 ilustra a distribuição das operações, revelando que, em 2011 e 2014, as questões exigiam operações cognitivas de menor a média complexidade; já em 2017, as questões tiveram alternância entre algumas muito fáceis e a maioria de média a alta complexidade.

Fonte: Elaboração própria.

Gráfico 1 Operações cognitivas presentes nas provas do Enade - 2011, 2014 e 2017 

A partir desses dados, é possível inferir que a prova de 2011, por exemplo, apresentava maior ênfase em questões do tipo “identificar, memorizar, aplicar fórmulas e resumir”, que são operações cognitivas de menor nível de complexidade (NCD ≤2). Já a prova de 2017 passa a contemplar operações cognitivas de maior complexidade. Entretanto, compreendemos que esses resultados, em termos de perfil desejado do concluinte, poderiam ser mais bem distribuídos, de modo a orientar as instituições no que se refere à qualidade dos cursos e das propostas de seus projetos político-pedagógicos. Nesse sentido, propomos que a elaboração da prova pudesse evidenciar uma maior discussão acerca das operações cognitivas a serem exigidas, balizando o desenvolvimento obtido pelos estudantes ao concluir um curso de graduação. Assim, é possível que a prova do Enade pensada em termos de operações cognitivas sinalizasse um retrato mais fiel dos cursos.