Introdução

Apesar das políticas de expansão e interiorização da educação superior no Brasil terem se intensificado nos últimos 20 anos, com a progressiva ampliação do número de ingressantes em cursos de graduação, o número de concluintes continua estagnado, como apontam sistematicamente os resultados do Censo da Educação Superior, realizado anualmente pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep).

Explicações sobre o que ocorre entre a entrada e a saída no curso superior podem contribuir para o aprimoramento das políticas públicas educacionais, e a dificuldade com leitura e escrita é um problema recorrente citado pelo universitário brasileiro, que tem se tornado mais acentuado com a recente democratização do acesso à educação superior e o ingresso de um novo perfil de aluno - o “novo aluno”, terminologia de ^{Brito et al. (2008}), em oposição ao “aluno clássico”, que sempre esteve na universidade -, formado por aqueles que tinham até então o acesso à universidade negado, como jovens oriundos de escolas públicas e de baixa renda, e que só recentemente passaram a ter possibilidade de ingresso na educação superior, trazendo consigo assimetrias constatadas pelas avaliações em larga escala que aferem a leitura, como a Prova Brasil e o Programme for International Student Assessment (Pisa).

Outrossim, divergências entre o que os documentos preconizam e o que as avaliações de fato cumprem têm sido identificadas em avaliações oficiais em larga escala brasileiras, como a Provinha Brasil (^{Freitag; Almeida; Rosário, 2013}; ^{Freitag, 2015}) e até mesmo o Enem (^{Freitag, 2014}). A fim de contribuir para o aprimoramento de políticas que visam reduzir a retenção no fluxo da educação superior, neste artigo, comparamos os documentos norteadores de duas avaliações oficiais em larga escala que perpassam a trajetória do egresso da educação superior - o Exame Nacional do Ensino Médio (Enem), no ingresso, e o Exame Nacional de Desempenho dos Estudantes (Enade), na conclusão - e os itens que compõem as provas dessas avaliações em um recorte com foco nas habilidades de leitura, considerando a prova de Linguagens, Códigos e suas Tecnologias (LCT) do Enem e as questões de Formação Geral (FG) do Enade. Aplicamos a Taxonomia de Bloom Revisada (TBR) aos descritores e itens, a fim de identificar as competências avaliadas e parametrizar a comparação.

Taxonomia de objetivos educacionais

O termo “taxonomia” é utilizado em várias áreas da ciência e na área de educação ganhou notoriedade em razão de um pedido de estudos da Associação Americana de Psicologia a um grupo de pesquisadores liderados por Benjamin S. Bloom, cujo resultado, publicado em 1956, é um instrumento para ajudar no planejamento, na organização e no controle dos objetivos de aprendizagem, oferecendo base para instrumentos de avaliação, além de estimular docentes a auxiliar seus alunos no processo de aquisição de competências específicas, domínio de habilidades, entre outros fins.

A motivação da proposição da taxonomia decorre da dificuldade de os alunos atingirem níveis mais altos de desempenho cognitivo durante sua formação, por não saberem o que deles é esperado; assim, a definição clara dos objetivos educacionais, respeitando a hierarquia da aquisição do conhecimento, pode auxiliar na preparação, não só para o desempenho em avaliações, por exemplo, mas também para o ingresso no mercado de trabalho depois da trajetória educacional.

Em sua primeira versão, a Taxonomia de Objetivos Educacionais (^{Bloom et al., 1956}), mais conhecida como “Taxonomia de Bloom”, foi dividida em três domínios: Cognitivo, Afetivo e o Psicomotor (este último não foi desenvolvido sob a coordenação de Bloom). O primeiro está relacionado ao conhecimento, a aprender algo em gradiente de objetivos, do mais simples ao mais complexo; o segundo está relacionado a sentimentos e posturas voltados para o desenvolvimento da área emocional e afetiva; e o terceiro domínio volta-se para as atividades físicas e a corporalidade. Dos três, o cognitivo foi e é o mais amplamente disseminado em pesquisas e atividades educacionais.

O ponto de partida do domínio Cognitivo é a ideia de que a capacidade humana de aprendizagem difere de uma pessoa para outra. Contudo, em iguais condições de ensino, desconsiderando fatores externos, essas pessoas irão se diferenciar apenas em relação aos níveis de profundidade do conhecimento adquirido. Esta é a base para a classificação hierárquica dos objetivos de aprendizagem: para atingir o nível mais elevado, é preciso dominar os níveis anteriores.

Para avançar em um processo de aprendizagem, o indivíduo deve ter domínio das habilidades anteriores; desse modo, além de possibilitar a classificação, a Taxonomia de Objetivos Educacionais também possibilita a hierarquização do desenvolvimento cognitivo mediante planejamento, permitindo que as etapas do processo educacional tenham maior controle, desde a elaboração de instrumentos e de aulas, até a avaliação dos alunos na perspectiva da evolução em escala de níveis de aquisição do conhecimento. A estrutura de seis categorias ainda se subdivide em categorias menores, cuja finalidade é facilitar o enquadramento das práticas educacionais entre os objetivos, as estratégias e a avaliação.

A Taxonomia de Objetivos Educacionais passou por uma revisão, em 2001, depois de nova convocação da Associação Americana de Psicologia à equipe que participou da elaboração do estudo inicial, com o intuito de aprimorá-lo, agora levando em consideração as transformações no cenário educacional advindas, principalmente, das influências promovidas pela tecnologia. Mesmo sem a presença de Bloom, a equipe manteve toda a estrutura inicial do método no que concerne à padronização da linguagem de classificação das categorias, o que fez com que o novo modelo recebesse o nome de Taxonomia de Bloom Revisada (TBR).

David ^{Krathwohl (2002}), que assessorou Bloom na primeira versão, supervisionou a equipe de reformulação e tomou como premissa para o aprimoramento a melhor definição das habilidades esperadas dos alunos durante o processo de aquisição do conhecimento, uma vez que a versão original havia definido o que se esperava para que fosse alcançado cada nível do domínio (a competência), mas não deixava claro o que era necessário fazer para atingi-lo (a habilidade). Com essa perspectiva, foi estabelecido que verbos de ação indicariam os objetivos a serem alcançados e substantivos, o processo a ser percorrido. Eis a maior mudança: a criação da dimensão do processo cognitivo, pois, na versão original, a aquisição do conhecimento se dava de forma unidimensional.

A relação verbo/substantivo passou a definir o objetivo cognitivo esperado, a avaliação desse objetivo e o desenvolvimento das habilidades, sendo proposta a tabela bidimensional do domínio Cognitivo, na qual verbo e substantivo estão em categorias diferentes.

Outra importante mudança da reformulação foi o acréscimo de mais uma categoria, a dimensão do conhecimento, que era subdividida em três (Efetivo, Conceitual e Procedural), e a inclusão da metacognição, voltada ao processo de autoaprendizagem. As categorias do domínio Cognitivo, o qual apresentava seis categorias, também sofrem alterações (Figura 3) e passam de nomes a verbos (Conhecimento passa a ser Lembrar; Compreensão, Entender; e Aplicar, Analisar, Sintetizar e Criar).

^{Fonte: Ferraz; Belhot (2010}, p. 427)

Figura 3 Categorização atual do domínio Cognitivo da Taxonomia de Bloom proposta por ^{Anderson e Krathwohl (2001}) 

Mesmo com as mudanças, o novo modelo manteve a essência do modelo original, a progressão da dificuldade: do simples ao complexo, do concreto ao abstrato. A tabela bidimensional permite a interpolação entre as categorias de acordo com a especificidade de cada instrumento de pesquisa ou objeto de estudo, tornando-se um método mais abrangente. No entanto, a proposta não é isenta de críticas: em termos de processamento cognitivo, muitos dos processos ocorrem paralelamente (para aplicar, é preciso lembrar; para compreender, é preciso lembrar), e não em série, como a TBR prevê. Do mesmo modo, o domínio de uma fase depende de outra (a aplicação de um aprendizado reforça sua compreensão, a compreensão reforça a memorização). Apesar dessas considerações, a TBR é um instrumento amplamente utilizado para a avaliação de objetivos educacionais, especialmente para a aferição de competências e habilidades em avaliações de larga escala e na comparação entre descritores de matrizes e itens de testes.

Objetivos educacionais nas avaliações em larga escala

Pesquisas no campo das avaliações educacionais em larga escala utilizam a taxonomia como método de análise, tanto no cenário internacional, no Scholastic Aptitude Test (SAT), por exemplo, exame equivalente ao Enem, nos Estados Unidos (^{Macgowan, 2002}; ^{Athanassiou; Macnett; Harvey, 2003}; ^{Simkin; Kuelcher, 2005}; ^{Darlington, 2013}; ^{Agarwal, 2019}), quanto nas avaliações oficiais brasileiras em larga escala, como Enem (^{Marcelino; Recena, 2012}; ^{Silva; Martins, 2014}; ^{Pontes Júnior; Sousa; Silva, 2015}; ^{Carvalho et al., 2015}; ^{Mancini; Marques Júnior; Cintra, 2017}; ^{Pontes Júnior. et al., 2016}, entre outros) e Enade (^{Pinheiro et al., 2013}; ^{Nicolini; Andrade, 2015}; ^{Costa; Martins, 2017}; ^{Moimaz et al., 2017}; ^{Medeiros Filho et al., 2019}; ^{Souza et al., 2020}, entre outros).

A fim de observar os aspectos subjacentes ao teste de Língua Portuguesa da edição do Enem 2014, ^{Carvalho et al. (2015}) adotaram a TBR para analisar as questões e mostrar o quanto a avaliação efetivada pelo professor pode auxiliar sua prática pedagógica, uma vez que pode ajudar o aluno a chegar à apreensão de um assunto, por meio dessa estrutura conceitual, e também auxiliá-lo a navegar em direção à aquisição das competências e habilidades que são exigidas na prova.

^{Nicolini e Andrade (2015}) defendem que a aplicação da metodologia proposta pela TBR ao Enade permite ao professor ter mais assertividade na avaliação dos conteúdos ministrados, possibilitando-lhe verificar se os diversos níveis de aprendizagem obtidos pelo estudante estão de acordo com os objetivos traçados, porém, se estes não estiverem bem definidos, certamente o processo de alinhamento ensino/avaliação não ocorrerá.

A adoção dos domínios propostos pela taxonomia possibilita alinhar as práticas de ensino e avaliação, a fim de atingir o conhecimento, tanto durante o curso das disciplinas quanto no processo de seleção de candidatos, com o Enem, e avaliação dos concluintes, com o Enade. No entanto, para um panorama mais abrangente, não basta apenas a aplicação da TBR aos itens da avaliação: é preciso considerar os descritores da matriz de referência de objetivos educacionais dos documentos norteadores da avaliação. É o que o fazem ^{Cintra, Marques Júnior e Sousa (2016}), ao compararem a matriz do Enem e os itens de Química da prova, constatando o predomínio de itens de baixa ordem cognitiva, o que contrasta com a matriz de referência, que prevê uma proporção menor destes, sugerindo que a prova é “mais fácil” do que o documento norteador preconiza. Já na comparação entre os itens da formação específica em administração e as competências previstas nos documentos norteadores do Enade, ^{Salume et al. (2012}) encontraram alinhamento.

Considerando o objetivo maior de investigar fatores que causam a retenção de fluxo que gera assimetria entre ingressantes e concluintes na educação superior brasileira, as dificuldades de leitura e escrita são frequentemente evocadas como um problema que causa retenção em disciplinas e evasão e que vem da educação básica (^{Barros, 2015}). Nesse sentido, é comum ouvir reclamações do corpo docente acerca das assimetrias entre o que é previsto em termos de competências e habilidades para a educação superior e o que de fato os alunos são capazes de realizar, especialmente em relação à leitura. Quanto a essas assimetrias, costuma-se atribuir a culpa ao modo de seleção do Enem, que seria “mais fácil” do que os exames vestibulares (^{Andrade, 2018}).

A aplicação da TBR aos documentos norteadores e aos itens da prova de Linguagens, Códigos e suas Tecnologias do Enem e de Formação Geral da prova do Enade permite contribuir para essa discussão.

Procedimentos para aplicação da TBR às avaliações em larga escala

A aplicação da TBR baseia-se na observação dos comandos dos itens, com atenção aos verbos e substantivos que são categorizados segundo as dimensões (conhecimento e processos cognitivos). As categorias são ordenadas quanto à complexidade e abstração, de modo que atingir uma categoria significa dominar as antecessoras, podendo ocorrer o entrelace delas. Há a separação entre dimensão do conhecimento (o que ensinar) e a dimensão do processo cognitivo (a atividade cognitiva envolvida), possibilitando a criação de um esquema bidimensional ou tabela bidimensional (^{Anderson; Krathwohl, 2001}) (Quadro1).

Fonte: ^{Krathwohl et al. (2002}, p. 216), adaptado

Quadro 1 Modelo de aplicação da tabela bidimensional 

Na dimensão do conhecimento, a categoria do conhecimento Efetivo refere-se ao conteúdo básico que o estudante deve dominar para conseguir realizar e resolver problemas, sem que seja necessário o entendimento ou a combinação entre os fatos que o compõem. No segundo nível, o do conhecimento Conceitual, os problemas apresentados necessitam de conexões para serem solucionados, por meio da aplicação de estruturas ou modelos que precisam ser explicados. O conhecimento Procedural vai além da resolução de problemas, exigindo o conhecimento de como realizar algo; para isso, é preciso dominar técnicas e estratégias, mas sem a necessidade de relações interdisciplinares, o que o diferencia do conhecimento Metacognitivo, que também está relacionado ao domínio de um determinado conteúdo, mas que exige a assimilação do conhecimento de diversas áreas, a interdisciplinaridade, para a resolução de um problema, por meio de escolha do método mais eficiente a ser utilizado em tal atividade.

Na dimensão dos processos cognitivos, o nível Lembrar está relacionado a reconhecer e reproduzir ideias e conteúdos mais relevantes entre as informações memorizadas (formas verbais: “reconhecendo” e “reproduzindo”); Entender está relacionado à conexão entre um conhecimento adquirido e assimilado e um conhecimento novo, de forma que o aluno consiga fazer reproduções autorais com suas próprias palavras (formas verbais: “interpretando”, “exemplificando”, “classificando”, “resumindo”, “inferindo”, “comparando” e “explicando”); Aplicar afere a capacidade de usar um procedimento em uma situação específica, além de abordar a utilização de um conhecimento em uma situação nova (formas verbais: “executando” e “implementando”); e Analisar exige o entendimento da inter-relação das partes de uma informação e a categorização delas entre as mais e as menos relevantes (formas verbais: “diferenciando”, “organizando”, “atribuindo” e “concluindo”).

Os dois últimos níveis dessa dimensão, Avaliar e Criar, os mais altos na escala de complexidade, caracterizam-se, respectivamente, pela relação entre julgamentos baseados em critérios e padrões qualitativos e quantitativos, ou de eficiência e eficácia (verbos: checando e criticando), e pelo desenvolvimento de ideias novas e originais, produtos e métodos por meio da percepção da interdisciplinaridade e da interdependência de conceitos (verbos: generalizando, planejando e produzindo).

Adotamos a TBR, com a aplicação da tabela bidimensional, para comparar os itens e documentos norteadores de duas avaliações, com foco em leitura: a prova de LCT do Enem e a prova de FG do Enade, seguindo estudos que analisam questões de áreas específicas do conhecimento, como já realizado em itens do Enem de Física (^{Silva; Martins, 2014}), Educação Física (^{Pontes Júnior; Sousa; Silva, 2015}; ^{Pontes Júnior et al., 2016}), Química (^{Marcelino; Recena, 2012}), Língua Portuguesa (^{Carvalho, 2015}) e Biologia (^{Mancini; Marques Júnior; Cintra, 2017}); e, no Enade, com itens de Ciências Contábeis (^{Pinheiro et al., 2013}), Física (^{Costa; Martins, 2017}; ^{Medeiros Filho et al., 2019}; ^{Souza et al., 2020}), Odontologia (^{Moimaz et al., 2017}) e Administração (^{Pinto, 2015}).

Foram considerados os itens da prova de FG do Enade entre os anos de 2016 a 2018, abrangendo um ciclo de avaliação, e os itens da prova de LCT do Enem do mesmo período. Também consideramos os documentos normatizadores, a Matriz de Referência e as portarias de ambas as avaliações.

Na prova de FG do Enade, os dez itens são divididos em dois discursivos e oito de múltipla escolha, conforme a Portaria nº 294, de 8 de julho de 2016. Na prova de LCT do Enem, são 45 itens, desde 2009, ano em que foi instituído o Novo Enem (Portaria nº 462, de 27 de maio de 2009). A ordem numérica das questões da edição de 2016 e das edições de 2017 e 2018 diverge em virtude de uma mudança na ordem de aplicação das provas por área do conhecimento, conforme a Portaria nº 468, de 3 de abril de 2017.

Resultados

Objetivos educacionais nos documentos norteadores

A denominação “Matriz de Referência” é utilizada no contexto das avaliações em larga escala para indicar habilidades a serem avaliadas em cada etapa da escolarização e orientar a elaboração de itens de testes e provas, bem como a construção de escalas de proficiência que definem o que e o quanto o aluno realiza no contexto da avaliação.

A matriz para as provas do Enem data de 2009 (^{Brasil, 2009}), ano em que o exame passou por reformulação. Além dos eixos cognitivos, comuns a todas as áreas do conhecimento (dominar linguagens, compreender fenômenos, enfrentar situações-problema, construir argumentação, elaborar propostas), o documento apresenta as matrizes específicas para cada área. No caso da área de linguagens, são apresentadas nove competências e 30 habilidades.

O cotejo de cada uma das habilidades da matriz com a tabela bidimensional (exceto as habilidades de número 5 a 8, voltadas para a proficiência em línguas estrangeiras modernas) aponta para a concentração das habilidades no nível do conhecimento Efetivo (Lembrar e Entender) e do Conceitual (Entender e Analisar) (Quadro 2).

Fonte: Elaboração própria

Quadro 2 Aplicação da tabela bidimensional na matriz de referência da prova de LCT do Enem 

As portarias que regulamentam anualmente o Enade definem o perfil do egresso que a prova de FG deve avaliar:

I. ético e comprometido com as questões sociais, culturais e ambientais; II. humanista e crítico, apoiado em conhecimentos científico, social e cultural, historicamente construídos, que transcendam o ambiente próprio de sua formação; III. protagonista do saber, com visão do mundo em sua diversidade para práticas de letramento, voltadas para o exercício pleno de cidadania; IV. proativo, solidário, autônomo e consciente na tomada de decisões pautadas pela análise contextualizada das evidências disponíveis; V. colaborativo e propositivo no trabalho em equipes, grupos e redes, atuando com respeito, cooperação, iniciativa e responsabilidade social. (^{Brasil. Inep, 2016a})

O cotejo entre as competências do perfil do egresso das portarias normativas das três edições do exame (apesar de não terem ocorrido mudanças conceituais, houve uma alteração na ordem das competências no ano de 2018) revela o predomínio do conhecimento conceitual, em dimensões mais altas do processo cognitivo (Entender, Analisar, Criar) (Quadro 3).

Fonte: Elaboração própria

A comparação entre a matriz de referência da prova de LCT do Enem e o perfil do egresso das portarias do Enade para a prova de FG mostra perfis de provas distintos quanto à dimensão do conhecimento (χ² = 7,61, df = 2, p =0,02): enquanto a prova de LCT do Enem concentra-se nos domínios Efetivo e Conceitual, relacionados, respectivamente, à capacidade de utilizar conhecimentos básicos para resolver um problema e à capacidade de fazer inter-relações entre os elementos principais de uma estrutura, a prova de FG do Enade concentra-se no domínio efetivo, com 80% das competências previstas no perfil do egresso.

Ambas as provas se concentram nos níveis iniciais da dimensão do conhecimento, especialmente no nível Conceitual, que envolve a capacidade de utilizar um conhecimento adquirido isoladamente, e somente o Enade avança para o nível Procedural, que requer relacionar informações novas com as já adquiridas e desenvolver uma atividade prática com base em escolhas feitas entre as técnicas e os métodos específicos. Não foram identificadas competências relacionadas ao domínio Metacognitivo, que parte do princípio do autoconhecimento resultante das escolhas apoiadas na interdisciplinaridade; essa dimensão do conhecimento está presente na orientação da Lei de Diretrizes e Bases da Educação (LDB) como objetivo para o ensino médio, por meio dos Parâmetros Curriculares Nacionais (PCN) do Ensino Médio (^{Brasil. MEC, 2000}), havendo, assim, uma quebra de expectativa sobre o nível de complexidade esperado da prova do Enem.

Quando a LDB destaca as diretrizes curriculares específicas do Ensino Médio, ela se preocupa em apontar para um planejamento e desenvolvimento do currículo de forma orgânica, superando a organização por disciplinas estanques e revigorando a integração e articulação dos conhecimentos, num processo permanente de interdisciplinaridade e transdiciplinaridade. (^{Brasil. MEC, 2000}, p. 17)

Ao prever habilidades em um domínio de maior complexidade, a dimensão do conhecimento, pelo menos nos documentos norteadores, o exame que avalia os concluintes dos cursos de graduação, o Enade, demanda maior proficiência em leitura do que o exame que avalia o ingressante, o Enem.

Ainda nos documentos norteadores, a comparação entre a matriz de referência da prova de LCT do Enem e do perfil do egresso e as portarias do Enade para a prova de FG revela perfis de provas distintos quanto à dimensão do processo cognitivo (χ² = 15,85, df = 3, p =0,001): no Enem, a concentração das habilidades se dá nos domínios de Entender, com 50%, e Analisar, com 30%, e, no Enade, predominam Aplicar, com 45%, e Entender, com 40%. De acordo com os documentos norteadores, a prova do Enem deve se concentrar nos processos cognitivos intermediários, enquanto a prova do Enade, nos processos cognitivos mais elevados.

Embora ausente na prova de LCT, os processos cognitivos de Aplicar e Criar constam nas competências gerais de todas as áreas do conhecimento e, em especial, na competência IV da prova de redação: construir argumentação utilizando a habilidade para relacionar informações, representadas de diferentes formas, e conhecimentos disponíveis, em situações concretas, para construir argumentação consistente.

As portarias que orientam as provas do Enade, além de conter orientações contempladas pelos níveis iniciais da dimensão do processo cognitivo, enfatizam o processo Aplicar, caracterizado pela resolução de situações-problema com apoio em regras e métodos; mas, assim como na matriz do Enem, o processo Avaliar não é contemplado na prova de FG.

Resultados semelhantes foram observados em outras investigações sobre a prova, mesmo que poucas delas tenham adotado os documentos normatizadores como objeto de análise, voltando-se mais para os itens das provas: duas delas, que analisaram a prova do Enem de Ciências da Natureza e suas Tecnologias, na área de Física (^{Silva; Martins, 2014}) e Química (^{Cintra; Marques Júnior; Souza, 2016}), aplicaram a taxonomia nas matrizes de referência e notaram a ausência de um planejamento pedagógico mais eficiente quanto à determinação das competências e habilidades, uma vez que não foi identificada uma escala de hierarquia de complexidade; o que houve foi uma concentração de demanda cognitiva nos níveis mais baixos da escala, com pontos de interseção vazios e pouca ou nenhuma ocorrência nos níveis mais complexos, a exemplo do domínio Metacognitivo. Na mesma perspectiva, os resultados do estudo de ^{Moimaz et al. (2017}) demonstram que a demanda cognitiva estipulada na portaria da prova do Enade de Conhecimento Específico destinada ao curso de Odontologia é muito mais baixa do que o preconizado nas diretrizes curriculares.

A observação da matriz de referência e das portarias das avaliações segue a premissa de que esses são os documentos orientadores da elaboração dos itens das provas que compõem as avaliações em foco, Enem e Enade. Identificada a demanda de conhecimento e os processos cognitivos envolvidos em cada uma das provas, passamos a aplicar a TBR nos itens das avaliações propriamente, a fim de estabelecer correlações entre o que é esperado e o que efetivamente é cobrado nos exames.

Objetivos educacionais nos itens das provas de Linguagens, Códigos e suas Tecnologias do Enem e de Formação Geral do Enade

Iniciamos exemplificando cada célula das dimensões do conhecimento e do processo cognitivo identificado nas provas, primeiramente na prova de LCT do Enem. No nível inicial da escala de complexidade da tabela bidimensional, a interseção entre o domínio Efetivo e o domínio Lembrar baseia-se na prerrogativa de o objetivo educacional exigido se restringir a um conhecimento isolado de terminologias e elementos específicos, sendo necessário apenas identificar ou recuperar informações que foram memorizadas. Na Figura 4, o item requer que o candidato recupere características do gênero diário e identifique qual delas está presente no texto de suporte utilizado na questão, sem a necessidade de fazer qualquer tipo de inferência para a compreensão do texto, por exemplo, o que é exigido no nível seguinte.

Fonte: ^{Brasil. Inep (2016b}, p. 9)

Figura 4 Questão 111 da prova azul de Linguagens, Códigos e suas Tecnologias do Enem 2016 

Seguindo a escala de complexidade, o ponto de interseção Efetivo/Compreender mobiliza a capacidade de dominar terminologias e conteúdos básicos, mas, agora, em informações novas, presentes em uma situação que precisa ser interpretada, como no item da Figura 5.

Fonte: ^{Brasil. Inep (2016b}, p. 9)

Figura 5 Item 109 da prova azul de Linguagens, Códigos e suas Tecnologias do Enem 2016 

Nesse item, o candidato, além de relembrar os conceitos de verbal e não verbal, deve identificá-los no texto de suporte e, principalmente, identificar qual foi a estratégia argumentativa pretendida na situação específica apresentada; uma habilidade mais complexa é exigida: compreender o uso da teoria em situações de uso diferentes.

O nível mais complexo da dimensão do processo cognitivo em interseção com o domínio Entender, identificado na matriz de referência e nas provas de LCT do Enem no escopo temporal sob análise, foi o de Analisar, que exige a capacidade de fragmentar e relacionar informação entre as partes mais importantes de um texto ou imagem. Exige a capacidade de estabelecer comparações entre textos diversos, o que pressupõe proficiência em leitura.

Fonte: ^{Brasil. Inep (2018}, p. 6)

Figura 6 Item 11 da prova azul de Linguagens, Códigos e suas Tecnologias do Enem 2018 

No item da Figura 6, o candidato precisa identificar, comparar e, posteriormente, concluir qual intenção foi abordada no conceito de bodyart, ou seja, além de se ater à situação específica apresentada nos textos de suporte, ele precisa relacionar as informações apresentadas, a fim de diferenciá-las ou encontrar os pontos convergentes para chegar à resposta correta.

Avançando na complexidade da dimensão do conhecimento, o domínio Conceitual requer manipulação e inter-relação de conceitos e terminologias, com o objetivo de avaliar se o conhecimento foi dominado e pode ser utilizado em diferentes situações.

Fonte: ^{Brasil. Inep (2017a}, p. 13)

Figura 7 Item 11 da prova azul de Linguagens, Códigos e suas Tecnologias do Enem 2017 

No item da Figura 7, espera-se que o candidato recupere informações prévias sobre o que caracteriza o consumidor tradicional e, pela interpretação do contexto apresentado a respeito de quem seria o novo consumidor, faça inferências. Apesar de o item envolver conceitos, consumidor tradicional e novo, o objetivo não se resume ao domínio Lembrar, pois a resposta demanda ir além da recuperação e identificação de informações; interpretações e inferências são requeridas, habilidades previstas no domínio Entender. Não foram encontradas habilidades na matriz de referência, nem questões categorizadas entre Conceitual e Lembrar.

O último ponto de interseção identificado tem como exigência a inter-relação dos elementos básicos em um determinado contexto e a compreensão dessa inter-relação por comparações.

Fonte: ^{Brasil. Inep (2017a}, p. 21)

Figura 8 Item 22 da prova azul de Linguagens, Códigos e suas Tecnologias do Enem 2017 

No item da Figura 8, com base na comparação de dois textos, o candidato precisa mobilizar a habilidade de identificar, primeiro, a abordagem de línguas diferentes, com a finalidade de encontrar um ponto de semelhança quanto à sua função, para, assim, chegar à resposta.

O cotejo de cada um dos itens com a tabela bidimensional por edição aponta para a distribuição assimétrica dos níveis e das dimensões (Quadro 4).

Fonte: Dados da pesquisa. Elaborado pelos autores

Quadro 4 Aplicação da tabela bidimensional na prova LCT do Enem (azul) 

Assim como observado na aplicação da tabela bidimensional na matriz de referência, a prova do Enem, edição 2016, concentra os itens nos níveis mais baixos da escala de complexidade do domínio do conhecimento, sem questões das dimensões Procedural e Metacognitiva, mantendo simetria com a matriz de referência. Isso não é observado na dimensão do processo cognitivo, uma vez que nem todos os pontos de interseção da matriz foram encontrados nos itens dessa edição da prova, sem os itens Efetivo/Analisar, constantes na edição de 2017.

As edições de 2017 e 2018 da prova de LCT do Enem apresentam todos os pontos de interseção identificados na matriz de referência, com questões nos domínios Efetivo/Lembrar, Efetivo/Entender, Efetivo/Analisar, Conceitual/Entender e Conceitual/Analisar.

Apesar do atendimento dos pontos de interseção, a proporcionalidade dos níveis dos domínios entre a matriz e as provas não é a mesma. Enquanto as edições de 2016 e 2017 apresentam 37,5% e 40% de itens no domínio Efetivo e 62,5% e 60% de itens no domínio Conceitual, a prova de 2018 apresenta 80% dos itens no domínio Conceitual. Essa diferença não é, no entanto, estatisticamente significativa (χ² = 4,33, df = 2, p =0,11). No domínio do processo cognitivo, a prova da edição de 2018 também se distancia da matriz nos três domínios, mas a diferença não é estatisticamente significativa (χ² = 6,1, df = 3, p =0,19).

A distribuição dos itens quanto aos domínios do conhecimento e do processo cognitivo nas edições de 2016 a 2018 da prova de LCT do Enem se aproxima da encontrada na edição de 2014 (^{Carvalho et al., 2015}), em que também ocorre a concentração de itens nas dimensões do conhecimento Efetivo e Conceitual dos processos cognitivos Lembrar, Entender e Analisar.

Nas edições de 2016 a 2018 da prova de FG do Enade, não foram identificados itens em todos os pontos de interseção da tabela bidimensional. Isso foi observado também por ^{Jesus, Rêgo e Souza (2018}) ao aplicarem a TBR à edição de 2015 da prova de conhecimentos específicos de Psicologia, identificando que as demandas cognitivas preconizadas pelos documentos norteadores eram diferentes do que foi identificado nos itens da prova, sendo as da portaria mais complexas do que as da prova. Identificamos basicamente dois padrões de itens.

Fonte: Dados da pesquisa

Quadro 5 Aplicação da tabela bidimensional nas questões da prova de Formação Geral do Enade - edições 2016, 2017 e 2018 

O primeiro padrão refere-se à interseção entre os domínios Conceitual e Entender, como no item da Figura 9, em que o estudante precisa, com base na leitura do texto de apoio, fazer inferências acerca do tema apresentado, imigração. A abordagem não se restringe à reprodução de um conhecimento, como previsto no domínio Efetivo, nem ao reconhecimento de conceitos, como no domínio Lembrar; o item demanda a capacidade de relacionar as informações no contexto apresentado para, assim, chegar à resposta.

Fonte: ^{Brasil Inep (2017b}, p. 10)

Figura 9 Questão 06 da prova Formação Geral Enade 2017 

O segundo padrão ocorre ainda na dimensão do Conhecimento, na intersecção com o domínio Analisar, que requer a habilidade de, com fragmentos, criar inter-relações, a fim de compreender o que é exigido, como no item da Figura 10, que requer a comparação entre os textos 1 e 2 para concluir o que o tempo de recepção da TV, como veículo de comunicação, estimula.

Fonte: ^{Brasil. Inep (2017b})

Figura 10  Questão 04 da prova de Formação Geral do Enade 2017 

A concentração dos itens na dimensão do conhecimento restrita ao domínio Conceitual não mobilizou habilidades de menor complexidade, como a reprodução de conhecimentos básicos adquiridos ao longo da formação acadêmica no domínio Efetivo, nem habilidades de níveis mais elevados, como a escolha de um conhecimento para resolver um problema que exija métodos e técnicas no domínio Procedural. Diferentemente do Enem, a demanda cognitiva prevista nas portarias do Enade para a prova de FG é mais complexa do que o apresentado nas provas.

Complexidade do Enem e do Enade

Considerando que desde 2011, com o Sistema de Seleção Unificado, o Enem enquanto exame de seleção para acesso à educação superior afere as competências e habilidades dos ingressantes, e o Enade, as dos concluintes, a comparação entre as provas que apresentam domínios cognitivos próximos (de LCT no Enem e de FG no Enade) permite traçar o percurso de desenvolvimento cognitivo previsto, por meio das dimensões da TBR.

Enquanto o Enem distribui os itens da prova de LCT em conhecimento Efetivo e conhecimento Conceitual, respeitando a escalaridade de desenvolvimento das habilidades cognitivas, os itens da prova de FG do Enade estão polarizados no domínio Conceitual (χ² = 10,80, df = 1, p =0,001). Na dimensão dos processos cognitivos, a distribuição dos itens na prova de LCT do Enem é concentrada no nível intermediário, Entender, enquanto na prova de FG do Enade a concentração é no nível Analisar (χ² = 29,76, df = 2, p =0,001).

Tanto na dimensão do conhecimento quanto na dimensão do processo cognitivo, a prova do Enade é mais complexa; no entanto, a prova do Enem apresenta maior variedade de habilidades cognitivas.

Comparando esses resultados com o de outras pesquisas que também aplicaram a TBR aos itens dessas avaliações, no caso do Enem, ^{Pontes Júnior. et al. (2016}) mostraram uma concentração dos domínios Entender e Lembrar, os mais baixos da dimensão do conhecimento em itens das provas que abordam os conhecimentos da disciplina Química. Ainda nas provas da área de Química, ^{Cintra, Marques Júnior e Souza (2016}), além de observarem a prevalência dos itens nos três níveis mais baixos na escala de complexidade da dimensão do conhecimento (Lembrar, Entender e Aplicar), apontam a mesma tendência na dimensão do processo cognitivo (Efetivo, Conceitual e Procedural). De forma semelhante, os resultados de ^{Carvalho (2015}) apontam para a maior ocorrência de itens na prova de LCT nos domínios Lembrar, Entender e Analisar, os três menos complexos na escala hierárquica da dimensão do conhecimento.

Quanto ao Enade, na prova de conhecimentos específicos de Física, os resultados de ^{Costa e Martins (2017}), de ^{Medeiros Filho et al. (2019}) e de ^{Souza et al. (2020}) mostram a concentração de itens nos domínios Lembrar e Entender na dimensão do conhecimento Efetivo, Conceitual e Procedural na dimensão do processo cognitivo. Também na prova de conhecimento específico do curso de Odontologia, os resultados de ^{Moimaz et al. (2017}) apresentam comportamento semelhante e, ainda, ao analisar o desempenho dos estudantes nos itens, os autores identificaram que o percentual de erros foi muito maior nos poucos itens que se enquadraram nos domínios mais complexos, Analisar e Avaliar.

O nosso estudo, voltado às provas que abordam mais diretamente a leitura, observa maior complexidade na prova do Enade, que concentra questões nos domínios Analisar e Conceitual, enquanto a prova do Enem, nos domínios Entender e Conceitual. Por sua vez, os estudos que observaram as provas de conhecimentos específicos do Enade e as provas de outras áreas do conhecimento do Enem, principalmente da área de exatas, destacam mais proximidade entre a complexidade cognitiva dos exames, uma vez que, na dimensão do processo cognitivo, por exemplo, há ocorrência do domínio Procedural e maior incidência na dimensão do conhecimento, com 29% de itens envolvendo domínios com demandas cognitivas de Analisar e Avaliar na prova de Química (^{Cintra; Marques Júnior; Souza, 2016}).

Nem nos resultados obtidos em nosso estudo, nem nos estudos aqui considerados, foi encontrada ocorrência de previsão normativa ou item no nível mais complexo da dimensão do processo cognitivo, o domínio Metacognitivo, que concebe a ideia de interdisciplinaridade no processo de aprendizagem, demanda cognitiva prevista na LDB.

Conclusão

O estudo aqui desenvolvido, cujo objetivo foi comparar documentos norteadores e itens de duas avaliações oficiais que perpassam o percurso da formação na educação superior no Brasil, o Enem e o Enade, por intermédio dos objetivos educacionais propostos na Taxonomia de ^{Bloom (Bloom et al. 1956}), possibilitou identificação de uma problemática crucial no processo educacional, a falta de correlação entre teoria, planejamento e prática e entre a elaboração e os resultados de avaliações. Enquanto os documentos normatizadores, matriz de referência e portarias, preconizam níveis de compreensão em leitura em escalas de complexidade mais elevadas, os itens das provas não se enquadram adequadamente nas orientações e restringem a abordagem de habilidades e competências aos níveis mais fáceis da hierarquização. O comportamento não se aplica somente às provas de LCT e FG, mas também às provas de conhecimento específico do Enade e de outras áreas do conhecimento do Enem, conforme os estudos aqui considerados.

Outro aspecto importante é a prevalência dos itens da prova de FG do Enade em basicamente um ponto de interseção da tabela bidimensional, Analisar/Conceitual, o que contraria toda a proposta dos objetivos educacionais da TBR: a importância de previsão da escala de hierarquização do processo de desenvolvimento cognitivo; sem prever que os estudantes tenham consciência desse processo, o desempenho na aprendizagem pode não ocorrer de forma eficiente. Mais ainda: enquanto o Enem tem funções de seleção, mediante o Sistema de Seleção Unificada (SiSU), e diagnóstico (monitoramento da educação básica), o Enade tem por finalidade apenas o diagnóstico. Não é aderente a uma proposta de diagnóstico não captar toda a amplitude de conhecimento do estudante, como ocorre na configuração de demanda cognitiva observada na prova; se fosse um exame de seleção, como é o Enem, a concentração em certos níveis de demanda faria sentido.

A adoção da TBR na observação de documentos normatizadores e das avaliações destinadas aos que ingressam e estudam na educação superior ajuda a entender os dados de fluxo nas universidades. No cenário atual, em que apenas cerca de 26% dos que ingressam concluem os cursos de graduação, segundo o Censo da Educação Superior, utilizar a metodologia proposta na taxonomia pode ajudar a estabelecer melhor normatização, planejamento e avaliação dos estudantes, provendo maior compreensão de demanda cognitiva, tanto nos próprios discentes quanto nos docentes e demais participantes do processo, sendo possível elevar o desempenho pedagógico na educação superior.