Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
A avaliação educacional é uma das áreas de grande impacto para a sociedade, uma vez que a educação é mobilizadora do desenvolvimento social, tanto do ponto de vista econômico como também nos aspectos relativos ao indivíduo. Nesse sentido, o Exame Nacional de Desempenho dos Estudantes (Enade) nasceu em 2004, compondo um dos pilares do Sistema Nacional de Avaliação da Educação Superior (Sinaes), com a expectativa de que seus resultados permitissem reflexões sustentadas em dados sobre a educação ofertada no país, seja do ponto de vista pedagógico ou curricular.
O Sinaes, a partir de uma série de instrumentos como autoavaliação, avaliação externa e Enade, avalia o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos estudantes, a gestão da instituição, o corpo docente e as instalações, permitindo que as instituições de ensino superior (IES) avaliadas dialoguem e participem do mecanismo de avaliação (Polidori, 2009), analisando as necessidades de ajuste em seus processos educacionais (Ristoff & Limana, 2007, como citado em Cordazzo et al., 2023). Nesse contexto, observa-se a importância de as IES utilizarem-se de indicadores capazes de expressar suas limitações e suas potencialidades, a fim de aprimorar seu processo de gestão (Cordazzo et al., 2023).
Estudos têm evidenciado que a avaliação educacional teve avanços em todas as partes do seu processo, desde a concepção até a estruturação e utilização dos resultados (Mejía-Rodríguez & Mejía-Leguía, 2021; Barros & Ferreira, 2023). Em particular, os sistemas de avaliação padronizados, para as avaliações em larga escala, se apresentam cada vez mais precisos e passaram a considerar as dinâmicas contextuais, os propósitos da aprendizagem e os objetivos do sistema educativo (Mejía-Rodríguez & Mejía-Leguía, 2021). Nesse contexto, Barros e Ferreira (2023), em seu artigo de revisão sobre a avaliação da educação superior no Brasil, identificam a análise aprofundada dos métodos como uma das lacunas na área e chamam a atenção para a “importância contínua de pesquisas e reflexões aprofundadas no campo da avaliação educacional brasileira”, enfatizando a relevância de investigações que contribuam para uma reflexão crítica e possíveis aperfeiçoamentos dos processos avaliativos.
Nesse sentido, o objetivo deste estudo foi avaliar os itens específicos e de múltipla escolha do Enade 2017, para a Licenciatura em Matemática, quanto às dimensões do traço latente conhecimentos para ensino de matemática. Nessa perspectiva, interessa investigar o que os dados do Enade 2017 revelam sobre o curso de Licenciatura em Matemática, pois esse contexto permite a discussão sobre que competências estão sendo avaliadas, interrogando os dados quanto à validade de se considerar o Enade na perspectiva de um constructo multidimensional. Para Marinho-Araujo e Rabelo (2015, p. 460), “[t]rabalhar competências como uma estratégia de construção do perfil educacional ou profissional esperado apresenta-se como ferramenta bastante útil à complementação da formação na educação”; todavia, para os autores, apresenta também alguns desafios, principalmente em relação ao processo de avaliação desse desenvolvimento.
Tais desafios não são recentes, como evidencia o estudo de Coutinho (2013), que mostra a utilização da Teoria da Resposta ao Item (TRI) no âmbito da avaliação educacional, propondo uma ferramenta computacional para avaliar as competências e habilidades dos discentes do curso de Matemática a partir de questões do Enade 2011. Os resultados indicam que a TRI é uma poderosa ferramenta capaz de gerar informações quantitativas, precisas e robustas; contudo, no trabalho, não são descritas perspectivas de análise multidimensional. Esse mesmo desafio se mantém em trabalhos mais recentes, como o de Engel (2024), que traz a análise de uma escala de proficiência unidimensional, obtida pela aplicação da TRI aos microdados do Enade realizado em 2017. O estudo se equipara ao presente texto, pois foi utilizado o modelo logístico de 3 parâmetros (ML3P) da TRI para calibração dos itens, estimação das proficiências e definição de critérios estatísticos e técnicos para construção da escala de proficiência. Além disso, se aproxima do estudo obtendo níveis de competências similares aos elencados nessa prova, entretanto sem apresentar análise das dimensões envolvidas na avaliação do traço latente, indicando que, em estudos futuros, a autora se debruçará sobre análises multidimensionais.
O Enade de Licenciatura em Matemática apresenta questões das áreas de Matemática e Pedagogia, dando abertura para uma perspectiva bidimensional. Em um espaço multidimensional, torna-se possível identificar as habilidades predominantes de cada indivíduo ou verificar em que habilidades cada sujeito precisa melhorar. (Engel, 2024, p. 61).
Nesse contexto, o presente estudo inova ao trazer uma abordagem multidimensional para avaliar o componente específico do Enade para o curso de Licenciatura em Matemática, na busca de contribuir para a compreensão das competências que compõem o processo avaliativo.
O estudo justifica-se pela necessidade de fomentar discussões sobre as avaliações em larga escala, uma vez que essas avaliações, além de mensurarem os resultados dos processos educativos, servem como base para tomadas de decisões institucionais e para a formulação de políticas públicas. Ademais, o estudo possibilita a análise de técnicas estatísticas que podem contribuir para o aprimoramento da avaliação educacional como campo de investigação.
Diante dessas perspectivas, o artigo está estruturado da seguinte forma: uma seção que considera a apresentação do Enade e seus pressupostos, a descrição dos métodos utilizados, a análise dos dados da prova pela TRI e Teoria Clássica dos Testes (TCT), uma escala pedagógica de habilidades considerando a unidimensionalidade do traço latente e uma análise da dimensionalidade da prova, além das conclusões. Desse modo, o estudo traz uma compreensão quantitativa dos diversos tipos de conhecimento que são mobilizados pelos futuros docentes no Enade, exame apresentado na próxima seção.
APRESENTANDO O ENADE
O Enade1 como instrumento de avaliação do ensino superior busca aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades e competências no âmbito específico de sua profissão, segundo a Lei n. 10.861 (2004).
Rabelo (2013) considera como o foco do Enade a avaliação do perfil profissional dos(as) concluintes de um curso de graduação, sendo enfatizadas as competências necessárias ao aprofundamento da formação profissional e à compreensão crítica da realidade sociocultural. Para isso, são elaborados itens relacionados aos conteúdos previstos em uma matriz de referência, as quais são estruturadas considerando-se os perfis profissionais, as competências e os objetos do conhecimento.
Segundo o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), os perfis formam um conjunto de características esperadas do(a) egresso(a) da educação superior, construídos na articulação entre a teoria e a prática, contemplando a identidade pessoal e a profissional. Competência é uma mobilização reflexiva e intencional de diferentes recursos (conhecimento, saberes, habilidades, esquemas mentais, afetos, crenças, princípios, funções psicológicas, posturas e outros) necessários para o enfrentamento de uma situação-problema específica. Já os objetos do conhecimento são os conteúdos curriculares estabelecidos pelas diretrizes curriculares nacionais dos cursos de graduação ou pelo Catálogo Nacional de Cursos Superiores de Tecnologia (Ministério da Educação [MEC], 2022).
O Enade está organizado em ciclos de avaliações com periodicidade trianual, conforme as áreas do conhecimento que resultam da tabela divulgada pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). A participação é obrigatória aos estudantes cuja expectativa de conclusão do curso seja o mês de julho do ano de aplicação ou quando o estudante tiver 80% ou mais da carga horária mínima do currículo do curso concluída até o final das inscrições (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Inep], 2017b).
O Inep utiliza em sua análise a TCT, entretanto outra opção seria a TRI ‒ um modelo probabilístico de medição de um traço latente, que não pode ser medido diretamente por um instrumento físico, ou seja, trata-se da medição de uma aptidão, habilidade ou comportamento. Andrade et al. (2000) compreendem que a TRI procura representar a probabilidade de um indivíduo dar uma resposta certa a um item em função dos seus parâmetros e da habilidade do respondente. Essa relação é sempre expressa de tal forma que, quanto maior a habilidade, maior a probabilidade de acerto no item. Essas habilidades serão avaliadas no estudo e fornecem as diretrizes para os aspectos metodológicos, que constam da próxima seção.
METODOLOGIA
O presente estudo tem caráter documental e abordagem quantitativa. Os dados foram coletados nos microdados do Enade 2017.2 Do total de 13.340 inscritos, concluintes de cursos de Licenciatura em Matemática, estiveram presentes para a realização do Exame 10.904 participantes. Entretanto, para o recorte amostral, foram consideradas as respostas de 10.869 participantes. O critério para seleção foi ter respondido pelo menos um dos itens de múltipla escolha que compuseram a formação específica do Enade 2017. Desse modo, foram excluídos 35 participantes (0,3% do total de respondentes), que deixaram toda a prova ou a parte de componente específico (objeto da análise) em branco.
A prova do Enade 2017 para os cursos de Licenciatura em Matemática era composta de 40 itens, dos quais 10 eram de formação geral (8 de múltipla escolha e 2 discursivos), abordando itens com temáticas relativas a ética, questões sociais, ambientais e de diversidade, e 30 itens de componente específico (27 de múltipla escolha e 3 discursivos), considerando conhecimentos específicos de matemática e/ou ensino de matemática. Este artigo se debruçou sobre os 27 itens que se referiam aos conhecimentos de conteúdo matemático da prova - ou seja, a parte específica.
Destaca-se que foram englobados na análise apenas 23 itens, uma vez que foram excluídos pelo Inep os itens I16, I19, I21 e I23 por apresentarem coeficiente de correlação ponto-bisserial < 0,20, o que indica uma discriminação muito baixa (Inep, 2017b; Soares, 2005). Cada item foi nomeado neste estudo pela letra I seguida por sua numeração na prova.
Em um primeiro momento foi estimado o coeficiente de consistência interna do teste - alpha de Cronbach, definido por Streiner (2003) como um valor que está relacionado à média das correlações entre os itens que fazem parte de um instrumento, sendo aceitáveis medidas maiores que 0,70.
Na aplicação da TCT foi utilizado o índice de facilidade (IF), que, segundo Erthal (2009), mede a proporção de acertos, ou seja, a razão entre o número de estudantes que responderam o item corretamente e o número total de respondentes do item. Na avaliação desse índice consideramos a classificação de Vilarinho (2015), conforme a Tabela 1.
TABELA 1 Índices de facilidade dos itens de múltipla escolha do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
| Índice de facilidade | Classificação | Distribuição esperada na prova |
|---|---|---|
| 0,0 ---| 0,1 | Muito difíceis | 10% |
| 0,1 ---| 0,3 | Difíceis | 20% |
| 0,3 ---| 0,7 | Medianos | 40% |
| 0,7 ---| 0,9 | Fáceis | 20% |
| 0,9 ---| 1,0 | Muito fáceis | 10% |
Fonte: Adaptada de Vilarinho (2015).
Para medir o poder de discriminação de cada item, foi estimado o coeficiente de correlação ponto-bisserial, que, na classificação de Ebel (1954), indica itens classificados como ineficientes (abaixo de 0,2); necessitam revisão (de 0,2 a menor que 0,3); aceitáveis (de 0,3 a 0,4); e satisfatórios (acima de 0,4).
Para a análise dos dados na perspectiva unidimensional foi utilizada a TRI com o modelo logístico de 3 parâmetros (ML3P), sendo a análise complementada pela TCT. Além disso, foi realizada uma análise de dimensionalidade por meio de análise fatorial exploratória (AFE) e avaliações estatísticas de ajuste de modelos. As análises foram complementadas ainda pela análise paralela e pela análise de componentes principais (ACP). O tratamento dos dados ocorreu com auxílio da interface do software estatístico RStudio (R Core Team, 2022), com auxílio dos pacotes mirt (Chalmers, 2016) e psych (Revelle, 2017), utilizando o método da máxima verossimilhança marginal. Na abordagem da TRI (ML3P) foram estimados os parâmetros de qualidade dos itens a (discriminação), b (dificuldade) e c (acerto ao acaso). Para a análise do parâmetro de discriminação a pela TRI, Baker (2001) apresenta intervalos de discriminação, conforme a Tabela 2.
TABELA 2 Classificação do parâmetro de discriminação (a) da TRI
| Parâmetro de discriminação a | Classificação |
|---|---|
| 0,0 | Nenhuma discriminação |
| 0,01 até 0,34 | Muito baixa |
| 0,35 até 0,64 | Baixa |
| 0,65 até 1,34 | Moderada |
| 1,35 até 1,69 | Alta |
| ≥ 1,7 | Muito alta |
| + ∞ | Perfeita |
Fonte: Adaptada de Baker (2001, p. 43).
O parâmetro de dificuldade, denominado b, está relacionado ao nível θ (traço latente) necessário para responder corretamente um item. Esse parâmetro tem como medidas típicas valores entre -2 e +2 (Andrade et al., 2000). O parâmetro c mede a probabilidade de acerto ao acaso, sendo esperados valores entre 0,1 e 0,3 para um teste com 5 alternativas (Nojosa, 2001; Baker & Kim, 2007).
Outrossim, foram construídas as curvas características dos itens (CCI) e a curva de informação do teste (CIT), as quais permitem uma compreensão mais detalhada do comportamento dos itens e da qualidade do instrumento como um todo. As CCI descrevem a probabilidade de acerto em cada item em função do nível do traço latente (θ), evidenciando a dificuldade e o poder de discriminação de cada questão, representando “tudo o que a TRI pode descobrir sobre o item” (Pasquali, 2018, p. 24). Já a CIT resulta da soma das informações fornecidas por todos os itens, indicando “para que níveis de teta o teste traz informação adequada” (Pasquali, 2018, p. 62).
Também foi efetuada uma AFE com a finalidade de averiguar se o constructo possui características multidimensionais, ou seja, se o traço latente medido pode ser interpretado em mais de uma dimensão, utilizando critérios de autovalores e scree plot para extração de fatores. Pelo método da verossimilhança, foi obtida uma matriz de cargas fatoriais a partir de uma rotação oblíqua (Oblimin). Essas cargas permitiram verificar quais itens estavam correlacionados a que fator.
Além disso, é indicado ainda o cálculo de duas estatísticas para avaliar se é possível extrair fatores: o teste de esfericidade de Bartlett, o qual envolve um teste qui-quadrado em que, se resultar significativo com p-valor < 0,05, é viável a AFE; e a estatística KMO (Kaiser-Meyer-Olkin), cujos valores aceitáveis são acima de 0,70 e se tornam melhores quanto mais se aproximarem de 1 (mais detalhes nos trabalhos de Hongyu, 2018; Matos & Rodrigues, 2019).
Com base nos parâmetros dos itens estimados pela TRI, foi possível construir uma escala pedagógica de habilidades unidimensional, com o objetivo de avaliar o traço latente conhecimentos para ensino de matemática. A escala foi construída com base nos conceitos de itens âncoras e quase âncoras (Beaton & Allen, 1992; Andrade et al., 2000). A distribuição escolhida para a escala foi a Normal com média 0 e desvio padrão 1. Os resultados quantitativos foram analisados com relação à matriz de referência e aos conteúdos dos itens, permitindo organizar as habilidades em relação aos pontos de ancoragem.
Levando em conta o traço latente conhecimentos para ensino de matemática,3 o instrumento parte de uma ideia de unidimensionalidade. Assim, para a construção de escala foram examinados os chamados itens âncoras, que, por sua vez, formarão os níveis âncoras, os quais definem a escala pedagógica. Esses, conforme Andrade et al. (2000) e Beaton e Allen (1992), são itens que obedecem às seguintes condições: no nível âncora a probabilidade de acerto é maior ou igual a 0,65; a probabilidade de acerto no nível âncora anterior é menor que 0,50 e a diferença entre as probabilidades de acerto nos dois níveis âncoras é maior ou igual a 0,30. Como esse tipo de item é dificilmente apresentado na observação prática, também foram utilizados os itens “quase âncora”, que, de acordo com Andrade e Bornia (2021), são aqueles com parâmetros a > 1, considerada a posição cuja probabilidade de acerto seja maior ou igual a 0,60 para modelos logísticos de 3 parâmetros.
Além disso, foram realizadas avaliações de ajuste dos modelos propostos por meio das estatísticas RMSEA (root mean-square error of approximation - erro quadrático médio de aproximação), CFI (comparative fit index - índice de ajuste comparativo) e TLI (Tucker-Lewis index - índice de Tucker-Lewis). A qualidade do ajuste também foi examinada pelos critérios de informação de Akaike (AIC) e Bayesiano (BIC), considerando-se dois cenários: um modelo unidimensional, no qual o componente específico foi representado por uma única dimensão, e um modelo bidimensional, que contemplou a estrutura de dois fatores.
Além dos parâmetros e indicadores quantitativos apresentados, o estudo considera pressupostos curriculares contidos nas diretrizes vigentes, ou seja, nas matrizes de referência que identificam competências profissionais presentes no Enade (Inep, 2017a, 2017b). Dessa maneira, analisa os objetivos avaliativos de cada item, permitindo a identificação de possíveis dimensões pedagógicas.
A próxima seção traz a análise dos resultados, conforme as etapas do estudo apresentadas.
ANÁLISE DE RESULTADOS
Esta seção evidencia a consistência interna do teste e conceitos de discriminação e facilidade da TCT e da TRI. Além disso, traz uma abordagem da dimensionalidade buscando uma análise do teste Enade 2017 como um constructo bidimensional.
Estimativas unidimensionais
O alpha de Cronbach total medido para os 23 itens da parte específica do Enade 2017 resultou em 0,63, indicando uma consistência interna insatisfatória (Cervantes, 2005; Streiner, 2003). Com relação à aplicação dos conceitos da TCT, foram estimados os índices de facilidade (IF) e o coeficiente de correlação ponto- -bisserial ( de cada item, os quais constam da Tabela 3.
TABELA 3 Estimativas do índice de facilidade (IF) e do coeficiente de correlação ponto-bisserial (rpb) para os itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
| Item | IF | Item | IF | Item | IF | rpb | ||
|---|---|---|---|---|---|---|---|---|
| I9 | 0,25 | 0,23 | I18 | 0,16 | 0,27 | I29 | 0,36 | 0,29 |
| I10 | 0,55 | 0,40 | I20 | 0,23 | 0,28 | I30 | 0,44 | 0,41 |
| I11 | 0,31 | 0,33 | I22 | 0,30 | 0,40 | I31 | 0,37 | 0,29 |
| I12 | 0,32 | 0,40 | I24 | 0,23 | 0,28 | I32 | 0,41 | 0,36 |
| I13 | 0,38 | 0,36 | I25 | 0,32 | 0,30 | I33 | 0,43 | 0,35 |
| I14 | 0,18 | 0,21 | I26 | 0,60 | 0,42 | I34 | 0,35 | 0,29 |
| I15 | 0,26 | 0,31 | I27 | 0,45 | 0,40 | I35 | 0,65 | 0,37 |
| I17 | 0,27 | 0,25 | I28 | 0,41 | 0,31 |
Fonte: Elaboração dos autores.
Considerando a classificação de Vilarinho (2015), já abordada na seção metodológica, em relação ao IF, a prova analisada não possui questões distribuídas nas categorias muito fáceis, fáceis e muito difíceis, concentrando 65,2% de itens medianos (I10, I11, I12, I13, I25, I26, I27, I28, I29, I30, I31, I32, I33, I34, I35) e 34,8% de itens considerados difíceis (I9, I14, I15, I17, I18, I20, I22, I24). A Figura 1 ilustra uma comparação entre a distribuição esperada, conforme a Tabela 1, e a apresentada no teste.
Fonte: Elaboração dos autores.
FIGURA 1 Representação gráfica da distribuição esperada e apresentada do IF para os itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
Assim, os itens da prova não estão distribuídos conforme a classificação apresentada na Tabela 1 e apresentam um contexto em que preponderam os itens de facilidade mediana. A prova convergiu para os resultados de Knüpfer et al. (2016), cujos estudos relativos à Olimpíada Brasileira de Matemática das Escolas Públicas (Obmep) não suscitaram itens que cobrissem o continuum da escala de dificuldade. Porém o que seria desejável numa avaliação em larga escala é que a prova tivesse itens distribuídos nos diferentes níveis de facilidade.
Quanto à discriminação, que é medida pelo coeficiente de correlação ponto-bisserial (cujos parâmetros são enunciados na seção “Metodologia”), a prova apresentou 26,1% de itens satisfatórios; 47,8% de itens aceitáveis e 26,1% de itens que necessitam revisão.
Os resultados, com relação à aplicação da TRI para o traço latente conhecimentos para ensino de matemática, constam da Tabela 4, indicando os parâmetros (discriminação), (dificuldade) e (acerto ao acaso), acompanhados do respectivo erro-padrão (EP).
TABELA 4 Estimativas dos parâmetros de discriminação (a), dificuldade (b) e acerto ao acaso (c) e respectivos erros-padrão (EP) para os itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
| Item |
a (EP) |
b (EP) |
c (EP) |
Item |
a (EP) |
b (EP) |
c (EP) |
Item |
a (EP) |
b (EP) |
c (EP) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| I9 | 3,44 | 2,00 | 0,22 | I18 | 2,58 | 2,09 | 0,13 | I29 | 0,77 | 1,97 | 0,17 |
| (0,38) | (0,05) | (0,01) | (0,27) | (0,06) | (0,01) | (0,12) | (0,11) | (0,03) | |||
| I10 | 1,98 | 0,82 | 0,38 | I20 | 3,70 | 1,84 | 0,20 | I30 | 1,05 | 0,62 | 0,11 |
| (0,18) | (0,05) | (0,02) | (0,38) | (0,04) | (0,01) | (0,07) | (0,07) | (0,03) | |||
| I11 | 3,02 | 1,61 | 0,25 | I22 | 2,18 | 1,34 | 0,18 | I31 | 0,56 | 1,45 | 0,08 |
| (0,29) | (0,04) | (0,01) | (0,18) | (0,04) | (0,01) | (0,04) | (0,12) | (0,02) | |||
| I12 | 2,66 | 1,34 | 0,22 | I24 | 3,59 | 1,83 | 0,19 | I32 | 0,78 | 0,77 | 0,07 |
| (0,20) | (0,03) | (0,01) | (0,36) | (0,04) | (0,01) | (0,04) | (0,07) | (0,02) | |||
| I13 | 1,21 | 1,41 | 0,22 | I25 | 0,89 | 1,82 | 0,16 | I33 | 0,76 | 0,70 | 0,08 |
| (0,11) | (0,06) | (0,02) | (0,11) | (0,09) | (0,03) | (0,04) | (0,09) | (0,02) | |||
| I14 | 3,27 | 2,19 | 0,15 | I26 | 1,21 | -0,22 | 0,11 | I34 | 0,62 | 1,77 | 0,11 |
| (0,38) | (0,06) | (0,00) | (0,06) | (0,08) | (0,03) | (0,06) | (0,13) | (0,03) | |||
| I15 | 2,28 | 1,85 | 0,20 | I27 | 0,97 | 0,42 | 0,06 | I35 | 0,95 | -0,66 | 0,07 |
| (0,22) | (0,05) | (0,01) | (0,05) | (0,06) | (0,02) | (0,04) | (0,06) | (0,02) | |||
| I17 | 1,67 | 2,29 | 0,22 | I28 | 0,60 | 1,12 | 0,10 | ||||
| (0,21) | (0,10) | (0,01) | (0,05) | (0,13) | (0,03) |
Fonte: Elaboração dos autores.
Na Tabela 4, destacam-se como itens com parâmetros a baixos: I28, I31 e I34. Significa dizer que esses itens não cumprem o papel de discriminação na medição do traço latente. Há que se destacar também que cerca de 43,47% dos itens (a saber: I9, I10, I11, I12, I14, I15, I18, I20, I22, I24) têm parâmetro a > 1,7, evidenciando que se trata de itens com discriminação muito alta.
Conforme especificado na seção metodológica, assume-se que os valores dos itens da Tabela 4 com estimativas para o parâmetro de dificuldade (b) acima de 2 são considerados muito difíceis, e abaixo de -2, considerados muito fáceis. Os itens difíceis no conjunto em análise são: I9, I14, I17 e I18, embora nenhum deles tenha ficado muito acima do ponto de corte que estamos considerando (o item mais difícil foi o I17, com b = 2,29). Não ocorreram itens classificados como muito fáceis no conjunto. Os itens considerados mais fáceis são I26 e I35 (b estimado em -0,22 e -0,66, respectivamente). O parâmetro c, que mede a probabilidade de acerto ao acaso, tem valor médio de 0,16 (EP = 0,07), estando dentro das expectativas de Nojosa (2001) para um teste com 5 alternativas, porém o item I10 apresenta um valor muito alto (0,38), indicando que possa existir distrator inapropriado.
Pela TRI, o valor médio de discriminação é 1,78 (EP = 1,07) e o de dificuldade é 1,32 (EP = 0,76). Nesse sentido, pode-se considerar que o Enade 2017, para Licenciatura em Matemática, é um teste de discriminação alta, pois a média supera 1,70 com classificação mediana no que tange ao parâmetro de dificuldade.
A Figura 2 mostra as CCI dos 23 itens no componente de conhecimento específico do Enade 2017. O formato das curvas em S reflete a discriminação dos itens: quanto mais acentuado, mais discriminatório.
Fonte: Elaboração dos autores.
FIGURA 2 Curva Característica do Item dos 23 itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
A Figura 2 mostra que a exclusão de itens com coeficiente ponto-bisserial < 0,20 aprimorou a qualidade da prova, pois foram eliminados itens com baixa capacidade discriminatória. Essa retirada possibilitou uma medição mais eficiente do traço latente relacionado aos conhecimentos para o ensino de matemática. A construção de uma escala pedagógica de proficiência unidimensional compõe a próxima seção.
Escala pedagógica de habilidade
A escala pedagógica de habilidades está sendo apresentada na escala média 0 e desvio padrão 1 e deve ser entendida de forma cumulativa de um grau anterior para os seguintes. Isso posto, verifica-se que a ancoragem ocorre em pontos relativos a resolução de problemas, análise de dados, habilidades sociocomunicativas, entendimento de representações semióticas, validações e demonstrações, conjecturas e generalizações, como se pode observar na Tabela 5. Há apenas um item quase âncora (I29) que cumpre avaliar as competências pedagógicas do professor como planejamento, concepções de ensino e aprendizagem e avaliação, que são mensurados pelos itens I27 ao I35.
TABELA 5 Escala pedagógica de habilidades para o traço latente conhecimentos para o ensino de matemática
| Nível âncora | Traço latente (θ) |
Habilidade | Itens âncoraS |
Itens quase âncoraS |
|---|---|---|---|---|
| 0 | Abaixo de 0 | Não atinge os níveis de habilidade propostos pelos itens. |
- | - |
| 1 | [0; 0,5) | Resolve problemas. | - | I26 |
| 2 | [0,5; 1,5) | Nível 1 e 2: Analisa dados. | - | I10, I30 |
| 3 | [1,5; 2,5) | Nível 1, 2 e 3: Interpreta e utiliza diferentes representações simbólicas, gráficas e numéricas de um mesmo conceito; utiliza diferentes representações para um conceito matemático, transitando por representações simbólicas, gráficas e numéricas, entre outras; formula conjecturas e generalizações, estabelecendo relações entre os aspectos formais e intuitivos; elabora modelos matemáticos; relaciona diferentes aspectos da evolução do conhecimento matemático; analisa criticamente propostas curriculares de matemática para a educação básica. | I20, I24 | I9, I11, I12, I13, I15, I22, I29 |
| 4 | 2,5 ou mais | Nível 1, 2, 3 e 4: Elabora e valida argumentações e demonstrações matemáticas. | I14 | I17, I18 |
Fonte: Elaboração dos autores.
A distribuição dos escores de habilidades dos respondentes está representada percentualmente na Figura 3, a qual mostra uma concentração de mais da metade dos respondentes no nível 0, com escores que não atingem o primeiro ponto na escala. Observa-se que 18% atendem o nível 1, no qual a principal habilidade é a resolução de problemas.4 As habilidades relacionadas a análise de dados, entendimento de representações semióticas, formulações e validações foram observadas nos níveis 2 e 3, representando 21,5% e 6,4% dos participantes, respectivamente, e a habilidade de elaborar e validar argumentações e demonstrações matemáticas (cumuladas às demais) é observada em apenas 1,5% dos participantes.
Fonte: Elaboração dos autores.
FIGURA 3 Percentual de respondentes por nível da escala pedagógica de habilidades desenvolvida para o traço latente conhecimentos para o ensino de matemática
Os resultados da Figura 3 são convergentes com os encontrados por Engel (2024), com percentuais muito próximos nos quatro níveis e um nível 0, que representa estudantes que não possuem habilidades mensuráveis na escala de proficiências.
Conforme Pasquali (2018), a CIT (Figura 4) é a representação gráfica de uma função que concentra as informações fornecidas pelo conjunto de itens para um dado traço latente, sob a curva contínua e, em seus extremos, a curva do erro a supera. Nesse sentido, evidencia-se um teste que mostra boa precisão na medição entre o intervalo de θ [0; 3,6). Acima e abaixo desses valores o teste é pouco preciso.
Fonte: Elaboração dos autores.
FIGURA 4 Curva de Informação do Teste dos 23 itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
A próxima seção discute se o traço latente conhecimentos para ensino de matemática pode ser entendido bidimensionalmente por meio da observação empírica dos itens, extração de fatores por AFE, análise paralela e de ACP e avaliação do ajuste do modelo por estatísticas apropriadas.
Análise da dimensionalidade
Considerando conhecimentos empíricos obtidos a priori a respeito do Enade 2017 e o entendimento de Shulman (1986) quanto ao conhecimento docente, questionou-se se o traço latente conhecimentos para ensino de matemática pode ser compreendido em pelo menos duas dimensões. Dessa maneira, é preciso verificar o comportamento dos itens em um modelo multidimensional.
Para analisar a dimensionalidade será utilizada a AFE a partir da correlação tetracórica, tendo em vista a natureza binária dos dados. Para uma AFE, Hair et al. (2009) sugerem que a amostra deve ser superior a 50 observações, sendo aconselhável no mínimo 100 casos para assegurar resultados mais robustos. Nesse sentido, a amostra é considerada apropriada, pois conta com dados coletados de 10.869 respondentes, o que atende aos pressupostos quantitativos.
Além disso, é necessário que os itens tenham correlação moderada a forte, ou seja, cargas maiores que 0,3. Contudo, na matriz de correlações ilustrada na Figura 5, percebe-se uma baixa correlação entre os itens, ou seja, há indícios que permitem classificá-los em um primeiro momento como estatisticamente independentes. Entretanto, segundo Matos e Rodrigues (2019), isso não significa que as variáveis não se agrupam para formar um constructo, devendo ser aplicadas outras estratégias para avaliar a adequação da AFE.
Fonte: Elaboração dos autores.
FIGURA 5 Matriz de correlação entre os itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
O teste de Bartlett resultou em um igual 23858,89, com g(l) = 253 e p-valor < 0,001.5 O critério KMO resultou em uma medida global de 0,86 e valores para cada item maiores que 0,8. Assim, a AFE pode ser realizada.
Diante dos resultados anteriores e considerando os autovalores, que representam a variância total explicada para cada fator, segue-se a extração dos fatores, os quais são representados no scree plot (Figura 6) na ordem de extração. Segundo o critério de Kaiser (como citado em Matos & Rodrigues, 2019), o número de fatores a serem extraídos é igual ao número de autovalores maiores que 1; nesse caso, poderiam ser admitidos até 5 fatores.
Fonte: Elaboração dos autores.
FIGURA 6 Scree plot da AFE do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
No entanto, considera-se que o conjunto de itens apresenta um primeiro fator preponderante. Além disso, a partir do terceiro fator, a variância explicada de cada item se reduz. Também se percebe uma suavização da curva, que poderia ser entendida como um ponto de inflexão da reta6 após o segundo fator. Dessa forma, opta-se por extrair dois fatores para análise, uma vez que, na observação empírica da prova, os itens podem ser classificados em itens de conteúdo específico de matemática e itens de conhecimentos pedagógicos (Engel, 2024). A escolha por dois fatores leva em consideração a suavização da curva a partir da terceira componente (Figura 6). Essa opção é condizente com as observações realizadas no constructo, ou seja, supostamente o traço latente conhecimentos para ensino de matemática parte da ideia de bidimensionalidade, uma vez que pode ser subdividido em conhecimentos de conteúdo e conhecimentos pedagógicos.
Assim, foram calculadas as cargas fatoriais para dois fatores, as quais estão representadas na Tabela 6 como Fator 1 (F1) e Fator 2 (F2). As cargas fatoriais são as correlações entre as variáveis e o fator. Conforme Hair et al. (2009), o quadrado da carga fatorial indica a proporção da variância da variável explicada pelo fator. Assim, uma carga de 0,30 explica cerca de 9% da variância; uma carga de 0,50 explica 25% e uma de 0,70, cerca de 49%. Ou seja, a carga deve exceder 0,70 para que o fator explique 50% da variância de uma variável. Em amostras pequenas, apenas cargas fatoriais elevadas (por exemplo, acima de 0,55) são consideradas significativas. Já em amostras acima de 350, cargas acima de 0,30 podem ser consideradas significativas, como é o caso. Dessa maneira, são consideradas cargas maiores ou iguais a 0,30, as quais estão sombreadas na Tabela 6. Os números em negrito são aqueles que não são significantes em nenhum dos fatores, porém com os itens I9, I17 e I34 apresentam valores bem próximos a 0,30.
Tabela 6 Cargas fatoriais dos itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
| Item | F1 | F2 | Item | F1 | F2 |
|---|---|---|---|---|---|
| I9 | 0,29 | -0,07 | I25 | 0,16 | 0,20 |
| I10 | 0,38 | 0,16 | I26 | 0,14 | 0,46 |
| I11 | 0,48 | -0,06 | I27 | 0,09 | 0,44 |
| I12 | 0,54 | 0,02 | I28 | 0,05 | 0,30 |
| I13 | 0,32 | 0,13 | I29 | 0,12 | 0,20 |
| I14 | 0,31 | -0,08 | I30 | 0,13 | 0,42 |
| I15 | 0,41 | -0,01 | I31 | -0,05 | 0,36 |
| I17 | 0,28 | -0,02 | I32 | -0,01 | 0,46 |
| I18 | 0,37 | 0,00 | I33 | 0,03 | 0,41 |
| I20 | 0,39 | -0,07 | I34 | 0,03 | 0,29 |
| I22 | 0,41 | 0,17 | I35 | -0,11 | 0,63 |
| I24 | 0,41 | -0,07 |
Fonte: Elaboração dos autores.
Na Tabela 6, consideram-se como F1 os itens I10, I11, I12, I13, I14, I15, I18, I20, I22 e I24, e como F2 os itens I26, I27, I28, I29, I30, I31, I32, I33 e I35. Os itens com carga inadequada foram desconsiderados para a avaliação da dimensão, pois não foi possível identificar com clareza a qual fator pertencem (com esse método e supondo dois fatores). A solução com rotação oblíqua apresenta uma variância explicada de 51% para o F1 e de 49% para o F2. Ressalta-se que, nesse tipo de rotação, pode ocorrer sobreposição entre fatores, de modo que a soma das proporções não deve ser interpretada como variância total explicada. O gráfico da Figura 7 ilustra a distribuição das cargas fatoriais para cada fator.
Fonte: Elaboração dos autores.
FIGURA 7 Avaliação das cargas fatoriais dos dois fatores extraídos da análise fatorial feita para os itens do componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
Barbetta et al. (2014, p. 13) afirmam que “[q]uanto maior a carga fatorial, maior a relação do item com o correspondente fator. Dessa forma, pode-se interpretar um fator (ou traço latente) considerando o conjunto de itens com alta carga sobre esse fator”.
Nesse sentido, com base nas cargas fatoriais obtidas, foi ajustado um modelo multidimensional da TRI, estruturado em dois fatores, de modo a representar de forma mais adequada a complexidade do traço latente investigado. A Figura 8 mostra o modelo para o traço latente conhecimentos para ensino de matemática, compreendido bidimensionalmente. As setas entre os fatores mostram uma correlação mediana (0,4). Na figura, também são apresentados os itens com carga fatorial >0,30 associados ao seu respectivo fator.
Fonte: Elaboração dos autores.
FIGURA 8 Modelo bidimensional para o componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
Dessa forma, a partir do modelo bidimensional ajustado, passa-se à discussão dos resultados obtidos. Nessa etapa, serão analisadas as evidências fornecidas pelo modelo em relação à estrutura bidimensional do traço latente investigado, destacando-se as interpretações possíveis acerca da organização dos fatores, das correlações entre eles e da pertinência dos itens associados a cada dimensão. Essa análise busca, portanto, aprofundar a compreensão sobre a adequação do modelo e suas implicações para o constructo em estudo.
A qualidade do ajuste dos modelos também foi avaliada pelos critérios de informação de Akaike (AIC) e Bayesiano (BIC): um modelo que considerava apenas uma dimensão no componente específico e outro modelo que adotava a bidimensionalidade. A decisão de ajustar dois modelos foi tomada para confrontá-los, uma vez que o objetivo era avaliar o componente específico da prova do Enade. De acordo com os critérios utilizados, o melhor modelo é aquele que apresenta estatísticas reduzidas em comparação com as dimensões avaliadas (Emiliano, 2009). Em relação aos itens analisados, houve uma redução nos valores do AIC e BIC ao se comparar o modelo unidimensional com o bidimensional, sugerindo uma melhor adequação ao modelo bidimensional, conforme indicado na Tabela 7.
TABELA 7 Critérios AIC e BIC dos modelos ajustados para o componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
| Critério | Modelo unidimensional | Modelo bidimensional |
|---|---|---|
| AIC | 300.522,7 | 299.570,4 |
| BIC | 301.026,0 | 300.234,1 |
Fonte: Elaboração dos autores.
Associadas a essa interpretação também podem-se considerar as medidas estatísticas RMSEA, o CFI e o TLI, os quais indicam o quão bem o modelo se ajusta ao fenômeno abordado. Considerando os estudos de Brown (2015), são aceitáveis valores para o RMSEA < 0,05, com redução dessa estatística para o modelo com melhor ajuste. Além disso, os valores para o TLI e CFI devem ser maiores que 0,90, sendo esperado um valor maior do modelo mais bem ajustado. Assim, na Tabela 8, observa-se um melhor ajuste para o modelo bidimensional.
TABELA 8 Índices de ajuste global dos modelos ajustados para o componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
| ÍNDICES DE AJUSTE | Modelo unidimensional | Modelo bidimensional |
|---|---|---|
| RMSEA | 0,01 | 0,01 |
| TLI | 0,96 | 0,97 |
| CFI | 0,97 | 0,98 |
Fonte: Elaboração dos autores.
Nesse contexto, observa-se, na Figura 8, que os itens I10, I11, I12, I13, I14, I15, I18, I20, I22 e I24, pertencentes ao F1, são itens especificamente de conteúdo matemático, enquanto os itens I26, I27, I30, I31, I32, I33 e I35, relacionados ao F2, são itens de forte teor analítico, como ocorre com o item I26 e com conteúdo educacional, como os demais de F2 do Enade 2017. Alguns itens não têm carga fatorial significativa para serem categorizados no primeiro ou no segundo fator.
Para complementar o estudo, foi realizada a análise paralela e a ACP para verificar se os itens representam adequadamente o que se pretendia medir e como eles se comportariam em um modelo multidimensional, obtendo-se o scree plot (Figura 8), o qual mostra um primeiro fator preponderante explicando 44,9% da variância, fornecendo indícios de unidimensionalidade (Reckase, 1979). Contudo pode ser observado, na Figura 9, que existem mais pontos acima da linha pontilhada vermelha, relacionada aos componentes principais (PC), mostrando que um modelo bidimensional pode ser adequado aos padrões apresentados pelo Enade 2017.
Fonte: Elaboração dos autores.
FIGURA 9 Scree plot com análise paralela da AFE e da ACP para o componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
A ACP gerou a Figura 10, que ilustra a presença de dois componentes no constructo, sendo possível inferir que há indícios de que a prova do Enade 2017 poderia ter sua escala de habilidades organizada em função de duas dimensões. Esse achado é correspondente aos resultados anteriores e é convergente para o estudo de Barbetta et al. (2014), que, em uma prova específica de vestibular, encontraram itens que assumiam características de raciocínio lógico e de interpretação e análise de textos. Além disso, os itens identificados na análise anterior são também evidenciados na análise complementar.
Fonte: Elaboração dos autores.
FIGURA 10 ACP para o componente de conhecimento específico do Enade 2017 para a Licenciatura em Matemática
Nesse sentido, opta-se por nomear os fatores distinguindo o conhecimento específico de conteúdos relativos a conhecimentos pedagógicos, utilizando como base as ideias relativas às categorias de conhecimentos docentes de Shulman (1986), o qual propõe que o conhecimento docente é composto de categorias que incluem, entre outras, o conhecimento do conteúdo específico, o conhecimento pedagógico e o conhecimento pedagógico do conteúdo. Desse modo, as competências a serem mensuradas no Enade podem ser entendidas sob uma ótica multidimensional, pois englobam o conhecimento matemático em si e as formas de ensinar esse conteúdo.
Assim, neste estudo, analisando os resultados quantitativos obtidos, o conteúdo dos itens e a matriz de competências (Inep, 2017b), se propõem os seguintes fatores:
Fator 1 - Conhecimentos de conteúdos matemáticos: itens que incluem o currículo a ser ensinado, tais como cálculos, definições, propriedades e resolução de problemas, cuja habilidade requerida é o conhecimento de conteúdos específicos da área de matemática.
Fator 2 - Conhecimentos pedagógicos: itens que dizem respeito ao contexto educacional em geral (gestão educacional, inclusão, psicologia da educação, entre outros) e a conteúdos de ensino-aprendizagem como didática, tendências em ensino de matemática, avaliação, escolha de materiais para ensinar e uso de tecnologias.
No que diz respeito à discussão sobre as dimensões do Enade, algumas áreas tendem a aceitar o exame como um constructo unidimensional, como o estudo de Alves (2020) sobre a Licenciatura em Ciências Biológicas, o qual não sustenta a hipótese de múltiplas dimensões, pois os dados resultantes de sua pesquisa apresentaram-se limítrofes aos resultados aceitáveis. Entretanto Nogueira (2008), em uma análise da formação específica da carreira de Estatística no Enade 2004 e 2005, mostra que itens que exigem maior grau de leitura e interpretação carregam fatores diferentes daqueles estritamente de cálculo, o que evidencia que as características das questões interferem nas dimensões avaliativas propostas para o constructo. Ademais, Engel (2024), em suas abordagens às proficiências do Enade 2017 para a Licenciatura em Matemática, distingue empiricamente um constructo de entendimento bidimensional a ser estudado. Nessa interpretação, destaca-se o posicionamento de Andrade et al. (2000), os quais compreendem que toda ação humana é multimotivada e, assim, constructos unidimensionais podem simplificar a complexidade de um fenômeno em estudo.
Desse modo, há indícios de que, para uma medição mais precisa e fidedigna do traço latente conhecimentos para ensino de matemática, deve-se considerar uma medição pelo menos bidimensional, uma vez que o contexto da formação inicial é complexo, incluindo conhecimentos pedagógicos globais e conhecimentos de conteúdos específicos.
CONSIDERAÇÕES FINAIS
O artigo evidencia uma possibilidade de análise bidimensional do constructo formado pelos itens de formação específica proposto pelo Enade ao curso de Licenciatura em Matemática. Essa é uma temática oportuna para a área educacional e um diferencial do artigo, visto que ainda não foi amplamente discutida nessa esfera.
Ressalta-se que, neste estudo, a TCT foi utilizada para explorar os dados de forma primária, representando um complemento à TRI. Assume-se nesse contexto que a TRI não veio para substituir a TCT, mas para reduzir algumas das limitações dessa última. Conforme Pasquali (2018), pela TRI supera-se o problema de o cálculo da aptidão ser dependente do teste e da amostra e torna-se possível o emparelhamento da aptidão do sujeito aos itens.
Assim, a aplicação da TRI no Enade 2017 permitiu ponderar que ocorreu um enriquecimento das análises, uma vez que se pode aferir a medida de outros parâmetros de qualidade, propiciando a utilização dos dados para melhorias curriculares e pedagógicas. Desse modo, seria fundamental ao Inep agregar às suas metodologias e embasamentos outras perspectivas computacionais para suas estatísticas. A expectativa do estudo reside nas possibilidades de melhorias na construção desse teste que reflitam em uma avaliação do ensino superior mais precisa e fidedigna.
No que tange à dimensionalidade, as estatísticas apresentadas permitem considerar um ajuste a um modelo bidimensional em que a medição do traço latente considere conhecimentos pedagógicos e de conteúdos específicos da matemática, construindo uma escala de habilidades mais precisa. Algumas lacunas ainda permanecem, referentes à construção da escala pedagógica de competências multidimensionais e em relação à construção técnica dos itens, envolvendo seus distratores e o conteúdo edumétrico do teste ‒ situações que oportunizam estudos futuros.
