1 Introdução
Um dos principais objetivos da avaliação educacional é garantir a qualidade do ensino. Nesse contexto, entende-se avaliação como “um juízo de qualidade sobre dados relevantes, tendo em vista uma tomada de decisão” (LUCKESI, 2010). Ao realizar essa avaliação em âmbito Federal, é possível construir indicadores de qualidade que servem para valorar políticas, programas, projetos e ações educativas (FERREIRA; TENÓRIO, 2010). A partir das análises dos dados educacionais é possível observar o desempenho tanto do estudante quanto das instituições, e, assim, calcular indicadores de qualidade, que, dentro de certo contexto, oportunizarão decisões de melhorias ao processo de ensino e aprendizagem.
Para avaliar o ensino superior foi estabelecido, em 2004, o Sistema Nacional de Avaliação da Educação Superior (Sinaes), instituído pela Lei nº 10.861, de 14 de abril de 2004 (BRASIL, 2017). O Sinaes avalia a educação superior por meio de vários instrumentos, que focam na instituição, no curso e no estudante. Os processos avaliativos são coordenados e supervisionados pela Comissão Nacional de Avaliação da Educação Superior (Conaes), que organiza e coordena externamente o processo avaliativo. A operacionalização é de responsabilidade do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), que desenvolve as práticas avaliativas que lhe forem designadas (FONSECA; NAMEN, 2016). As informações obtidas com o Sinaes são utilizadas pelos vários segmentos da comunidade, incluindo as Instituições de Ensino Superior (IES), os órgãos governamentais, os alunos e o público em geral, de maneira a orientar suas decisões quanto à realidade dos cursos e das instituições.
Para a avaliação dos estudantes foi implementado o Exame Nacional de Desempenho de Estudantes (Enade) (BRASIL, 2016a), um exame obrigatório que é aplicado periodicamente, em ciclos de três anos, aos alunos de todos os cursos de graduação. Além de avaliar e acompanhar o processo de aprendizagem e o desempenho acadêmico dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, o Enade também avalia suas habilidades para ajustar-se às exigências decorrentes da evolução do conhecimento e competências para compreender temas exteriores ao âmbito específico da profissão escolhida, ligados à realidade brasileira e mundial e a outras áreas do conhecimento. Além dos testes de conhecimento, os alunos devem responder a um questionário para levantar a percepção dos alunos sobre o teste e outro sobre o perfil socioeconômico educacional do aluno (SILVA, 2012).
O Inep aplica também o Exame Nacional do Ensino Médio (Enem), criado em 1998, com o intuito de avaliar a Educação Básica, que apesar de não estar ligado diretamente à avaliação da educação superior, tem grande impacto nesse nível de ensino por ser usado como nota de entrada para um grande número de IES, substituindo completamente, em muitos casos, o Vestibular (BRASIL, 2016b).
Atualmente, o exame é composto de 180 questões, distribuídas em quatro provas objetivas: Ciências Humanas e suas Tecnologias (História, Geografia, Filosofia e Sociologia); Ciências da Natureza e suas Tecnologias (Química, Física e Biologia); Linguagens, Códigos e suas Tecnologias (Língua Portuguesa, Literatura, Língua Estrangeira - Inglês ou Espanhol, Artes, Educação Física e Tecnologias da Informação e Comunicação); Matemática e suas Tecnologias (Matemática). Além disso, os alunos devem fazer uma redação e responder a um questionário socioeconômico-cultural, com preenchimento não obrigatório, a ser respondido no dia da inscrição do exame (SILVA; MORINO; SATO, 2014).
Além de disponibilizar os dados de forma anonimizada, o Inep gera relatórios dessas provas. O Enade gera relatórios de Curso, de IES e Síntese de Área, com estatísticas geradas a partir dos dados. Essas informações incluem o desempenho (mínimo, máximo, média, mediana, desvio-padrão, etc.) dos estudantes na prova, a percepção deles sobre a prova (porcentagem de respostas do questionário de percepção sobre a prova por item), os resultados da Análise do Questionário do Estudante (incluindo a porcentagem de respostas desse questionário por item) e as estatísticas das questões da prova (porcentagem de acertos das questões objetivas e média das notas nas questões discursivas) (BRASIL, 2016a). O Enem disponibiliza as médias e os percentuais de alunos em cada um dos quatro níveis de proficiência e da redação dos estudantes que participaram da prova, por escola, para cada uma das áreas de conhecimento consideradas.
As análises disponibilizadas geralmente se resumem a estatísticas descritivas dos dados, que visam descrever e resumir as informações coletadas. Análises mais sofisticadas, envolvendo estatística inferencial1 e/ou mineração de dados2, que propõe abstrair informações relevantes a partir de grandes volumes de dados (KULKARNI; RAMPURE; YADAV, 2013), não são realizadas pelo Inep. Nesse contexto, propõe-se esta revisão sistemática, que tem como objetivo identificar o uso que vem sendo feito dos dados coletados pelo Instituto, para além das análises feitas por ele próprio.
A pesquisa está estruturada em seis seções. A seção 2 descreve o método de revisão adotado neste trabalho, com foco no planejamento e na condução da RS. A seção 3 apresenta a análise dos resultados obtidos nessa revisão por meio das respostas para as questões de pesquisa. A seção 4 traz uma discussão dos resultados e a seção 5 discorre sobre as considerações, fazendo uma síntese desta pesquisa.
Revisão sistemática da literatura
Essa revisão sistemática da literatura (RSL) teve como referencial o trabalho de Kitchenham e Charters (2007), que sugere um processo dividido em três estágios: planejamento, composto pela etapa de identificação da necessidade de uma revisão e pela da definição de um protocolo; condução, que compreende a identificação de pesquisas, seleção e avaliação de estudos, extração e síntese dos dados; e reportagem da revisão, que é uma fase única. A ferramenta escolhida para gerenciar esta revisão foi a State of the Art through Systematic Reviews - StArt (UNIVERSIDADE FEDERAL DE SÃO CARLOS, 2013).
Essa RSL foi guiada por uma questão de pesquisa principal: que tipos de análise têm sido realizadas com base nos dados do Enem e do Enade e quais são os seus objetivos?
Este estudo utilizou a string: (enem OR enade) na base de dados Google Scholar (scholar.google.com.br/), uma biblioteca digital consolidada, que possibilita a utilização de strings de busca com palavras-chave e possui acesso online. Foram extraídos artigos de periódicos ou de conferências, dissertações e teses publicados entre 2005 e 2016, escritos em inglês ou português e relevantes para a pesquisa. Foram excluídos aqueles trabalhos que não tratam de Enem e/ou Enade ou que não respondem às questões de pesquisa.
A pesquisa retornou 1.064 trabalhos, distribuídos entre artigos, dissertações e teses. Destes, 1.008 foram excluídos por não tratarem de Enem e/ou de Enade ou por não responderem à questão de pesquisa. Dos 56 trabalhos restantes, foram mantidos 54 após a realização de uma leitura completa. Os dois artigos excluídos na fase de extração aplicavam questionários próprios, relacionados à percepção de docentes sobre os exames. Esses questionários não eram fornecidos pelo Inep e tampouco utilizavam dados extraídos das provas.
Desse modo, foram selecionados 39 trabalhos que tratam do Enade (Figura 1) e 17 estudos que tratam do Enem (Figura 2), sendo os artigos de Bianchi (2010) e Silveira (2013) contabilizados em dobro por tratarem tanto do Enade quanto do Enem.
É possível observar que as análises relacionadas ao Enem e ao Enade se concentram em maior volume nos últimos anos, de 2013 a 2016, apesar dos exames serem realizados desde 1998 (Enem) e 2005 (Enade). O interesse pelos resultados do Enem pode estar associado ao seu uso como forma de acesso ao Ensino Superior no Brasil, enquanto o Enade tem se consolidado e adquirido um formato mais estável nos últimos anos.
Resultados e Discussão
Para responder à questão de pesquisa - quais tipos de análise têm sido realizados com base nos dados do Enem e do Enade e quais são os seus objetivos? - ela foi desdobrada em duas partes: quais os objetivos das análises e os problemas que as motivaram? E que tipo de análise foi feita?
Os objetivos encontrados foram organizados em seis categorias, conforme as Tabelas 1 (Enem) e 2 (Enade).
Objetivo da Análise | Referências | Qtd |
---|---|---|
Conteúdo/Conhecimento | Bianchi (2010), França (2016), Oliveira (2014), Ferreira, Edson Martins (2014). | 4 |
Administrativo | Guerra, Nakamura e Hruschka (2014), Lima (2011), Parente (2014). | 3 |
Desempenho/Rendimento | Gonçalves, 2015, Moreira (2015), Oliveira (2013), Silva, S. M. (2015), Silva e Meletti (2012), Silva, Morino e Sato (2014), Silveira (2013), Soares (2014). | 8 |
Testar/desenvolver ferramentas | Costa (2016), Silva, A. L. (2015). | 2 |
Total | 17 |
Fonte: Elaboração própria.
Fonte: Elaboração própria.
Trabalhos classificados na categoria ‘Conhecimento/Conteúdo’ têm como objetivo fazer um estudo sobre o conteúdo das provas e/ou o conhecimento dos estudantes em determinados assuntos abordados nos exames. Lopes e Vendramini (2015), por exemplo, avaliam as propriedades psicométricas da prova de Pedagogia no Enade e Bianchi (2010) analisa o percentual de questões envolvendo a interpretação de informações apresentada em gráficos e tabelas estatísticas no Enade e Enem.
As investigações feitas com o objetivo de análise ‘Administrativo’ abrangem aspectos de gestão, como o acesso ao Ensino Superior (GUERRA; NAKAMURA; HRUSCHKA, 2014; PARENTE, 2014) e o impacto que os resultados do Enade têm sobre as questões acadêmicas, como mudanças no currículo e na cultura institucional (GOMES, 2011).
As análises que objetivam o ‘Desempenho/Rendimento’ avaliam os resultados dos estudantes e/ou das instituições nos exames. Dentre essas análises destaca-se a de Souza (2008), que busca identificar a relação entre o desempenho dos alunos e a sua situação socioeconômica. Outros trabalhos focam o ‘Desenvolvimento e Teste de ferramentas’, com o propósito de auxiliar na análise dos resultados dos exames, como o estudo de Costa (2016), com a ferramenta Vis-Scholar, que utiliza estatística para correlacionar conjuntos de dados e métodos de visualização dessas correlações, a fim de facilitar a visualização dos dados.
‘Avaliação/Estrutura do exame’ refere-se a trabalhos que procuram entender de que forma o exame é estruturado e até fazem uma avaliação comparando com outros exames, como, por exemplo, o Provão (VERHINE; DANTAS, 2006). ‘Formação/Qualificação Docente’ agrupa trabalhos onde os dados dos exames são analisados a fim de aprimorar a formação do docente e relacioná-la com o desempenho dos estudantes nas provas. Nessa categoria encontra-se o trabalho de Brito (2015), que objetiva determinar como as características do corpo docente de uma IES influenciam o desempenho dos concluintes no Enade.
As análises mais recorrentes nos trabalhos relacionadas são feitas com o objetivo de estudar as condições de acesso e permanência no ensino superior e também há um número expressivo para os trabalhos que analisaram os dados do Enade e Enem com o objetivo de verificar o desempenho e traçar os perfis dos estudantes. É importante salientar que alguns trabalhos, como o de Brito (2015), possuíam dois objetivos de análise: conteúdo/conhecimento e formação/qualificação docente, portanto foram contabilizados em dobro.
Os objetivos apresentados surgiram a partir de problemas detectados pelos pesquisadores e que motivaram os trabalhos realizados, visando contribuir para a solução. As Tabelas 3 (Enem) e 4 (Enade) relacionam os problemas que os pesquisadores tentaram resolver.
Problema | Referências | Qtd |
---|---|---|
Dificuldade na avaliação e análise de dados | Costa (2016). | 1 |
Qualidade do Ensino | Bianchi (2010), França (2016), Oliveira (2013), Santos e Concordino (2015), Silva, Morino e Sato (2014), Silveira (2013), Soares (2014), Silva, A. L. (2015), Silva, S. M. (2015). | 9 |
Desempenho | Ferreira, Edson Martins (2014), Gonçalves (2015), Lima (2011), Moreira (2015), Oliveira (2013), Silva e Meletti (2012). | 6 |
Administrativo | Guerra, Nakamura e Hruschka (2014), Parente (2014). | 2 |
Total | 18 |
Fonte: Elaboração própria.
Problema | Referências | Qtd |
---|---|---|
Dificuldade na visualização e análise de dados | Álvares, Campos e Gomes (2015), Gotti (2013). | 2 |
Qualidade do Ensino | Gontijo (2014), Guerra et al. (2010), Lavor, Andriola e Lima (2016), Lopes e Vendramini (2015), Machado (2008), Neto Santos (2016), Pires (2013), Primi et al., (2010), Rodrigues (2013), Silva (2012), Verhine e Dantas (2006, 2009), Silveira (2013). | 13 |
Desempenho | Almeida (2014), Barreyro e Aureliano (2009), Bianchi (2010), Brito (2007), Brito (2015), Corrêa (2013), Costa e Oliveira (2013), Dias, Porto e Nunes (2016), Gaudio (2014), Lavor, Andriola e Lima (2016), Moriconi e Nascimento (2014), Silva (2016), Souza (2008), Waltenberg e Carvalho (2013). | 14 |
Administrativo | Batista (2014), Gomes (2011), Rosseto (2016). | 3 |
Formação/Qualificação Docente | Costa e Martins (2014), Dal-Farra et al. (2012), Ferreira, Marcos Felipe (2014), Lara (2007), Novossate (2010), Oliveira (2014), Schwengber (2013). | 7 |
Total | ------------------ | 39 |
Fonte: Elaboração própria.
Problemas relacionados à ‘Dificuldade na visualização e análise de dados’ motivaram pesquisas que visam facilitar as análises dos dados. Isso inclui o desenvolvimento de ferramentas, como é o caso do estudo de Álvares, Campos e Gomes (2015). Dificuldades relacionadas à ‘Qualidade do Ensino’ instigam os pesquisadores a encontrarem métodos que visam melhorar o processo de ensino e, consequentemente, a contribuírem para o aumento da qualidade da educação. Problemas de ‘Desempenho’, abordam estudos que procuram verificar como estudantes de diferentes perfis se desenvolvem na academia. Gaudio (2014) destaca-se por investigar a inclusão social do estudante bolsista do Programa Universidade para Todos (ProUni). Dificuldades ‘Administrativas’ incluem questões como evasão, número de vagas, mudanças no currículo dos cursos e na cultura da instituição. Já os problemas de ‘Formação/Qualificação Docente’ incluem questões como a melhoria do trabalho dos docentes a partir do conhecimento das provas e de como trabalhar os estudantes que as farão.
Na busca das soluções para os referidos problemas, os trabalhos utilizam diferentes tipos de análises sobre os microdados gerados a partir dos exames. É importante salientar que alguns trabalhos analisaram mais que um tipo de dado dos exames, estes foram contabilizados de acordo com a diversificação de dados utilizados. Os tipos de análises e os dados utilizados estão apresentados nas Tabelas 5 (Enem) e 6 (Enade).
Análise | Dados usados | Referências | Qtd |
---|---|---|---|
Estatística | Notas do ENEM | Costa (2016), Gonçalves (2015), Lima (2011), Moreira (2015), Oliveira (2013), Parente (2014), Silva, S. M. (2015), Silveira (2013). | 8 |
Estatística | Questões da Prova | Bianchi (2010), Ferreira, Edson Martins (2014), França (2016), Santos e Concordino (2015), Silva, A. L. (2015). | 5 |
Estatística | Número de Alunos Inscritos no ENEM por ano | Guerra, Nakamura e Hruschka (2014). | 1 |
Estatística | Leitura dos Relatórios | Soares (2014). | 1 |
Estatística | Questionário Socioeconômico | Gonçalves (2015), Parente (2014), Silva e Meletti (2012). | 3 |
Mineração de Dados | Notas do ENEM | Silva, Morino e Sato (2014). | 1 |
Total | -------- | 19 |
Fonte: Elaboração própria.
Análise | Dados usados | Referências | Qtd |
---|---|---|---|
Estatística | Notas do ENADE | Almeida (2014), Brito (2007), Brito (2015), Dal-Farra et al. (2012), Dias, Porto e Nunes (2016), Gaudio (2014), Gontijo (2014), Moriconi e Nascimento (2014), Oliveira (2014), Rossetto (2016), Silva (2016), Silva, Vendramini e Lopes (2010), Souza (2008), Verhine e Dantas (2006, 2009), Waltenberg e Carvalho (2013). | 16 |
Estatística | Questionário Socioeconômico | Almeida (2014), Barreyro e Aureliano (2009), Brito (2007), Ferreira, Marcos Felipe (2014), Gontijo (2014), Lavor, Andriola e Lima (2016), Moriconi e Nascimento (2014), Rossetto (2016), Souza (2008), Verhine e Dantas (2009). | 10 |
Estatística | Conteúdo de Prova | Bianchi (2010), Costa e Martins (2014), Lara (2007), Lopes e Vendramini (2015), Novossate (2010), Pires (2013), Primi et al. (2010), Schwengber (2013). | 8 |
Estatística | Conceito do ENADE | Batista (2014), Corrêa (2013), Costa (2016), Costa e Oliveira (2013), Gotti (2013), Guerra et al. (2010), Machado (2008), Silva (2012). | 8 |
Estatística | Questionário do Coordenador | Gomes (2011). | 1 |
Estatística | Questionário de Percepção do Estudante | Gaudio (2014), Gontijo (2014), Neto Santos (2016), Rodrigues (2013). | 4 |
Mineração de Dados | Notas do ENADE | Álvares, Campos e Gomes (2015). | 1 |
Total | 48 |
Fonte: Elaboração própria.
A estatística é a principal ferramenta de análise, com variações nos testes aplicados e nas abordagens. Alguns trabalhos utilizaram regressão linear - como os de Guerra, Nakamura e Hruschka (2014), Oliveira (2014), Silva (2016), Batista (2014) e Corrêa (2013) -, outros a fatorial - como Batista (2014), Pires (2013) e Santos Neto (2016) -, mas a maioria utilizou a Estatística Descritiva. Os principais softwares usados foram:
Statistical Package for the Social Sciences (SPSS), um software de apoio à tomada de decisão que inclui aplicação analítica, Data Mining, Text Mining e estatística, que transformam os dados em informações importantes;
Matrix Laboratory (Matlab), que é um software interativo que integra análise numérica, cálculo em matrizes, processamento de sinais e construção de gráficos;
Data Analysis and Statistical Software (STATA), um software de estatística usado para análise econométrica, utilizando dados cross-section, dados em painel e estimação de séries temporais. Também tem recursos potentes de tabulação de variáveis e comandos para cálculo das medidas de associação usadas em epidemiologia, como razão de incidências, risco relativo, razão de chances e risco atribuível.
A Mineração de Dados foi utilizada em dois (02) dos artigos selecionados. A fim de diminuir a complexidade de análise dos dados divulgados pelo Inep (ALVARES; CAMPOS; GOMES, 2015), aplicam a mineração de dados nos resultados do Enade. O objetivo foi desenvolver um aplicativo para auxiliar os usuários a obterem informações úteis e íntegras a respeito de qualquer curso participante do exame. A ferramenta utilizou o sistema gerenciador de banco de dados MySQL e o QlikView 11 Desktop, para fazer análises comparativas e descritivas dos resultados do Enade nos anos de 2007 e 2010.
Silva, Morino e Sato (2014) investigam os motivos que influenciam no desempenho dos alunos no Enem. Para isso, mineraram as notas das provas e os questionários socioeconômicos dos estudantes e conseguiram extrair informações importantes, como as de que a renda familiar baixa, a escolaridade dos pais de nível primário e a quantidade alta de pessoas que moram com os estudantes são atributos que diminuem o desempenho do aluno. A análise é feita por associação de dados usando o algoritmo A Priori. As ferramentas usadas neste trabalho foram o Oracle Express Edition 11g e o PL/SQL Developer, dois softwares que permitem a extração dos dados para a pesquisa. Para os experimentos, foi utilizada a ferramenta RapidMiner 5.1.
As conclusões dos trabalhos selecionados comprovam as teorias estabelecidas, como a de que quanto mais se investe em educação, melhores são os resultados (COSTA, 2016) e a de que além dos investimentos é preciso manter uma avaliação constante do sistema educacional (RODRIGUES, 2013; VERHINE; DANTAS, 2009). Por sua vez, Santos e Concordido (2015) sugerem que o Enem não deveria ser o regulador do Ensino Médio, portanto, não deveria definir o que prevalece ou não nos currículos.
Os artigos também reafirmam a importância da qualificação contínua dos professores. Oliveira (2014) destaca a influência de características como formação e título de especialização dos docentes nos resultados do Enade, enquanto Dal-Farra et al. (2012) o regime de dedicação do corpo docente.
No contexto social, os resultados sugerem que as diversas políticas de ações afirmativas foram bem-sucedidas no objetivo de proporcionar mais diversidade nas universidades (WALTENBERG; CARVALHO, 2013). Por outro lado, Silva e Meletti (2012) constatam que, apesar da implementação das políticas inclusivas, a participação dos alunos com necessidades educacionais especiais é mínima, o que denota a ideia de ambiguidade entre discurso e prática inclusiva.
Considerações
Essa revisão apresenta os tipos de análises e seus objetivos, tendo sido realizada nas bases de dados do Enem e do Enade. Analisaram-se os problemas abordados pelos trabalhos encontrados e as ferramentas usadas. A fim de seguir uma pesquisa sistemática, apenas as publicações que se encaixavam em todos os critérios de inclusão foram selecionadas.
A leitura dos trabalhos selecionados mostrou que as análises sobre o Enem/Enade, em sua maioria, são feitas com o objetivo de melhorar o desempenho dos estudantes nos exames. Os problemas que impulsionam essas análises estão ligados à qualidade da educação.
A quantidade de estudos feitos sobre o Enade é expressivamente maior que sobre o Enem e poucos tentam analisar os dois. Isso pode estar relacionado ao fato de que frequentemente se deseja analisar o desempenho dos alunos e os dados do Enade podem ser analisados por curso. Vale observar que essas análises são geralmente feitas por pesquisadores usando os dados associados aos cursos de seu interesse e para os quais desejam contribuir.
Observou-se também a diversidade nas áreas pesquisadas. Foram explorados diversos níveis de tomada de decisão: aluno, docente, curso, instituição, governo e sociedade. Para a realização dos estudos, foram analisados diferentes tipos de dados e os mais utilizados foram as notas dos exames e os questionários socioeconômicos. Os conteúdos das provas foram analisados apenas em estudos que abordavam o Enade e as análises foram direcionadas para interpretações do conteúdo, sem que nenhuma categorização fosse realizada.
O tipo de análise mais utilizada nas bases de dados do Enem e do Enade é a estatística descritiva, mostrando a necessidade de se investir em pesquisas que abordem outros tipos de análises, como a mineração de dados. Apenas dois artigos a utilizaram e ela foi aplicada nas notas dos exames. Com o vasto volume de dados fornecidos por ambos os exames, esse tipo de análise pode ter uma amplitude maior, permitindo análises de perfil ou de predição de resultados, que correlacionam dados socioeconômicos dos alunos, notas da prova (inclusive permitindo a análise do conteúdo das provas) e informações sobre a estrutura das instituições, dados pouco explorados pelos trabalhos analisados.
Além disso, análises inferenciais permitem verificar se é possível generalizar os resultados obtidos na amostra para a população em geral, permitindo verificar correlação significativa entre diferentes grupos, tais como sexo (feminino, masculino), regiões do Brasil (Norte, Nordeste, Sul, Sudeste, Centro-Oeste), tipo de instituição (pública, privada) etc., ou verificar a correlação em diferentes momentos temporais, propiciando estudos longitudinais, que analisam o comportamento dos alunos em diferentes momentos ou situações. Infelizmente, esse tipo de análise fica limitada pelo fato de não ser possível associar os dados de um mesmo aluno nas diversas provas realizadas pelo Inep, o que permitiria analisar o percurso dos alunos. Caso fosse possível integrar as bases do Enem e do Enade, poderia se analisar o aluno, da entrada à graduação no Ensino Superior.
Existe, portanto, um vasto campo de pesquisa ainda inexplorado e com potencial para gerar informação útil para compreender melhor o perfil dos alunos e o sistema educacional brasileiro. Além disso, pode-se fazer predições a respeito do desempenho acadêmico dos alunos ou de outros aspectos relevantes, o que permite a definição de ações preventivas que visem evitar esses problemas.