Introdução
O Exame Nacional do Ensino Médio - Enem -, foi implantado pela portaria n. 438, de 28 de maio de 1998, do MEC, como procedimento de avaliação do desempenho dos estudantes brasileiros ao término da educação básica. No entanto, em 2009, o Enem passou por uma mudança estrutural e de finalidade, já que o resultado do exame passou a ser utilizado como critério para ingresso em universidades públicas e gratuitas, por meio do Sistema de Seleção Unificada - Sisu -, instituído em 2010 (Andrade, 2020).
Nesse sentido, é razoável considerar que os resultados do Enem, por possibilitar o acesso a uma instituição de ensino superior, podem impactar significativamente na possibilidade de obtenção de melhores condições de trabalho, renda e elevação da qualidade de vida dos indivíduos, visto que em todas as economias do mundo há uma relação positiva entre o nível de escolaridade de uma pessoa ocupada e seu rendimento (Ramos, 2015).
Além disso, como observado em Silva Jr. e Amorim (2013) e Moraes e Perez (2022), a escolaridade dos pais tem relação direta com o desempenho escolar das crianças e adolescentes. Assim sendo, é possível conjecturar que um bom resultado no Enem pode elevar as probabilidades e mobilidade social intra ou intergeracional.
Nesse contexto, considerando que as variáveis socioeconômicas exercem influência sobre o desempenho dos estudantes e que a pandemia de Covid-19 afetou a aprendizagem dos estudantes, esse trabalho visou a contribuir com a literatura apresentando, por meio da estimação de modelos multinível de regressão, uma análise da relação de varáveis socioeconômicas com o desempenho de estudantes do Estado do Paraná, considerando o biênio que antecedeu a Covid-19 e os dois primeiros anos dessa pandemia. Tal análise visou a identificar quais variáveis - individuais e contextuais -, apresentaram maior impacto no score dos estudantes e se essas variáveis foram influenciadas pela pandemia de Covid-19.
População, dados e variáveis
Esse trabalho foi realizado a partir dos microdados do Enem, referentes ao período de 2018 a 2021, disponibilizados pelo Inep, e do Índice Ipardes de Desempenho Municipal, referentes ao período de 2018 até 2020, disponibilizados pelo Instituto Paranaense de Desenvolvimento Econômico e Social - Ipardes. As etapas de obtenção e tratamento dos dados bem como as análises estatísticas e estimação dos modelos foram realizados com o software R v. 4.2.1.
A população alvo do estudo foram 191.938 estudantes concluintes do ensino médio no período de 2018 a 2021, na modalidade de ensino regular, de escolas públicas e privadas do Estado do Paraná, que realizaram o Enem no ano de conclusão. Esse recorte foi necessário para que fosse possível distinguir grupos de estudantes que efetivamente cursaram o ensino médio antes e durante a pandemia de Covid-19. A escolha do período atende a um dos objetivos da pesquisa que é verificar se houve influência dos efeitos da pandemia de Covid-19 no comportamento das variáveis explicativas consideradas no modelo.
Estudante | Frequência absoluta | Frequência relativa (%) |
Tipo de escola | ||
Pública | 152 868 | 79,64 |
Privada | 39 070 | 20,36 |
Sexo | ||
Feminino | 109 729 | 57,17 |
Masculino | 82 209 | 42,83 |
Cor/ raça | ||
Branca | 129 357 | 67,39 |
Preta | 7 561 | 3,94 |
Parda | 47 077 | 24,53 |
Amarela | 4 049 | 2,11 |
Indígena | 424 | 0,22 |
Não declarada | 3 470 | 1,81 |
Faixa de renda | ||
Até 3 salários | 118 610 | 61,80 |
De 3 até 5 salários | 32 893 | 17,14 |
Mais que 5 salários | 39 550 | 20,61 |
Não informado | 885 | 0,45 |
Fonte: autores.
Foram selecionadas oito variáveis explicativas. Sete com características socioeconômicas dos estudantes - contexto: aluno -, e uma que representa características do munícipio em que a escola está sediada - contexto: município -, visto que o estudo pretende investigar não apenas como as características dos indivíduos explicam seus desempenhos no Enem, mas, também, avaliar o quanto o contexto do município influencia o score obtido.
A variável dependente, denominada score, foi obtida a partir da média aritmética das variáveis: nota_cn:nota na prova de Ciências da Natureza; nota_ch: nota na prova de Ciências Humanas; nota_lc: nota na prova de Linguagens, nota_mt: nota na prova de Matemática; e nota_redacao: nota da redação. A variável indice_ipr é métrica e contínua, variando de 0 a 1, de modo que quanto mais próximo de 1, melhor é o resultado do município. Para o ano de 2021, foram considerados como observações da variável indice_pr, a média aritmética dos índices obtidos por cada município nos três anos anteriores, visto que não estavam disponíveis os valores referentes a esse ano.
Escolha e estimação dos modelos
O constructo da pesquisa considera uma estrutura aninhada de dados, com alunos - nível 1 -, aninhados em municípios - nível 2. Portanto, considerou-se adequada, a utilização de modelos multinível de regressão. Para a estimação dos modelos foi utilizada a função lme do pacote nmle, do software R, e o método Restricted Estimation of Maximum Likelihood - Reml. Além disso, foi adotada a estratégia bottom-up, apresentada em Hox et al. (2017), que consiste em iniciar a modelagem com modelos mais simples - sem variáveis explicativas -, e ir adicionando, a cada passo, os diversos tipos de parâmetros que, por sua vez, deverão ser testados quanto a sua significância.
Como um dos objetivos do trabalho é observar eventuais impactos da pandemia de Covid-19 no desempenho dos estudantes, foram estimados dois modelos. No modelo A, foram utilizados os dados referentes aos anos de 2018 e 2019. Já o modelo B, foi estimado a partir dos dados dos anos de 2020 e 2021.
Logo, inicialmente foram estimados os modelos nulos - sem variáveis explicativas -, representados pela eq. (1):
em que, é a variável dependente score, é o intercepto e , (com ; e são os resíduos no Nível 1 (com alunos) e no Nível 2 (com municípios), respectivamente.
Na sequência, foram estimados os modelos com todas as variáveis explicativas do Nível 1 e efeitos aleatórios de intercepto, representados pela eq. (2):
em que, é a variável dependente score, é o intercepto, são os coeficientes das variáveis explicativas do Nível 1 e , (com ; e são os resíduos no Nível 1 (com alunos) e no Nível 2 (com municípios), respectivamente.
Já na etapa seguinte, foram mantidas as variáveis explicativas de Nível 1 e adicionada a variável “indice_ipr” (Nível 2), conforme representado na eq. (3):
em que, é a variável dependente score, é o intercepto, são os coeficientes das variáveis explicativas do Nível 1, é o coeficiente da variável explicativa do Nível 2 e , (com ; e são os resíduos no Nível 1 (com alunos) e no Nível 2 (com municípios), respectivamente.
Após a estimação desses modelos, o objetivo era prosseguir com os passos da estratégia bottom-up, estimando os modelos com coeficientes aleatórios - de inclinação e de intercepto - e, ainda, o modelo final: com coeficientes aleatórios e interações entre níveis, a fim de possibilitar maior aprofundamento na análise. No entanto, não foi possível prosseguir com a estimação destes modelos devido a ausência de recursos computacionais.
Portanto, os parâmetros utilizados na próxima seção foram aqueles obtidos a partir da estimação dos modelos com todas as variáveis explicativas - níveis 1 e 2 -, e efeitos aleatórios de intercepto, eq. (3). Para fins de discussão, nesse trabalho, foi considerado um nível de confiança de 95%.
Resultados e discussão
Em ambos os modelos nulos, eq. (1), foi observada a existência de variância significativa nos efeitos aleatórios de intercepto e residual. tabela 3, corroborando, portanto, para adequabilidade da escolha de modelos hierárquicos para o ajuste dos dados do estudo.
Modelo A (1) | Modelo B (2) | ||||
Valor | p-value | Valor | p-value | ||
Efeito fixo | |||||
Intercepto | 505,5425 | 0 | 515,6472 | 0 | |
Efeito aleatório | |||||
Aluno - nível 1 | |||||
Variância - Resíduo | 5565,4029 | 0 | 6616,1916 | 0 | |
Resumo: Modelo nulo - conclusão | |||||
Modelo A (1) | Modelo B (2) | ||||
Valor | p-value | Valor | p-value | ||
Município - nível 2 | |||||
Variância: intercepto | 395,3911 | 0 | 586,0055 | 0 | |
ICC (3) | 0,0663 | 0,0814 | |||
Log-likelihood | -516 274,1 | -322 293,7 |
Fonte: autores.
Na tabela 4, é possível visualizar os resumos dos modelos com as variáveis explicativas do nível 1 e efeitos aleatórios de intercepto, eq. (2).
Modelo A (1) | Modelo B (2) | |
Valor | Valor | |
Variâncias | ||
Resíduo | ||
Nível 1 (aluno) | 4221,6734 | 5303,9057 |
Intercepto | ||
Nível 2 (município) | 189,5113 | 250,8871 |
ICC | 0,0430 | 0,0452 |
Log-likelihood | -503 736,3 | -316 059,2 |
Fonte: autores.
Já na tabela 5, cujos resultados foram utilizados na discussão que segue, temos os parâmetros obtidos a partir do modelo com a inserção da variável de nível 2, eq. (3). Note que a inserção das variáveis explicativas melhorou, progressivamente, o log-likelihood value dos modelos.
Modelo A (1) | Modelo B (2) | |||
Valor | p-value | Valor | p-value | |
Efeito Fixo | ||||
Aluno (Nível 1) | ||||
Intercepto | 454,81 | 410,45 | ||
Modelo com as variáveis explicativas do Nível 1, Nível 2 e interceptos aleatórios: conclusão. | ||||
Modelo A | Modelo B | |||
Valor | p-value | Valor | p-value | |
sexo_masc | 3,32 | 0 | 3,08 | 0 |
raca_preta | -12,70 | 0 | -16,89 | 0 |
raca_parda | -10,11 | 0 | -12,73 | 0 |
raca_amarela | 8,80 | 0 | 13,81 | 0 |
raca_indigena | -15,19 | 0,0029 | -44,96 | 0 |
raca_nao_declarada | -6,02 | 0,0003 | -10,26 | 0,0001 |
renda_ate_1_salario | -2,08 | 0,3792 | 1,70 | 0,6284 |
renda_1_a_3_salario | 7,23 | 0,0014 | 12,40 | 0,0002 |
renda_3_a_5_salario | 18,58 | 0 | 26,36 | 0 |
renda_5_a_10_salario | 27,56 | 0 | 37,30 | 0 |
renda_mais_10_salario | 45,42 | 0 | 53,17 | 0 |
escol_pai_fund_incompleto | 4,05 | 0,0689 | 7,76 | 0,0846 |
escol_pai_fund_completo | 5,85 | 0,0103 | 12,01 | 0,0083 |
escol_pai_medio_completo | 13,05 | 0 | 17,46 | 0,0001 |
escol_pai_superior_completo | 26,11 | 0 | 29,48 | 0 |
escol_pai_nao_sei | 3,33 | 0,1580 | 8,71 | 0,0609 |
escol_mae_fund_incompleto | 9,05 | 0,0002 | 12,19 | 0,0240 |
escol_mae_fund_completo | 11,54 | 0 | 13,62 | 0,0121 |
escol_mae_medio_completo | 18,79 | 0 | 20,08 | 0,0002 |
escol_mae_superior_completo | 28,51 | 0 | 29,48 | 0 |
escol_mae_nao_sei | -2,38 | 0,4005 | 1,86 | 0,7514 |
internet_sim | 8,84 | 0 | 12,27 | 0 |
tipo_escola_publica | -48,77 | 0 | -38,30 | 0 |
Município (Nível 2) | ||||
indice_ipr | 82,39 | 0 | 113,26 | 0 |
Efeito Aleatório Variâncias | ||||
Resíduo | ||||
Nível 1 (aluno) | 4221,62 | 5306,22 | 0 | |
Intercepto | ||||
Nível 2 (município) | 153,20 | 186,57 | 0 | |
ICC | 0,035 | 0,034 | ||
Log-likelihood | -503 702,6 | -316 036,9 |
Fonte: autores.
Em ambos os modelos, todos parâmetros da variável cor/raça mostraram-se estatisticamente significantes. Os resultados indicam que os estudantes que se autodeclararam pretos, pardos ou indígenas, tiveram um efeito negativo dessa variável em seus desempenhos e tal efeito foi acentuado durante a pandemia. Note que, no caso dos indígenas, esse impacto teve um aumento de, aproximadamente, 196%.
As variáveis escolaridade da mãe e escolaridade do pai mostram que, quanto maior o nível de escolaridade dos pais, melhor o desempenho dos estudantes, reforçando os resultados observados em Silva Jr. e Amorim (2013) e Moraes e Perez (2022).
Note que a relação positiva da variável escolaridade do pai, no desempenho do estudante, é cerca de 4,5 vezes maior - modelo A - e 2,5 vezes maior - modelo B -, quando o pai possuí ensino superior completo, se comparado àquele que possuí apenas o ensino fundamental completo. O mesmo fato é observado em relação a escolaridade da mãe. Mas, nesse caso, a relação positiva é de aproximadamente 116% - modelo B. Vale ressaltar que, durante a pandemia de Covid-19, houve um aumento na influência dessa variável sobre o score obtido pelos estudantes.
A renda familiar só não foi estatisticamente significativa para a categoria até 1 salário-mínimo. Nas demais, é possível observar um aumento consistente no desempenho dos alunos conforme a faixa de renda vai sendo elevada. Aliás, quando comparados alunos cuja renda familiar é de 1 até 3 salários, com aqueles posicionados na faixa superior a 10 salários-mínimos. Estes tiveram uma relação positiva cerca de seis vezes maior, no biênio anterior a pandemia, e cerca de quatro vezes maior nos dois primeiros anos da Covid-19.
Vale destacar que, no período de 2020 até 2021, houve uma redução do percentual de alunos cujas rendas familiares são inferiores a três salários-mínimos e um aumento daqueles cuja renda declarada é superior a três salários, quando comparado com o período de 2018 até 2019. Mais especificamente, a proporção de alunos com renda declarada superior a três salários-mínimos teve um aumento de 22,7%, enquanto a proporção daqueles cuja renda é inferior a três salários-mínimos teve uma redução de 12,1%.
Faixa de renda | Período: 2018 até 2019 | Período: 2020 até 2021 |
(%) dos candidatos inscritos | (%) dos candidatos inscritos7 (1) | |
Sem renda | 1,12 | 1,24 |
Até 1 salário | 9,44 | 9,06 |
1 até 3 salários | 54,70 | 47,08 |
3 até 5 salários | 16,44 | 18,36 |
5 até 10 salários | 12,33 | 15,34 |
Acima de dez salários | 5,96 | 8,92 |
Fonte: autores.
Os resultados apresentados, reforçam a hipótese de que características ligadas ao ambiente familiar exercem influência sobre o resultado educacional dos alunos, conforme apontam Riani e Rios-Neto (2008), e que os alunos em maior situação de vulnerabilidade sofreram mais os efeitos negativos da pandemia, corroborando com os resultados de Cavalcante, Komatsu e Menezes Filho (2020).
A variável acesso à internet apresentou significância estatística em ambos os modelos, sendo que os estudantes que afirmaram possuir acesso à internet obtiveram impacto positivo nos seus desempenhos. Além disso, houve um aumento de 39,8% no impacto positivo dessa variável durante os dois primeiros anos da pandemia de Covid-19, se comparado com o impacto observado no biênio imediatamente anterior.
Esse fato pode ser associado a obrigatoriedade de aulas remotas impostas pela pandemia. Ou seja, o acesso à internet pode ter influenciado a aprendizagem com maior intensidade nesse período e, consequentemente, a nota dos candidatos que realizaram o Enem. Cabe destacar que a proporção de estudantes sem acesso à internet que realizaram o Enem, durante o primeiro biênio da pandemia de Covid-19, é quase quatro vezes menor que no período de 2018 até 2019, indicando que uma grande parcela dos alunos que não possuíam acesso à internet sequer chegou a realizar as provas.
Estudante | 2018 até 2019 | 2020 até 2021 |
Com acesso à internet | 87,44% | 96,74% |
Sem acesso à internet | 12,56% | 3,26% |
Fonte: autores.
A variável Índice Ipardes, nível 2, influenciou positivamente no resultado dos alunos, sendo que tal influência sofreu um aumento de 37,5% durante a pandemia, mostrando que quanto melhor a qualidade de vida no município, maior foi score obtido. Esse resultado nos leva a crer que esses municípios conseguiram responder melhor aos prejuízos causados pela Covid-19, mas tal afirmação carece de um estudo mais aprofundado acerca das características desses municípios.
No modelo A, que se refere ao biênio anterior a pandemia, a variável tipo de escola foi a que exerceu maior influência no score obtido, penalizando em cerca de 48,8 pontos os estudantes que concluíram o ensino médio em escolas públicas. É interessante observar que tal impacto negativo no score sofreu uma redução de aproximadamente 21,5% no período que contempla os dois primeiros anos da Covid-19, fato que poderia indicar uma redução na disparidade observada nos desempenhos entre alunos de escolas públicas e particulares.
No entanto, é preciso uma investigação mais aprofundada sobre esse resultado, visto que houve uma queda significativa na quantidade de alunos oriundos de escolas públicas que realizaram o Enem nesse período, enquanto a quantidade de estudantes de escolas particulares manteve certa estabilidade.
Não obstante, mesmo que consideremos tal redução, ainda é significativa a disparidade observada no desempenho entre estudantes de escolas públicas e privadas, visto que, por exemplo, menos de 25% dos alunos de escolas públicas obtiveram pontuação superior a 583 pontos. Mas, entre os alunos de escolas particulares, mais de 50% obtiveram tal pontuação.
Considerações finais
Nesse trabalho, foram apresentados resultados relacionados a fatores que influenciaram o desempenho de estudantes paranaenses nos dois primeiros anos da pandemia de Covid-19, a partir dos microdados do Enem.
A partir dos resultados obtidos, por meio da estimação de modelos multinível de regressão, é possível inferir que os efeitos negativos da pandemia afetaram com maior intensidade os alunos com renda familiar inferior a três salários-mínimos e matriculados em escolas públicas, exercendo maior influência sobre o desempenho escolar desses estudantes.
A variável cor/raça também influenciou significativamente o score obtido pelos estudantes que realizaram o Enem no primeiro biênio da pandemia, apresentando uma relação negativa com o desempenho dos estudantes autodeclarados: pretos, pardos ou indígenas, se comparados com os que se autodeclaram: amarelos ou brancos. Sendo que os indígenas foram os mais prejudicados. Vale destacar que a ampla maioria desses alunos são alunos de escolas públicas e, portanto, tiveram um prejuízo ainda maior nos seus desempenhos.
Um resultado curioso foi a redução na diferença do desempenho observado entre alunos de escolas públicas e particulares, no período da pandemia de Covid-19. Sobre esse resultado, é razoável afirmar que houve uma redução artificial em tal diferença, pois, os jovens matriculados em escolas públicas, sobretudo aqueles em situação de maior vulnerabilidade social, foram mais prejudicados pelos desdobramentos desse período pandêmico e, em muitos casos, acabaram nem chegando a realizar o Enem.
Também foi possível notar a existência de variabilidade estatisticamente significativa entre o desempenho de alunos matriculados em escolas situadas em municípios distintos, sendo observada uma relação positiva entre os índices socioeconômicos dos municípios e o desempenho dos alunos. Esses resultados podem estar associados a eficácia das políticas públicas adotadas no combate a Covid-19 em cada município, em especial aquelas voltadas à viabilização de acesso e permanência nas aulas remotas emergenciais. No entanto, dadas as limitações desse trabalho, é necessária uma análise mais aprofundada sobre o impacto do contexto município sobre o desempenho dos estudantes.
Portanto, em relação a trabalhos futuros, parece ser pertinente prosseguir com a estimação dos modelos completos, com coeficientes aleatórios e interações entre níveis. Pois, assim, além de melhorar a capacidade preditiva do modelo, também será possível investigar com maior profundidade como as variáveis explicativas dos dois níveis, aluno e município, influenciaram o score dos estudantes, no período estudado.
Além disso, considerando o impacto que o desempenho no Enem pode ter sobre as possibilidades de mobilidade social intra ou intergeracional do indivíduo, entende-se que seja importante a elaboração de novas investigações acerca do perfil socioeconômico dos alunos de escolas públicas que deixaram de realizar o Enem, nos anos de 2020 e 2021, a fim de propor ações para mitigar os prejuízos causados pela pandemia na formação desses jovens.