texto en 
Inglés (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
Para que as políticas educacionais sejam capazes de reduzir as desigualdades de aprendizagem e no fluxo escolar, é preciso que o poder público disponha de indicadores periódicos sobre as condições de ensino-aprendizagem. É nesse sentido que podemos compreender o movimento ocorrido entre o final do século XX e início do século XXI, quando a democratização brasileira e a ampliação do debate público sobre a educação básica foram seguidas pelo desenvolvimento dos sistemas de informações escolares.
As pesquisas quantitativas sobre as desigualdades educacionais costumam focar os dados obtidos via Censo Escolar e Sistema de Avaliação da Educação Básica (Saeb). Porém, os jovens que abandonam ou se evadem do sistema formal de ensino ficam de fora dos registros administrativos e das avaliações de larga escala. De maneira complementar, o alcance dessas avaliações é desigual entre os municípios e escolas. Essa constatação motivou a proposição do uso da taxa de participação nos testes como fator de ajuste da nota final (Acosta et al., 2021). Além de enviesar os resultados, baixas taxas de participação podem impedir o acesso a informações desagregadas, na medida em que são divulgados apenas os resultados das avaliações de municípios e escolas que alcançam uma dada proporção dos seus estudantes. Em 2021, esse valor era de 50% do município e 80% da escola.
Partimos da hipótese de que a participação dos estudantes no Saeb não é um fenômeno aleatório, visto que depende das capacidades locais de aplicação dos testes. É possível que determinados municípios e escolas (justamente aqueles com menos recursos, piores indicadores de aprendizagem e baixos níveis socioeconômicos) sejam mais propensos a não alcançarem as taxas mínimas de participação exigidas para a divulgação dos resultados desagregados. Um efeito importante é a reprodução de desigualdades preexistentes no cálculo e na difusão de dados públicos. Caso a hipótese seja confirmada, estamos diante de um processo de apagamento institucional de certos locais e grupos de estudantes, o que torna invisível parte da comunidade escolar dos diagnósticos educacionais (Soares, 2020; Welter & Werle, 2021).
A investigação se concentra no período de 2017 a 2021, que, entre outras mudanças, foi atravessado pela pandemia de covid-19. Apesar de o presente artigo não avaliar os impactos da pandemia na aplicação dos testes, a influência desse fator externo sobre o objeto de estudo nos permite verificar não apenas a existência de um problema estrutural, relativo à ausência de informações sobre as escolas e municípios, mas o possível agravamento dessa situação em um cenário extremo. Em face da adoção de medidas de isolamento social para conter a transmissão do vírus, a interrupção das atividades presenciais de ensino não afetou todos os estudantes da mesma forma. Isso nos leva a questionar se as medidas adotadas pelas escolas durante a pandemia, agrupadas em torno de um indicador sintético (Senkevics & Bof, 2022), afetaram a capilaridade do Saeb. Assim, o artigo problematiza a lacuna de informações no território brasileiro e seus impactos para a elaboração e implementação de políticas públicas, tendo em vista os diferentes fatores estruturais e contextuais que podem ter interferido na capacidade de aplicação dos testes de larga escala no último quadriênio.
Algumas escolhas metodológicas merecem ser discutidas: i) historicamente, o ensino médio possui os piores indicadores brasileiros de aprendizagem e evasão, o que nos motivou a focar essa etapa de ensino; ii) a rede pública de nível médio pode ser gerida pelos governos estaduais e federal. Assim, limitamos o estudo às escolas da rede estadual para garantir o mínimo de comparabilidade dos resultados em série histórica; iii) devido ao seu desenho metodológico, o artigo não analisa os impactos da pandemia de covid-19 na associação entre as desigualdades educacionais e a divulgação dos resultados. O objetivo é ponderar como um problema estrutural foi, durante a pandemia, atenuado ou agravado nos municípios e escolas; e iv) a capilaridade dos testes de larga escala pode ser examinada tanto a partir das taxas de participação quanto por meio do indicador mínimo que deve ser alcançado para a divulgação dos resultados. O corte da não divulgação identifica quais municípios e escolas têm informações desagregadas sobre os resultados de aprendizagem, o que explica a utilização desse corte, discutido ao longo do texto, como um indicador capaz de sintetizar a capilaridade dos testes de larga escala.
Este artigo se divide em mais quatro seções. A primeira analisa a formação das estatísticas educacionais brasileiras na pós-democratização. Já a segunda seção examina os dados obtidos no período 2005-2021, tendo em vista os resultados educacionais e a distribuição da não informação no território brasileiro. Em seguida, a terceira seção se dedica aos padrões de transição das escolas e municípios entre 2019 e 2021. Os municípios e escolas com resultados divulgados são contrastados aos municípios e escolas sem resultados, sublinhando as características socioeconômicas e os indicadores pretéritos de aprendizagem e aprovação. Finalmente, a quarta e última seção indica quais são os desafios impostos ao campo de estudos no tocante ao desenvolvimento de diagnósticos sobre o alcance e os limites das estatísticas escolares no Brasil.
Histórico da formação das estatísticas educacionais no Brasil
No Brasil, a abertura democrática foi acompanhada pela ampliação do acesso à educação básica. A Constituição de 1988 tornou o ensino público e gratuito um direito essencial. Essa iniciativa foi complementada, nos anos seguintes, pela implantação de mecanismos democráticos de gestão e pela tentativa de garantir condições adequadas de aprendizagem e permanência nas escolas.
Na década de 1990, a descentralização das políticas educacionais ocorreu via municipalização das matrículas no ensino fundamental e maior autonomia administrativa e financeira das escolas (Arretche, 2002; Lotta et al., 2014). Para ampliar a capacidade de monitoramento dos resultados escolares, o Saeb foi criado em 1990, o que deu início à aplicação de testes padronizados de larga escala nas disciplinas de língua portuguesa e matemática. Em um contexto marcado pela reestruturação do Estado brasileiro e fortalecimento da sua atuação gerencial, o Saeb passou a cumprir um papel estratégico na análise da eficácia escolar (Araújo et al., 2019).
Em 1996, a Lei de Diretrizes e Bases (LDB) da Educação Nacional (Lei n. 9.394, 1996) buscou assegurar um “processo nacional de avaliação do rendimento escolar . . . em colaboração com os sistemas de ensino”. A LDB instituiu que a União seria responsável por coletar, analisar e disseminar informações sobre o sistema educacional, enquanto os estados e municípios deveriam recensear os jovens e adultos matriculados no ensino fundamental. Ainda em 1996, a criação do Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e de Valorização do Magistério (Fundef) estabeleceu incentivos à expansão da oferta de vagas no ensino fundamental, por meio de repasses automáticos aos municípios (Gomes, 2019).
As estatísticas educacionais passaram por um novo ciclo de fortalecimento na década seguinte. Em 2001, a Lei n. 10.172 aprovou o Plano Nacional de Educação (PNE). Além da obrigatoriedade do ensino fundamental e da ampliação dos demais níveis de ensino, o PNE definiu que as políticas públicas deveriam basear-se nos “dados e análises qualitativas e quantitativas fornecidos pelo sistema de avaliação”, que representam “importantes mecanismos para promover a eficiência e a igualdade do ensino médio oferecido em todas as regiões do País” (Lei n. 10.172, 2001). Pouco tempo depois, em 2006, a criação do Fundo de Manutenção e Desenvolvimento da Educação Básica (Fundeb) materializou o objetivo de universalizar essa etapa de ensino.1
Já no ano de 2007, o Decreto n. 6.094 instituiu o Plano de Metas Compromisso Todos pela Educação. O plano pactuou diretrizes e objetivos entre o governo federal, entidades subnacionais e a sociedade civil. Por meio da oferta de assistência técnica e financeira aos estados e municípios, o plano reafirmou a necessidade de monitorar a frequência e o desempenho dos estudantes, fazendo uso do Índice de Desenvolvimento da Educação Básica (Ideb) como uma medida capaz de sintetizar o grau de implementação das diretrizes do plano nos governos subnacionais.
Duas outras iniciativas relevantes foram implementadas em 2007. A Portaria n. 316 (2007) do Ministério da Educação criou o Censo Escolar, voltado à coleta informações dos estudantes e escolas via regime de colaboração entre municípios, estados e União. Os dados apurados a cada ano passaram a basear o cálculo dos coeficientes de distribuição dos recursos do Fundeb. Por sua vez, o Ideb passou a compor o Plano de Desenvolvimento da Educação (PDE), unificando os resultados do Saeb2 e a taxa de aprovação dos estudantes informada pelo Censo Escolar. O Ideb se tornou o indicador mais importante de monitoramento da educação básica, permitindo o acompanhamento de metas educacionais e a investigação de quais variáveis individuais, familiares e escolares afetam a aprendizagem e a permanência dos jovens nas escolas (Duarte, 2013; Lourenço et al., 2017).
Até o início dos anos 2010, a busca pela igualdade escolar se tornou uma iniciativa comum para a elaboração de normativas. A abertura democrática estabeleceu um novo modelo de política educacional, cujas regras e práticas foram definidas nas décadas seguintes. A garantia da aprendizagem e a redução das desigualdades educacionais nortearam o debate público, enquanto o acesso à educação básica se expandiu no país, em um processo de evolução incremental das iniciativas educacionais (Arretche et al., 2021). Apesar desses avanços, a população brasileira permaneceu com escolaridade média muito baixa, e os indicadores de frequência e conclusão escolar continuaram a variar bastante entre os grupos raciais, níveis de renda e regiões do país (Castro, 2009; Medeiros & Oliveira, 2014).
A organização da educação básica experimentou algumas mudanças na década de 2010. Em 2014, a Lei n. 13.005 instituiu um novo PNE, válido para o decênio 2014-2024. Dentre as metas estabelecidas para a educação brasileira, constam a elevação das notas de aprendizagem do Saeb, a equalização da escolaridade média de negros e não negros e o alcance de pelo menos 12 anos de estudo para o quartil mais pobre da população. O novo PNE definiu o Saeb como a medida mais importante de qualidade da educação básica, o que balizou a oferta de assistência técnica e financeira aos municípios (Gesqui, 2016).
Em 2017, a Medida Provisória n. 746 foi convertida na Lei n. 13.415, alterando pontos importantes da LDB, iniciativa conhecida como Reforma do Ensino Médio. A reforma tem elevado de maneira gradativa a carga horária da educação básica, organizada em itinerários formativos e um módulo obrigatório. Nesse sentido, os repasses financeiros devem priorizar os estados “com resultados mais baixos nos processos nacionais de avaliação do ensino médio” (Lei n. 13.415, 2017). Contudo, a limitação dos dados censitários do Saeb às disciplinas de língua portuguesa e matemática restringe a avaliação dos resultados escolares, levando-se em conta a diversificação curricular promovida pela nova Base Nacional Comum Curricular (BNCC).3
Logo em seguida, no ano de 2020, o novo Fundeb foi regulamentado pelo Projeto de Lei n. 4.372, convertido na Lei n. 14.113. Além de ampliar o repasse de recursos aos estados com menor gasto por aluno, a nova lei inseriu incentivos financeiros às redes com bons indicadores de desempenho e redução das desigualdades. Ficou decidido que 2,5% do total de complementação da União se daria a partir do Valor Aluno Ano Resultado (Vaar), oferecido às redes que “alcançarem evolução de indicadores a serem definidos, de atendimento e de melhoria da aprendizagem com redução das desigualdades” (Lei n. 14.113, 2020). Partindo dessa normativa, em 2022, a Comissão Intergovernamental de Financiamento para a Educação Básica de Qualidade aprovou uma metodologia de cálculo de medição das desigualdades socioeconômicas e raciais. As desigualdades educacionais devem ser medidas a partir da razão entre as médias de proficiência obtidas no Saeb de 2017 a 2019 para quartis socioeconômicos, assim como entre estudantes da Categoria 2 (pretos, pardos e indígenas) e Categoria 1 (brancos e amarelos). Entre outros requisitos, os cálculos são condicionados à “existência de população válida para a aplicação do Saeb” e à “existência de alunos em quantitativo suficiente” para o cálculo das médias com boa precisão.
Esse histórico ilustra uma dualidade do sistema brasileiro de informações educacionais. Além de subsidiar diagnósticos das características da educação básica, esse sistema tem balizado a criação de métricas de desempenho para as escolas e entes federados. A ideia é que a efetividade escolar e o alcance de metas pactuadas pelo poder público dependem das decisões de gestores, e, assim, é necessário identificar as boas práticas e apresentá-las à comunidade escolar como exemplos de “sucesso”. Porém veremos alguns limites desse paradigma, o que demanda reflexões críticas sobre as lacunas de dados educacionais nos municípios e escolas.
A evolução dos resultados do ensino médio no Brasil e a disponibilidade de dados nos municípios
Como um indicador sintético, o Ideb é o produto de dois componentes: a nota média padronizada de matemática e língua portuguesa (IN), que é medida pelas notas do Saeb ao final de cada etapa de ensino; e o Índice de Rendimento (IP), que resulta da média harmônica das taxas de aprovação disponibilizadas pelo Censo Escolar. A multiplicação do IN pelo IP penaliza possíveis desequilíbrios entre os indicadores, como no caso das escolas que aprovam muitos estudantes com baixa proficiência. A Figura 1 apresenta a evolução dos componentes do Ideb na rede estadual de nível médio entre 2005 e 2021.4
O IP cresceu continuamente entre 2005 e 2019, quando o aumento da aprovação foi acompanhado por recuos nas taxas de abandono e reprovação. Embora essa tendência tenha continuado entre 2019 e 2021, o indicador deve ser analisado com cautela, visto que 99,3% das escolas brasileiras suspenderam suas atividades presenciais de ensino durante a pandemia de covid-19 (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Inep], 2021). A oferta de atividades remotas seguiu formatos diversos, e os parâmetros de acompanhamento dos estudantes foram flexibilizados, tanto no registro de aulas e frequências quanto nos critérios de aprovação e matrícula.5 Entre 2019 e 2021, a composição do fluxo indica uma queda acentuada da taxa de reprovação (de 10% para 4,4%), que foi complementada pela estabilidade da taxa de abandono (de 5,5% para 5,8%). Todavia as análises de dados primários constataram um aumento do abandono que era invisível nos registros administrativos.6
Fonte: Elaboração dos autores com base nos dados do Inep (2005-2021).
Figura 1 Componentes do Ideb na rede estadual de ensino médio (2005-2021)
A evolução do IN seguiu um caminho distinto. A proficiência em língua portuguesa evoluiu de maneira lenta e irregular entre 2005 e 2019, enquanto a proficiência em matemática permaneceu estável ao longo desse período, pois a queda em 2011-2017 foi compensada por um aumento na passagem para 2019. A Figura 1 demonstra que a proficiência média em matemática está mais distante do aprendizado considerado adequado,7 tendência que acompanha toda a série histórica.
Entre 2019 e 2021, o recuo dos resultados do IN foi importante, mas menos expressivo do que havia sido previsto pelo campo educacional.8 Isso fez com que o índice de 2021 tenha figurado como o segundo maior valor de toda a série histórica. Dada a excepcionalidade do contexto de aplicação das provas e a variação observada nos territórios, o indicador passou a ser contemporizado, pois é possível que uma menor cobertura dos testes padronizados em territórios e grupos sociais com baixos in- dicadores de proficiência tenha enviesado os resultados das provas. Esse assunto ainda desperta a atenção de pesquisadores em face da recente, porém incompleta, liberação dos microdados individuais.
A Figura 2 reúne esses componentes ao apresentar o Ideb da rede estadual de ensino médio. O índice aumentou de 2005 a 2009, manteve-se estável até 2017 e experimentou novo crescimento entre 2017 e 2019. A evolução foi mais lenta do que a registrada no ensino fundamental, a despeito da hipótese, bastante difundida à época, de que a tendência positiva no início da educação básica iria repercutir em ganhos de médio prazo no ensino médio (Fernandes, 2016). A partir de 2013, o Ideb da rede estadual de ensino médio se descolou da meta estipulada pelo Inep, distância que passou a aumentar com o passar dos anos.9 Entre 2019 e 2021, a queda da proficiência foi equilibrada pela elevação da aprovação dos estudantes, o que fez com que o Ideb permanecesse praticamente estável. Visto que os critérios de aprovação e contagem de frequência em 2021 foram mais heterogêneos entre os estados do que nos anos anteriores, tornou-se inviável criar rankings de desempenho ou avaliar acriticamente a evolução da série histórica.
Fonte: Elaboração dos autores com base nos dados do Inep (2005-2021).
Figura 2 Evolução do Ideb para a rede estadual do ensino médio (2005-2021)
A Figura 3 apresenta a evolução, de 2017 a 2021, do IN e do IP na rede estadual de ensino médio nos municípios brasileiros. Na escala de cores, as áreas escuras alcançaram indicadores mais altos, enquanto as áreas cinzas representam os municípios sem dados divulgados. No caso do IN, a disponibilização de dados desagregados depende do alcance da taxa mínima de participação no Saeb, como proporção dos estudantes aptos à realização das provas. Essa taxa mudou de 50% em 2017 (Portaria n. 447, 2017) para 80% em 2019 (Portaria n. 366, 2019). Em 2021, a taxa mínima foi reduzida novamente para 50% (Portaria n. 250, 2021), com exceção dos municípios com apenas uma escola, para os quais a taxa permaneceu fixada em 80%. Já o IP depende da existência de escolas de ensino médio e do preenchimento adequado do Censo Escolar.
Dois elementos chamam a atenção. Em primeiro lugar, o cálculo do Ideb independe da cobertura da rede, e, assim, um município pode combinar índice elevado com a exclusão de jovens do sistema público de ensino (Padilha et al., 2012). Se esses fatores já eram motivo de preocupação nos anos 2000 e 2010, tornaram-se ainda mais relevantes na passagem de 2019 para 2021, devido aos efeitos desiguais da pandemia na permanência dos estudantes e nas condições de ensino-aprendizagem. Em segundo lugar, o IP aumentou em quase todo o território nacional, quando a taxa de aprovação passou a ser afetada por decisões administrativas das redes estaduais de ensino; em particular, as medidas de flexibilização do acompanhamento dos estudantes durante a pandemia.10
Para os propósitos deste artigo, o mais importante é reconhecer que o problema da não informação se expandiu nos municípios. No caso do Saeb, apenas 5,2% dos municípios em 2017 não haviam alcançado a taxa mínima de participação. Esse indicador cresceu para 14,4% em 2019 e 39,2% em 2021, ainda que o critério de divulgação tenha sido flexibilizado no contexto pandêmico. A variação do IP foi menos expressiva, de 2,8% para 2,9% dos municípios entre 2017 e 2021, dado que o preenchimento dos registros administrativos foi menos prejudicado pela transformação das condições de ensino-aprendizagem. Para compreender melhor como esse fenômeno afetou a rede estadual de ensino médio, o próximo tópico analisa os padrões observados na distribuição da não informação no Brasil.
O problema da não informação e as transições de escolas e municípios entre 2019 e 2021
É esperado que a produção e difusão de informações educacionais estruturem um sistema de responsabilização e prestação de contas (Vidal & Vieira, 2011). O objetivo é orientar as políticas educacionais e estimular iniciativas consideradas exitosas. A ideia por trás desse sistema é que a disponibilização de informações fornece incentivos à rede educacional, por meio de um modelo concorrencial (Alves & Soares, 2013) caracterizado por um tipo “fraco” de accountability (Fernandes, 2016).11 O uso do Ideb para identificar os municípios mais vulneráveis serviu como ponto de partida para acordos de assessoria técnica entre o governo federal e as entidades subnacionais (Souza & Batista, 2016; Fernandes & Nogueira, 2020). Nos últimos anos, a premiação simbólica das escolas e municípios foi complementada com repasses financeiros que são atrelados à redução das desigualdades educacionais.
Contudo, os resultados dos testes de larga escala têm limites. Apenas os estudantes presentes no dia dos testes são incluídos no cálculo do Saeb. Para evitar que informações pouco representativas sejam utilizadas pelo poder público, o Inep fixou uma taxa mínima de participação para que os dados das escolas e municípios sejam divulgados. Nas unidades que não alcançaram essa taxa mínima, os resultados são incluídos no cálculo da proficiência média das unidades da federação (UF), mas não são disponibilizados de maneira desagregada. Esse cálculo se baseia na calibração dos pesos das escolas, turmas e alunos, a fim de garantir que as estimativas amostrais coincidam com as contagens populacionais disponíveis no Censo Escolar. No caso dos estudantes, a ponderação dos resultados corrige a perda de alunos dentro das turmas, como forma de lidar com o efeito da “não resposta”.
Caso a amostra do Saeb não reflita as características populacionais, a ponderação pode agravar vieses (França & Gonçalves, 2010). Os alunos incluídos nos testes podem, por exemplo, corresponder à parcela do corpo discente com melhor desempenho escolar. Nesse cenário, a ponderação visa a lidar com a ausência dos demais alunos, mas acaba superestimando o desempenho médio da escola. Já o estabelecimento de uma taxa mínima de participação condiciona a disponibilidade dos resultados às capacidades locais de aplicação do Saeb, interseccionando as condições socioeconômicas e as características da rede de ensino. Quando não existem diferenças significativas entre os estudantes presentes e ausentes, a medida impossibilita o uso de dados válidos por parte da gestão municipal.
Para tratar do tema, o primeiro passo é verificar como o problema da ausência de informações se distribui no território brasileiro.12 A Figura 4 apresenta a proporção de municípios e escolas sem resultados divulgados em 2019 e 2021. De maneira geral, o indicador aumentou nos estados, devido aos efeitos da pandemia nas condições de aplicação dos testes. Vale lembrar que o critério de divulgação dos resultados foi flexibilizado para os municípios, enquanto permaneceu o mesmo para as escolas. Os estados com maiores taxas de não divulgação são, geralmente, oriundos das regiões Norte e Nordeste do país. Por outro lado, foram justamente dois estados nordestinos, Ceará e Pernambuco, que apresentaram as menores taxas de não divulgação. Os estados de Roraima, Bahia e Paraíba sofreram o aumento mais expressivo da proporção de municípios sem resultados divulgados entre 2019 e 2021, enquanto, no caso da divulgação por escolas, o maior crescimento foi registrado nos estados do Espírito Santo, Paraíba e Bahia.
No ano de 2021, em 12 das 26 UF, pelo menos metade dos municípios não tinha resultados desagregados para o Saeb. O número salta para 21 estados quando reportado à desagregação por escolas. A ausência de informações limita o sistema de avaliação, especialmente nos estados com piores condições de infraestrutura. Ainda assim, as iniciativas que articulam os gestores escolares, os municípios e as redes estaduais podem aprimorar a capilaridade dos testes, o que denota o efeito positivo de um regime de colaboração que acompanha o pacto federativo. Não à toa, os estados à esquerda da Figura 4 são comumente evocados em pesquisas sobre modelos exitosos de colaboração e mobilização da rede escolar (Barbosa, 2006; Vieira & Vidal, 2013; Oliveira, 2020).
Fonte: Elaboração dos autores com base nos dados do Inep (2019-2021).
Figura 4 Porcentagem de municípios e escolas sem resultados divulgados em 2019 e 2021, por UF
Entre os municípios sem resultados divulgados em 2021, 27% já não haviam alcançado a taxa mínima de participação em 2019. Ainda que esse dado ilustre a redução da capilaridade do Saeb, nota-se que não há dados desagregados de muitos municípios (9,8% do total) nem em 2019, nem em 2021. O Apêndice A apresenta a distribuição desse indicador entre as UF. Com 40,4% dos municípios sem resultados desagregados no último quadriênio, Rio Grande do Norte se destaca negativamente entre os estados brasileiros, seguido por Santa Catarina (27,8%) e Mato Grosso (24,3%). Por outro lado, nenhum município cearense ou pernambucano se enquadra nessa situação.13 No caso dos estados com alta proporção de municípios sem resultados desagregados, as avaliações estaduais, quando realizadas periodicamente e de maneira padronizada, representam a única fonte de informações sobre o desempenho escolar. Porém, isso não preenche o vácuo deixado pelos resultados do Saeb, que ocupam um lugar central no sistema de acompanhamento e gestão da educação básica, balizando a comparação entre as UF, acordos federativos e a distribuição de recursos.
A análise da educação básica deve reconhecer as desigualdades que determinam o acesso a oportunidades e o papel da escola nas trajetórias juvenis. A literatura destaca que as desigualdades educacionais combinam as características das escolas, os modelos de gestão e a composição da comunidade escolar (Gonçalves & França, 2008; Alves, 2020). No Brasil, as pesquisas apontam uma alta correlação entre a proficiência escolar e o nível socioeconômico das escolas (Inse),14 o que significa que os resultados de testes padronizados refletem as desigualdades estruturais do acesso à educação básica (Soares & Xavier, 2013; Mello & Bertagna, 2016). De outro modo, e mirando o escopo deste artigo, podemos indagar se as características socioeconômicas dos municípios e escolas também se associam à disponibilidade dos resultados dos testes de larga escala. Outro tema importante é como os indicadores pretéritos de aprendizagem ilustram as desigualdades territoriais na capilaridade dessas avaliações.
A Tabela 1 apresenta quatro indicadores agregados em 2019 pelo status dos municípios e escolas em 2021. Nesse “retrato” do passado, os resultados em 2019 eram, em média, inferiores entre as unidades que não alcançaram a taxa mínima de participação do Saeb em 2021. Os resultados apontam para a existência de possíveis vieses na seleção de estudantes, pois os municípios e escolas com os piores indicadores de aprendizagem e fluxo escolar perderam espaço na composição do agregado final. Esses municípios e escolas despertam uma preocupação especial para a formulação e implementação de políticas educacionais, pois, além de ocuparem as posições mais vulneráveis pré-pandemia, não dispõem de informações desagregadas para o Saeb em 2021.
Tabela 1 Componentes do Ideb e Inse médio em 2019, por escolas com e sem resultados divulgados em 2021
| Status em 2021 | Média do IN (2019) | Média do IP (2019) | Média do Ideb (2019) | Média do Inse (2019) |
|---|---|---|---|---|
| Municípios | ||||
| Resultados divulgados | 4,63 | 0,89 | 4,14 | 4,67 |
| Resultados não divulgados | 4,44 | 0,83 | 3,72 | 4,62 |
| Escolas | ||||
| Resultados divulgados | 4,76 | 0,91 | 4,4 | 4,76 |
| Resultados não divulgados | 4,53 | 0,83 | 3,93 | 4,78 |
Fonte: Elaboração dos autores com base nos dados do Inep (2019-2021).
A divulgação dos resultados parece estar mais associada ao desempenho anterior no Saeb do que ao Inse. Em outras palavras, as características socioeconômicas das escolas e municípios em 2019 são parecidas nos grupos com e sem disponibilidade dos resultados desagregados em 2021. Possivelmente, a baixa capilaridade do Saeb traduz experiências e problemas diversos, ao reunir escolas e municípios com experiências distintas de transição entre os grupos de proficiência escolar.
Para aprofundar essa perspectiva, cabe uma análise das trajetórias típicas dos municípios e escolas, cujas características demandam respostas públicas específicas. A seguir, os níveis do IN foram divididos pela distribuição dos seus quartis em 2019, procedimento complementa- do pela identificação das unidades sem resultados desagregados (SD).15 Os dados são apresentados para municípios (Tabela 2) e escolas (Tabela 3), com denominadores das proporções calculados para cada linha das tabelas.
Tabela 2 Matriz de transição dos municípios de 2019 para 2021, por grupos de IN
| IN em 2021 | ||||||
|---|---|---|---|---|---|---|
| Grupo 1 | Grupo 2 | Grupo 3 | Grupo 4 | SD | ||
| IN em 2019 | Grupo 1 | 591 (49,5%) |
76 (6,4%) |
6 (0,5%) |
3 (0,25%) |
517 (43,3%) |
| Grupo 2 | 266 (23,1%) |
371 (32,2%) |
100 (8,7%) |
18 (1,56%) |
397 (34,5%) |
|
| Grupo 3 | 63 (5,3%) |
376 (31,9%) |
368 (31,2%) |
79 (6,7%) |
295 (25%) |
|
| Grupo 4 | 25 (2,2%) |
140 (12,2%) |
329 (28,7%) |
385 (33,6%) |
268 (23,4%) |
|
| SD | 55 (7,8%) |
48 (6,8%) |
44 (6,2%) |
23 (3,3%) |
534 (75,8%) |
|
Fonte: Elaboração dos autores com base nos dados do Inep (2019-2021).
Nota: Células vermelhas: municípios que pioraram a proficiência entre 2019 e 2021; células verdes: municípios que aumentaram a proficiência; células cinzas: municípios sem resultados desagregados em apenas um dos anos; célula roxa: municípios sem resultados desagregados em 2019 e 2021.
Tabela 3 Matriz de transição das escolas de 2019 para 2021, por grupos de IN
| IN em 2021 | ||||||
|---|---|---|---|---|---|---|
| Grupo 1 | Grupo 2 | Grupo 3 | Grupo 4 | SD | ||
| IN em 2019 | Grupo 1 | 852 (31,1%) |
220 (8%) |
36 (1,3%) |
11 (0,4%) |
1.617 (59,1%) |
| Grupo 2 | 449 (15,9%) |
591 (20,9%) |
202 (7,2%) |
47 (1,7%) |
1.532 (54,3%) |
|
| Grupo 3 | 164 (5,8%) |
565 (19,8%) |
572 (20,1%) |
176 (6,2%) |
1.369 (48,1%) |
|
| Grupo 4 | 47 (1,6%) |
190 (6,6%) |
468 (16,4%) |
1.056 (36,9%) |
1.099 (38,4%) |
|
| SD | 334 (5,9%) |
336 (5,9%) |
279 (4,9%) |
178 (3,1%) |
4.534 (80,1%) |
|
Fonte: Elaboração dos autores com base nos dados do Inep (2019-2021).
Nota: Células vermelhas: escolas que pioraram a proficiência entre 2019 e 2021; células verdes: escolas que aumentaram a proficiência; células cinzas: escolas sem resultados desagregados em apenas um dos anos; célula roxa: escolas sem resultados desagregados em 2019 e 2021.
Entre 2019 e 2021, a maior parte dos municípios e escolas sofreu uma redução média da proficiência, seguidos por aqueles que permaneceram no mesmo quartil de distribuição. Para muitos municípios, essa queda foi expressiva, como entre aqueles que caíram do Grupo 4 para o Grupo 2 (12,2% do total). Também merece destaque a alta permanência dos municípios e escolas na condição de não divulgação, o que indica a existência de problemas estruturais que afetam a capilaridade da avaliação escolar.
A transição para a não divulgação é mais comum nos grupos iniciais de proficiência. Nas tabelas 2 e 3, a última coluna apresenta uma tendência decrescente, com proporção mais alta no Grupo 1 e consideravelmente menor no Grupo 4. Complementando os achados da Tabela 1, esse dado informa que as fronteiras entre os grupos de proficiência e o problema da não divulgação são mais porosas nos municípios e escolas com os piores indicadores pretéritos de aprendizagem.
Os grupos de transição podem ser analisados tanto a partir da sua distribuição geográfica quanto por meio da identificação das características locais que afetam a sua ocorrência. Partindo dessa perspectiva, os próximos trechos tratam dos municípios sem resultados divulgados em 2021, dadas as desigualdades estruturais da rede estadual de nível médio.
A Figura 5 identifica os municípios sem resultados divulgados em 2021. Esses 2.011 municípios (36,3% do total) ocupam a última coluna da Tabela 2 e são estratificados a partir dos tipos de transição entre 2019 e 2021. Já o Apêndice B apresenta a frequência relativa dos tipos de transição em cada UF. Para os propósitos deste artigo, duas trajetórias são relevantes: a passagem do Grupo 1 de proficiência em 2019 para a categoria que engloba os municípios sem divulgação dos resultados em 2021, pois esse tipo de trajetória ilustra um vácuo de informações nos municípios que já apresentavam índices problemáticos de desempenho acadêmico (e que, muito provavelmente, não foram superados durante a fase mais aguda da pandemia); e a permanência de municípios na situação de não divulgação dos resultados do Saeb, experiência que traduz a ausência duradoura de informações desagregadas, em uma espécie de vácuo dos testes de larga escala.
Os municípios das regiões Norte e Nordeste têm as maiores frequências relativas da transição do Grupo 1 para a não divulgação, com destaque para os estados de Roraima (86,7% dos municípios),16 Amapá (37,5%), Bahia (35,8%) e Pará (31,2%). Já no caso dos municípios que não alcançaram a taxa mínima de participação em 2019 e em 2021, os estados das regiões Sul e Centro-Oeste se destacam negativamente. Ainda assim, o indicador foi liderado pelo Rio Grande do Norte (40,4% dos municípios), seguido por Santa Catarina (27,5%), Mato Grosso (23,6%), Mato Grosso do Sul (20,25%) e Pará (19,4%). Nota-se que esses estados têm perfis diversos. É plausível afirmar que fatores distintos levam à não divulgação, tais como as dificuldades na coordenação das ações entre os entes federados e o desafio de garantir o transporte escolar no dia das provas nas regiões com infraestrutura precária. O aprofundamento desse tema exigiria um estudo sobre as capacidades estatais instaladas nos territórios, a fim de identificarmos quais aspectos operacionais pesaram mais nas taxas de participação.
Fonte: Elaboração dos autores com base nos dados do Inep (2019-2021).
Figura 5 Municípios sem divulgação dos resultados em 2021, por tipo de transição entre 2019 e 2021
Como os dados suscitam dúvidas sobre quais fatores levam um município a alcançar a taxa mínima de participação no Saeb para que seus resultados desagregados sejam divulgados (50% dos alunos), elencamos algumas variáveis para verificar possíveis associações. Para calcular a probabilidade desse fenômeno em 2021, foi aplicado um modelo de regressão logística com distribuição binomial da variável dependente. Dentre as variáveis explicativas, constam as categorias de proficiência em 2019, mais uma vez seguindo a distribuição dos quartis de proficiência; a média do Inse em 2019; o logaritmo natural (ln)17 da quantidade de matrículas na rede estadual de ensino médio em 2021; o logaritmo natural dos recursos do Vaat pós-complementação da União em 2021;18 e o Índice de Resposta à Pandemia (IRP). O IRP varia em uma escala de 0 a 10 e foi proposto por Senkevics e Bof (2022) com base nas informações do Censo Escolar de 2020. Seu objetivo é avaliar as respostas técnico-pedagógicas das escolas à interrupção das atividades presenciais, considerando as estratégias de ensino remoto, o contato com a comunidade escolar e o apoio didático e tecnológico para professores, estudantes e suas famílias. No modelo de regressão, o índice é a média dos resultados obtidos pelas escolas da rede estadual de cada município, ponderada pelo número de matrículas.
Com resultados controlados para as UF, a Figura 6 informa o efeito marginal médio de cada variável. Ou seja, a diferença média em pontos percentuais na probabilidade de um município alcançar a taxa mínima de participação do Saeb em 2021, quando se altera cada variável explicativa em todas as unidades da amostra, mantendo-se as outras variáveis constantes.
A probabilidade de um município ter alcançado, em 2021, a taxa mínima de participação do Saeb foi mais alta nos municípios com maior proficiência em 2019. Em um município situado no quarto quartil de proficiência, essa probabilidade era cerca de 11 p.p. superior à calculada para um município no primeiro quartil. Apenas o segundo quartil de proficiência não exerceu efeito significativo no modelo, devido à sua proximidade em relação à categoria de referência. Ainda em comparação à categoria de referência, não ter alcançado a taxa mínima de participação em 2019 reduz em 17,8 p.p. a probabilidade de um município contar com os seus resultados desagregados em 2021 (Tabela 4).
Tabela 4 Regressão logística para calcular a probabilidade de um município alcançar a taxa mínima de participação no Saeb (2021)
| Variáveis | Coeficiente |
|---|---|
| Categorias de proficiência em 2019 (referência = 1o quartil) |
|
| 2o quartil | 0,083 (0,116) |
| 3o quartil | 0,366** (0,130) |
| 4o quartil | 0,66*** (0,141) |
| Sem divulgação | -1,027*** (0,142) |
| Variáveis quantitativas | |
| Índice de Resposta à Pandemia (IRP) | 0,127* (0,062) |
| Ln do número de matrículas | 0,37*** (0,039) |
| Ln do Vaat pós-complementação | 0,045 (0,299) |
| Média do Inse | 0,227 (0,165) |
| Resultados controlados por UF | Sim |
| Intercepto | -4,025*** (0,837) |
| Quantidade de municípios | 5.543 |
Fonte: Elaboração dos autores com base nos dados do Inep (2019-2021).
Nota: Erro padrão entre parênteses.
* p < 0,05; ** p < 0,01; *** p < 0,001.
Fonte: Elaboração dos autores com base nos dados do Inep (2019-2021).
Nota: Intervalo de confiança de 95% e resultados controlados por UF.
Figura 6 Efeito marginal médio sobre a probabilidade de um município alcançar a taxa mínima de participação no Saeb (2021)
Em um cenário marcado pela flexibilização do acompanhamento escolar, os municípios nos quais muitos estudantes (sobretudo aqueles com déficits de aprendizagem e percalços na trajetória escolar) haviam abandonado a escola, mas permaneciam com matrícula ativa, enfrentaram sérios obstáculos no alcance das taxas mínimas de participação. Esses estudantes eram incluídos no cálculo do denominador da taxa de participação, enquanto a sua presença no dia dos testes era, de partida, improvável. O desempenho anterior no Saeb é um indicador sintético das condições locais de inclusão dos estudantes no sistema de avaliação escolar, enquanto as estatísticas sobre o abandono encontravam-se mascaradas pelo cenário pandêmico. Vale sublinhar que a transição se baseia em dois momentos do tempo, e, por isso, as evidências se limitam a um período específico da educação básica brasileira. Afirmações mais assertivas sobre a associação entre as variáveis demandariam uma ampliação da série histórica.
A Figura 6 indica que o IRP apresentou um efeito positivo sobre a variável dependente. Cada unidade do IRP eleva em 2 p.p. a probabilidade de um município contar com resultados desagregados do Saeb. Em outras palavras, o alcance da taxa mínima de participação está associado à oferta de respostas técnicas e pedagógicas à pandemia. Vale lembrar que a capilaridade do Saeb depende de uma certa logística na aplicação dos testes e na mobilização da comunidade escolar, dependendo, ainda, de incentivos à presença dos estudantes no dia das provas. No modelo de regressão, o IRP pode ser interpretado como um indicador contextual do planejamento das atividades escolares e da articulação entre os atores da rede estadual.
Finalmente, os municípios com maior número de matrículas na rede estadual de ensino médio apresentaram mais chances de alcançar a taxa mínima de participação estabelecida para o Saeb. Vale notar que, desde os anos 1990, a expansão do ensino fundamental aumentou o número potencial de estudantes do ensino médio, fenômeno que se somou à expansão da rede pública de ensino e ao fortalecimento das políticas socioassistenciais, com efeitos positivos sobre a permanência dos jovens nas escolas (Brito, 2017; Sposito et al., 2018). Considerando a elevação do alcance da rede pública de ensino nos locais economicamente menos dinâmicos, e levando em conta o efeito de outras variáveis incluídas no modelo, a quantidade de matrículas não decorre tanto da presença de escolas no território, ou da existência de público para o ensino médio, mas sim do porte dos municípios e do seu papel na organização da rede estadual de ensino. Possivelmente, a Figura 6 indica uma maior capacidade de articulação das capitais e regiões metropolitanas com os governos estaduais e federal, o que garante uma mobilização mais efetiva de recursos materiais e humanos na aplicação dos testes. Os municípios com maior número de matrículas também tendem a concentrar estudantes da zona urbana, que enfrentam menos obstáculos para acessar o transporte escolar no dia dos testes.
Nem a média do Inse, nem o Vaat pós-complementação exerceram efeitos significativos no modelo de regressão.19 Os resultados são controlados por UF e já incluíram os indicadores médios de proficiência, o que pode atenuar o efeito de outras variáveis associadas às desigualdades intermunicipais. Também vale notar que o Inse é um indicador agregado, e, assim, os extremos da sua distribuição tendem a se compensar em municípios desiguais. Já no caso do Vaat, a complementação da União amortece a precariedade experimentada pelos municípios com menos recursos, o que garante a execução das suas atividades essenciais.
Considerações finais
Este artigo analisou o processo de constituição das estatísticas educacionais no Brasil, considerando seus pressupostos, avanços e desafios. Tendo em vista a dificuldade de alguns municípios e escolas alcançarem a taxa mínima de participação estabelecida para os testes de larga escala, destacamos alguns limites do sistema de responsabilização e prestação de contas que foi gestado no Brasil desde os anos 1990. A utilização do Ideb como uma métrica da eficácia escolar e como um balizador dos acordos de cooperação adquiriu centralidade na avaliação da educação básica. Porém, essa normativa contrasta com o alcance desigual das estatísticas educacionais nos municípios e escolas. Além do agravamento da situação nos últimos anos, a presença de uma situação extrema (no caso, a pandemia de covid-19) tensionou as capacidades estatais instaladas nos diferentes territórios.
Vimos que alguns estados, sobretudo aqueles com os piores indicadores educacionais, concentram proporções elevadas de municípios e escolas sem resultados desagregados. Os estados do Rio Grande do Norte, Mato Grosso, Tocantins, Pará, Amapá e Bahia acumulam frequências muito altas de municípios que transitaram do grupo inicial de proficiência para o grupo sem resultados desagregados e que permaneceram sem resultados disponíveis em 2019 e 2021. Esse cenário desafia a formulação e implementação das políticas educacionais, dado que a lacuna de informações sobre a proficiência escolar é complementada pela perda de informações sobre os municípios com os piores indicadores de aprendizagem.
Uma matriz de transição das escolas e municípios entre 2019 e 2021 ajudou a elucidar o cenário recente da educação básica, enquanto a aplicação de um modelo de regressão logística, voltada aos municípios, identificou quais fatores estão associados à disponibilização dos dados desagregados. Os resultados foram apresentados segundo os coeficientes do modelo de regressão e os efeitos marginais médios das variáveis explicativas, atestando que i) a baixa proficiência média e a incapacidade de alcançar a taxa mínima de participação, em 2019, estão associadas a menores chances de um município alcançar a taxa mínima de participação do Saeb em 2021; ii) a quantidade de matrículas e a média municipal do Índice de Resposta à Pandemia (Senkevics & Bof, 2022) estão positivamente associadas à probabilidade de um município contar com os seus resultados desagregados; e iii) os recursos do Vaat pós-complementação e a média do Inse não afetam a probabilidade de um município alcançar a taxa mínima de participação.
Esses resultados confirmam parcialmente a hipótese que foi apresentada no início do estudo, a saber, que a participação nos testes de larga escala depende de fatores estruturais, tais como a posição inicial dos municípios na distribuição dos indicadores pretéritos de aprendizagem. A única exceção ficou a cargo das características socioeconômicas, reunidas em torno do Inse, visto que esse é um indicador médio e desigualmente distribuído entre escolas e no interior de uma mesma escola. Ademais, os resultados precisam ser interpretados com cautela, sobretudo no que diz respeito à contextualização do período 2019-2021. Ressaltamos que o objetivo do artigo não é mensurar o impacto da pandemia de covid-19 na capilaridade das avaliações de larga escala, mas problematizar como, em um cenário marcado pela queda da capilaridade do Saeb, um problema estrutural (reprodução das desigualdades educacionais na disponibilidade dos resultados desagregados) desafia a elaboração e implementação das políticas públicas.
Esse cenário limita um modelo de gestão educacional de tipo descentralizado e concorrencial que se baseia no acompanhamento periódico das condições de aprendizagem no ensino médio. Por conseguinte, o debate público acerca do próximo ciclo do Saeb deve reconhecer as condições locais de aplicação dos testes, mirando a atenuação dos efeitos de desigualdades diversas na capilaridade da avaliação da educação básica. Os achados indicam que, para além da necessidade de contemporização das taxas de aprovação durante a pandemia, a capilaridade do Saeb se deu de maneira seletiva e limitada em 2021, constituindo um ponto de partida para as reflexões sobre a proficiência escolar.
Alguns temas podem ser aprofundados. Este artigo enfocou as desigualdades entre municípios e escolas na rede estadual de ensino médio. Além de expandir a pesquisa para outras redes e o ensino fundamental e utilizar uma série histórica mais ampla no próprio ensino médio, são necessários estudos que analisem as desigualdades intraescolares ou entre regiões de um mesmo município. É possível que não apenas as características dos municípios afetem o alcance das taxas mínimas de participação no Saeb, mas que, de maneira complementar, a capilaridade do sistema de avaliação seja menor em determinadas escolas e que as condições de participação nos testes sejam desigualmente distribuídas entre grupos de estudantes. Em diálogo com os resultados deste estudo, esses temas podem vir a subsidiar novas reflexões sobre os fatores que influenciam a capilaridade das estatísticas educacionais.
