Introdução

A Constituição Federal de 1988 salvaguarda a Educação como um direito fundamental, estabelecendo, no art. 206, a “garantia de padrão de qualidade”, como um dos princípios base do ensino (^{Brasil, 1988}, p. 123). Porém, para asseverá-lo é necessário garantir o acesso, a permanência, a aprendizagem e a conclusão da educação básica na idade certa.

Para verificar essas dimensões e monitorar os sistemas educacionais, indicadores têm sido desenvolvidos, buscando atribuir valor estatístico à qualidade da educação, a partir da combinação do desempenho dos estudantes em avaliações padronizadas, com variáveis de contexto, como fatores econômicos e sociais. Segundo ^{Parmenter (2015}), esses indicadores têm sido utilizados como instrumentos de gestão, permitindo identificar problemas existentes; apontar para a necessidade de mudanças e acompanhar o alcance de metas pré-estabelecidas.

No Brasil, o principal indicador de qualidade em educação é o Índice de Desenvolvimento da Educação Básica - Ideb -, criado em 2007 pelo Inep/MEC. Seu algoritmo está centrado na existência de um trade off¹ (^{Travitzki, 2020}) entre duas dimensões assumidas como essenciais para representar a realidade educacional: fluxo, baseado na taxa de aprovação dos estudantes, produzida pelo Censo Escolar, e aprendizagem, mensurada a partir do desempenho dos estudantes no Sistema Nacional de Avaliação da Educação Básica - Saeb (^{Fernandes, 2007}).

Outro indicador de considerável relevância para o contexto educacional brasileiro é o Índice de Oportunidades da Educação Brasileira -Ioeb-, criado em 2015 e gerenciado pela Comunidade Educativa Cedac. A partir de técnicas insumos-resultados, a proposta declarada do Ioeb é a de destacar as oportunidades educacionais que as crianças e jovens recebem em cada município ou Estado em que vivem, retirando o foco unívoco dos seus desempenhos escolares.

Ademais, na busca por um instrumento de maior fidedignidade para retratar a realidade educacional local, alguns Estados desenvolveram seus próprios indicadores de qualidade. No Espírito Santo, por exemplo, o Indicador de Desenvolvimento das Escolas - IDE - foi desenvolvido para diagnosticar e monitorar a performance das escolas estaduais do Estado, subsidiando o estabelecimento de metas e ações voltadas à melhoria da qualidade do ensino (^{Espírito Santo, 2011}). Neste sentido, buscou-se realizar um estudo descritivo e correlacional entre eles, a partir da análise do desempenho obtido pelos 78 municípios do Estado do Espírito Santo.

Índice de Desenvolvimento da Educação Básica

O Ideb é um indicador estatístico, criado em 2007, no âmbito do Plano de Desenvolvimento da Educação - PDE -, que passou a estabelecer, no Brasil, “inéditas conexões entre avaliação, financiamento e gestão, que invocam um conceito até então ausente do nosso sistema educacional: a responsabilização e, como decorrência, a mobilização social” (^{Brasil, 2007}, p. 11). Com isso, a partir da consolidação de metas de qualidade para todas as modalidades de ensino e em todas as esferas administrativas, o Ideb passou a ocupar papel central no desenvolvimento de ações e políticas públicas educacionais, se consolidando como o parâmetro oficial da qualidade da educação a partir da implantação do novo Plano Nacional de Educação² (PNE 2014-2024).

O algoritmo do Ideb combina o desempenho dos estudantes nas avaliações de Língua Portuguesa e Matemática do Saeb com indicadores de fluxo - promoção, retenção e evasão - do Censo Escolar. Para isto, inicialmente as proficiências dos estudantes são padronizadas e, em seguida, multiplicadas por uma taxa de aprovação, obtida pela razão entre o número de estudantes aprovados e o número total de estudantes matriculados na respectiva série.

Desse modo, da forma em que foi concebido, o algoritmo do Ideb permitiria o controle de sistemas de ensino que retinham seus estudantes, a fim de obter melhores resultados nas avaliações padronizadas, bem como os sistemas de ensino que apressassem a aprovação dos estudantes, sem se preocupar com a questão da qualidade, o que, nesse caso, afetaria o desempenho escolar. Para Reynaldo Fernandes, presidente do Inep na gestão que introduziu o Ideb,

um sistema educacional que reprova sistematicamente seus estudantes, fazendo que grande parte deles abandone a escola antes de completar a educação básica, não é desejável, mesmo que aqueles que concluam essa etapa atinjam elevadas pontuações nos exames padronizados. (...) Em suma, um sistema ideal seria aquele no qual todas as crianças e adolescentes tivessem acesso à escola, não desperdiçassem tempo com repetências, não abandonassem os estudos precocemente e, ao final de tudo, aprendessem. (^{Fernandes, 2007}, p. 7)

Como meta, estabeleceu-se o índice 6,0 para os anos iniciais do ensino fundamental no Ideb em 2021. A adoção por essa data encontra-se na simbologia do bicentenário da Independência, em 2022, ano em que se pretendia realizar sua divulgação. Entretanto, em decorrência da pandemia da Covid-19, que fez com que o Saeb 2021 fosse adiado para 2022, a expectativa é a de que a divulgação final do Ideb ocorra em 2023.

Índice de Oportunidades da Educação Básica

O Ioeb foi lançado no dia 7 de outubro de 2015 pelo Centro de Liderança Pública - CLP -, com o apoio do Instituto Península, da Fundação Lehmann e da Fundação Roberto Marinho. Assim como o Ideb, o Ioeb foi desenvolvido por Reynaldo Fernandes, ex-presidente do Inep, e por Fabiana de Felicio, ex-diretora de estudos educacionais da autarquia federal. Atualmente, o gerenciamento do indicador está sob responsabilidade da Comunidade Educativa Cedac.

Trata-se de uma medida que utiliza as relações básicas de insumo-resultado de modo a complementar, mediante a criação de um índice único para cada localidade, município ou Estado), as informações de desempenho do Ideb, oferecendo uma análise das oportunidades educacionais, mediante a ampliação do sistema deaccountabilityda educação básica.³

Para isto, o Ioeb assume como insumos e processos educacionais a escolaridade dos professores; a experiência dos diretores; o número de horas-aula/dia e a taxa de atendimento na educação infantil. Como produtos, assume os resultados mais recentes do Ideb para os anos iniciais e finais do ensino fundamental e a taxa líquida de matrícula do ensino médio. Esses produtos são ajustados pela escolaridade média dos pais dos estudantes, a partir da estimação do efeito fixo, que considera a referida característica como variável explicativa, visando o controle do background familiar (^{Fernandes; Felicio, 2019}). A figura 1 ilustra este procedimento.

Fonte: ^{Fernandes e Felicio (2019},p. 8)

Figura 1 Ilustração do procedimento adotado para o desenvolvimento do Ioeb. 

Dessa forma, o Ioeb procura “estimar uma característica latente (não mensurável diretamente), que é a qualidade das oportunidades educacionais oferecidas por cada localidade”, a partir da combinação ponderada de diversas medidas de insumos e resultados (^{Fernandes; Felicio, 2019}, p. 8). Para tanto, a estrutura de pesos é definida por um Modelo Estrutural de Múltiplas Causas e Múltiplos Indicadores - Mimic -, conforme desenvolvido por ^{Joreskog e Goldberger (1975}).⁴

Os resultados do Ioeb, assim como o Ideb, são divulgados bienalmente e estão compreendidos em uma escala ordinal que varia entre 0 e 10. Ademais, é divulgada uma classificação para esse resultado, conforme a alocação em quadrantes desenvolvidos com o intuito de alocar os municípios em quatros grupos com tamanhos semelhantes que consideram, para além do índice obtido, a evolução comparada com o Ioeb de 2015, ano de sua criação. Esses grupos são nomeados conforme a situação em que o município se encontra: crítico; atenção; em desenvolvimento; e otimizado.

Municípios classificados como ‘crítico’ oferecem menos oportunidades educacionais e não tem conseguido avançar no Ioeb. Municípios em ‘atenção’, embora tenham apresentado Ioeb acima da mediana nacional, pouco avançaram ou mesmo retrocederam no indicador ao longo dos anos. Municípios ‘em desenvolvimento’ possuem Ioeb abaixo da mediana nacional, porém, mostraram avanço ao longo dos anos. Já os municípios ‘otimizados’ apresentaram avanço e se encontram com Ioeb acima da mediana nacional (^{Império; Lima, 2021}).

Indicador de Desenvolvimento das Escolas - IDE

O IDE é um indicador finalístico, desenvolvido no âmbito da Secretaria de Educação do Estado do Espírito Santo - Sedu - que assume o objetivo declarado de “aferir os níveis de desempenho das unidades escolares para proporcionar informações que permitam avaliar seus processos e planejar a melhoria do processo educativo” (^{Espírito Santo, 2017}, p. 19). Como instrumento de apoio, considera o Programa de Avaliação da Educação Básica do Espírito Santo - Paebes -, criado no ano de 2000 para subsidiar o desenvolvimento de políticas públicas educacionais no Estado.

De acordo com Aline Elisa Cotta D’Avila, gerente de informação e avaliação educacional da Sedu no ano de implementação do IDE no Estado, seu algoritmo:

busca resumir assim os fundamentos básicos da qualidade dos sistemas educacionais: garantir o acesso, a permanência e a aprendizagem para todos, no tempo certo, respeitando as diferenças e necessidades específicas dos contextos internos e externos às unidades escolares. (^{Espírito Santo, 2011}, p. 3)

Para tanto, considera quatro dimensões: o resultado dos estudantes nas provas de Língua Portuguesa e Matemática do Paebes; o número de estudantes ausentes na referida avaliação; as diferentes etapas e níveis de ensino que são ofertados na escola e o nível socioeconômico dos estudantes que ela atende (Espírito Santo, s.d.). Essas dimensões são combinadas e resultam em indicadores secundários. As duas primeiras produzem o Indicador do Resultado da Escola - IRE. As duas últimas, o Indicador de Esforço da Escola - IEE. Assim, o IDE é obtido por meio do produto entre eles (Espírito Santo, s.d.).

Para determinar o IRE de uma escola, calcula-se a média do percentual de estudantes classificados em cada padrão de desempenho do Paebes, ponderada por um fator multiplicativo excluídos⁵ ; abaixo do básico básico proficiente e avançado . Os possíveis valores do IRE estão sempre compreendidos entre e .

Para o cálculo do IEE, a partir das respostas dos estudantes a questionários contextuais aplicados junto ao Paebes em 2008, foi desenvolvido um indicador para o NSE. Trata-se de uma escala ordinal em que o maior nível indica, em média, um maior NSE médio dos estudantes atendidos na escola. Ademais, as diferentes séries oferecidas por essas instituições também foram consideradas no cálculo do IEE. Em síntese, partindo da hipótese de que o ensino em séries mais avançadas é mais complexo do que em séries iniciais, um fator multiplicativo é utilizado considerando as seguintes séries: e ano do Ensino Fundamental e 3ª série do Ensino Médio Desse modo, o IEE da escola é calculado pelo produto desse fator multiplicativo pela diferença entre 10 e o NSE da escola [].

Para fins de ilustração, suponha que uma determinada escola que ofereça apenas o Ensino Médio atende a estudantes com NSE igual a 2. Se nessa escola o percentual de estudantes classificados com os padrões abaixo do básico, básico, proficiente e avançado no Paebes seja, respectivamente, e , e os demais não compareceram à prova, tem-se:

e

Portanto, essa escola apresentaria um IDE igual a É importante ressaltar que os resultados obtidos pelas escolas no IDE variam em um intervalo compreendido entre 0 e 100 e têm sido utilizados como critério coletivo para o cálculo do valor de uma bonificação anual recebida pelos servidores vinculados à Sedu, que pode chegar à 150% do rendimento mensal desses profissionais.

Metodologia

Neste estudo, adotou-se uma metodologia de abordagem quantitativa e exploratória que considerou a aplicação de técnicas de estatística descritiva e correlacional. Para a primeira, são apresentadas medidas de tendência central e variabilidade, assumindo a classificação proposta por ^{Gomes (1985}) para o coeficiente de variação - CV. De acordo com o autor, os dados apresentam variabilidade baixa, quando o CV é menor do que 10%; média, quando está compreendida entre 10% e 20%; alta, entre 20% e 30%; e muito alta para valores acima de 30%.

A análise correlacional compreendeu o cálculo do coeficiente de correlação r de Pearson, cujo pressuposto da normalidade foi verificado por meio do teste de Shapiro-Wilk e a significância por meio do teste t de Student bilateral (^{Fávero; Belfiore, 2017}). ^{Cohen (1998}) apresenta a seguinte classificação no que diz respeito à magnitude desse coeficiente, que será assumida neste estudo: = pequena; = média e = grande.

Para a realização dessas análises, foram considerados os resultados educacionais dos 78 municípios localizados no Estado do Espírito Santo, em cada indicador investigado. Quanto ao Ideb e ao Ioeb, a coleta de dados foi realizada junto aos portais eletrônicos dos indicadores e se referem à edição de 2019. A divulgação desses dados ocorreu em 2020 para o primeiro e em 2021 para o segundo.

No caso do Ideb, considerou-se a média entre os índices obtidos pelas duas etapas do ensino fundamental e ensino médio. Por exemplo, para um município que apresenta: Ideb 6,0 para os anos iniciais do ensino fundamental; 5,3 para os anos finais do ciclo e 4,9 para o ensino médio, foi considerado como Ideb médio o índice 5,4 .

Quanto ao IDE, foram considerados os resultados divulgados por meio da publicação da portaria n. 094-R, de 27 de agosto de 2020 (Espírito Santo, 2020). Como o indicador é calculado por escola, assumiu-se, para os municípios, a média aritmética dos índices obtidos por todas as escolas neles localizadas.

Em todas as análises propostas, utilizou-se o software Jasp versão 0.16.00 (^{Jasp Team, 2022}), adotando-se 5% como nível de significância para as análises inferenciais. Sua adoção se deu considerando o fato de ser livre, de fácil manuseio e com ampla variedade de ferramentas e recursos para análises estatísticas.

Análises descritivas

Na tabela 1 apresenta-se as seguintes estatísticas descritivas para os dados analisados: quantitativo de dados analisados (n); média aritmética (M); desvio-padrão (DP); coeficiente de variação (CV); estatística e p-valor para o teste de Shapiro-Wilk (SW) para normalidade dos dados. Apenas o município de Presidente Kennedy não apresentou dados suficientes para o cálculo do Ioeb. Para todos os demais, foi possível determinar os indicadores educacionais que são considerados neste estudo.

A análise da tabela 1 nos permite inferir que o indicador IDE apresenta maior variabilidade de notas, em relação aos demais. De acordo com a classificação proposta por ^{Gomes (1985}), esse indicador apresenta coeficiente de variação médio, enquanto que os demais apresentam baixo valor para essa estatística. Ademais, mediante as informações referentes à aplicação do teste de Shapiro, podemos inferir que os três indicadores apresentam uma distribuição normal aproximada.

Quanto ao Ideb, considerando a rede pública de ensino, o Espírito Santo possui índices 5,9 e 4,7, respectivamente, para os anos iniciais e finais do ensino fundamental. Para o ensino médio, o Estado possui índice 4,8, todos acima da média nacional, embora apenas a primeira etapa de ensino tenha atingido a meta pré-estabelecida (Brasil, 2020). Por outro lado, ressalta-se que, para o ensino médio, o Estado se destacou por ter atingido o maior Ideb, junto ao Estado de Goiás, dentre todas as 27 unidades federativas do Brasil (^{Brasil, 2020}).

Especificamente para os municípios do Estado, destaca-se que, considerando a rede pública de ensino, 19 (24,36%) municípios do Estado não cumpriram a meta do Ideb para os anos iniciais do ensino fundamental em 2019. Para os anos finais do ciclo, a situação é mais delicada, estando 69 (88,46%) municípios nessa situação. Para o ensino médio, dos 74 municípios com Ideb 2019,⁶ 20 (27,03%) não atingiram a meta pré-estabelecida.

Quanto ao Ioeb, o Espírito Santo apresentou índices superiores à média nacional, nas quatro edições já divulgadas (2015, 2017, 2019 e 2021). Na mais recente, assumida para as análises propostas neste estudo, o Estado alcançou o índice 5,1, frente a 4,9 da mediana nacional.

Cabe destacar que o Ioeb é o único dos três indicadores que apresenta uma classificação própria, de acordo com os resultados educacionais obtidos. Nessa vertente, considerando os 78 municípios capixabas têm-se que: 17 (21,79%) encontram-se no quadrante ‘crítico’; 22 (28,21%) em ‘atenção’; 6 (7,69%) ‘em desenvolvimento’ e 30 (38,46%) ‘otimizado’ (Ioeb, 2021). Para três municípios não foi possível estabelecer o quadrante dessa classificação: Governador Lindenberg, Laranja da Terra e Presidente Kennedy.

Análises correlacionais

A tabela 2 apresenta o coeficiente de correlação r de Person, que informa o grau de relação entre os indicadores assumidos neste estudo, bem como o p-valor do teste de significância bilateral.

A análise da Tabela 2 nos permite inferir pela existência de uma correlação positiva e estatisticamente significativa entre os três indicadores, sendo que a de maior intensidade ocorre entre o Ideb e o Ioeb, conforme esperado, considerando que o algoritmo do segundo utiliza dados referentes ao primeiro. Para fins de classificação, de acordo com o proposto por ^{Cohen (1998}), a correlação existente entre os indicadores Ioeb e IDE é de intensidade moderada e as demais grandes. Para uma análise visual dessa intensidade, apresenta-se, a seguir, os gráficos de dispersão considerando a relação entre os indicadores.

Fonte: autores, a partir dos resultados das análises (2022)

Gráfico 1 Gráfico de dispersão entre os indicadores Ideb e Ioeb 

Fonte: autores, a partir dos resultados das análises (2022

Gráfico 2  Gráfico de dispersão entre os indicadores Ideb e IDE. 

Fonte: autores, a partir dos resultados das análises (2022

Gráfico 3  Gráfico de dispersão entre os indicadores Ioeb e IDE. 

Embora o Ideb, o Ioeb e o IDE estejam estatisticamente correlacionados positivamente, é preciso destacar que a correlação existente não é perfeita. Em outras palavras, é possível que um determinado município tenha um bom desempenho num indicador e um ruim desempenho em outro, o que pode ser verificado, embora subjetivamente, nos gráficos supra apresentados. Com isso, defende-se que uma análise conjunta dos resultados evidenciados por eles possa ofertar uma leitura mais fidedigna da realidade educacional do Estado.

Considerações finais

Apesar das diferentes composições, esses indicadores - Ideb, Ioeb e IDE - assumem um mesmo objetivo declarado: o de ofertar um diagnóstico da situação de aprendizagem dos estudantes e, assim, subsidiar os gestores educacionais para a tomada de decisões no âmbito escolar.

Apesar de correlacionados, verificou-se que existem situações em que um mesmo município pode obter diferentes resultados educacionais, conforme a escolha do indicador a ser analisado. Com isso, sinaliza-se para a importância de se realizar uma análise conjunta desses indicadores, considerando seus componentes, para uma melhor leitura da realidade educacional no Estado. Desse modo, conclui-se que eles não são mutuamente excludentes, eles se complementam.

Por outro lado, é preciso destacar que o Ideb, o Ioeb e o IDE são indicadores de resultados educacionais que não podem ser considerados isoladamente para revelar a qualidade da educação. O caráter diagnóstico, assumido por eles, não permite a prescrição de estratégias que auxiliem na melhoria dos processos de ensino e aprendizagem que ocorrem no interior da sala de aula.

Esses fatos nos levam a repensar a efetividade desses indicadores como política de avaliação da educação básica, sobretudo considerando que a busca pela maximização de seus resultados pode gerar negociações, implicações e tensões nas práticas cotidianas que, embora não tenham sido o objeto de análise nesta pesquisa, também precisam ser problematizadas. Nessa vertente, em estudos futuros, parece-nos interessante investigar como as práticas de apropriação e os usos dos resultados obtidos por meio desses indicadores corroboram para a construção de uma cultura política nas instituições públicas de ensino focada nas avaliações padronizadas.

Espera-se, porém, que esta pesquisa auxilie os agentes de base em educação, sobretudo os do Estado do Espírito Santo, a lidar com as informações por eles trazidas, contribuindo para o debate que considera a construção de uma escola plural, democrática e de qualidade, conforme está constitucionalmente estabelecido.