Portugués (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
INTRODUÇÃO
Os exames estandardizados são ferramentas avaliativas que têm assumido um lugar de considerável destaque para balizar políticas, projetos, ações educativas e programas desenvolvidos no âmbito escolar e comunitário. No Brasil, tem sido cada vez mais comum a apropriação dos resultados obtidos nesses exames para delinear as políticas educacionais contemporâneas, assumindo características que permitem classificá-lo como um Estado-Avaliador (AFONSO, 2013; SCHNEIDER; ROSTIROLA, 2015; SCHNEIDER; RIBEIRO, 2020).
Com isso, têm-se revelado práticas de responsabilização cada vez mais acentuadas no cenário nacional, que vêm contribuindo para camuflar as fragilidades do sistema educacional ao atribuir aos atores do cotidiano das escolas a principal responsabilidade pelo desempenho da educação. Esse movimento torna-se perceptível, sobretudo, a partir do desenvolvimento de iniciativas voltadas a “reconhecer” as unidades que se destacam por apresentarem melhores desempenhos nesses exames ou em indicadores que deles derivam, como se o sistema educacional no Brasil fosse unifacetado.
Nessa vertente, as escolas com melhores notas têm sido reconhecidas como referências , desconsiderando a pluralidade dos contextos educativos que configuram a realidade escolar. Contextos que, na grande maioria das vezes, não são controlados pelos indicadores de qualidade desenvolvidos. Desse modo, esta pesquisa foi realizada no esforço de apresentar uma definição para escolas- referência , bem como uma metodologia que permita identificá-las, a partir de técnicas de input-output fundamentadas na Análise Envoltória de Dados (DEA, do inglês Data Envelopment Analysis ).
Para tanto, foram estabelecidos, como objetos de análises, os resultados do Índice de Desenvolvimento da Educação Básica (Ideb) das escolas estaduais de ensino médio, localizadas no estado do Espírito Santo. O Ideb tem se consolidado como o principal indicador de qualidade educacional no Brasil e está centrado em um sistema que prevê metas para a educação nacional que, por sua vez, possuem um prazo para serem atingidas. Seu algoritmo combina o desempenho dos estudantes no Sistema de Avaliação da Educação Básica (Saeb) com indicadores de fluxo (promoção, retenção e evasão) produzidos pelo Censo Escolar (FERNANDES, 2007).
Em conformidade com Fernandes (2011), acredita-se que essas dimensões (fluxo e aprendizagem) são essenciais para representar a realidade educacional brasileira. Entretanto parte-se do pressuposto da existência de fatores contextuais que exercem considerável influência no desempenho das escolas no Ideb, que não são controlados por ele. Entre esses fatores, a literatura especializada destaca: as características socioeconômicas dos estudantes (DUARTE, 2013, GARCIA; YANNOULAS, 2017); o trabalho e a formação docente (COSTA-HÜBES, 2013; CHIRINÉA; BRANDÃO, 2015); e a gestão das unidades (GUSMÃO; RIBEIRO, 2016; OLIVEIRA; PENA, 2018).
Desse modo, o objetivo deste artigo é desenvolver uma medida capaz de classificar o desempenho relativo das escolas estaduais de ensino médio do Espírito Santo, considerando o Ideb dessas unidades e os indicadores educacionais de avaliação de contexto da educação básica e, a partir disso, identificar as escolas- referência do Estado.
Para tanto, além desta introdução, este texto está estruturado em outras quatro seções. Na primeira, apresenta-se o referencial teórico que deu subsídio para o desenvolvimento do trabalho. Em seguida, é detalhada a metodologia utilizada. Na terceira seção, são apresentados os resultados obtidos, acompanhados por uma discussão. O artigo se encerra com as considerações finais.
REFERENCIAL TEÓRICO
Nesta seção, inicialmente, discute-se o que se compreende, neste estudo, como escolas-referência , a partir de um paralelo com a definição de eficácia escolar proposta por Brooke e Soares (2008). Na sequência, alguns conceitos relacionados com a DEA são expostos, sobretudo os que foram considerados nas análises realizadas. Por fim, são apresentados os indicadores educacionais de avaliação de contexto da educação básica que foram tratados como insumos para o desenvolvimento de uma medida de desempenho relativo das escolas estaduais de ensino médio do Espírito Santo, utilizada para identificar as escolas-referência do Estado, conforme o objetivo desta pesquisa.
ESCOLAS EFICAZES X ESCOLAS-REFERÊNCIA
Na busca por uma conceituação para escolas-referência , é preciso, inicialmente, compreender o que seriam as “escolas eficazes”. Nessa vertente, apropriamo- nos da definição proposta por Brooke e Soares (2008, p. 20), que postulam que, no contexto escolar, a eficácia está associada à “[...] capacidade das escolas de produzirem efetivamente os resultados que a sociedade espera delas”. Assim, considerando o Ideb, são compreendidas como eficazes as unidades que alcançaram a meta estipulada pelo Ministério da Educação (MEC).
Desse modo, de acordo com informações provenientes do portal eletrônico da Secretaria de Estado da Educação (Sedu) do Espírito Santo 1 , para o ensino médio, etapa na qual o Estado ocupou o 1º lugar no Ideb 2019, em âmbito nacional, 67% das escolas podem ser consideradas como eficazes. Entretanto, considerando a composição do algoritmo do indicador, que apenas permite concluir se os estudantes possuem habilidades, em Língua Portuguesa e Matemática, adequadas para o seu ano escolar e se foram aprovados ou não, é preciso ir além para poder classificá- las como escolas-referência . Para isso, é necessário considerar as características do contexto em que estão inseridas, para que se possam identificar as que se destacam quando comparadas com unidades semelhantes.
Nessa vertente, para fins de ilustração, pretende-se identificar as escolas- referência no Ideb em um determinado município, utilizando, como variável explicativa, as características socioeconômicas dos estudantes, mensuradas por meio de uma escala numeral contínua. A partir das observações realizadas, que permitiram agrupar as unidades similares, gerou-se uma fronteira empírica envolvendo as escolas com melhor desempenho dentro de cada grupo, conforme apresentado na Figura 1 . Essas unidades, destacadas em vermelho, configuram as escolas-referência desse exemplo hipotético.
Inicialmente, observa-se que a linha tracejada, construída a partir de uma análise de regressão por mínimos quadrados ordinários (OLS, do inglês Ordinary Least Squares ), permite estimar e/ou prever o valor médio do Ideb (variável dependente) em termos das características socioeconômicas dos estudantes (variável independente). Desse modo, as unidades que se encontram na parte superior dessa linha estão “acima da média”. Entretanto essa condição não é necessária e, tampouco, suficiente para que sejam classificadas como escolas-referência , conforme pode ser observado na Figura 1 .
Em seguida, pode-se constatar que, embora a nota do Ideb esteja, subjetivamente, correlacionada positivamente com o fato de a unidade analisada ser uma escola-referência , essa correlação não é perfeita. Em outras palavras, é possível que uma escola seja referência no Ideb mesmo que não possua bons resultados no indicador. Isso ocorre quando a variável explicativa apresenta valores muito abaixo do esperado, justificando os resultados educacionais obtidos pela escola que, ainda assim, consegue melhores notas que aquelas com características contextuais similares. Por fim, ressalta-se que a DEA se constitui como uma ferramenta que possibilita a geração dessas fronteiras empíricas, conforme será apresentado na seção seguinte.
ANÁLISE ENVOLTÓRIA DE DADOS
A DEA é uma técnica não paramétrica, que emprega programação linear para estimar, empiricamente, uma função para avaliar o desempenho de unidades tomadoras de decisão (DMU, do inglês Decision Making Units ) (FERREIRA; GOMES, 2020). Esse desempenho é obtido por meio da razão entre a soma ponderada dos resultados alcançados ( output ) e a soma ponderada dos recursos utilizados para alcançá-los ( input ). Para tanto, utilizam-se pesos calculados com o objetivo de maximizar o desempenho de cada DMU em relação ao conjunto de análise (SENRA et al. , 2007).
Conforme afirmam Charnes et al. (1994), o desenvolvimento efetivo da DEA ocorreu a partir da tese de doutorado de Edwardo Lao Rhodes, sob orientação de William W. Cooper, que objetivava o desenvolvimento de uma metodologia capaz de comparar a eficiência de escolas públicas, considerando a participação no Follow Through , programa do governo dos Estados Unidos voltado para a integração educacional de crianças desfavorecidas (U.S. GENERAL ACCOUNTING OFFICE, 1975; RHODES, 1978).
Desde então, os conceitos que a DEA envolve foram estendidos e aperfeiçoados, tornando-a uma abordagem amplamente utilizada na área educacional, sobretudo por sua simplicidade, quando se pretende aplicá-la em situações que contam com múltiplos inputs e os outputs , como é típico na educação (JOHNES, 2006). Nesse caso, cabe ressaltar que a DEA não impõe uma especificação a priori da relação funcional e técnica entre essas variáveis e nem restrições às suas combinações. Além disso, o fato de não exigir uma distribuição específica dos dados na população corrobora a sua popularização (AGASISTI, 2013).
Os modelos clássicos da DEA se constituem por meio de duas abordagens mais populares: CRS (do inglês Constant Returns to Scale ) e VRS (do inglês Variable Returns to Scale ). 2 Essas abordagens se diferenciam considerando o axioma da proporcionalidade. No modelo CRS, qualquer variação nos recursos gera uma variação proporcional nos resultados, o que não ocorre, necessariamente, no modelo VRS (SANTOS; FREITAS; FLACH, 2015; SOUZA; GOMES, 2016).
Além disso, duas orientações radiais são possíveis na determinação da fronteira empírica. Na orientação voltada para os recursos, pretende-se determinar a quantidade deles que pode ser reduzida, pensando em se obter os mesmos resultados. Na orientação referente aos resultados, a intenção é ampliá-los, considerando os mesmos recursos (SANTOS; FREITAS; FLACH, 2015; SOUZA; GOMES, 2016).
Faria, Jannuzzi e Silva (2008, p. 164) constataram que “[...] em geral, as relações que se estabelecem no campo das políticas públicas não supõem retornos constantes de escalas” e requerem a necessidade de se maximizar os resultados,considerando os mesmos recursos e assumindo a limitação orçamentária proveniente da área. Desse modo, assume-se que o modelo DEA-VRS, com orientação radial voltada para os resultados, é o mais indicado na identificação das escolas-referência .
De acordo com Charnes et al. (1994), esse modelo pode ser representado, matematicamente, pelo seguinte Problema de Programação Linear (PPL):
sujeito a:
em que y_i é um vetor (m ×1) de quantidades de produto da i-ésima DMU; x_i é um vetor (k×1) de quantidades de insumo da i-ésima DMU; Y é uma matriz (n×m) de produtos das n DMU’s; X é uma matriz (n×k) de insumos das n DMU’s; λ é um vetor (n×1) de pesos; e N_1 é um vetor (n×1) de números uns. O escalar ϕ é tal que 1≤ ϕ ≤∞ e representa o desempenho relativo das DMUs, em que o valor 1 indica a unidade referência ( benchmark ou peer ) para as demais. A diferença ϕ -1 resulta no aumento proporcional nos resultados que poderiam ser alcançados pela DMU, mantendo-se constantes os recursos utilizados (CHARNES et al. , 1994, FERREIRA; GOMES, 2020).
Quanto às limitações dos modelos da DEA, destacam-se as provenientes do seu caráter não paramétrico que inviabilizam a realização de inferências para a população-alvo, úteis na ampliação da abrangência dos resultados obtidos. Por se tratar de um método determinístico, erros de medição ou flutuações estocásticas não são considerados. Entretanto, para contornar essa limitação, técnicas de bootstrap (reamostragem) têm sido aplicadas, permitindo estimar o intervalo de confiança e o viés das estatísticas obtidas (AL-MEZEINI; OUKIL; AL-ISMAILI, 2020; DELPRATO; ANTEQUERA, 2021).
Com isso, tornam-se possíveis explorações de segundo estágio, em que se busca investigar e mensurar o impacto de cada variável independente para o desempenho obtido pela DMU. Entre os procedimentos mais comuns para alcançar esse objetivo, encontram-se as análises de correlação e regressão (SALAS- VELASCO, 2020; ALAM et al. , 2020; LÓPEZ-TORRES et al. , 2021).
INDICADORES EDUCACIONAIS DE AVALIAÇÃO DE CONTEXTO DA EDUCAÇÃO BÁSICA
Indicadores educacionais de avaliação de contexto da educação básica têm sido produzidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) desde 2014. Dentre eles, quatro serão considerados neste artigo: Indicador de Nível Socioeconômico (Inse); Indicador de Complexidade da Gestão Escolar (ICG); Indicador de Esforço Docente (IED); e Indicador de Adequação da Formação Docente (IAFD).
Conforme Nota Técnica s.n./2015, o Inse, em geral, situa qual é o público atendido pela escola, considerando informações obtidas nos questionários contextuais aplicados por meio do Sistema de Avaliação da Educação Básica (Saeb). Essas informações correspondem à renda familiar dos estudantes, além de bens domésticos, contratação de serviços e nível de escolaridade dos seus pais. Assim, a partir de uma categorização que considerou a metodologia da Teoria de Resposta ao Item (TRI) 3 , foi possível classificá-los em seis níveis: baixo, médio-baixo, médio, médio-alto, alto e muito alto. Em termos numéricos, quanto menor o Inse da escola, maior a concentração de estudantes em situações de vulnerabilidade atendidos por ela (BRASIL, 2014a).
O ICG resume em uma única medida as informações de porte, turno de funcionamento, nível de complexidade e quantidade de etapas ofertadas. Conforme Nota Técnica n° 040/2014, assim como para o Inse, identificam-se, por meio da TRI, seis níveis de complexidade, que estão apresentados no Quadro 1 . Em síntese, níveis elevados de ICG indicam maior complexidade (BRASIL, 2014b).
Quadro 1 Descrição dos níveis de complexidade de gestão
| Níveis | Descrição 1 |
|---|---|
| 1 | Porte inferior a 50 matrículas, operando em único turno e etapa e apresentando a educação infantil ou anos iniciais como etapa mais elevada* |
| 2 | Porte entre 50 e 300 matrículas, operando em dois turnos, com oferta de até duas etapas e apresentando a educação infantil ou anos iniciais como etapa mais elevada* |
| 3 | Porte entre 50 e 500 matrículas, operando em dois turnos, com duas ou três etapas e apresentando os anos finais como etapa mais elevada* |
| 4 | Porte entre 150 e 1000 matrículas, operando em dois ou três turnos, com duas ou três etapas, apresentando ensino médio/profissional ou a EJA como etapa mais elevada* |
| 5 | Porte entre 150 e 1000 matrículas, operando em três turnos, com duas ou três etapas, apresentando a EJA como etapa mais elevada* |
| 6 | Porte superior a 500 matrículas, operando em três turnos, com quatro ou mais etapas, apresentando a EJA como etapa mais elevada* |
Nota: 1 Características apresentadas por pelo menos dois terços das escolas
*Considerando a idade dos alunos atendidos Fonte: Brasil (2014b, p. 6).
O Indicador de Esforço Docente (IED), conforme Nota Técnica n° 39/2014, considera o número de escolas, de turnos, de alunos e de etapas em que atuam para classificar, também em seis níveis e de acordo com a metodologia da TRI, o esforço empreendido pelos docentes no exercício de sua profissão (BRASIL, 2014c). Esses níveis estão representados no Quadro 2 .
Quadro 2 Descrição dos níveis de esforço docente
| Níveis | Descrição 1 |
|---|---|
| 1 | Docente que tem até 25 alunos e atua em um único turno, escola e etapa |
| 2 | Docente que tem entre 25 e 150 alunos e atua em um único turno, escola e etapa |
| 3 | Docente que tem entre 25 e 300 alunos e atua em um ou dois turnos em uma única escola e etapa |
| 4 | Docente que tem entre 50 e 400 alunos e atua em dois turnos, em uma ou duas escolas e em duas etapas |
| 5 | Docente que tem mais de 300 alunos e atua nos três turnos, em duas ou três escolas e em duas etapas ou três etapas |
| 6 | Docente que tem mais de 400 alunos e atua nos três turnos, em duas ou três escolas e em duas etapas ou três etapas |
Nota: 1 Características apresentadas por pelo menos dois terços dos docentes Fonte: Brasil (2014c, p. 6).
O IAFD, de acordo a Nota Técnica n° 20/2014, avalia a adequação da formação dos professores da educação básica, segundo orientações legais, a partir de dados coletados pelo Censo Escolar, correlacionando informações sobre as turmas e as disciplinas em que atuam com a formação inicial do professor. Nesse caso, cinco perfis de regência das disciplinas foram identificados via análise da TRI (BRASIL, 2014d), conforme indicado no Quadro 3 . É esperada uma maior proporção de docentes classificados no Grupo 1.
Quadro 3 Categorias de formação da adequação do docente em relação à disciplina que leciona
| Grupo | Descrição |
|---|---|
| 1 | Docentes com formação superior de licenciatura na mesma disciplina que lecionam, ou bacharelado na mesma disciplina com curso de complementação pedagógica concluído |
| 2 | Docentes com formação superior de bacharelado na disciplina correspondente, mas sem licenciatura ou complementação pedagógica |
| 3 | Docentes com licenciatura em área diferente daquela que leciona, ou com bacharelado nas disciplinas da base curricular comum e complementação pedagógica concluída em área diferente daquela que leciona |
| 4 | Docentes com outra formação superior não considerada nas categorias anteriores |
| 5 | Docentes que não possuem curso superior completo |
Fonte: Brasil (2014d, p. 5).
As informações referentes a esses indicadores estão presentes na plataforma Painel Educacional, desenvolvida pelo Inep em 2015, com o intuito de apresentar informações agregadas sobre o cenário educacional brasileiro, além de colaborar para o monitoramento do direito à educação, conforme informações extraídas do portal eletrônico da plataforma. 4
METODOLOGIA
Trata-se de uma pesquisa exploratória e quantitativa, em que a DEA foi utilizada para identificar as escolas-referência de ensino médio localizadas no estado do Espírito Santo. Para tanto, considerou-se, como output , o Ideb das unidades escolares divulgado em 2020, referente ao exercício de 2019, e, como inputs , os indicadores educacionais de avaliação de contexto da educação básica descritos na Seção 2.3.
Esses indicadores abarcam um considerável conjunto de fatores contextuais que podem oferecer significativo impacto no desempenho das escolas no Ideb, conforme esquematizado na Figura 2 .
Fonte: Elaborada pelos autores (2021).
Figura 2 Indicadores utilizados para as análises propostas neste estudo
Para o Inse, considerou-se o nível em que a escola estava classificada, visto que estudos já realizados indicam que quanto maior esse nível, maior tende a ser o desempenho da escola no Ideb (DUARTE, 2013, GARCIA; YANNOULAS, 2017). Para o ICG, adotou-se o inverso do nível, tendo em vista que níveis elevados no indicador sinalizam uma maior complexidade de gestão nas escolas.
Para o IED, levou-se em consideração o percentual de docentes cujo esforço não é considerado elevado, ou seja, que não pertencem ao nível 6, conforme descrição indicada no Quadro 2 , assumindo a hipótese de que quanto maior for o percentual de docentes com IED elevado, menor tende a ser o rendimento escolar dos estudantes.
Quanto ao IAFD, observou-se o percentual de docentes com formação superior de licenciatura na mesma disciplina em que lecionam, ou bacharelado na mesma disciplina com curso de complementação pedagógica concluído (grupo 1), assumindo a hipótese de que a formação acadêmica dos docentes da escola é um fator importante para a obtenção de bons resultados no Ideb.
Foram consideradas como DMUs 222 escolas públicas estaduais, que compreendem todas as unidades administradas pela esfera estadual espírito-santense, que oferecem o ensino médio e possuíam, no momento em que esta pesquisa foi realizada, resultados no Ideb 2019 e nos indicadores supracitados. Esse universo corresponde a 79% do total de escolas administradas pelo Estado, de acordo com informações provenientes do Sistema de Gestão Escolar (http://segesescola. caedufjf.net/). Para essas variáveis, são apresentadas algumas estatísticas descritivas.
Além disso, com o objetivo de identificar quais dessas escolas (DMUs) eram referências para as demais, utilizou-se a abordagem VRS da DEA, orientada para os resultados ( output-oriented ), considerando sua maximização, a partir dos mesmos recursos disponibilizados. Assim, uma fronteira empírica pôde ser construída, abarcando as escolas-referência , conforme objetivado.
Desse modo, além das análises descritivas, discute-se acerca da localização dessas escolas e do quantitativo de unidades que as assumem como parceiras de excelência (Parcex), ou seja, embora com características contextuais similares, possuem resultados educacionais inferiores. Nesse caso, essas unidades podem assumir as escolas-referência como um modelo a ser seguido, sobretudo considerando as aproximações entre as suas realidades educacionais, evidenciadas por meio dos resultados obtidos via DEA.
Também são realizadas análises de correlação, buscando mensurar o impacto de cada variável supracitada para o desempenho relativo ( ϕ ) das DMUs, que permitiu identificar as escolas-referência . Para tanto, considerou-se o cálculo do coeficiente de correlação de Spearman. A opção por essa estatística se deu por sua característica não paramétrica, que não requer suposições sobre a distribuição de frequências das variáveis.
As análises foram realizadas com o auxílio do software estatístico R, versão 3.6.2 (R Core Team, 2021), a partir das bibliotecas Benchmarking (BOGETOFT; OTTO, L.; OTTO, M., 2021) e MASS (RIPLEY et al. , 2021). As análises inferenciais consideraram 5% como nível de significância.
RESULTADOS E DISCUSSÃO
Nesta seção, os resultados obtidos pelas análises realizadas são detalhados e discutidos. Para tanto, optou-se por sua organização em três subseções em que se apresentam as análises descritivas, as análises via DEA e as análises de correlação, respectivamente.
ANÁLISES DESCRITIVAS
As análises descritivas das variáveis adotadas neste estudo evidenciaram as diferenças existentes entre as 222 escolas estaduais assumidas como DMUs, considerando suas características contextuais. Para as análises relacionadas com o corpo docente dessas escolas, por se tratar de variáveis contínuas, foram construídos histogramas para representar os resultados das unidades no IAFD e no IED, conforme Figuras 3 e 4, respectivamente.
Fonte: Elaborada pelos autores (2021).
Figura 3 Histograma para representar o IAFD das 222 escolas analisadas
Fonte: Elaborada pelos autores (2021).
Figura 4 Histograma para representar o IED das 222 escolas analisadas
Em termos de valor médio, observou-se que 56,40% dos docentes das turmas de ensino médio das escolas analisadas possuem formação superior de licenciatura na mesma disciplina que lecionam, ou bacharelado na mesma disciplina com curso de complementação pedagógica concluído. Quanto ao esforço empreendido para o exercício da profissão, verificou-se um valor elevado, em média, em 8,61% dos docentes.
Para os demais indicadores assumidos como inputs , foram construídos gráficos de barras, por se tratar de variáveis discretas. As Figuras 5 e 6 representam os resultados obtidos pelas escolas analisadas no ICG e no Inse, respectivamente.
Fonte: Elaborada pelos autores (2021).
Figura 5 Gráfico de barras para representar o ICG das 222 escolas analisadas
Fonte: Elaborada pelos autores (2021).
Figura 6 Gráfico de barras para representar o Inse das 222 escolas analisadas
Nesse caso, observe que 73,87% das escolas analisadas possuem ICG maior ou igual a 4, indicando que a maioria das unidades que oferecem o ensino médio no Estado possui alta complexidade de gestão. Ademais, a maior parte delas apresenta classificação 3 na escala do Inse, o que representa o padrão “médio” para as características socioeconômicas dos estudantes que as frequentam. Não foram identificadas escolas que atendem, majoritariamente, a estudantes de nível socioeconômico alto ou muito alto (níveis 5 e 6, respectivamente).
Quanto ao Ideb das unidades, considerando a rede pública estadual, o Estado alcançou índice 4,6, o que representa um valor bem próximo à meta 4,7, preestabelecida. Com base nas 222 escolas analisadas neste estudo, construiu-se a Tabela 1 para apresentar algumas estatísticas descritivas.
Tabela 1 Estatísticas descritivas do Ideb das 222 escolas analisadas
| Valor Mínimo | Média (μ) | Desvio-Padrão (σ) | Valor Máximo |
|---|---|---|---|
| 3,1 | 4,64 | 0,61 | 6,1 |
Fonte: Elaborada pelos autores (2021).
É preciso destacar que, embora não tenha atingido a meta determinada para o ano de 2019, o Espírito Santo alcançou o maior índice para o ensino médio, juntamente com Goiás, dentre todas as 27 unidades federativas do Brasil (BRASIL, 2020).
ANÁLISE ENVOLTÓRIA DE DADOS
A aplicação do método DEA revelou que os resultados no Ideb alcançados pelas escolas analisadas poderiam ser ampliados em até 22,6%, mantendo-se as mesmas características contextuais (ϕ ̅≈1,226). Além disso, foram identificadas 18 unidades que são referências ( benchmark ou peer ) para pelo menos uma outra unidade (ϕ=1), considerando as características de contexto assumidas nesta pesquisa e os resultados registrados no Ideb 2019.
A Tabela 2 indica quem são essas escolas-referência , apresentando, ainda, o município em que estão localizadas; os valores alcançados no Ideb 2019 e nos indicadores educacionais de avaliação de contexto da educação básica; e o número de escolas que as assumem como parceiras de excelência (Parcex).
Tabela 2 Escolas-referência de ensino médio no Espírito Santo e suas características
| Código | Escola | Município | Parcex | Ideb | Inse | ICG | IED | IAFD |
|---|---|---|---|---|---|---|---|---|
| 1 | EEEFM Frederico Boldt | Santa Maria de Jetibá | 78 | 5,8 | 4 | 4 | 16,7 | 41,7 |
| 2 | EEEFM Francisco Nascimento | Serra | 69 | 5,6 | 4 | 6 | 10 | 80,2 |
| 3 | EEEFM Ponto do Alto | Domingos Martins | 59 | 5,9 | 3 | 4 | 0 | 48,3 |
| 4 | EEEM Dom Daniel Comboni | Nova Venécia | 59 | 5,4 | 3 | 6 | 12,5 | 30,3 |
| 5 | EEEFM Gisela Salloker Fayet | Domingos Martins | 56 | 5,9 | 3 | 4 | 8,3 | 58,3 |
| 6 | CEEMTI Monsenhor Guilherme Schmitz | Aracruz | 33 | 5,5 | 3 | 4 | 0 | 19,9 |
| 7 | CEEFMTI Bráulio Franco | Muniz Freire | 31 | 6,1 | 3 | 2 | 0 | 36,5 |
| 8 | EEEFM Governador Lindenberg | Barra de São Francisco | 22 | 3,9 | 3 | 6 | 36 | 67,7 |
| 9 | EEEFM Agostinho Agrizzi | Vargem Alta | 21 | 6,0 | 3 | 3 | 6,7 | 49,0 |
| 10 | EEEFM Prof.ª Hosana Salles | Cachoeiro de Itapemirim | 17 | 5,1 | 3 | 5 | 25 | 37,4 |
| 11 | EEEFM Elvira Barros | Afonso Cláudio | 10 | 5,1 | 3 | 4 | 26,7 | 73 |
| 12 | EEEFM Ecoporanga | Ecoporanga | 6 | 4,5 | 3 | 6 | 10,7 | 17,9 |
| 13 | EEEFM Angélica Paixão | Guarapari | 4 | 4,6 | 3 | 5 | 23,9 | 29,2 |
| 14 | EEEFM Sobradinho | Boa Esperança | 1 | 3,4 | 3 | 4 | 21,4 | 23,1 |
| 15 | EEEFM Horácio Plinio | Bom Jesus do Norte | 1 | 3,8 | 2 | 4 | 10 | 16,2 |
| 16 | EEEM Dr. Silva Mello | Guarapari | 1 | 4 | 3 | 3 | 22 | 19,9 |
| 17 | EEEM Augusto Ruschi | Viana | 1 | 3,7 | 3 | 2 | 37,5 | 96,2 |
| 18 | EEEFM Prof. Geraldo Costa Alves | Vila Velha | 1 | 4,4 | 3 | 4 | 25,8 | 29,8 |
| Média | 4,9 | 3,1 | 4,2 | 16,3 | 43,0 | |||
Fonte: Elaborada pelos autores (2021).
Nessa vertente, defendemos a necessidade da criação de espaços de compartilhamento de experiências entre as escolas-referência e suas respectivas parceiras de excelência, pensando na construção coletiva de ações e na orientação de políticas de avaliação institucional como estratégias para a maximização dos resultados educacionais dessas unidades que, embora possuam características contextuais similares, apresentam menor Ideb. Esse movimento pode contribuir para a construção da escola como um lugar plural e democrático, fortalecendo a educação pública no Estado.
Quanto à localização, tem-se que as 18 escolas-referência estão localizadas em 16 dos 78 municípios do Estado. Apenas Domingos Martins e Guarapari, que apresentam um quantitativo de quatro e sete escolas de ensino médio, respectivamente (SEGES, 2019), tiveram mais do que uma unidade escolar identificada como referência , com duas representantes em cada município.
Considerando as quatro mesorregiões, estabelecidas pela divisão geográfica proposta pelo Instituto Brasileiro de Geografia e Estatística (IBGE), tem-se uma escola localizada na região litoral norte, quatro na região noroeste, quatro na região sul e nove na região central espírito-santense, das quais cinco pertencem à Região Metropolitana da Grande Vitória, 5 embora não tenham sido identificadas escolas- referência localizadas na capital do Estado.
Para melhor visualização da localização dessas escolas, a Figura 7 apresenta um gráfico de bolhas, cujo tamanho de cada bolha representa o número de escolas que as assumem como parceiras de excelência. As unidades mais representativas estão concentradas na região central espírito-santense.
Fonte: Elaborada pelos autores (2021).
Figura 7 Localização das escolas-referência de ensino médio no Espírito Santo
Quanto aos indicadores educacionais de avaliação de contexto da educação básica, percebe-se que, em média, o percentual de docentes cujo esforço empreendido para o exercício da profissão é considerado elevado, é superior nas escolas-referência , considerando as demais escolas analisadas. Além disso, quanto à formação docente nessas escolas, percebe-se um percentual inferior de profissionais com formação superior de licenciatura na mesma disciplina que lecionam, ou bacharelado na mesma disciplina com curso de complementação pedagógica concluído. Para 77,78% das escolas-referência , o ICG é maior ou igual a quatro, sinalizando para a alta complexidade de gestão nessas unidades que, em sua grande maioria, atendem a estudantes de nível socioeconômico médio (Inse = 3), indo na direção dos resultados descritivos evidenciados na Seção 4.1, referentes a todas as escolas analisadas neste estudo.
Com relação ao Ideb, as escolas-referência possuem valor médio igual a 4,9 no indicador nacional, com desvio-padrão aproximadamente igual a 0,9. Dessa forma,o coeficiente de variação 6 das notas alcançadas por essas unidades é igual a 21,4%,o que, de acordo com Gomes (1985), representa alta variabilidade, reforçando a hipótese de que não se devem considerar única e exclusivamente as notas alcançadas no indicador nacional para identificá-las.
Além disso, sete unidades apresentaram notas “abaixo da média” da rede estadual (4,6). Das 15 escolas-referência que possuíam metas projetadas para 2019 7 , quatro não as alcançaram (escolas 2, 5, 15 e 17). Nessa vertente, atenta-se para a necessidade de considerar o contexto escolar na definição de metas para a qualidade da educação, bem como para identificar as unidades que podem ser assumidas como referências para as demais.
ANÁLISES DE CORRELAÇÃO
Para mensurar o grau de associação entre cada indicador educacional de avaliação de contexto da educação básica, assumido como input , e o desempenho relativo ϕ dessas escolas, que permitiu identificar as escolas-referência , optou-se pelo cálculo do coeficiente de correlação de Spearman . Essa estatística também foi calculada para mensurar a correlação existente entre a nota no Ideb, assumida como output , e o indicador ϕ . Os resultados desses cálculos estão indicados na Tabela 3 .
Tabela 3 Análises de Correlação de Spearman
| Inse | ICG | IED | IAFD | Ideb | |
|---|---|---|---|---|---|
| Desempenho relativo ϕ | -0,20* | -0,18* | -0,01 | 0,22* | -0,76* |
*Significativo ao nível de 5% (p-valor < 0,05) Fonte: Elaborada pelos autores (2021).
Esses resultados indicam que apenas o IED não apresenta uma correlação significativa com o desempenho relativo ϕ estimado. Quanto ao IAFD, o valor positivo encontrado mostra que, quanto maior for a proporção de docentes com formação superior de licenciatura na mesma disciplina que lecionam, ou bacharelado na mesma disciplina com curso de complementação pedagógica concluído, menor tende a ser a probabilidade de a escola ser referência para as demais com características contextuais semelhantes.
Para o Inse e para o ICG, quanto maior for o nível de classificação, maior será essa probabilidade. Entretanto, para o primeiro, é preciso considerar que apenas as unidades com classificação igual ou inferior a quatro no indicador foram consideradas na análise. Dessa forma, essa interpretação para escolas que atendem a estudantes de nível socioeconômico alto ou muito alto configura-se como uma interpolação, não devendo ser realizada.
Por fim, a nota alcançada no Ideb e o desempenho relativo ϕ estimadose mostraram fortemente correlacionados, indicando que quanto maior for a nota no indicador nacional, maior será a probabilidade de a escola ser referência para as demais com características contextuais semelhantes. Entretanto, essa correlação não é perfeita. Conforme evidenciado no Tópico 4.2, foi constatado que 46,67% das unidades identificadas como escolas-referência possuíam notas no Ideb “abaixo da média” da rede estadual. Esse resultado reforça a necessidade de se considerar o contexto em que a escola está inserida, quando se trata da identificação de unidades que podem ser assumidas como referência .
CONSIDERAÇÕES FINAIS
Este artigo foi realizado com o objetivo de desenvolver uma medida capaz de classificar o desempenho relativo das escolas estaduais de ensino médio do Espírito Santo, considerando o Ideb dessas unidades e os indicadores educacionais de avaliação de contexto produzidos pelo Inep. A partir disso, foi possível identificar as unidades escolares que se destacaram no indicador nacional, quando comparadas com aquelas de características contextuais semelhantes, que foram denominadas escolas-referência .
Para tanto, utilizou-se uma metodologia multicritério de apoio à decisão, por meio da aplicação da técnica DEA, permitindo que os indicadores analisados pudessem ser agregados em uma medida única, sem a necessidade de ponderá- los. Com isso, a fronteira empírica gerada permitiu identificar as escolas-referência do Estado.
Essas escolas estão localizadas em 16 dos 78 municípios, contemplando as quatro mesorregiões do Estado. Entretanto, embora cinco delas estejam localizadas na Região Metropolitana da Grande Vitória, não foram identificadas escolas-referência na capital do Estado. Em pesquisas futuras, nos parece interessante investigar as causas desse fenômeno, sobretudo considerando os reflexos da complexidade social e econômica dos municípios que são capitais de Estados.
Também é preciso destacar a efetividade da DEA como técnica de análise neste estudo, sobretudo por ter sido possível considerar a pluralidade dos contextos educativos e as tensões que configuram a realidade das escolas, assumidas como DMUs. Assim, uma análise mais sistêmica dos seus resultados educacionais no Ideb pôde ser realizada, contribuindo para a construção de uma cultura política em avaliação educacional que considera as singularidades dessas unidades para além dos índices por elas alcançados.
Por outro lado, o uso meramente diagnóstico da metodologia da DEA, apenas apontando as escolas-referência , sem prescrever os processos intraescolares que acarretaram os resultados obtidos, é insuficiente. Desse modo, torna-se necessária a realização de estudos com o objetivo de compreender as práticas escolares que possam ter contribuído direta ou indiretamente para o reconhecimento dessas unidades.
De fato, existem múltiplos processos que acontecem na escola que não podem ser observados por indicadores, que configuram práticas e subjetividades que só são possíveis de serem compreendidas a partir do mergulho no cotidiano dessas unidades, o que também nos parece interessante investigar em pesquisas futuras. Esses estudos podem contribuir para a construção de um espaço/lugar em que ações voltadas para a melhoria da qualidade da educação são pensadas e praticadas, corroborando o fortalecimento de uma escola pública plural e democrática.
