texto em 
Inglês (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
A Análise Envoltória de Dados (DEA, do inglês Data Envelopment Analysis) é uma técnica multivariável baseada em modelos matemáticos não paramétricos, que busca avaliar o desempenho de unidades tomadoras de decisão (DMU, do inglês Decision- -Making Units). Para isso, utiliza-se a comparação de unidades semelhantes que se diferenciam pela quantidade de recursos empregados (inputs/insumos) e resultados alcançados (outputs/produtos) (CORRÊA et al., 2019; FERREIRA; GOMES, 2020).
De acordo com Ferreira e Gomes (2020), o desenvolvimento da DEA se deu, sobretudo, a partir do artigo de Michael James Farrel, “The Measurement of Productive Efficiency”, publicado em 1957 no Journal of the Royal Statistical Society, em que o autor “[...] tentava desenvolver métodos melhores para avaliar a produtividade, por meio dos conceitos de análise de atividades” (FERREIRA; GOMES, 2020, p. 17).
Entretanto, Charnes, Cooper e Rhodes (1978) afirmam que a história da DEA teve início, de fato, a partir da tese de doutorado de Edwardo Lao Rhodes, sob orientação de William W. Cooper (RHODES, 1978). Em síntese, a pesquisa de Rhodes tinha o objetivo de desenvolver uma metodologia capaz de comparar a eficiência de escolas públicas norte-americanas, considerando a participação no Follow Through, programa federal voltado para a integração educacional de crianças vulneráveis (UNITED STATES, 1975; RHODES, 1978).
Desde então, os conceitos relacionados à DEA foram estendidos e aperfeiçoados, consolidando-a como uma abordagem metodológica referência em estudos sobre eficiência e eficácia escolar (AGASISTI; BONOMI; SIBIANO, 2014), o que, de acordo com Johnes (2006), é reflexo da simplicidade de aplicá-la em situações que contam com múltiplos insumos e produtos, como tipicamente ocorre na educação. A premissa desses estudos é a de que os insumos da escola são determinantes para atingir seus resultados educacionais (BROOKE; SOARES, 2008; LIMA, 2011).
Duas abordagens da DEA são mais populares: a que requer um retorno constante da escala (CRS, do inglês constant returns to scale) e a que demanda um retorno variável da escala (VRS, do inglês variable returns to scale). Na prática, a principal diferença entre essas abordagens está relacionada ao axioma da proporcionalidade. Ao contrário do modelo VRS, o modelo CRS considera que qualquer variação nos insumos implica uma variação proporcional nos produtos (SANTOS; FREITAS; FLACH, 2015; SOUZA; GOMES, 2016).1
Para essas abordagens, no intuito de determinar a fronteira eficiente, duas orientações radiais são possíveis: orientações voltadas para os insumos (input-oriented) e orientações voltadas para os produtos (output-oriented). Na primeira, busca-se determinar a quantidade de insumos que pode ser reduzida, considerando os mesmos produtos. Na segunda, procura-se maximizar os produtos sem alterar a quantidade de insumos.
Entretanto, esses modelos clássicos vêm originando variações, como as que consideram coeficientes fuzzy (GUO; TANAKA, 2001; LERTWORASIRIKUL et al., 2003), a Análise de Janelas (window analysis) (CHARNES et al., 1984), modelos de avaliação cruzada (cross-efficiency model) (SEXTON; SILKMAN; HOGAN, 1986) e métodos com variáveis estocásticas, ou programação restringida por aleatoriedade (CCP, do inglês chance-constrained programming) (SENGUPTA, 1987).
Essas variações buscam compensar algumas desvantagens do modelo DEA, como, por exemplo, aquelas oriundas de seu caráter não paramétrico, que inviabi- liza a realização de análises estatísticas mais robustas. Entretanto, procedimentos de dois ou mais estágios também têm sido realizados, utilizando técnicas de inferência estatística para complementar os resultados obtidos via DEA.
Nessa vertente, e considerando a dimensão e a importância da DEA em pesquisas educacionais, o objetivo deste artigo é investigar como essa técnica tem sido utilizada em estudos sobre eficácia escolar, mediante a realização de uma revisão sistemática da literatura. O interesse, assim, é responder às seguintes questões: qual abordagem DEA e quais as variáveis de insumo e de produto são mais frequentes nos estudos investigados? Como os autores desses estudos têm superado as limitações da DEA, sobretudo as resultantes do não fornecimento de medidas convencionais de significância estatística e da não indicação de estratégias que auxiliem na melhoria da qualidade da educação?
Para tanto, além desta introdução, o texto está estruturado em outras quatro seções. Na primeira, detalha-se o método utilizado para selecionar os artigos que compõem a revisão. Na segunda, apresentam-se os resultados, descrevendo de forma sintetizada os estudos. A terceira traz uma discussão proveniente da leitura e análise dos estudos mapeados e, finalmente, na quarta, são traçadas as considerações finais.
MÉTODO
Para selecionar os artigos científicos que compõem esta revisão, optou-se por seguir as diretrizes do modelo Preferred Reporting Items for Systematic Reviews and Meta- -Analyses (Prisma).2 Por meio de um checklist, o Prisma foi desenvolvido com o intuito de fornecer aos autores um guia para a elaboração de suas revisões sistemáticas e metanálises, auxiliando no processo de elegibilidade e análise das fontes (MOHER et al., 2010; PAGE et al., 2021).
O processo de seleção dos artigos ocorreu em março de 2021 mediante busca no Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), com acesso expandido às bases de dados eletrônicos Scopus e Web of Science (WoS), adotadas por se tratarem dos principais indexadores para a classificação nas avaliações do Qualis Periódicos da área da educação, conforme relatório técnico3 (COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES, 2019). Ademais, assumiu-se, como consensual, a importância dessas bases para ampliação, divulgação e circulação das publicações científicas.
Para tanto, foram utilizados os descritores “Data Envelopment Analysis” AND “School Effectiveness”, limitando-se à seleção de artigos publicados entre 2010 e 2019, de modo a obterem-se estudos mais recentes relacionados ao tema e considerar um prazo suficiente para a indexação, nas bases de dados supracitadas, de todos os artigos desenvolvidos no período. Houve dois critérios de inclusão adotados: ser artigo científico revisado por pares e estar disponibilizado para leitura na íntegra na internet, a partir do Portal de Periódicos da Capes por meio da Comunidade Acadêmica Federada (CAFe).
Os artigos pré-selecionados foram lidos pelos autores, excluindo-se os estudos sem relação direta com a área de eficácia escolar ou que não tratassem especificamente da educação básica. Para os demais, as variáveis de insumo e de produto utilizados foram analisadas e, a partir de um agrupamento baseado na Análise Temática (Thematic Analysis) (BRAUN; CLARKE, 2006) que considerou a abordagem da DEA empregada, procedeu-se à descrição dos estudos selecionados.
APRESENTAÇÃO DOS RESULTADOS
Inicialmente foram identificados 28 artigos científicos, dos quais oito estavam indexados em pelo menos duas das bases de dados consideradas. A partir da exclusão dos artigos em duplicidade, restaram 20 para a consulta inicial. Desses, cinco não estavam disponíveis para leitura na íntegra via Portal de Periódicos da Capes, por meio da CAFe, restando 15 artigos considerados potencialmente elegíveis para a inclusão na revisão. Entretanto, após a leitura integral desses artigos, foram excluídos outros cinco que não se adequavam ao tema proposto, restando dez artigos para o levantamento bibliográfico.
A Figura 1 representa o fluxograma de seleção dos artigos analisados, baseado no método Prisma. É preciso ressaltar que esse processo de elegibilidade ocorreu com 100% de concordância entre os autores, sinalizando para a credibilidade da seleção.
O Quadro 1 caracteriza esses artigos, apresentando os anos e os periódicos em que foram publicados, os títulos, os(as) autores(as) e a abordagem DEA utilizada.
QUADRO 1 Caracterização do corpus textual dos estudos selecionados
| N° | Ano | Periódico | Título | Autor(es) | Abordagem |
|---|---|---|---|---|---|
| 1 | 2010 | Quality Assurance in Education | The performance of Portuguese secondary schools: an exploratory study | C. S. Sarrico; M. J. Rosa; I. P. Coelho |
CRS orientada ao produto |
| 2 | 2012 | International Journal of Educational Management | Benchmarking educational development efficiencies of the Indian states: a DEA approach | V. Gourishankar; P. S. Lokachari |
Avaliação cruzada |
| 3 | 2013 | Journal of Productivity Analysis |
Assessing the evolution of school performance and value-added: trends over four years | M. C. Portela; A. S. Camanho; A. Keshvari |
VRS orientada ao produto |
| 4 | 2013 | Education Economics | The efficiency of Italian secondary schools and the potential role of competition: a data envelopment analysis using OECD-PISA 2006 data | T. Agasisti | VRS orientada ao produto |
| 5 | 2014 | Educational Sciences: Theory & Practice | The comparison of Turkish students’ PISA achievement levels by year via data envelopment analysis | S. Yalçin; E. Tavşancil |
CRS orientada ao produto |
| 6 | 2014 | International Journal of Educational Management | Measuring the “managerial” efficiency of public schools: a case study in Italy |
T. Agasisti; F. Bonomi; P. Sibiano |
VRS orientada ao produto |
| 7 | 2015 | International Journal of Educational Management | Determinants of school efficiency: the case of primary schools in the state of Geneva, Switzerland | J. Huguenin | VRS orientada ao insumo |
| 8 | 2016 | Quality Assurance in Education | Assessing the efficiency of secondary schools in Chile: a data envelopment analysis | D. A. Munoz; J. P. Queupil |
CRS* |
| 9 | 2018 | Educational Researcher | Comparing the efficiency of schools through international benchmarking: results from an empirical analysis of OECD PISA 2012 data | T. Agasisti; P. Zoido |
VRS orientada ao produto |
| 10 | 2018 | Education Sciences | The technical efficiency of high schools: the case of a Greek prefecture | D. Halkiotis; I. Konteles; V. Brinia |
Não especificada |
Fonte: Elaboração dos autores.
* Orientação radial não especificada.
Conforme indicado no Quadro 1, apesar de não se tratar de uma produção densa, com exceção dos anos de 2011 e 2017, houve a publicação de pelo menos um artigo por ano, considerando o período de 2010 a 2018. As publicações ocorreram em sete periódicos distintos, sendo que os únicos com mais de uma representação foram o Quality Assurance in Education (QAE) e o International Journal of Educational Management (IJEM), com duas e três publicações, respectivamente.
No que se refere à abordagem DEA utilizada, percebe-se que três estudos assumem a CRS, sendo que dois adotam orientações voltadas ao produto (SARRICO; ROSA; COELHO, 2010; YALÇIN; TAVŞANCIL, 2014) e um não apresenta informações sobre tal (MUNOZ; QUEUPIL, 2016). Quanto aos que assumem a abordagem VRS, identificaram-se cinco estudos, sendo que quatro adotam orientações voltadas ao produto (PORTELA; CAMANHO; KESHVARI, 2013; AGASISTI, 2013; AGASISTI; BONOMI; SIBIANO, 2014; AGASISTI; ZOIDO, 2018) e um ao insumo (HUGUENIN, 2015). Ademais, um estudo usa o modelo de Avaliação Cruzada (GOURISHANKAR; LOKACHARI, 2012) e um artigo não especifica a abordagem utilizada (HALKIOTIS; KONTELES; BRINIA, 2018).
Com vistas a identificar as variáveis utilizadas como insumos para explicar o desempenho escolar nesses estudos, construiu-se a Tabela 1.
TABELA 1 Variáveis utilizadas como insumos nos artigos analisados
| VARIÁVEIS UTILIZADAS COMO INSUMOS | ARTIGO(S) |
|---|---|
| Proporção aluno-professor e/ou quantitativo de professores | 1, 4, 6, 7, 8, 9, 10 |
| Nível socioeconômico e/ou cultural dos estudantes | 1, 5, 8, 9 |
| Características, formação e/ou trabalho do corpo docente | 1, 2, 8 |
| Infraestrutura escolar física e/ou digital | 2, 4, 9 |
| Gasto por aluno e/ou orçamento escolar | 6, 7, 10 |
| Desempenho dos estudantes em avaliações internas (a priori) | 1, 3 |
| Escolaridade e/ou status ocupacional dos pais | 1, 4 |
| Quantitativo/média/proporção de aluno por turma e/ou escola | 8, 10 |
| Taxa bruta de escolas | 2 |
| Capacitação de professores e gestores escolares | 2 |
| Participação dos estudantes nas aulas | 5 |
| Tempo de estudo extraclasse | 5 |
| Quantitativo de profissionais técnico-administrativos | 7 |
| Proporção estudantes do sexo masculino | 8 |
| Carga horária escolar | 8 |
| Indicadores educacionais específicos | 8 |
Fonte: Elaboração dos autores.
Como produtos, cinco artigos consideram os resultados obtidos pela aplicação de exames estandardizados nacionais, com foco em língua vernácula e matemática (PORTELA; CAMANHO; KESHVARI, 2013; AGASISTI; BONOMI; SIBIANO, 2014; HUGUENIN, 2015; MUNOZ; QUEUPIL, 2016; HALKIOTIS; KONTELES; BRINIA, 2018).
Outros três artigos se apropriam dos resultados provenientes da aplicação do Programa Internacional de Avaliação de Estudantes (Pisa, do inglês Programme for International Student Assessment) (AGASISTI, 2013; YALÇIN; TAVŞANCIL, 2014; AGASISTI; ZOIDO, 2018). Em comum, esses artigos assumem como foco os resultados obtidos na avaliação de matemática. Ademais, Agasisti (2013) e Yalçin e Tavşancil (2014) também consideram a avaliação de ciências e Yalçin e Tavşancil (2014) e Agasisti e Zoido (2018) de língua vernácula.
Os outros dois artigos analisados assumem, como produtos, informações obtidas pela aplicação de avaliações internas. Para além, Sarrico, Rosa e Coelho (2010) incluem, ainda, indicadores de fluxo escolar (abandono e conclusão) e Gourishankar e Lokachari (2012), a taxa bruta de matrícula e a porcentagem de alunos admitidos em universidades ou institutos tecnológicos.
Para uma melhor descrição desses artigos, a seguir apresentam-se três subseções desenvolvidas com o intuito de descrever, sucintamente, as análises realizadas nos estudos mapeados. Para tanto, e com base na Análise Temática (BRAUN; CLARKE, 2006), foram considerados agrupamentos pautados na abordagem DEA utilizada nos estudos. Nas duas primeiras subseções, descrevem-se os três e os cinco artigos que supõem, respectivamente, retornos constantes e variáveis da escala e, na terceira, são abordados os demais trabalhos.
Estudos que assumem a abordagem DEA-CRS
O artigo de Sarrico, Rosa e Coelho (2010) possui como objetivo o desenvolvimento de um modelo para mensuração e comparação do desempenho de escolas secundárias da região central de Portugal. Os autores buscam investigar até que ponto as diferenças obtidas são atribuídas a fatores socioeconômicos ou gerenciais e como as escolas têm procurado se adequar às políticas educacionais nacionais.
Para tanto, utilizam-se dados oriundos da Autoridade Regional de Educação, além de informações complementares recolhidas por meio de um questionário eletrônico enviado a 103 escolas secundárias da região. Esse questionário continha questões sobre as características socioeconômicas e outras informações dos estudantes, além dos recursos escolares, e foi respondido por 33 escolas, sendo que havia dados completos para 29 das escolas, que compuseram a amostra usada no estudo (SARRICO; ROSA; COELHO, 2010).
Modelos DEA-CRS orientados ao produto foram elaborados, considerando técnicas de restrições aos pesos, que buscavam diminuir as distorções geradas pelo processo de coleta de dados (THOMPSON et al., 1986). Como resultados preliminares, os autores indicaram que a maioria das escolas tem seguido as orientações das políticas educacionais acerca da diminuição das taxas de evasão e do aumento das taxas de finalização das etapas de ensino (SARRICO; ROSA; COELHO, 2010).
Ademais, os autores não encontraram evidências para relacionar o desempenho das escolas com fatores geográficos, tipológicos e característicos da escola, mas creditaram o resultado como consequência de boas práticas no âmbito da gestão. Entretanto, assumiram as limitações do estudo, sobretudo considerando que ele foi realizado para uma amostra pequena e autosselecionada (SARRICO; ROSA; COELHO, 2010).
O artigo de Yalçin e Tavşancil (2014), por sua vez, foi desenvolvido com o objetivo de determinar a eficiência e a eficácia dos tipos de escolas que compõem o sistema educacional secundário turco: Escola da Anatólia, Escola da Anatólia Vocacional, escolas secundárias vocacionais, escolas de ciências, escolas primárias e escolas em geral. Além disso, os autores propõem uma análise comparada considerando as informações obtidas nos questionários e nas avaliações que compõem o Pisa de 2003, 2006 e 2009, a partir de amostras de 4.637, 4.592 e 4.412 estudantes, respectivamente, selecionadas de forma aleatória e desconsiderando valores discrepantes, incluindo as sete regiões da Turquia (YALÇIN; TAVŞANCIL, 2014).
Para tanto, além da aplicação do modelo DEA-CRS orientado ao produto, os au- tores utilizaram a Análise de Janelas (Window Analysis) (AL-ERAQI et al., 2008), com o objetivo de pesquisar as variações entre o rendimento escolar, considerando cada tipo de escola, ao longo do tempo, como uma unidade distinta (YALÇIN; TAVŞANCIL, 2014).
Como resultados, os autores postulam que o tipo de escola afeta o sucesso dos alunos, sendo as escolas de ciências as mais eficientes, seguidas pelas escolas da Anatólia, que foram consideradas eficientes nas edições do Pisa de 2006 e 2009, mas não em 2003, o que pode ser explicado pelos baixos níveis de participação e rendimento na prova de matemática do respectivo ano (YALÇIN; TAVŞANCIL, 2014).
Além disso, os autores discutem que as escolas primárias representam o tipo menos eficiente em todos os períodos avaliados, o que pode ser explicado pelo baixo nível econômico, social e cultural dos alunos que frequentam essas escolas. Dessa forma, concluem que a igualdade de oportunidades não é uma realidade no país. Para contornar essa problemática, Yalçin e Tavşancil (2014) sugerem uma reforma no currículo, visando à sua redução e padronização e a uma reestruturação do sistema educacional turco, com vistas à oferta de oportunidades equânimes em educação.
Já o artigo de Munoz e Queupil (2016) apresenta uma aproximação com os demais estudos dessa categoria, por realizar uma análise longitudinal para comparar o desempenho de diferentes tipos de escola, considerando o ensino médio no Chile, e uma análise do efeito do nível socioeconômico dos estudantes para a eficiência estimada da escola. Para tanto, dois modelos são desenvolvidos utilizando a abordagem CRS da DEA, mas sem especificar a orientação radial empregada: um longitudinal (modelo 1) e um de vulnerabilidade (modelo 2) (MUNOZ; QUEUPIL, 2016).
O modelo 1 usou dados de 2.686 escolas, considerando o desempenho dos estudantes em dois testes padronizados: o que faz parte do Sistema de Medición de la Calidad de la Educación (Simce) de 2012 e a Prueba de Selección Universitaria (PSU) de 2014, utilizada para o ingresso no ensino superior chileno. Dessa forma, um mesmo conjunto de alunos foi analisado em diferentes séries do ensino médio, de forma a permitir verificar a consistência do desempenho de diferentes tipos de escolas ao longo do tempo (MUNOZ; QUEUPIL, 2016).
Como resultados, os autores identificaram que, em média, as escolas privadas são mais eficientes do que outros tipos de escolas e tendem a ser mais consistentes quando se trata de uma análise ao longo dos anos. Além disso, observou-se que as escolas urbanas são mais eficientes do que as rurais, considerando o rendimento em ambas as avaliações padronizadas utilizadas no estudo (MUNOZ; QUEUPIL, 2016).
O modelo 2, por sua vez, empregou dados de 2.205 escolas públicas e subsidiadas, incorporando o índice de vulnerabilidade (Vulindex) como insumo nas estimativas de eficiência. Esse índice contempla informações acerca das características socioeconômicas dos alunos. Nesse modelo, apenas os desempenhos referentes às avaliações aplicadas em 2014 foram considerados (MUNOZ; QUEUPIL, 2016).
Os resultados indicaram que, em média, as escolas subsidiadas mostraram-se mais eficientes do que as públicas. Além disso, as escolas públicas com administração delegada foram mais eficientes do que as demais. Por fim, ao contrário dos resultados obtidos no estudo de Sarrico, Rosa e Coelho (2010), os autores atribuem a baixa eficiência de determinadas escolas à posição social e econômica vulnerável da maioria de seus alunos (MUNOZ; QUEUPIL, 2016).
Estudos que assumem a abordagem DEA-VRS
O artigo de Huguenin (2015) foi desenvolvido com o objetivo de avaliar a eficiência de 90 escolas primárias públicas localizadas no Cantão de Genebra, na Suíça, correlacionando-a com variáveis contextuais, no sentido de identificar quais são determinantes para um bom desempenho escolar, considerando as unidades analisadas (HUGUENIN, 2015).
Para tanto, o autor utilizou a abordagem DEA-VRS com orientação voltada ao insumo, sendo o único dessa categoria a adotar tal característica radial. Ademais, em uma análise de segundo estágio, uma regressão por mínimos quadrados ordinários (OLS, do inglês Ordinary Least Squares) foi realizada, empregando a eficiência estimada como variável dependente e as variáveis contextuais como independentes (HUGUENIN, 2015).
O estudo empírico desenvolvido contempla todas as escolas primárias da região e utiliza dados transversais relativos ao ano letivo de 2010-2011, obtidos pelo governo do Cantão de Genebra. Como resultados iniciais, o autor indica que a média das eficiências das escolas analisadas é de 93%, podendo ser aumentada em 7% para o alcance da eficiência máxima, o que representaria uma economia superior a 17 milhões de francos suíços, em 2010 (HUGUENIN, 2015).
Já a análise de regressão mostrou que quatro variáveis contextuais influenciam no sentido de tornar as escolas menos eficientes: funcionamento em diferentes localidades; atendimento a alunos mais vulneráveis; oferta de educação especial; e número reduzido de alunos. O autor finaliza ressaltando a importância dos resultados obtidos para um melhor gerenciamento das unidades (HUGUENIN, 2015).
O artigo de Portela, Camanho e Keshvari (2013) foi desenvolvido com o objetivo de analisar a evolução do desempenho escolar e do valor agregado (VA) de 27 escolas secundárias portuguesas participantes da Avaliação de Escolas com Ensino Secundário (AVES), programa de avaliação gerenciado pela Fundação Manuel Leão, em Portugal. Configura-se como o único artigo dessa categoria com características analíticas longitudinais. Desse modo, foi analisado o desempenho escolar de 4.863 alunos no período de 2005 a 2008, comparando o rendimento desses estudantes na entrada e na saída do ensino secundário, de modo a verificar o efeito da escola por meio do VA (PORTELA; CAMANHO; KESHVARI, 2013).
Para tanto, além do modelo DEA-VRS, orientado ao produto, desenvolvido para obter-se uma fronteira de eficiência, os autores propõem a utilização de um índice de Malmquist adaptado para avaliar a evolução do desempenho escolar ao longo dos anos. De acordo com os autores, esse índice pode ser decomposto de modo a se obter um componente que reflete a mudança de VA e outro que reflete o alcance da fronteira de eficiência (PORTELA; CAMANHO; KESHVARI, 2013).
Como conclusão, os autores indicam que as escolas analisadas apresentam um comportamento inconstante ao longo do tempo, considerando o desempenho escolar. Ademais, algumas escolas apresentaram melhorias na fronteira escolar em análises que assumiram diferentes períodos de tempo. Entretanto, afirmam não ser evidência suficiente para indicar uma possível melhoria da qualidade nessas escolas, sendo necessárias análises mais aprofundadas sobre a temática (PORTELA; CAMANHO; KESHVARI, 2013).
Os demais artigos dessa categoria (AGASISTI, 2013; AGASISTI; BONOMI; SIBIANO, 2014; AGASISTI; ZOIDO, 2018) possuem algumas características em comum. Inicialmente, nota-se que todos foram desenvolvidos pelo professor Tommaso Agasisti, individualmente ou em parceria com outros autores. Metodologicamente, nesses artigos é empregada uma técnica de bootstrap (reamostragem) na metodologia DEA-VRS, com a finalidade de proceder com inferências estatísticas aos resultados obtidos pelas estimativas de eficiência. Além disso todos apresentam uma análise de segundo estágio, em que os fatores com possível influência na eficiência das escolas são investigados por meio de uma regressão Tobit.
A regressão Tobit, desenvolvida inicialmente por James Tobin (1958), possui uma base teórica similar aos modelos da regressão OLS, com a diferença de poder assumir dados censurados para uma determinada variável dependente, ou seja, cujas informações referentes a ela estejam disponíveis apenas para uma parte das observações. Com isso, torna-se um instrumento eficaz nos casos em que a variável dependente pertence a intervalos específicos ou está concentrada em pontos iguais a um valor limitante (GUJARATI; PORTER, 2011; KHOSHROO et al., 2013).
O artigo de Agasisti (2013) foi desenvolvido com vistas a atingir dois objetivos ge- rais. Inicialmente, buscou-se analisar a eficiência de 651 escolas secundárias italianas, a partir dos resultados obtidos no Pisa 2006, comparando o desempenho de diferentes unidades. Em seguida, foram detectados os principais fatores determinantes da eficiência, sobretudo considerando o papel potencial da competição (AGASISTI, 2013).
Os resultados indicaram que as escolas com piores desempenhos são as localizadas em ilhas e que as escolas do sul da Itália tiveram, em média, desempenhos inferiores àquelas do norte do país. Ademais, as escolas Liceus (de caráter mais teó- rico) mostraram-se, em média, melhores do que as profissionalizantes. O autor também indica que as escolas localizadas em cidades têm, em média, desempenho inferior às situadas em vilas e que as escolas públicas tendem a ser mais eficientes do que as privadas (AGASISTI, 2013).
Quanto à análise de segundo estágio, na contramão dos resultados encontrados por Huguenin (2015), não se observaram diferenças estatisticamente significativas que sinalizassem a influência do tamanho das turmas na eficiência da escola. Entretanto o autor ressalta que isso pode ter sido reflexo do uso da razão entre discentes e docentes, utilizada como insumo na estimativa da eficiência (AGASISTI, 2013).
O autor também se diz surpreso ao constatar que a proporção de meninas e a pressão dos pais estão associadas a desempenhos mais baixos, mas explica que o último pode ser justificado se for considerado que uma maior pressão por resultados, pelos pais, é reflexo de um desempenho escolar insatisfatório (AGASISTI, 2013).
O artigo de Agasisti, Bonomi e Sibiano (2014), assim como o de Agasisti (2013), também foi desenvolvido assumindo as escolas italianas como objeto de análise. Entretanto é mais específico, por considerar apenas uma região geográfica da Itália (Lombardia) para mensurar a eficiência “gerencial”. Desse modo, os autores propuseram analisar 583 escolas primárias e 479 escolas secundárias, todas públicas, utilizando dados oriundos de testes padronizados aplicados em 2010 para as 5as e 6as etapas do ensino italiano. Esses testes foram desenvolvidos pelo Istituto Nazionale per la Valutazione del Sistema Educativo di Istruzione e di Formazione (Invalsi) (AGASISTI; BONOMI; SIBIANO, 2014).
Os resultados mostraram que, em geral, a região da Lombardia têm escolas com um alto padrão de eficiência, com valor médio de 80%. Desse modo, as pontuações de desempenho poderiam ser aumentadas em até 20%, com a utilização dos mesmos insumos, ou economias potenciais poderiam ser realizadas para o alcance dos mesmos resultados. Entretanto, essa economia não foi calculada, tendo em conta que se utilizou uma orientação ao produto na abordagem DEA-VRS (AGASISTI; BONOMI; SIBIANO, 2014).
Além disso, o estudo revelou que a eficiência e a equidade são complementares na educação primária, ou seja, escolas com menor dispersão, considerando os rendimentos escolares dos estudantes, tendem a ser mais eficientes. A análise de regressão também indicou que o número de professores não efetivos possui relação negativa com o rendimento escolar em matemática nas escolas primárias. Entretanto, esses resultados não foram encontrados na educação secundária, sugerindo que os formuladores de políticas públicas educacionais devem sempre levar em conta a especificidade de cada etapa escolar (AGASISTI; BONOMI; SIBIANO, 2014).
Por fim, os autores reforçam que estudos desse tipo devem incluir variáveis externas (não controláveis) para obter resultados mais confiáveis, que constituem a eficiência dita “gerencial”, obtida após a inclusão dessas variáveis nas análises realizadas. Caso contrário, os resultados podem ser enganosos, indicando como eficientes as escolas que desfrutam de melhores condições contextuais (AGASISTI; BONOMI; SIBIANO, 2014).
O artigo de Agasisti e Zoido (2018) foi desenvolvido com o intuito de comparar as pontuações de eficiência de cerca de 8.500 escolas, em 30 países, por meio de dados dos questionários do aluno e do diretor e do rendimento escolar no Pisa 2012. Nesse sentido, trata-se do único artigo mapeado que prevê uma análise do desempenho de unidades escolares localizadas em diferentes países (AGASISTI; ZOIDO, 2018).
A escolha desses países se fez a partir de duas condições: ser membro da OCDE e possuir despesa cumulativa por aluno acima de $50.000 PPPs (paridade de poder de compra). Singapura foi o único país não pertencente à OCDE incluído no estudo (AGASISTI; ZOIDO, 2018).
Os resultados indicaram que o rendimento das escolas pode ser aumentado em até 27%, considerando os mesmos insumos. Além disso, percebeu-se que as pontuações de eficiência possuem variações consideráveis entre e dentro dos países. O país com melhor média de eficiência foi Singapura (84,7%) e o pior foi a Eslovênia (68,3%). Também se observou que os países asiáticos são, em média, mais eficientes (AGASISTI; ZOIDO, 2018).
Quanto à análise de regressão, observou-se que escolas que atendem alunos com níveis socioeconômicos mais diversificados tendem a ser menos eficientes, mas esse efeito é menor em unidades que atendem um maior número de estudantes imigrantes. O mesmo acontece para escolas com turmas pequenas de estudantes, conforme também indicado por Huguenin (2015). Além disso, ao contrário do resultado encontrado por Agasisti (2013), concluiu-se que uma maior proporção de estudantes do sexo feminino se associa positivamente à eficiência das escolas, assim como o número de horas que os alunos se dedicavam à realização das tarefas escolares (AGASISTI; ZOIDO, 2018).
No que se refere às práticas e aos processos escolares, percebeu-se que o relacionamento entre alunos e professores e a participação dos últimos na governança e na tomada de decisões são fatores com relação direta na eficiência das unidades. Por fim, os autores indicam que quanto melhor a infraestrutura das escolas e quanto melhor a formação de seus professores, mais eficientes elas tendem a ser (AGASISTI; ZOIDO, 2018).
Demais estudos que compõem esta revisão de literatura
O artigo de Gourishankar e Lokachari (2012) foi desenvolvido com o intuito de propor um modelo para avaliar os programas de desenvolvimento educacional lançados nas escolas indianas, fornecendo uma comparação cruzada entre os resultados obtidos pelos 28 estados e sete territórios da União da Índia e explorando os fatores que podem ter contribuído para isso (GOURISHANKAR; LOKACHARI, 2012).
Para tanto, foi utilizado o modelo de avaliação cruzada (cross-efficiency model) na metodologia DEA empregada. Esse modelo, proposto por Sexton, Silkman e Hogan (1986) e desenvolvido por Doyle e Green (1994), busca fazer uma avaliação de conjunto, em vez da avaliação individual presente nos modelos clássicos da DEA.
Desse modo, no modelo de avaliação cruzada, a eficiência de cada unidade é avaliada segundo os esquemas de pesos ótimos das demais, sendo a média de todas essas eficiências a eficiência cruzada da unidade em análise. Assim, a partir do princípio da avaliação pelos pares (peer appraisal), pode-se fortalecer o poder discriminatório da DEA, fornecendo uma melhor distribuição dos pesos das variáveis (REZENDE; PESSANHA; AMARAL, 2014).
Para além, os autores também utilizaram a análise fatorial, de modo a determinar possíveis inter-relações entre as variáveis e a análise de regressão OLS, avaliando o impacto das variáveis na eficiência educacional estimada (GOURISHANKAR; LOKACHARI, 2012).
Como resultados, a análise fatorial indicou que quatro componentes são importantes para analisar o desenvolvimento educacional na Índia: adequação financeira; recursos escolares, no que se refere à formação docente e infraestrutura da escola; qualidade; e acesso educacional. Além disso, mediante a análise de regressão, os autores identificaram três fatores com impacto mais significativo na eficiência dos estados (GOURISHANKAR; LOKACHARI, 2012). O primeiro refere-se à taxa de matrícula bruta, indicando que o estado que se concentrar no aumento de matrículas escolares, além de contribuir para o desenvolvimento educacional do país, pode também se tornar mais eficiente. O segundo diz respeito ao desempenho escolar dos estudantes, confirmando a hipótese de que esse fator é uma medida-chave para a qualidade educacional. O terceiro, embora contraintuitivo, indica que a infraestrutura impacta negativamente a eficiência (GOURISHANKAR; LOKACHARI, 2012).
O artigo de Halkiotis, Konteles e Brinia (2018), por sua vez, foi desenvolvido com o intuito de mensurar a eficiência técnica das 23 escolas secundárias para o ano letivo de 2014-2015. Como objetivo específico, os autores pretendiam verificar se era vantajoso para o Estado investir nas escolas Liceus de ensino geral. Entretanto, diferente da pesquisa de Gourishankar e Lokachari (2012), consideraram-se as unidades localizadas em apenas um município: Ftiótida, na Grécia (HALKIOTIS; KONTELES; BRINIA, 2018).
Embora sem especificar a abordagem DEA utilizada na análise, os autores assumiram que ambas as orientações radiais (para o insumo e para o produto) foram incluídas. Além disso, assim como Gourishankar e Lokachari (2012), por meio de uma regressão OLS, foi possível explorar os fatores que poderiam apresentar relação com a eficiência (HALKIOTIS; KONTELES; BRINIA, 2018).
Os resultados indicaram que apenas oito das 23 unidades analisadas (34,8%) apresentavam eficiência máxima. As escolas descentralizadas, que atendem a um número pequeno de alunos e as que registram elevados custos médios por aluno foram as que apresentaram a menor eficiência. Ademais, a análise de regressão apontou como número ótimo o total de 238 alunos por escola e de 15 unidades escolares, no lugar das 23 existentes. Caso contrário, essas unidades tenderiam a apresentar desperdícios de recursos (HALKIOTIS; KONTELES; BRINIA, 2018).
Por fim, os autores propõem três ações que poderiam maximizar a eficiência das unidades analisadas. A primeira sugere unir escolas que atendem a um número reduzido de alunos, tendo em vista que essas escolas foram as menos eficientes nas análises realizadas, resultado também encontrado e discutido por Gourishankar e Lokachari (2012). A segunda trata da necessidade de um melhor gerenciamento do trabalho docente, dado que um número significativo de professores não tem cumprido a carga horária mínima estabelecida pelo Estado. A terceira sugere uma nova estrutura geográfica na distribuição das escolas Liceus de ensino geral na região (HALKIOTIS; KONTELES; BRINIA, 2018).
DISCUSSÃO
Nos estudos mapeados foi possível verificar que não há consenso entre os autores quanto à escolha de variáveis assumidas e empregadas como insumos na aplicação dos modelos DEA, o que pode ser explicado pela diversidade de realidades, culturas e populações investigadas. Nessa vertente, destaca-se que dois artigos analisam escolas localizadas em Portugal (SARRICO; ROSA; COELHO, 2010; PORTELA; CAMANHO; KESHVARI, 2013) e dois na Itália (AGASISTI, 2013; AGASISTI; BONOMI; SIBIANO, 2014). Outros cinco abordaram dados para Índia (GOURISHANKAR; LOKACHARI, 2012), Turquia (YALÇIN; TAVŞANCIL, 2014), Suíça (HUGUENIN, 2015), Chile (MUNOZ; QUEUPIL, 2016) e Grécia (HALKIOTIS; KONTELES; BRINIA, 2018). O trabalho de Agasisti e Zoido (2018) foi o único que considerou um estudo comparativo entre países.
Conforme indicado na Tabela 1, a maioria dessas variáveis foi utilizada em um único estudo. Por outro lado, percebe-se a predominância de fatores clássicos, amplamente discutidos na literatura especializada por oferecerem impactos significativos para a qualidade da educação, que assumem as condições intrínsecas de sala de aula, do contexto em que a escola está inserida e da vida do alunado.
Quanto às variáveis assumidas como output na aplicação dos modelos DEA, a massiva maioria dos estudos (n = 8) considerou resultados obtidos em exames estandardizados (nacionais ou internacionais), com a priorização de alguns conteúdos - língua vernácula e matemática -, reforçando a hipótese da hierarquização desses componentes curriculares a nível internacional, quando se pretende mensurar ou monitorar a qualidade da educação básica.
É preciso ressaltar que o uso da DEA em estudos sobre eficácia escolar apresenta vantagens técnicas e práticas em relação ao emprego de análises paramétricas, sobretudo por não impor uma forma funcional particular na ligação entre os insumos e os produtos, ao fazer comparações entre escolas. Além disso, nenhuma relação entre eles é exigida e sua aplicação não requer uma distribuição específica dos dados na população.
Entretanto, o caráter não paramétrico da DEA a torna incapaz de explicar os efeitos dos fatores analisados, como a eficácia escolar, o que constitui uma grande limitação desse método. Tal característica inviabiliza o fornecimento de medidas convencionais de significância estatística, impedindo a realização de inferências, para a população-alvo, que pudessem ampliar a abrangência dos resultados obtidos.
Para contornar essa situação, na maioria dos artigos mapeados (n = 6) realiza-se uma análise de regressão como procedimento de segundo estágio, complementando os resultados obtidos pela aplicação da DEA. Desses, três utilizam a regressão Tobit (AGASISTI, 2013; AGASISTI; BONOMI; SIBIANO, 2014; AGASISTI; ZOIDO, 2018) e outros três a regressão OLS (GOURISHANKAR; LOKACHARI, 2012; HUGUENIN, 2015; HALKIOTIS; KONTELES; BRINIA, 2018) para investigar os fatores que afetam a eficiência das escolas. Com isso, tornou-se possível verificar como os diferentes resultados obtidos pelas unidades escolares podem ser atribuídos aos fatores ambientais e gerenciais.
Nesse sentido, percebeu-se que, quando a posição social e econômica dos estudantes era utilizada como variável independente no modelo de regressão, os resultados obtidos indicavam que as escolas que atendiam a uma maior proporção de estudantes em situação de vulnerabilidade eram mais ineficientes. De fato, trata-se de um fator que tem se tornado quase unânime, no que se refere à influência sobre os resultados escolares em avaliações estandardizadas, considerando os estudos que são produzidos com esse fim, no cenário internacional, cujo marco inicial se deu com a publicação do Relatório Coleman4 (COLEMAN, 1966). Além disso, fatores relacionados à gestão das unidades também apresentaram significância estatística nas análises realizadas pelos estudos mapeados.
Por outro lado, as análises que consideraram a infraestrutura das unidades, fatores geográficos, tamanho das turmas e proporção de estudantes do sexo feminino não apresentaram um resultado de sentido único, indicando que o efeito dessas variáveis para a eficiência das escolas pode assumir diferentes direcionamentos, em estudos desenvolvidos em diferentes localidades. Assim percebeu-se que não há uma conclusão equânime acerca das influências desses fatores no desempenho estimado das unidades.
Ressalta-se, ainda, que a técnica de bootstrap (reamostragem) é aplicada à metodologia DEA em três estudos desenvolvidos a partir de uma amostra da população-alvo em análise (AGASISTI, 2013; AGASISTI; BONOMI; SIBIANO, 2014; AGASISTI; ZOIDO, 2018), permitindo corrigir os valores de eficiência estimados ao considerar os erros aleatórios do processo de amostragem. Com isso, para cada unidade analisada, pôde-se estimar o intervalo de confiança e o viés, além da eficiência corrigida, possibilitando proceder à inferência estatística dos resultados obtidos.
Quanto à abordagem DEA utilizada, percebeu-se que a VRS, assumida em cinco estudos (HUGUENIN, 2015; PORTELA; CAMANHO; KESHVARI, 2013; AGASISTI, 2013; AGASISTI; BONOMI; SIBIANO, 2014; AGASISTI; ZOIDO, 2018), é a mais empregada. Esses resultados vão de acordo com Faria, Jannuzzi e Silva (2008, p. 164) que constataram que “[...] em geral, as relações que se estabelecem no campo das políticas públicas não supõem retornos constantes de escalas”.
Considerando a orientação radial, seis estudos optaram por modelos orientados ao produto (SARRICO; ROSA; COELHO, 2010; PORTELA; CAMANHO; KESHVARI, 2013; AGASISTI, 2013; AGASISTI; BONOMI; SIBIANO, 2014; YALÇIN; TAVŞANCIL, 2014; AGASISTI; ZOIDO, 2018), um ao insumo (HUGUENIN, 2015) e um considerando ambas as orientações (HALKIOTIS; KONTELES; BRINIA, 2018). De fato, ainda conforme Faria, Jannuzzi e Silva (2008), essas relações que se estabelecem no campo das políticas públicas requerem a necessidade de se maximizarem os produtos, a partir dos mesmos insumos (orientação ao produto), assumindo a limitação dos recursos orçamentários provenientes da área, que devem ser utilizados de forma mais eficiente possível.
Os estudos que propõem uma análise do tipo longitudinal também fazem uso de complementações à metodologia DEA para o alcance dos seus objetivos, seja pela adaptação do Índice de Malmquist (PORTELA; CAMANHO; KESHVARI, 2013) ou pela análise de janelas (YALÇIN; TAVŞANCIL, 2014). Embora tenham aparecido em um número reduzido nesse mapeamento, estudos desse tipo são de grande importância para o monitoramento da qualidade da educação e para prevenir alterações desfavoráveis na eficiência das escolas.
É preciso ressaltar, ainda, uma limitação encontrada em todos os artigos mapeados, referente à estrutura metodológica adotada. Neles, os autores se preocupam em estimar a eficiência das unidades por meio do rendimento em testes padronizados, desempenho escolar e indicadores de qualidade, desconsiderando a existência dos múltiplos processos que acontecem no interior das escolas, que não são mensuráveis.
Esses processos configuram práticas e subjetividades que só podem ser compreendidas a partir do mergulho no cotidiano escolar dessas unidades, o que não é realizado em nenhum dos estudos mapeados, embora dois deles (SARRICO; ROSA; COELHO, 2010; GOURISHANKAR; LOKACHARI, 2012) tenham realizado consultas às unidades analisadas. Em conformidade com Alves e Garcia (2002, p. 261), acredita-se que para compreender esses processos é preciso sentir a escola, e não só olhar para ela “[...] soberbamente, do alto ou de longe”, o que poderia ter sido feito por meio de estudos in loco e em diálogo com a comunidade escolar, obtendo-se resultados mais expressivos e adequados.
CONSIDERAÇÕES FINAIS
Este artigo teve o objetivo de investigar como a DEA tem sido utilizada em estudos sobre eficácia escolar. Para tanto, procedeu-se a uma revisão sistemática da literatura, baseando-se nas orientações do modelo Prisma (MOHER et al., 2010; PAGE, 2021) e da Análise Temática (BRAUN; CLARKE, 2006). Estudos desse tipo, que buscam analisar a produção acadêmica, além de possibilitarem a divulgação de pesquisas já realizadas, podem ser utilizados como instrumentos de auxílio a pesquisadores, no que se refere às tendências de pesquisa sobre um determinado tema.
No caso específico deste estudo, assumiram-se as pesquisas com foco na área educacional, pensando a escola como o objeto de análises nos artigos mapeados. Embora não se tenha percebido uma produção densa, considerando o período avaliado (2010-2019), foi possível identificar algumas das potencialidades e limitações da aplicação da metodologia que envolve a DEA nesses estudos.
Quanto às potencialidades, destaca-se que para a aplicação da DEA não é necessário que existam relações funcionais entre as variáveis de saída (produtos) e as de entrada (insumos), pelas quais também não é exigida uma atribuição prévia de pesos. Além disso, a facilidade na aplicação e interpretação das técnicas que a envolvem, sobretudo a partir do amplo desenvolvimento de softwares computacionais especializados, tornam o seu uso atrativo quando há necessidade de um estudo prático, sem desconsiderar o rigor científico.
Quanto às limitações evidenciadas, destaca-se o caráter não paramétrico da DEA, que inviabiliza proceder-se com inferências estatísticas para a população-alvo do estudo. Com isso, torna-se inexequível a ampliação da abrangência dos resultados obtidos. Entretanto, o uso da técnica bootstrap (reamostragem) se mostrou útil em alguns estudos mapeados, podendo ser adotada como estratégia para o enfrentamento dessa limitação.
Também se ressalta, como uma grande limitação do seu uso, o fato de a DEA apenas identificar as unidades que são referências, a partir da comparação com unidades com características semelhantes a elas, sem ao menos indicar quais fatores são determinantes para a melhoria da qualidade da educação. Todavia, procedimentos de segundo estágio, que abarcam o uso de análises de correlação e regressão, se mostraram de grande relevância para contornar essa situação. Contudo, percebeu-se que não há um consenso sobre qual tipo de regressão deve ser utilizado, uma vez que, em parte dos estudos mapeados emprega-se a regressão Tobit e, em outra parte, a regressão OLS.
Em estudos futuros, parece interessante investigar como as pesquisas brasileiras sobre eficácia escolar estão sendo realizadas, buscando identificar o lugar da DEA enquanto abordagem metodológica, visto que não foram mapeados, nesta revisão, estudos desenvolvidos no âmbito nacional. Por fim, espera-se que este artigo sirva como um instrumento de auxílio e orientação para pesquisadores da área educacional que pretendem incorporar a DEA em suas análises empíricas.
