Introdução

A gestão democrática é um tema relevante para o campo da educação brasileira, principalmente quando analisado sob uma perspectiva legislativa, tendo sido incorporado pela Constituição de 1988 (^{BRASIL, 1988}), promulgado pela Lei de Diretrizes e Bases da Educação Nacional (LDB) de 1996 (^{BRASIL, 1996}) e reiterado pelos Planos Nacionais de Educação (PNE) de 2001 (^{BRASIL, 2001}) e 2014 (^{BRASIL, 2014}). Apesar dessa relevância, revisões de literatura nacional (^{ALVES; FRANCO, 2008}) e internacional (LEVINE; LEZOTTE, 1990 apud ^{REYNOLDS; TEDDLIE, 2008}; SAMMONS; HILLMAN; MORTIMORE, 1995 apud REYNOLDS;TEDDLIE, 2008) sobre eficácia escolar sugerem uma escassez de estudos que tentam estimar os possíveis efeitos da implementação de uma gestão democrática nas escolas. Dessa maneira, como uma tentativa de aproximação entre as literaturas sobre gestão democrática e sobre eficácia escolar, esse artigo tem como objetivo realizar uma revisão sistemática sobre os impactos da gestão democrática das escolas da rede pública no aprendizado dos alunos e/ou em quaisquer outras dimensões do trabalho escolar.

A delimitação dessa revisão sistemática refere-se aos temas que permeiam seu objetivo: gestão democrática e avaliação de impacto. O conceito de gestão democrática utilizado nesse trabalho está relacionado a ideia de participação de todos os segmentos da comunidade escolar (alunos, responsáveis, funcionários e professores) nos processos de tomada de decisão da escola (^{SOUZA, 2007}), a partir de alguns dos principais aspectos mencionados na legislação federal (^{BRASIL, 1988}; 1996; 2001; 2014) e que, segundo ^{Souza (2019)}, potencialmente contribuem para a constituição, organização e gestão democrática das escolas públicas. São eles: 1) a existência e a forma de elaboração do projeto político-pedagógico (PPP) da escola; 2) a existência e o funcionamento dos conselhos escolares; e 3) a forma de provimento de diretores escolares, mais especificamente através da eleição pela comunidade escolar.

Grosso modo, o PPP pode ser entendido como o planejamento da escola, construído com a participação de todos os segmentos da comunidade escolar (^{ROMÃO; PADILHA, 1998}; ^{PADILHA, 2003}; ^{VEIGA, 2003}; ^{FERNANDEZ, 2015}). Da mesma forma, os conselhos escolares são órgãos colegiados compostos por todos os segmentos da comunidade escolar, por meio dos quais devem ser decididos aspectos administrativos, financeiros e pedagógicos da escola (^{CISEKI, 1998}; ^{WERLE, 2003}). A eleição do diretor, por sua vez, é resultado de um “processo em que a manifestação da vontade dos segmentos da comunidade escolar é manifestada pelo voto” (^{MENDONÇA, 2001}, p. 88), revelando o “interesse em promover a participação dessa comunidade na gestão escolar” (^{LÜCK, 2011}, p. 128).

Nos três mecanismos percebe-se a necessidade de participação da comunidade escolar nos processos de tomada de decisão da gestão da escola. Em uma perspectiva de gestão democrática, pressupõem-se que tal participação levaria a uma melhor qualidade da educação, entendida tanto por uma dimensão relacionada à formação para o exercício da cidadania e vivência democrática (^{CISEKI, 1998}; ^{ROMÃO; PADILHA, 1998}; ^{VEIGA, 2003}; ^{WERLE, 2003}) quanto por uma dimensão voltada ao ensino/aprendizado (^{VEIGA, 2003}; ^{FERNÁNDEZ, 2015}).

A avaliação de impacto de programas ou políticas educacionais, de maneira abrangente, é um tipo de pesquisa que busca inferir relações de causa e efeito entre fenômenos educacionais. ^{Cano (2002)} define avaliação de impacto como um desenho de pesquisa cujo objetivo é verificar se os efeitos almejados de um programa/intervenção foram ou não atingidos. De acordo com a leitura de ^{Bauer (2010)} sobre Scriven (1991), a avaliação de impacto é entendida como “mensuração do efeito de determinada intervenção sobre determinado alvo, a fim de saber em que medida houve alteração na situação inicial” (^{BAUER, 2010}, p.235). Essa mensuração deve ser realizada a partir de uma medida direta (quantitativa ou qualitativa), e não baseada na percepção dos sujeitos envolvidos (^{XAVIER, BARTHOLO, 2019}).

Revisão sistemática

Segundo ^{Costa e Zoltowski (2014}, p.56), “a revisão sistemática é um método que permite maximizar o potencial de uma busca, encontrando o maior número possível de resultados de uma maneira organizada”. Nesse sentido, ^{Akobeng (2005)} afirma que a revisão sistemática permite ter em conta toda a gama de resultados relevantes sobre a investigação de determinado tema, sendo usada para estabelecer se os achados científicos são consistentes e generalizáveis entre populações, contextos e variações de tratamento. Assim, trata-se de um método que limita o viés (^{AKOBENG, 2005}; ^{COSTA; ZOLTOWSKI, 2014}), gerando melhor confiabilidade e precisão dos resultados.

^{Costa e Zoltowski (2014)} elencaram oito etapas básicas para servirem de guia durante o processo de construção de uma revisão sistemática de qualidade: 1) Delimitação da questão a ser pesquisada; 2) Escolha das fontes de dados; 3) Eleição das palavras-chave para busca; 4) Busca e armazenamento dos resultados; 5) Seleção de trabalhos pelo resumo, de acordo com critérios de inclusão e exclusão; 6) Extração dos dados dos artigos selecionados; 7) Avaliação dos artigos; 8) Síntese e interpretação dos dados.

Os autores alertam que, embora seja possível se falar em etapas para a realização de uma revisão sistemática, por vezes, elas se misturam e não ocorrem de maneira sequencial, conforme será visto nas seções a seguir.

Escolha das fontes de dados

A análise foi realizada a partir de estudos publicados entre 2007, ano de consolidação do Índice de Desenvolvimento da Educação Básica (IDEB), e 2017³. O IDEB permite aferir os resultados em português e matemática por escola, tendo sido “introduzido pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) em 2006” (^{SOARES; XAVIER, 2013}) e atrelado ao Plano de Metas do Plano de Desenvolvimento da Educação em 2007 (^{SAVIANI, 2007}).

As fontes de dados foram escolhidas pelas suas reconhecidas importâncias no campo da educação e, principalmente, por abrangerem trabalhos avaliados por pares. Foram analisados: 1) os trabalhos de todos os Grupos de Trabalhos (GT) disponíveis nos sites das Reuniões Nacionais da Associação Nacional de Pós-Grduação e Pesquisa em Educação (ANPEd); 2) as publicações com resumo disponível nos sites em português da plataforma Scielo, referentes aos periódios Revista Brasileira de Educação (RBE), Educação & Sociedade, e Cadernos de Pesquisa - Fundação Carlos Chagas; 3) as publicações disponíveis no site dos periódicos Estudos em Avaliação Educacional e Revista Brasileira de Política e Administração da Educação (RBPAE).

A ANPEd, além de ter seus trabalhos científicos avaliados por um comitê científico, foi escolhida por sua projeção como um importante espaço de debate das questões científicas e políticas da área. Como as reuniões são organizadas em torno dos 23 GTs, foram priorizados apenas os “Trabalhos” dos GTs, excluindo-se os trabalhos encomendados, pôsteres, etc. De 2007 a 2017, foram realizadas nove Reuniões Nacionais da ANPEd (2007, 2008, 2009, 2010, 2011, 2012, 2013, 2015 e 2017). Inicialmente, pensou-se em considerar as Reuniões Regionais (Anpedinhas), no entanto, no período em que foi realizada a etapa de “Busca e armazenamento dos resultados”, novembro de 2017, apenas as publicações de 2016 estavam disponíveis no site da ANPEd. As publicações anteriores constavam nos respectivos sistes de cada Anpedinha, porém alguns deles não estavam mais disponíveis.

Os periódicos RBE, Educação & Sociedade e Cadernos de Pesquisa são importantes e conhecidos periódicos científicos, avaliados como Qualis A1 na área de Educação, segundo as “Classificações de Periódicos - Quadriênio 2013-2016”, disponível na Plataforma Sucupira⁴. A RBPAE, apesar de ser avaliada como A2, segundo a mesma fonte, foi escolhida por ser uma publicação quadrimestral da Associação Nacional de Política e Administração da Educação (ANPAE), uma associação de destaque no cenário educacional. Por último, o periódico Estudos em Avaliação Educacional, também avaliado como A2, foi escolhido devido a sua tradição em publicar estudos de impacto, possuindo, inclusive, uma sua seção específica denominada “Avaliação de Impacto”⁵.

Busca e armazenamento de resultados/eleição das palavras-chave

Através de programação em “R”, o primeiro procedimento realizado na etapa de “busca e armazenamento de resultados”, ocorrida em novembro de 2017, foi a “raspagem”⁶ e criação dos bancos de dados com os títulos de todos os trabalhos disponíveis nos Grupos de Trabalho (GTs) e nos periódicos científicos. O segundo procedimento desta etapa foi limpar cada banco de dados, retirando os títulos não disponíveis, os títulos generalistas e os títulos sem resumo. A retirada das publicações sem resumo foi feita apenas com os periódicos indexados à plataforma Scielo, uma vez que esta disponibilizava um link quando a publicação possuía resumo. Dentre os trabalhos da ANPEd, um trabalho do GT-15 da 34ª Reunião Nacional não possuía seu título disponível⁷ e foi contabilizado como perda. A Tabela 1 resume os resultados dos procedimentos 1 e 2.

Mais uma vez através do software “R”, os trabalhos foram filtrados por expressões-chave definidas a partir dos grandes temas e conceitos que permeiam os objetivos da dissertação: gestão escolar, gestão democrática (eleições para diretoria, Conselho Escolar e Projeto Político Pedagógico) e avaliação de impacto. Na programação realizada, os títulos foram filtrados de acordo com a expressão que continham. As expressões-chave utilizadas estão discriminadas no Quadro 1, enquanto a Tabela 2 apresenta o total de trabalhos com títulos em língua portuguesa após a filtragem por expressões-chave.

Em seguida, conforme indicado por ^{Costa e Zoltowski (2014}, p.64), os estudos “potencialmente relevantes selecionados na busca devem ser classificados a partir de critérios de inclusão e exclusão”. A fim de minimizar vieses, as autoras recomendam que esta etapa seja feita por dois juízes independentes, o que não foi possível realizar por falta de recursos. Nesse sentido, é importante ressaltar que questionamentos ocorreram ao longo do processo de classificação e foram dirimidos a partir do diálogo entre os pesquisadores responsáveis pelo estudo.

Selecionaram-se apenas os trabalhos com objetivos e/ou algum resultado relacionado à gestão democrática e que se referissem a rede pública de Educação Básica, excluindo-se quaisquer trabalhos relacionados ao Ensino Superior. Posteriormente, esses trabalhos foram classificados em: 1) estudos teóricos; 2) estudos de impacto; 3) estudos de percepção; 4) revisões de literatura e 5) outros.

Na classificação “estudos teóricos”, foram colocados todos os trabalhos que não apresentaram qualquer empiria, fosse ela a partir de dados primários, secundários ou documentais. Nas classificações “estudos de impacto” e “estudos de percepção”, foram colocados os trabalhos que tentaram estabelecer relações de causa e efeito, ou seja, trabalhos que de alguma maneira tentaram identificar/descrever ou estimar as causas de um determinado fenômeno educacional. Como “estudos de impacto”, foram classificados aqueles que de alguma maneira tentaram estimar o impacto da gestão democrática através de medições diretas (quantitativa ou qualitativa), não baseadas na percepção dos sujeitos envolvidos (^{XAVIER; BARTHOLO, 2019}). Os “estudos de percepção”, por sua vez, foram diferenciados dos estudos de impacto justamente pela ausência de medições diretas, fazendo com que as relações causais sejam descritas a partir das percepções dos sujeitos participantes da pesquisa. Os estudos sobre percepção de impacto apresentam limitações e seus resultados devem ser lidos com cautela. É fundamental fazer a distinção: “percepção sobre impacto não é evidência robusta sobre impacto” (^{XAVIER; BARTHOLO, 2019}, p. 15).

A quarta classificação, “revisões de literatura”, é autoexplicativa. Na classificação “outros”, foram colocados todos os estudos empíricos que não se encaixaram nas classificações anteriores. As tabelas 3 to 4 resumem os resultados da seleção e classificação dos trabalhos, respectivamente.

Extração dos dados dos artigos selecionados

O primeiro artigo classificado como estudo de impacto, “Gestão escolar, liderança do diretor e resultados educacionais no Brasil”, foi escrito pelas autoras Ana Cristina Prado de Oliveira e Cynthia Paes de Carvalho, e pertence aos trabalhos do GT-14 da 37ª Reunião Nacional da Anped, em 2015.

^{Oliveira e Paes de Carvalho (2015)} investigaram a relação entre a liderança do diretor, tal como percebida pelos professores da escola, as políticas de provimento do cargo de direção e os resultados acadêmicos dos alunos. As autoras utilizaram dados de todas as escolas estaduais e municipais avaliadas apenas no 5º ano do Ensino Fundamental nas edições da Prova Brasil de 2007, 2009 e 2011.

A opção por trabalhar com dados de escolas avaliadas apenas no 5º ano foi uma estratégia adotada pelas autoras para tentar superar a limitação de que somente os professores das séries avaliadas pela Prova Brasil (5º e 9º anos do Ensino Fundamental) respondem aos questionários, o que fornece uma visão parcial sobre a escola e seu diretor. A ideia é que escolas avaliadas apenas no 5º ano não atendem aos anos finais do Ensino Fundamental, diminuindo, portanto, o número de professores não respondentes e permitindo uma melhor mensuração da percepção dos professores sobre a escola e o diretor.

As análises foram feitas a partir de modelos de regressão linear, sendo dois para cada edição da Prova Brasil, um para as escolas estaduais e outro para as escolas municipais, totalizando seis modelos. A variável dependente utilizada foi o desempenho médio dos alunos em Matemática, agregado por escola. Nas variáveis independentes, foram utilizados: 1) o Nível Socioeconômico (NSE) médio do alunado, estimado a partir da escolaridade máxima de seus pais e informada pelas respostas aos questionários contextuais dos alunos; 2) o Índice de Liderança do Diretor (ILD), criado por análise fatorial a partir dos dados dos questionários dos professores. O ILD representa o índice médio da percepção dos professores respondentes sobre o diretor de cada escola (^{OLIVEIRA; PAES DE CARVALHO, 2015}); e 3) a forma de provimento do cargo de diretor, obtido através do questionário de diretores. Esta variável foi representada por uma variável binária apontando se o diretor foi indicado ou não para o cargo.

Os resultados indicam para os três anos, tanto nas redes estaduais quanto nas redes municipais, uma associação positiva entre o desempenho em Matemática no 5º ano e a liderança dos diretores, e uma associação negativa com o fato de ter diretores indicados. As autoras ressaltam que se trata de um estudo exploratório e que “tais resultados apontam algumas pistas sobre as relações entre os fatores envolvidos, ainda que não estabeleçam causalidades” (^{OLIVEIRA; PAES DE CARVALHO, 2015}, p. 15).

O segundo artigo classificado como estudo de impacto, “Políticas educacionais e desempenho escolar nas capitais brasileiras”, foi escrito pela autora Fátima Alves e pertence aos trabalhos do periódico Cadernos de Pesquisa, Volume 38, Nº 134, de 2008.

^{Alves (2008)} investigou a associação entre políticas públicas e o desempenho das redes de ensino estaduais e municipais das capitais brasileiras a partir dos dados relativos ao rendimento em Matemática de alunos da 4ª série do ensino fundamental, aferidos pelo Sistema de Avaliação da Educação Básica (SAEB) nos anos de 1999, 2001 e 2003. A autora chama a atenção para as limitações impostas pela avaliação nacional para a investigação de efeitos causais.

O estudo considerou “duas medidas de desempenho escolar: dos alunos da 4ª série do ensino fundamental em anos distintos e das sucessivas gerações de crianças de 10 anos” (^{ALVES, 2008}, p. 417). A primeira medida foi obtida diretamente pelo SAEB. A segunda, “particularmente importante por causa das alterações ocorridas no fluxo escolar e no perfil social dos jovens que atingem os diversos níveis educacionais nos últimos anos” (^{ALVES, 2008}, p. 417), foi estimada a partir de informações do SAEB, da Pesquisa Nacional por Amostra de Domicílios (PNAD), do Censo Escolar e de avaliações estaduais de desempenho discente (^{ALVES, 2007}). A autora recomenda a leitura de ^{Alves (2007)}, onde são detalhados os dados e os procedimentos utilizados sobre a recomposição da proficiência da coorte etária.

A Tabela 5, a seguir, apresenta o número de redes e de alunos para a 4ª série do ensino fundamental e para a geração com 10 anos de idade.

^{Alves (2008)} justifica que o motivo da variação no número das redes de ensino e de alunos observados em cada ano pelo SAEB se deve à diferença no seu plano amostral. “Em 1999 e 2003 as redes de ensino das capitais brasileiras não foram consideradas como um estrato de interesse” (^{ALVES, 2008}, p. 417).

A análise foi realizada em modelos multiníveis que consideram a dupla estrutura hierárquica dos dados: alunos dentro de redes e redes dentro de anos de aplicação do SAEB. Conforme apontado, as variáveis dependentes dos modelos foram “o desempenho do aluno da 4ª série do ensino fundamental e o desempenho das crianças da geração de 10 anos, ambas no teste de Matemática do SAEB” (^{ALVES, 2008}, p. 417 e 418). Para cada uma das variáveis dependentes, ^{Alves (2008)} estimou modelos que, em um primeiro momento, tinham apenas as variáveis de controle “nível socioeconômico dos alunos e o nível socioeconômico médio dos alunos de cada rede de ensino em cada ano” (^{ALVES, 2008}, p. 418).

Em um segundo momento, foram incluídas as variáveis referentes às “políticas educacionais implementadas pelas redes de ensino das capitais brasileiras nos últimos anos” (^{ALVES, 2008}, p. 418), a saber: 1) Rede de ensino organizada em séries ou ciclos, obtido a partir do Censo Escolar; 2) Rede de ensino com Ensino fundamental de 8 ou 9 anos, obtido através do Censo Escolar; 3) Percentual de atendimento à educação infantil de crianças de 4 e 5 anos, obtido através do Censo Escolar e de uma estimativa feita pela autora com dados dos Censos Demográficos de 1991 e 2000; 4) Rede de ensino com ou sem participação em programa de correção de defasagem idade-série do Instituto Ayrton Senna, obtido através do Instituo Ayrton Senna; 5) Percentual de turmas da rede de ensino que tem professores com Ensino Superior, obtido através do SAEB; 6) Percentual de escolas da rede de ensino que afirmam receber recursos do Programa Dinheiro Direto na Escola (PDDE), obtido a partir do Censo Escolar; 7) Rede de ensino com ou sem sistema de avaliação de desempenho; 8) Forma modal de escolha do diretor das escolas na rede de ensino (seleção, eleição, seleção e eleição, indicação técnica, indicação política, outra forma), obtido através do SAEB.

Os resultados relativos ao processo de escolha do diretor, objeto de interesse dessa revisão sistemática, apontaram somente o processo de seleção e eleição com efeito significativo e associado ao aumento do desempenho dos alunos das redes de ensino. A autora chama a atenção para a associação negativa entre o desempenho dos alunos e a escolha direta por políticos, ainda que essa associação não tenha significância estatística.

Avaliação sobre a qualidade das evidências

Dado que os artigos selecionados buscam identificar relações de causa e efeito, torna-se oportuno avaliar a qualidade das suas evidências produzidas a fim de se interpretar de maneira adequada os resultados descritos. Nesse sentido, os artigos foram avaliados a partir da proposta da “peneira”, criada por ^{Gorard, See e Siddiqui (2017)}, que permite avaliar a qualidade da evidência produzida em estudos de impacto no campo da educação. No livro “The Trials of Evidence-Based Education: The Promises, Opportunities And Problems of Trials in Education”, os autores apresentam cinco critérios para julgar a qualidade dos resultados reportados nas avaliações de impacto: a) Desenho do estudo: o desenho do estudo é adequado? A comparação entre os grupos experimental e controle é justa?; b) Amostra: o tamanho da amostra é adequado para os grupos experimental e controle?; c) Perda amostral: dado que a perda amostral pode enviesar os resultados obtidos, esta foi indicada? d) Qualidade dos dados: as mensurações são replicáveis? São padronizadas? e) outras ameaças a validade interna.

A partir da extração dos dados dos artigos na seção anterior, percebe-se que os dois primeiros critérios, “desenho do estudo” e “amostra”, não podem ser avaliados da maneira como foram propostos originalmente por ^{Gorard, See e Siddiqui (2017)}, uma vez que os estudos não tratam da aplicação de um tratamento a um grupo experimental e, portanto, também não apresentam grupo controle. Em outras palavras, os artigos selecionados não podem ser considerados experimentos ou quase-experimentos, enquadrando-se melhor na categoria pesquisa correlacional, já que tentam inferir relações de causa e efeito a partir de variações já existentes entre indivíduos e grupos (^{JESUÍNO, 1989}).

Dessa maneira, o primeiro critério, “desenho do estudo”, foi avaliado de acordo com algumas condições estabelecidas por ^{Goldstein (1997)}, ^{Lee (2004)} e ^{Murillo (2008)} para a realização de pesquisas educacionais sobre eficácia escolar.

Desenho do estudo:

Quanto ao segundo critério, “amostra”, o tamanho continuou sendo o foco da avaliação, desconsiderando, porém, a existência de grupo experimental e grupo controle. Os demais critérios continuaram os mesmos. Por fim, inspirado no procedimento sugerido por ^{Gorard, See e Siddiqui (2017)}, cada estudo recebeu uma nota de 0 a 4, sendo zero (0) a pior avaliação e quatro (4) a melhor. Esta nota foi obtida atribuindo-se uma nota de 0 a 4 para cada um dos critérios avaliados e, em seguida, calculando-se uma média aritmética entre elas.

Sabe-se que há certo grau de arbitrariedade na avaliação dos estudos, principalmente, quando se designa uma nota para eles. No entanto, entende-se que esta reflexão pode representar ganhos aos pesquisadores interessados no tema. É importante ressaltar que, embora os artigos não tratem apenas de dados relativos à gestão democrática, a avaliação dos critérios focalizou os dados relacionados a esse tema.

O artigo de ^{Oliveira e Paes de Carvalho (2015)}, embora utilize dados de 2007, 2009 e 2011 da Prova Brasil, não é um estudo longitudinal (-2 pontos), já que as análises são feitas para cada ano, em uma perspectiva transversal, sem considerar se houve ou não mudança na forma de seleção de diretor nas escolas ao longo dos anos. Além disso, o próprio caráter transversal da Prova Brasil, ou seja, o fato de alunos diferentes serem avaliados em cada ano, não permite uma análise longitudinal do desempenho dos alunos (variável dependente). Por fim, ainda que os modelos utilizem uma variável de NSE, não foram utilizados modelos hierárquicos (-1 ponto) e, sim, regressões lineares. Devido a esses motivos, atribuiu-se a nota 1 para o critério “desenho do estudo”.

Quanto ao segundo critério, “amostra”, é importante lembrar que as análises do primeiro artigo foram feitas a partir de dois modelos de regressão linear (um para as escolas estaduais e outro para as escolas municipais) para cada uma das três edições da Prova Brasil utilizadas, totalizando seis modelos. Nesse sentido, apesar de serem apresentados dados referentes aos percentuais de diretores indicados e não indicados (seleção e/ou eleição; outra forma), tanto para as redes estaduais quanto paras as redes municipais em cada ano, não é apresentada a quantidade de escolas por tipo de rede. O dado apresentado refere-se à quantidade total de escolas estaduais e municipais avaliadas em cada ano. Além disso, as médias apresentadas relativas à variável binária (se o diretor é indicado ou não) não fazem distinção entre escolas estaduais e municipais. Dessa forma, torna-se inviável saber o tamanho das amostras em cada modelo utilizado (-1 ponto). Por esses motivos, a nota 3 foi atribuída para o segundo critério.

No que diz respeito ao terceiro critério, “perda amostral”, o artigo não informa nada sobre o percentual de diretores que não responderam ao questionário. É possível que não haja grandes perdas amostrais, já que todos os diretores devem responder ao questionário da Prova Brasil. De qualquer forma, seria válida alguma informação a respeito (-1 ponto). Quanto ao questionário dos professores, utilizado para a criação do ILD, as autoras alertaram que estudos preliminares com dados da edição de 2009 da Prova Brasil apontaram a existência de altos índices de dados faltantes, porém sem nenhum viés entre regiões, sistemas, professores ou estrutura escolar (^{OLIVEIRA; PAES DE CARVALHO, 2015}). Apesar de afirmarem a ausência de viés, as autoras não informam quais são esses estudos nem indicam o tamanho da perda amostral (-1 ponto). Devido à ausência dessas informações, a nota 2 foi atribuída para o terceiro critério.

O quarto critério trata sobre a qualidade dos dados. A nota para este critério é 4, uma vez que as medidas utilizadas são todas provenientes da Prova Brasil, portanto, padronizadas e replicáveis.

Por último, o estudo aponta limitações a sua validade interna como o fato de o ILD ser fruto da percepção dos professores e o fato de os dados tratarem de percepção parcial, uma vez que apenas os professores dos anos avaliados pela Prova Brasil respondem aos questionários. Outra limitação apontada por ^{Oliveira e Paes de Carvalho (2015)} é considerar seu estudo exploratório, o que permite apenas, segundo as autoras, apontar pistas sobre as relações entre os fatores envolvidos, sem estabelecer causalidades. A nota para o quarto critério é 3, resultando em uma nota final para o estudo igual a 2,6.

O segundo artigo analisado, de ^{Alves (2008)}, também utiliza dados de três anos diferentes de uma avaliação padronizada, o SAEB (1999, 2001 e 2003). Assim como no Artigo 1, não se trata de um estudo longitudinal (-2 pontos), devido ao fato do SAEB, tal como a Prova Brasil, avaliar alunos diferentes em cada ano. Nesse sentido, as análises realizadas consideram apenas a ausência ou a presença da política educacional na rede, sem considerar se houve mudança ao longo do tempo. Ainda sobre os modelos, o Artigo 2 utiliza modelos multiníveis, levando em conta a dupla estrutura hierárquica dos dados: alunos dentro de redes e redes dentro de anos de aplicação do SAEB. Além disso, os modelos são controlados por nível socioeconômico dos alunos e nível socioeconômico médio dos alunos de cada rede de ensino em cada ano. Dessa maneira, a nota 2 foi atribuída para o critério “desenho do estudo”.

Sobre o tamanho da amostra, o Artigo 2 analisa todas as redes de ensino estaduais e municipais das capitais brasileiras avaliadas nas edições do SAEB de 1999, 2001 e 2003. Contando com o distrito federal, deveria se tratar de um total de 53 redes municipais e estaduais (26 redes municipais das capitais de cada estado + 27 redes estaduais de cada estado e do Distrito Federal). O ano com menor número de redes analisadas foi 1999, com 39 redes, correspondendo a mais de 70% do total de redes. Quanto ao número de alunos, a menor amostra relatada é 2.604 alunos, também em 1999. Tais números sugerem uma amostra com tamanho adequado para as análises realizadas, fazendo com que a nota 4 fosse atribuída para este critério.

Quanto ao terceiro critério, “perda amostral”, conforme explicado na seção 6.2, o fato de as redes de ensino das capitais brasileiras não terem sido consideradas como um estrato de interesse nos anos de 1999 e 2003 causou uma variação no número das redes de ensino e de alunos observados em cada ano pelo SAEB. Para viabilizar as análises envolvendo as capitais nos anos considerados, ^{Alves (2008)} reestimou os pesos amostrais de maneira análoga ao SAEB (^{ALVES, 2007}, p. 209), tendo que excluir algumas redes de ensino devido ao número reduzido de observações. Para maiores informações, a autora sugere a leitura de seu outro estudo (^{ALVES, 2007}), onde este processo é detalhadamente explicado no anexo 8. Apesar da transparência nos processos metodológicos utilizados, a perda amostral alta com os dados secundários fez com que se atribuísse a nota 2 para este critério.

No que diz respeito à qualidade dos dados, a autora utiliza dados padronizados e públicos do SAEB, do PNAD e do Censo Escolar, além de explicar detalhadamente, no estudo recomendado (^{ALVES, 2007}), os procedimentos e métodos utilizados, permitindo suas replicações. Dessa maneira, a nota 4 foi atribuída para o quarto critério.

Sobre as ameaças à validade interna, ^{Alves (2008)} destaca limitações impostas pela avaliação nacional para a investigação de efeitos causais, o que lhe conferiu a nota 3 para este critério, resultando em uma nota final igual a 3.

Síntese e interpretação dos dados

Os resultados descritos mostram que, para o período de 2007 a 2017, foram encontrados, nas fontes analisadas, 140 estudos que possuem objetivos e/ou resultados relacionados à gestão democrática e que se referem à rede pública de Educação Básica. Desses, apenas dois foram considerados estudos que estimam o impacto da gestão democrática no aprendizado dos alunos e/ou em quaisquer outras dimensões do trabalho escolar, sendo que ambos tratam apenas da eleição para diretor escolar.

Além de evidenciar a falta de diálogo entre a literatura sobre gestão democrática e a literatura sobre eficácia escolar, esses resultados sugerem que muito pouco pode ser afirmado sobre qualquer impacto de uma gestão democrática no aprendizado dos alunos e/ou em quaisquer outras dimensões do trabalho escolar. Primeiro, porque as análises realizadas apresentam a limitação de mensurar apenas dimensões do trabalho escolar relacionadas ao ensino/aprendizado, mais especificamente desempenho, ignorando outras dimensões almejadas por uma gestão democrática, como a formação para o exercício da cidadania e vivência democrática. Segundo, porque apenas as eleições para diretor tiveram seus efeitos estimados, enquantoos outros dois mecanismos, Projeto Político-Pedagógico e Conselho Escolar, sequer foram abordados pelos estudos de impacto. Por último, porque mesmo que os estudos tenham apontado efeitos negativos da indicação de diretores por políticos (^{ALVES, 2008}; ^{OLIVEIRA; PAES DE CARVALHO, 2015}) e efeitos positivos do processo de seleção e eleição (^{ALVES, 2008}), seus desenhos de pesquisa não são longitudinais, sendo, portanto, frágeis para inferir qualquer relação causal, conforme destacado pelas próprias autoras dos trabalhos.

Estudos futuros devem utilizar desenhos longitudinais e modelos de valor agregado para estimar com maior confiabilidade os possíveis efeitos da gestão democrática nas escolas públicas. Nessse sentido, torna-se importante ampliar a mensuração de possíveis efeitos da gestão democrática para além do ensino/aprendizado. Os objetivos da gestão democrática são amplos e, portanto, efeitos relacionados à formação para o exercício da cidadania e vivência democrática também devem ser mensurados