Mapeamento das publicações

O levantamento bibliográfico realizado no Portal de Periódicos da Capes, SciELO e Doaj resultou em 5.642 artigos. Destes, 75 estavam de acordo com os critérios de inclusão da revisão sistemática, compondo a amostra examinada.

Dos artigos considerados, 66,9% são classificados em Qualis A - sendo 44,3% A1 e 22,6% A2 -, 31,8% em Qualis B - 25,3%, 2,6%, 1,3% e 2,6%, respectivamente classificados em B1, B2, B3 e B5 - e 1,3% em Qualis C. Logo, os resultados da pesquisa bibliográfica demonstram que os critérios de seleção adotados possibilitaram identificar as pesquisas mais relevantes publicadas na base bibliográfica das três bases de dados consideradas.

Os artigos selecionados foram publicados em 33 periódicos, sendo que dois concentraram o maior número de trabalhos: Ensaio: Avaliação e Políticas Públicas em Educação e Estudos em Avaliação Educacional (Tabela 4).

Quanto ao primeiro periódico, verifica-se que sua finalidade é publicar artigos originais relacionados à educação, tendo como temática questões sobre avaliação e políticas públicas em educação. Já o segundo tem como objetivo divulgar a produção acadêmica sobre avaliação educacional e análise de políticas e programas que dialoguem com a avaliação e/ou venham a subsidiar estudos avaliativos.

De modo geral, no que concerne ao critério de reputação dos periódicos, para identificar os mais relevantes e que dão maior vazão a um tema específico, a pesquisa fundamentou-se na Lei de Bradford (Tabela 3), tendo como base as métricas de citação H-index e o SJR. Dessa forma, segundo a área, tem-se os seguintes resultados: educação com 58,8% e 41,2% e economia com 60% e 40%, respectivamente, apresentaram e não apresentaram periódicos com indicadores. No que tange à sociologia e ao planejamento urbano e regional/demografia, não se observaram periódicos com indicadores.

O indicador SJR se baseia na ideia de que a área do conhecimento, a qualidade e a reputação de um periódico influenciam diretamente as citações por ele realizadas. Ou seja, um periódico com valor SJR > 1,0 tem potencial de citação acima da média, enquanto um com SJR < 1,0 tem potencial de citação abaixo da média. O Qualis da Capes foi utilizado para conferir a relevância do periódico. Dessa forma, tem-se como principais resultados: Assessment in Education: Principles, Policy & Practice (SJR = 1,259, Qualis A1), Computers & Education (SJR = 0,942, Qualis A1) e Education Policy Analysis Archives (SJR = 0,727, Qualis A1) para a área de educação. Na economia, observa-se a revista Nova Economia (SJR = 0,229, Qualis B1) e, na área de planejamento urbano e regional/demografia, o periódico Revista Brasileira de Estudos de População (SJR = 0,250, Qualis B1).

Ao analisar a autoria dos artigos, identifica-se um total de 90 autores ou coautores diferentes. Cerca de 85,7% dos artigos foram escritos em coautoria e somente 14,3% por um único autor. Observa-se que dois autores se destacam em função da autoria e coautoria em mais de um artigo: José Francisco Soares e Maria Teresa Gonzaga Alves. O primeiro tem autoria em nove trabalhos, sendo dois como único autor, quatro como primeiro e três como segundo. José Francisco Soares é professor emérito na Faculdade de Educação, Departamento de Ciências Aplicadas à Educação, na Universidade Federal de Minas Gerais, tendo como linhas de pesquisa: efeito de escolas, políticas públicas em educação e avaliação educacional. Maria Teresa Gonzaga Alves, por sua vez, tem autoria em nove trabalhos, sendo um como única autora, quatro como primeira e quatro como segunda. Professora na Faculdade de Educação, Departamento de Ciências Aplicadas à Educação, na Universidade Federal de Minas Gerais, suas linhas de pesquisa são: efeito-escola, sociologia da educação, avaliação de escolas e avaliação de sistemas de ensino. Esses autores publicaram conjuntamente cinco artigos.

A Lei de Lotka aponta a necessidade de mapear os autores que têm mais artigos publicados e, portanto, grande valor em uma área do conhecimento. Mostrou-se relevante, pois permite avaliar o impacto das publicações no campo da avaliação educacional. Nessa perspectiva, os autores com maior número de citações foram José Francisco Soares e Maria Teresa Gonzaga Alves. Ao analisar o índice H (H-index) dos pesquisadores pela plataforma Scopus,⁸ encontram-se, respectivamente, H = 9 e H = 5.

No que se refere ao ano de edição, constatou-se que os estudos selecionados foram publicados no período de 2001 a 2021, apesar de a busca considerar trabalhos de 1995 a 2021. Das 75 publicações analisadas, 54,5% referem-se ao ensino fundamental, 10,4% ao ensino médio e 35,1% aos ensinos fundamental e médio. Além disso, utilizou-se o índice H, que é determinado pela relação entre o número de trabalhos publicados e suas citações disponíveis na plataforma da Scopus.

Quanto às estratégias de investigação utilizadas, constata-se que 98,7% (74) dos estudos examinados utilizaram a abordagem quantitativa, com predominância do método estatístico, enquanto 1,3% (1) empregou a pesquisa qualitativa exploratória. Tais resultados indicam que os testes estatísticos foram utilizados para reduzir os fatores explicativos, identificar as variáveis mais significativas e examinar a relação entre as variáveis dependentes e independentes.

Contudo, vale ressaltar o risco de a abordagem quantitativa produzir um grande número de informações, sem que haja uma análise contextualizada. Por esse motivo, os resultados devem ter “profundidade de análise, significando a recusa de deter-se na superfície das coisas, na visão imediata, na ingenuidade da informação primeira” (^{Demo, 2008}, p. 39). Isso leva à compreensão de que as informações resultantes dos processos estatísticos devem ser embasadas em uma perspectiva teórica/científica robusta e consistente, que oriente as análises e interpretações dos resultados (^{Gatti, 2004}).

Dessa forma, a análise dos estudos examinados (n = 75) aponta, como principal limitação, a ausência de investigações que utilizaram a abordagem qualitativa e/ou quantitativa-qualitativa para avaliar o impacto das variáveis preditoras sobre o desempenho escolar. Tal constatação indica a necessidade de incorporar estratégias de investigação que utilizem observações, entrevistas, análise de documentos (públicos, privados, memoriais), pesquisas de opinião e bibliográficas, aplicação de questionários e estudos de caso. Com base no uso de um plano de trabalho aberto e flexível, os focos da investigação vão sendo constantemente revistos, as técnicas de coleta reavaliadas, os instrumentos reformulados e os fundamentos teóricos e metodológicos repensados (^{André, 2009}).

Por fim, percebe-se a necessidade de serem empregadas novas estratégias de investigação que incorporem procedimentos qualitativos em um projeto quantitativo, de maneira que a análise e a interpretação dos processos estatísticos sejam feitas com base em uma abordagem lógica e confiável.

No que diz respeito às técnicas estatísticas adotadas para análise dos dados do Saeb nos artigos selecionados para a amostra, verifica-se a predominância de regressão multinível (36,3%), análise descritiva (20,8%), estimativas (6,5%), mineração de dados e regressão quantílica (2,6%). Outros procedimentos estatísticos foram empregados, mas apareceram apenas uma vez. Por isso, optou-se por citar aqueles identificados mais de uma vez nas publicações.

Ainda, destaca-se que 36,3% das pesquisas utilizaram a técnica de regressão multinível, também conhecida como modelo linear hierárquico (MLH) ou modelo de coeficiente aleatório. Essa técnica tem sido considerada a mais apropriada para analisar as variáveis que se relacionam com o desempenho escolar. Seu uso justifica-se por considerar a estrutura hierárquica dos dados, caracterizada por unidades amostrais que se agrupam em unidades maiores, capazes de formar ou não novos grupos. Nesse caso, tem-se o agrupamento dos alunos em turmas, que são associadas em escolas, e possuem, naturalmente, uma estrutura hierárquica (^{Ferrão, 2003}).

No que se refere à distribuição das publicações, tendo como foco a origem institucional dos autores, verifica-se na Tabela 5 que, do total de 75 trabalhos sobre o Saeb e a Prova Brasil, das três universidades que mais publicaram no período pesquisado, destacam-se: uma confessional, a Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), com 28,0%; e duas universidades federais, a Universidade Federal de Minas Gerais (UFMG), com 33,3%, e a Universidade de Brasília (UnB), com 17,3%.

Quando se consideram os autores e coautores (n = 90) dos trabalhos selecionados, constata-se que 92,2% deles estão associados às instituições de educação superior (federais ou confessionais). Também foram identificados autores de instituições internacionais e funcionários públicos federais, estaduais e municipais.

No que se refere às regiões geográficas onde os autores dos artigos publicaram, verifica-se que 71,2% estavam no Sudeste, 12% no Sul, 11,2% no Centro-Oeste e 3,2% no Nordeste, além de 0,8% em Portugal e 1,6% na Espanha. Esse resultado demonstra o grande desequilíbrio existente quanto ao número de artigos científicos no campo da avaliação educacional produzidos no Brasil. Também houve predomínio de autores nas regiões que sediam os programas de pós-graduação mais antigos e consolidados do país (UFMG, PUC-Rio e UnB). Por fim, constatou-se que os artigos são predominantemente de instituições acadêmicas nacionais, o que pode ser identificado pela quantidade de autores e entidades que divulgaram suas publicações.

Partindo para análise da Lei de Zipf (Tabela 3), medida pela frequência das palavras-chave e keywords presentes nos artigos científicos, foi possível obter o seguinte resultado: “desempenho escolar” e “school performance”; “ensino fundamental” e “primary education”; e “Saeb”. Esses descritores foram encontrados nove vezes nas publicações, sendo os que mais se repetem nos artigos examinados.

Análise das publicações

A partir das análises apresentadas anteriormente, realizou-se um estudo aprofundado das pesquisas empíricas relacionadas ao Saeb examinadas. Com base nos resultados, foi possível a criação de oito categorias, que foram organizadas de acordo com a temática, objetivo e resultado (Tabela 6). Tais categorias são investigadas a seguir.

A primeira categoria, fatores extra e intraescolares (^{Soares, 2004a}), é repre- sentada por 29 publicações (27,0%), englobando estudos que examinam a associação entre os fatores extraescolares (valores sociais, políticas públicas, recursos, gestão dos sistemas, família, comunidade e condições econômicas, entre outros) e intraescolares (gestão escolar, professores, projeto pedagógico, atividades didáticas, recursos pedagógicos, clima disciplinar, situação das instalações e equipamentos, serviços oferecidos pela escola, entre outros) e o desempenho escolar.

O exame da categoria em comento revelou a associação entre as variáveis dependentes (proficiência) e independentes (características relacionadas aos alunos, escolas, diretores e professores) e possibilitou discriminar os principais fatores extra e intraescolares que afetam o desempenho escolar verificado pelo Saeb.

É evidente a importância de pesquisas com esse enfoque, visto que identificam variáveis preditoras que podem ser utilizadas para a construção de modelos explicativos fundamentados em dados e evidências estatísticas. Além disso, é possível realizar simulações que propiciam estabelecer relações das variáveis associadas entre escolas, professores, funcionários e alunos e o desempenho escolar, contribuindo para a criação de índices/indicadores educacionais que possibilitam fazer inferências descritivas ou causais, utilizando evidências estatísticas para a elaboração de conclusões ou explicações.

A segunda categoria, eficácia escolar, reúne 11 publicações (14,6%) que têm como enfoque o exame dos fatores que tornam uma escola eficaz e possibilitam estimar quais são as características das escolas que levam os alunos a obterem melhores resultados médios após o controle dos fatores sociodemográficos, produzindo reflexo positivo no progresso acadêmico e no desempenho escolar (^{Sammons, 2008}).

Os artigos partem do pressuposto de que existe uma influência da escola no desempenho cognitivo de seus alunos. No Brasil, com os dados e resultados provenientes do Saeb, foi possível avaliar as características das escolas que mais se associavam com o desempenho escolar. O exame da relação entre as condições de funcionamento das escolas, as características socioeconômicas dos alunos e o desempenho escolar permitiu “quantificar o efeito-escola e a desvendar as especificidades da escola eficaz” (^{Brooke & Soares, 2008}, p. 9).

A análise dessa relação por meio de testes estatísticos proporcionou identificar os fatores significativos que possibilitam o exame da relação entre as variáveis independentes (relacionadas às escolas) e dependentes (proficiência dos alunos). Assim, pode-se aferir se os resultados encontrados são probabilísticos ou produto do acaso, fazendo com que as análises feitas tenham fidedignidade, generalidade e possam ser replicadas por outros estudos.

Vale ressaltar, ainda, que as publicações sobre eficácia escolar identificaram evidências empíricas do efeito das variáveis independentes relacionadas às escolas (presença de biblioteca, laboratório, laboratório de informática e quadras de esportes, o estado de conservação e qualidade das salas de aula, banheiros, cozinha, instalações hidráulicas e elétricas, segurança da escola e dos alunos) que afetam o desempenho escolar apontado pelo Saeb. Portanto, tais evidências demonstram que o investimento na infraestrutura da escola ainda é de grande relevância para o desempenho escolar verificado pelo Saeb.

Assim, observa-se, nos estudos sobre eficácia escolar, uma redução das va- riáveis associadas às escolas com base em testes estatísticos, graças à identificação dos fatores explicativos mais significativos, os quais possibilitam a construção de indicadores estatisticamente validados e adequados a cada realidade educacional. Ademais, viabilizam a coleta, tratamento, análise e disseminação de informações com base em dados procedentes do Saeb.

A desigualdade educacional é a terceira categoria, sendo representada por dez publicações (13,3%) que investigam as possíveis causas da desigualdade entre escolas (públicas e privadas), gênero, raça, estados e regiões com base nos dados do Saeb e indicadores socioeconômicos (Produto Interno Bruto - PIB, Índice de Gini, Índice de Desenvolvimento Humano - IDH). Tendo em vista a análise dessa categoria, observa-se que, no Brasil, a desigualdade educacional se estrutura em desigualdades econômicas e sociais que afetam direta/indiretamente o desempenho escolar e reduzem a probabilidade de acesso, permanência, inclusão escolar e oportunidades educacionais de uma grande parcela dos estudantes da edu- cação básica.

A quarta categoria, políticas públicas educacionais, representada por nove publicações (12,0%), reúne estudos que examinam o efeito dos fundos, programas de promoção automática, processos de escolha dos diretores, Programa Dinheiro Direto na Escola (PDDE), Plano de Desenvolvimento da Escola (PDE-Escola), implementação de sistemas de avaliação, atendimento em educação infantil, gasto por aluno e valorização docente sobre o desempenho escolar e a qualidade da educa- ção nas escolas.

Conforme a análise dessa categoria, verifica-se que é possível examinar o efeito das políticas educacionais sobre o desempenho escolar. Todavia, vale destacar a escassez de estudos empíricos nesse sentido, o que demonstra a necessidade de pesquisas futuras para investigar seu impacto no desempenho escolar e nos processos educativos associados. Além disso, o exame do efeito dessa categoria sobre os resultados do Saeb permite o monitoramento e o aprimoramento das políticas educacionais com base em evidências. Com isso, planeja-se verificar se os resultados encontrados são consequência de uma política educacional específica ou pro- duto do acaso.

A quinta categoria, composta por sete publicações (9,3%), diz respeito à qualidade e equidade na educação básica. É formada por textos que examinam o efeito das variáveis independentes obtidas dos questionários contextuais (alunos, professores, escolas e diretores de escolas) do Saeb sobre as condições de qualidade, entendidas, nessa perspectiva, como fatores que podem afetar o desempenho escolar e a capacidade de promover a equidade, no sentido de mitigar o efeito da origem social e econômica dos alunos nos resultados escolares.

Verifica-se que as reflexões acerca da qualidade e equidade na educação básica, provenientes das pesquisas empíricas do campo da avaliação educacional, revelam que as condições sociais, econômicas, educacionais, a infraestrutura da escola, a gestão escolar e pedagógica, a formação e condições de trabalho dos professores, o financiamento e as políticas públicas educacionais ainda têm forte impacto no desempenho escolar dos estudantes. Logo, tais fatores demonstram a ausência da definição dos padrões mínimos de qualidade no Brasil, para que os estudantes tenham as condições necessárias para uma aprendizagem escolar satisfatória.

Indicadores educacionais é a sexta categoria analisada, representada por cinco publicações (6,6%) que avaliam a educação escolar com base em dados, informações estatísticas e taxas provenientes do Saeb, das Pesquisas Nacionais por Amostra de Domicílios (Pnad) e do Censo Escolar. A análise dessa categoria possibilita desvelar a educação básica a partir de evidências oriundas dessas três fontes de dados. Ainda proporciona fazer um diagnóstico dos fatores extra e intraescolares que afetam o desempenho escolar, pois produz subsídios para o monitoramento e o aprimoramento dos processos educativos, além de contribuir com dados e evidências para a elaboração de pesquisas empíricas no campo da avaliação educacional.

A sétima categoria é a mineração de dados educacionais, composta por duas publicações (2,6%) que utilizam essa técnica para extração de conhecimento útil de grandes volumes de dados (Knowledge Discovery in Databases − KDD) provenientes dos questionários contextuais do Saeb, contendo milhões de registros de alunos, professores, diretores e escolas. Percebe-se que a categoria em análise possibilita aprofundar os dados do Saeb com base em um processo de identificação de padrões que proporciona fazer inferências estatísticas. Ademais, o uso das tecnologias de mineração de dados permite extrair informações de grande base de dados e verificar se os resultados encontrados são probabilísticos ou produto do acaso (^{Namen et al., 2013}; ^{Fonseca & Namen, 2016}).

Por fim, a última categoria, accountability educacional, representada por duas publicações (2,6%), é caraterizada por produções científicas que avaliam o desempenho de sistemas educacionais, escolas e professores individuais com base em medidas de desempenho dos alunos. Nessa perspectiva, accountability educacional corresponde ao conjunto de regras pelas quais as escolas são responsabilizadas por seus resultados, sendo estabelecidas metas. Pela observação desta categoria foi possível notar que sua incorporação no campo da avaliação educacional ocorreu a partir de 2000. Isso porque as avaliações em larga escala (Saeb e Enem) e o Índice de Desenvolvimento da Educação Básica (Ideb) passaram a ser divulgados por unidades da federação e por escolas.

Um outro aspecto a ser levado em consideração, quanto à implantação das avaliações em larga escala no Brasil a partir de 1995, refere-se à incorporação dos procedimentos “preconizados pela Teoria da Resposta ao Item - TRI” (^{Gatti, 2009}, p. 12) e à sua possibilidade de associação com outros métodos estatísticos para comparar alunos, estimar a distribuição de proficiências da população e subpopulações e, ainda, monitorar um sistema de avaliação em larga escala, como é o caso do Saeb.

Portanto, tais características das avaliações em larga escala implantadas no Brasil permitiram que estados e municípios adotassem programas de accountability com base no desempenho acadêmico da escola e no estabelecimento de metas e consequências, como por exemplo bônus para escolas e docentes que atingirem os resultados esperados (^{Fernandes & Gremaud, 2020}; ^{Alves et al., 2016}).

Por fim, vale ressaltar que as categorias em que as publicações são agrupadas não são excludentes, visto que alguns estudos apresentam objetivos secundários e resultados que permitem classificá-los em outras categorias. Um exemplo é a pesquisa de ^{Alves et al. (2016}), que teve como objetivo analisar o efeito do PDE-Escola nos resultados acadêmicos das escolas que participaram do programa, a partir da estimação de um painel de escolas entre 2005 e 2012. A análise do estudo mostra uma grande intersecção com a categoria políticas públicas educacionais, entretanto esta revisão optou por apresentar essa pesquisa agrupada em uma categoria na qual as publicações tivessem maior similaridade temática, de objetivos e resultados.