SciELO - Scientific Electronic Library Online

 
vol.34REFORMULACIÓN DEL INSTRUMENTO DE EVALUACIÓN DOCENTE EN UNA GRADUACIÓN EN FARMACIAINICIATIVAS DE EVALUACIÓN EDUCATIVA EN EL ESTADO DE CEARÁ índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.34  São Paulo  2023  Epub 14-Sep-2023

https://doi.org/10.18222/eae.v34.9051 

Artigos

REVISÃO SISTEMÁTICA: PESQUISAS EMPÍRICAS ACERCA DO SAEB (1995-2021)

REVISIÓN SISTEMÁTICA: INVESTIGACIONES EMPÍRICAS ACERCA DEL SAEB (1995-2021)

SYSTEMATIC REVIEW: EMPIRICAL RESEARCH ON SAEB (1995-2021)

FÁBIO ALEXANDRE FERREIRA GUSMÃOI 
http://orcid.org/0000-0003-3363-6956

SIMONE SILVEIRA AMORIMII 
http://orcid.org/0000-0002-1305-6017

IUniversidade Tiradentes (UNIT), Aracaju-SE, Brasil; fa_bio_gus@hotmail.com

IIUniversidade Tiradentes (UNIT), Aracaju-SE, Brasil; simone_silveira@unit.br


RESUMO

Este artigo tem como objetivo apresentar uma revisão sistemática da literatura sobre o mapeamento da produção científica acerca das pesquisas empíricas relacionadas ao Sistema de Avaliação da Educação Básica (Saeb). Para tanto, utilizaram-se o método Prisma e a análise bibliométrica. Os artigos foram selecionados no Portal de Periódicos da Capes, SciELO e Doaj e datam de 1995 a 2021. Foram consideradas e examinadas 75 publicações. A partir dessa amostra foi possível a criação de oito categorias, organizadas de acordo com a temática, objetivo e resultado das pesquisas empíricas relacionadas ao Saeb. Como resultado, o estudo apontou a necessidade de pesquisas futuras que proporcionem a consolidação do campo da avaliação educacional com base em evidências produzidas a partir dos dados do Saeb.

PALAVRAS-CHAVE: AVALIAÇÃO DA EDUCAÇÃO; EDUCAÇÃO BÁSICA; SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA

RESUMEN

El presente artículo tiene el propósito de presentar una revisión sistemática de la literatura sobre el mapeo de la producción científica acerca de las investigaciones empíricas relacionadas al Sistema de Avaliação da Educação Básica [Sistema de Evaluación de la Educación Básica] (Saeb). Para ello, se han utilizado el método Prisma y el análisis bibliométrico. Los artículos fueron seleccionados en el Portal de Revistas de Capes, SciELO y Doaj y datan de 1995 a 2021. Se consideraron y examinaron 75 publicaciones. Debido al estudio de dicha muestra ha sido posible crear ocho categorías organizadas según la temática, el objetivo y el resultado de las encuestas empíricas relacionadas al Saeb. En función de ello, el estudio señaló la necesidad de futuras investigaciones que proporcionen la consolidación del ámbito de la evaluación educacional en base a evidencias que se produjeron debido a los datos de Saeb.

PALABRAS CLAVE: EVALUACIÓN DE LA EDUCACIÓN; EDUCACIÓN BÁSICA; SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA

ABSTRACT

This article aims to present a systematic literature review on the mapping of scientific production concerning the empirical research related to the Sistema de Avaliação da Educação Básica [Basic Education Evaluation System] (SAEB). For this purpose, the Prisma method and the bibliometric analysis were used. The articles were selected from the Capes Journal Portal, SciELO and Doaj and date from 1995 to 2021. A total of 75 publications were considered and examined. From this sample, it was possible to create eight categories, which were organized according to the theme, objective and result of the empirical research related to SAEB. The study pointed to the need for future research that would consolidate the field of educational assessment based on evidence - gathered from the SAEB data.

KEYWORDS: EDUCATION EVALUATION; BASIC EDUCATION; SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA

INTRODUÇÃO

Este trabalho reúne um conjunto de pesquisas empíricas desenvolvidas em torno do campo da avaliação educacional, tendo como escopo o aprofundamento do entendimento acerca da relação entre as variáveis independentes (obtidas a partir dos questionários respondidos pelos alunos, professores, diretores e secretários da escola) e dependentes (proficiência dos alunos) procedentes do Sistema de Avaliação da Educação Básica (Saeb).

Com a introdução do Saeb, em 1990, foi possível incorporar novas teorias, processos e métodos ao campo da avaliação educacional, proporcionando a criação de modelos explicativos que buscam compreender os processos educativos associados à aprendizagem escolar, fundamentados no exame da relação entre o desempenho escolar e fatores individuais, familiares, sociais, econômicos e culturais relacionados aos alunos, assim como características dos professores, diretores e escolas, o que pode contribuir para a produção de evidências sobre a realidade da educação básica a partir de dados do Saeb (Bonamino, 2016; Gatti, 2009).

A justificativa para um estudo dessa natureza encontra respaldo na concepção de Hessen (1999, p. 19), segundo a qual o conhecimento humano é oriundo da experiência, todavia precisa ser interpretado a partir de dados, fatos e evidências da realidade, de modo que “qualquer explicação ou interpretação deve ser precedida da observação e descrição exata do objeto”. A aplicação do empirismo para aquisição do conhecimento, coleta, resumo e sistematização da produção científica acerca do Saeb proporciona “rigor no tratamento do objeto” (Demo, 2008, p. 39). Portanto, o Saeb possibilita a coleta de dados no que concerne a alunos, professores, diretores e escolas, favorecendo a construção de modelos teóricos e estatísticos mais próximos da realidade, além de subsidiar as pesquisas no campo da avaliação educacional.

Dessa forma, o presente estudo tem como objetivo apresentar uma revisão sistemática da literatura sobre o mapeamento da produção científica acerca das pesquisas empíricas relacionadas ao Saeb. Trata-se de um levantamento de abordagem qualitativa, cuja estratégia de investigação foi a revisão sistemática da literatura. Foram utilizadas as diretrizes de elegibilidade e análise do modelo dos principais itens para relatar revisões sistemáticas e metanálises (método Prisma) e a análise bibliométrica.

METODOLOGIA

Para alcançar o objetivo estabelecido nesta pesquisa, utilizou-se a revisão sistemática da literatura como método de investigação. Além disso, foram aplicadas as diretrizes do método Prisma (Galvão et al., 2015) e a análise bibliométrica proposta por Chueke e Amatucci (2015). As etapas da revisão sistemática da literatura estão descritas a seguir.

A etapa 1 foi destinada à seleção das bases de busca da produção científica, sendo elas: Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes),1 Scientific Electronic Library Online (SciELO)2 e Directory of Open Access Journals (Doaj),3 que reúnem periódicos científicos em português, inglês e espanhol.

A etapa 2 consistiu na definição das palavras-chave como termos de busca. A seleção foi feita no Thesaurus Brasileiro da Educação,4 o que proporcionou identificar as palavras-chave (descritores) mais recorrentes no campo da avaliação educacional. Assim, a pesquisa das publicações foi realizada mediante os seguintes termos: “avaliação da educação básica”, “basic education evaluationAND “Saeb”; “evaluación de la educación básicaY “Saeb”; “equidade em educação”, “equity in educationAND “Saeb”; “equidad en la educaciónY “Saeb”; “qualidade da educação”, “quality of educationAND “Saeb”; “calidad de la educaciónY “Saeb”; “sistema nacional de avaliação da educação básica”, “Saeb”, “centro nacional brasileño de evaluación del progresso”, nas respectivas variações idiomáticas português, inglês e espanhol.

A etapa 3 compreendeu a seleção dos parâmetros de busca utilizados em cada base. Foram selecionadas pesquisas empíricas de janeiro de 1995 a junho de 2021. O ano de 1995 foi escolhido por ser o período em que se implementou o formato atual do Saeb. As tabelas 1 e 2 apresentam os critérios de exclusão e inclusão aplicados ao resultado da busca.

TABELA 1 Critérios de exclusão 

REFERÊNCIA CRITÉRIOS DE EXCLUSÃO (CE)
CE 1 Pesquisas relacionadas ao Saeb (Avaliação Nacional da Educação Básica - Aneb, Avaliação Nacional do Rendimento Escolar - Anresc e Prova Brasil) sem dados empíricos.
CE 2 Artigos não classificados pelo Qualis-Periódicos Capes no quadriênio 2013-2016 (artigos identificados nos periódicos dos estratos indicativos A1, A2, B1, B2, B3, B4, B5 e C).
CE 3 Artigos não revisados por pares.
CE 4 O trabalho mescla dados do Saeb (Aneb, Anresc e Prova Brasil) com dados provenientes da avaliação em larga escala dos sistemas estaduais de educação e do Programa Internacional de Avaliação de Estudantes (Pisa).

Fonte: Elaboração dos autores (2021).

TABELA 2 Critérios de inclusão 

REFERÊNCIA CRITÉRIOS DE INCLUSÃO (CI)
CI 1 Pesquisas empíricas relacionadas ao Saeb (Aneb, Anresc e Prova Brasil).
CI 2 Obrigatoriedade de os artigos possuírem dados empíricos oriundos do Saeb (Aneb, Anresc e Prova Brasil).
CI 3 Trabalho mescla dados do Saeb (Aneb, Anresc e Prova Brasil) com dados do Exame Nacional do Ensino Médio (Enem) e da Pesquisa Nacional por Amostra de Domicílios Contínua (Pnad).
CI 4 Artigos oriundos de periódicos classificados pelo Qualis-Periódicos Capes no quadriênio 2013-2016.
CI 5 Artigos revisados por pares.

Fonte: Elaboração dos autores (2021).

A etapa 4 foi destinada à seleção da produção científica identificada na base de busca, a partir dos critérios apresentados nas tabelas 1 e 2, sendo a amostra definida por conveniência, ou seja, constituída por pesquisas empíricas avaliadas com base nos critérios estabelecidos previamente.

A etapa 5 consistiu na identificação das publicações no formato de artigo científico, sendo que os trabalhos foram selecionados, inicialmente, a partir da leitura do resumo e, posteriormente, realizou-se a leitura do texto na íntegra para avaliar a qualidade do estudo e seu alinhamento com os critérios preestabelecidos. Foram identificadas 89 publicações e, quando excluídas as duplicadas, restaram 75.

Na etapa 6, aplicou-se o método bibliométrico para colaborar na sistematização da produção científica em um determinado campo do saber e apontar novas perspectivas de investigação (Chueke & Amatucci, 2015). Para alcançar essa finalidade, o método bibliométrico considerou as leis que regem estes estudos (Tabela 3).

TABELA 3 Leis que regem os estudos bibliométricos 

LEI MEDIDA CRITÉRIO OBJETIVO PRINCIPAL
Lei de Bradford Grau de atração do periódico Reputação do periódico Identificar os periódicos mais relevantes e que dão maior vazão a um tema específico
Lei de Zipf Frequência de palavras- -chave Lista ordenada de temas Estimar os temas mais recorrentes relacionados a um campo do conhecimento
Lei de Lotka Produtividade do autor Tamanho-frequência Levantar o impacto da produção de um autor em uma área de conhecimento

Fonte: Chueke e Amatucci (2015).

Por fim, na etapa 7, foram realizadas a análise e interpretação dos resultados. Após a leitura efetiva dos artigos selecionados, utilizou-se uma abordagem qualitativa, ponderando seus aspectos principais para traçar o mapeamento das pesquisas empíricas relacionadas com o desempenho escolar fundamentadas nos dados do Saeb. A Figura 1 apresenta os procedimentos de coleta e definição da amostra da pesquisa.

Fonte: Elaboração dos autores (2021).

FIGURA 1 Fluxograma dos artigos selecionados 

Para a análise da amostra (n = 75), foram utilizados os softwares Zotero (versão 5.0.96.3), para o gerenciamento das referências bibliográficas, e Excel (versão 2013), para analisar quantitativamente os artigos e gerar tabelas. Destacaram-se, ainda, com base nas informações obtidas do currículo Lattes, em junho de 2021, os autores com maior número de publicações.

RESULTADOS

Mapeamento das publicações

O levantamento bibliográfico realizado no Portal de Periódicos da Capes, SciELO e Doaj resultou em 5.642 artigos. Destes, 75 estavam de acordo com os critérios de inclusão da revisão sistemática, compondo a amostra examinada.

Dos artigos considerados, 66,9% são classificados em Qualis A - sendo 44,3% A1 e 22,6% A2 -, 31,8% em Qualis B - 25,3%, 2,6%, 1,3% e 2,6%, respectivamente classificados em B1, B2, B3 e B5 - e 1,3% em Qualis C. Logo, os resultados da pesquisa bibliográfica demonstram que os critérios de seleção adotados possibilitaram identificar as pesquisas mais relevantes publicadas na base bibliográfica das três bases de dados consideradas.

Os artigos selecionados foram publicados em 33 periódicos, sendo que dois concentraram o maior número de trabalhos: Ensaio: Avaliação e Políticas Públicas em Educação e Estudos em Avaliação Educacional (Tabela 4).

TABELA 4 Periódicos com o maior número de artigos na amostra (n = 75), segundo os indicadores: International Standard Serial Number (ISSN), H-index, Scimago Journal Rank (SJR) e Qualis/Área Capes 

REVISTAS N (%) ISSN (A) H-INDEX (B) SJR 2020 (C) QUALIS (D)/ ÁREA (E)
Ensaio: Avaliação e Políticas Públicas em Educação 10 (13,4%) 0104-4036 10 0,291 A1/Educação
Estudos em Avaliação Educacional 10 (13,4%) 0103-6831 - - A2/Educação

Fonte: Elaboração dos autores (2021).

Notas: (A) Dado retirado do website da revista. (B) O H-index é um índice criado para quantificar a produção científica a partir das citações dos trabalhos presentes na base de dados Scopus.5 (C) O SJR é um indicador bibliométrico que mede a influência científica da revista a partir do número de citações recebidas por um periódico que esteja presente na base de dados Scopus. (D) Classificação de periódicos no quadriênio 2013-2016.6 (E) Áreas de conhecimento de acordo com a Capes (2017).7

Quanto ao primeiro periódico, verifica-se que sua finalidade é publicar artigos originais relacionados à educação, tendo como temática questões sobre avaliação e políticas públicas em educação. Já o segundo tem como objetivo divulgar a produção acadêmica sobre avaliação educacional e análise de políticas e programas que dialoguem com a avaliação e/ou venham a subsidiar estudos avaliativos.

De modo geral, no que concerne ao critério de reputação dos periódicos, para identificar os mais relevantes e que dão maior vazão a um tema específico, a pesquisa fundamentou-se na Lei de Bradford (Tabela 3), tendo como base as métricas de citação H-index e o SJR. Dessa forma, segundo a área, tem-se os seguintes resultados: educação com 58,8% e 41,2% e economia com 60% e 40%, respectivamente, apresentaram e não apresentaram periódicos com indicadores. No que tange à sociologia e ao planejamento urbano e regional/demografia, não se observaram periódicos com indicadores.

O indicador SJR se baseia na ideia de que a área do conhecimento, a qualidade e a reputação de um periódico influenciam diretamente as citações por ele realizadas. Ou seja, um periódico com valor SJR > 1,0 tem potencial de citação acima da média, enquanto um com SJR < 1,0 tem potencial de citação abaixo da média. O Qualis da Capes foi utilizado para conferir a relevância do periódico. Dessa forma, tem-se como principais resultados: Assessment in Education: Principles, Policy & Practice (SJR = 1,259, Qualis A1), Computers & Education (SJR = 0,942, Qualis A1) e Education Policy Analysis Archives (SJR = 0,727, Qualis A1) para a área de educação. Na economia, observa-se a revista Nova Economia (SJR = 0,229, Qualis B1) e, na área de planejamento urbano e regional/demografia, o periódico Revista Brasileira de Estudos de População (SJR = 0,250, Qualis B1).

Ao analisar a autoria dos artigos, identifica-se um total de 90 autores ou coautores diferentes. Cerca de 85,7% dos artigos foram escritos em coautoria e somente 14,3% por um único autor. Observa-se que dois autores se destacam em função da autoria e coautoria em mais de um artigo: José Francisco Soares e Maria Teresa Gonzaga Alves. O primeiro tem autoria em nove trabalhos, sendo dois como único autor, quatro como primeiro e três como segundo. José Francisco Soares é professor emérito na Faculdade de Educação, Departamento de Ciências Aplicadas à Educação, na Universidade Federal de Minas Gerais, tendo como linhas de pesquisa: efeito de escolas, políticas públicas em educação e avaliação educacional. Maria Teresa Gonzaga Alves, por sua vez, tem autoria em nove trabalhos, sendo um como única autora, quatro como primeira e quatro como segunda. Professora na Faculdade de Educação, Departamento de Ciências Aplicadas à Educação, na Universidade Federal de Minas Gerais, suas linhas de pesquisa são: efeito-escola, sociologia da educação, avaliação de escolas e avaliação de sistemas de ensino. Esses autores publicaram conjuntamente cinco artigos.

A Lei de Lotka aponta a necessidade de mapear os autores que têm mais artigos publicados e, portanto, grande valor em uma área do conhecimento. Mostrou-se relevante, pois permite avaliar o impacto das publicações no campo da avaliação educacional. Nessa perspectiva, os autores com maior número de citações foram José Francisco Soares e Maria Teresa Gonzaga Alves. Ao analisar o índice H (H-index) dos pesquisadores pela plataforma Scopus,8 encontram-se, respectivamente, H = 9 e H = 5.

No que se refere ao ano de edição, constatou-se que os estudos selecionados foram publicados no período de 2001 a 2021, apesar de a busca considerar trabalhos de 1995 a 2021. Das 75 publicações analisadas, 54,5% referem-se ao ensino fundamental, 10,4% ao ensino médio e 35,1% aos ensinos fundamental e médio. Além disso, utilizou-se o índice H, que é determinado pela relação entre o número de trabalhos publicados e suas citações disponíveis na plataforma da Scopus.

Quanto às estratégias de investigação utilizadas, constata-se que 98,7% (74) dos estudos examinados utilizaram a abordagem quantitativa, com predominância do método estatístico, enquanto 1,3% (1) empregou a pesquisa qualitativa exploratória. Tais resultados indicam que os testes estatísticos foram utilizados para reduzir os fatores explicativos, identificar as variáveis mais significativas e examinar a relação entre as variáveis dependentes e independentes.

Contudo, vale ressaltar o risco de a abordagem quantitativa produzir um grande número de informações, sem que haja uma análise contextualizada. Por esse motivo, os resultados devem ter “profundidade de análise, significando a recusa de deter-se na superfície das coisas, na visão imediata, na ingenuidade da informação primeira” (Demo, 2008, p. 39). Isso leva à compreensão de que as informações resultantes dos processos estatísticos devem ser embasadas em uma perspectiva teórica/científica robusta e consistente, que oriente as análises e interpretações dos resultados (Gatti, 2004).

Dessa forma, a análise dos estudos examinados (n = 75) aponta, como principal limitação, a ausência de investigações que utilizaram a abordagem qualitativa e/ou quantitativa-qualitativa para avaliar o impacto das variáveis preditoras sobre o desempenho escolar. Tal constatação indica a necessidade de incorporar estratégias de investigação que utilizem observações, entrevistas, análise de documentos (públicos, privados, memoriais), pesquisas de opinião e bibliográficas, aplicação de questionários e estudos de caso. Com base no uso de um plano de trabalho aberto e flexível, os focos da investigação vão sendo constantemente revistos, as técnicas de coleta reavaliadas, os instrumentos reformulados e os fundamentos teóricos e metodológicos repensados (André, 2009).

Por fim, percebe-se a necessidade de serem empregadas novas estratégias de investigação que incorporem procedimentos qualitativos em um projeto quantitativo, de maneira que a análise e a interpretação dos processos estatísticos sejam feitas com base em uma abordagem lógica e confiável.

No que diz respeito às técnicas estatísticas adotadas para análise dos dados do Saeb nos artigos selecionados para a amostra, verifica-se a predominância de regressão multinível (36,3%), análise descritiva (20,8%), estimativas (6,5%), mineração de dados e regressão quantílica (2,6%). Outros procedimentos estatísticos foram empregados, mas apareceram apenas uma vez. Por isso, optou-se por citar aqueles identificados mais de uma vez nas publicações.

Ainda, destaca-se que 36,3% das pesquisas utilizaram a técnica de regressão multinível, também conhecida como modelo linear hierárquico (MLH) ou modelo de coeficiente aleatório. Essa técnica tem sido considerada a mais apropriada para analisar as variáveis que se relacionam com o desempenho escolar. Seu uso justifica-se por considerar a estrutura hierárquica dos dados, caracterizada por unidades amostrais que se agrupam em unidades maiores, capazes de formar ou não novos grupos. Nesse caso, tem-se o agrupamento dos alunos em turmas, que são associadas em escolas, e possuem, naturalmente, uma estrutura hierárquica (Ferrão, 2003).

No que se refere à distribuição das publicações, tendo como foco a origem institucional dos autores, verifica-se na Tabela 5 que, do total de 75 trabalhos sobre o Saeb e a Prova Brasil, das três universidades que mais publicaram no período pesquisado, destacam-se: uma confessional, a Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), com 28,0%; e duas universidades federais, a Universidade Federal de Minas Gerais (UFMG), com 33,3%, e a Universidade de Brasília (UnB), com 17,3%.

TABELA 5 Distribuição das publicações (n = 75), segundo as três instituições de educação superior que mais publicaram artigos acerca do Saeb e da Prova Brasil no período pesquisado  

INSTITUIÇÕES N PARTICIPAÇÃO NO TOTAL (%)
Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio) 21 28,0%
Universidade de Brasília (UnB) 13 17,3%
Universidade Federal de Minas Gerais (UFMG) 25 33,3%

Fonte: Elaboração dos autores (2021).

Quando se consideram os autores e coautores (n = 90) dos trabalhos selecionados, constata-se que 92,2% deles estão associados às instituições de educação superior (federais ou confessionais). Também foram identificados autores de instituições internacionais e funcionários públicos federais, estaduais e municipais.

No que se refere às regiões geográficas onde os autores dos artigos publicaram, verifica-se que 71,2% estavam no Sudeste, 12% no Sul, 11,2% no Centro-Oeste e 3,2% no Nordeste, além de 0,8% em Portugal e 1,6% na Espanha. Esse resultado demonstra o grande desequilíbrio existente quanto ao número de artigos científicos no campo da avaliação educacional produzidos no Brasil. Também houve predomínio de autores nas regiões que sediam os programas de pós-graduação mais antigos e consolidados do país (UFMG, PUC-Rio e UnB). Por fim, constatou-se que os artigos são predominantemente de instituições acadêmicas nacionais, o que pode ser identificado pela quantidade de autores e entidades que divulgaram suas publicações.

Partindo para análise da Lei de Zipf (Tabela 3), medida pela frequência das palavras-chave e keywords presentes nos artigos científicos, foi possível obter o seguinte resultado: “desempenho escolar” e “school performance”; “ensino fundamental” e “primary education”; e “Saeb”. Esses descritores foram encontrados nove vezes nas publicações, sendo os que mais se repetem nos artigos examinados.

Análise das publicações

A partir das análises apresentadas anteriormente, realizou-se um estudo aprofundado das pesquisas empíricas relacionadas ao Saeb examinadas. Com base nos resultados, foi possível a criação de oito categorias, que foram organizadas de acordo com a temática, objetivo e resultado (Tabela 6). Tais categorias são investigadas a seguir.

TABELA 6 Categorização das publicações (n = 75) 

CATEGORIAS FREQUÊNCIA REFERÊNCIAS
N (%)
Fatores extra e intraescolares 29 (27,0%) César e Soares (2001); Ferrão et al. (2001); Arruda (2002); Ferrão et al. (2002b); Soares (2004a); Souza (2006); Alves et al. (2007); Andrade e Laros (2007); Dwyer et al. (2007); Rauter et al. (2007); Laros e Marciano (2008); Wainer et al. (2008); Candian (2009); Curi e Menezes (2009); Souza (2009); Araújo e Siqueira (2010); Souza e Gouveia (2011); Rodrigues et al. (2011); Laros et al. (2012); Almeida (2014); Alves et al. (2014); Moraes e Belluzzo (2014); Palermo et al. (2014); Paget et al. (2015); Castro e Tavares (2016); Mediavilla e Gallego (2016); Oliveira e Carvalho (2018); Sousa e Vidal (2020); Lima et al. (2021)
Eficácia escolar 11 (14,6%) Franco et al. (2002); Beltrão et al. (2002); Jesus e Laros (2004); Franco et al. (2007); Andrade e Soares (2008); Schneider e Gouveia (2011); Soares e Alves (2013); Xavier e Alves (2015); Soares et al. (2015); Oliveira e Waldhelm (2016); Gobbi et al. (2020)
Desigualdade educacional 10 (13,3%) Andrade et al. (2003); Soares e Alves (2003); Gonçalves e França (2008); França e Gonçalves (2010); Alves et al. (2016); Soares e Delgado (2016); Alves e Xavier (2018); Caprara (2020); Carvalho et al. (2020); Almeida e Xavier (2021)
Políticas públicas educacionais 9 (12,0%) Ferrão et al. (2002a); Alves (2008); Sobreira e Campos (2008); Souza e Gouveia (2010); Franco e Menezes (2012); Bridon e Neitzel (2014); Silveira et al. (2017); Simielli e Zoghbi (2017); Souza (2019)
Qualidade e equidade na educação básica 7 (9,3%) Albernaz et al. (2002); Soares (2004b); Alves (2007); Ortigão (2008); Simielli (2017); Travitzki (2017); Alves e Ferrão (2019)
Indicadores educacionais 5 (6,6%) Fernandes e Natenzon (2003); Klein (2006, 2007); Schwartzman e Castro (2013); Silva et al. (2016)
Mineração de dados educacionais 2 (2,6%) Namen et al. (2013); Fonseca e Namen (2016)
Accountability educacional 2 (2,6%) Alves et al. (2016); Fernandes e Gremaud (2020)

Fonte: Elaboração dos autores (2021).

A primeira categoria, fatores extra e intraescolares (Soares, 2004a), é repre- sentada por 29 publicações (27,0%), englobando estudos que examinam a associação entre os fatores extraescolares (valores sociais, políticas públicas, recursos, gestão dos sistemas, família, comunidade e condições econômicas, entre outros) e intraescolares (gestão escolar, professores, projeto pedagógico, atividades didáticas, recursos pedagógicos, clima disciplinar, situação das instalações e equipamentos, serviços oferecidos pela escola, entre outros) e o desempenho escolar.

O exame da categoria em comento revelou a associação entre as variáveis dependentes (proficiência) e independentes (características relacionadas aos alunos, escolas, diretores e professores) e possibilitou discriminar os principais fatores extra e intraescolares que afetam o desempenho escolar verificado pelo Saeb.

É evidente a importância de pesquisas com esse enfoque, visto que identificam variáveis preditoras que podem ser utilizadas para a construção de modelos explicativos fundamentados em dados e evidências estatísticas. Além disso, é possível realizar simulações que propiciam estabelecer relações das variáveis associadas entre escolas, professores, funcionários e alunos e o desempenho escolar, contribuindo para a criação de índices/indicadores educacionais que possibilitam fazer inferências descritivas ou causais, utilizando evidências estatísticas para a elaboração de conclusões ou explicações.

A segunda categoria, eficácia escolar, reúne 11 publicações (14,6%) que têm como enfoque o exame dos fatores que tornam uma escola eficaz e possibilitam estimar quais são as características das escolas que levam os alunos a obterem melhores resultados médios após o controle dos fatores sociodemográficos, produzindo reflexo positivo no progresso acadêmico e no desempenho escolar (Sammons, 2008).

Os artigos partem do pressuposto de que existe uma influência da escola no desempenho cognitivo de seus alunos. No Brasil, com os dados e resultados provenientes do Saeb, foi possível avaliar as características das escolas que mais se associavam com o desempenho escolar. O exame da relação entre as condições de funcionamento das escolas, as características socioeconômicas dos alunos e o desempenho escolar permitiu “quantificar o efeito-escola e a desvendar as especificidades da escola eficaz” (Brooke & Soares, 2008, p. 9).

A análise dessa relação por meio de testes estatísticos proporcionou identificar os fatores significativos que possibilitam o exame da relação entre as variáveis independentes (relacionadas às escolas) e dependentes (proficiência dos alunos). Assim, pode-se aferir se os resultados encontrados são probabilísticos ou produto do acaso, fazendo com que as análises feitas tenham fidedignidade, generalidade e possam ser replicadas por outros estudos.

Vale ressaltar, ainda, que as publicações sobre eficácia escolar identificaram evidências empíricas do efeito das variáveis independentes relacionadas às escolas (presença de biblioteca, laboratório, laboratório de informática e quadras de esportes, o estado de conservação e qualidade das salas de aula, banheiros, cozinha, instalações hidráulicas e elétricas, segurança da escola e dos alunos) que afetam o desempenho escolar apontado pelo Saeb. Portanto, tais evidências demonstram que o investimento na infraestrutura da escola ainda é de grande relevância para o desempenho escolar verificado pelo Saeb.

Assim, observa-se, nos estudos sobre eficácia escolar, uma redução das va- riáveis associadas às escolas com base em testes estatísticos, graças à identificação dos fatores explicativos mais significativos, os quais possibilitam a construção de indicadores estatisticamente validados e adequados a cada realidade educacional. Ademais, viabilizam a coleta, tratamento, análise e disseminação de informações com base em dados procedentes do Saeb.

A desigualdade educacional é a terceira categoria, sendo representada por dez publicações (13,3%) que investigam as possíveis causas da desigualdade entre escolas (públicas e privadas), gênero, raça, estados e regiões com base nos dados do Saeb e indicadores socioeconômicos (Produto Interno Bruto - PIB, Índice de Gini, Índice de Desenvolvimento Humano - IDH). Tendo em vista a análise dessa categoria, observa-se que, no Brasil, a desigualdade educacional se estrutura em desigualdades econômicas e sociais que afetam direta/indiretamente o desempenho escolar e reduzem a probabilidade de acesso, permanência, inclusão escolar e oportunidades educacionais de uma grande parcela dos estudantes da edu- cação básica.

A quarta categoria, políticas públicas educacionais, representada por nove publicações (12,0%), reúne estudos que examinam o efeito dos fundos, programas de promoção automática, processos de escolha dos diretores, Programa Dinheiro Direto na Escola (PDDE), Plano de Desenvolvimento da Escola (PDE-Escola), implementação de sistemas de avaliação, atendimento em educação infantil, gasto por aluno e valorização docente sobre o desempenho escolar e a qualidade da educa- ção nas escolas.

Conforme a análise dessa categoria, verifica-se que é possível examinar o efeito das políticas educacionais sobre o desempenho escolar. Todavia, vale destacar a escassez de estudos empíricos nesse sentido, o que demonstra a necessidade de pesquisas futuras para investigar seu impacto no desempenho escolar e nos processos educativos associados. Além disso, o exame do efeito dessa categoria sobre os resultados do Saeb permite o monitoramento e o aprimoramento das políticas educacionais com base em evidências. Com isso, planeja-se verificar se os resultados encontrados são consequência de uma política educacional específica ou pro- duto do acaso.

A quinta categoria, composta por sete publicações (9,3%), diz respeito à qualidade e equidade na educação básica. É formada por textos que examinam o efeito das variáveis independentes obtidas dos questionários contextuais (alunos, professores, escolas e diretores de escolas) do Saeb sobre as condições de qualidade, entendidas, nessa perspectiva, como fatores que podem afetar o desempenho escolar e a capacidade de promover a equidade, no sentido de mitigar o efeito da origem social e econômica dos alunos nos resultados escolares.

Verifica-se que as reflexões acerca da qualidade e equidade na educação básica, provenientes das pesquisas empíricas do campo da avaliação educacional, revelam que as condições sociais, econômicas, educacionais, a infraestrutura da escola, a gestão escolar e pedagógica, a formação e condições de trabalho dos professores, o financiamento e as políticas públicas educacionais ainda têm forte impacto no desempenho escolar dos estudantes. Logo, tais fatores demonstram a ausência da definição dos padrões mínimos de qualidade no Brasil, para que os estudantes tenham as condições necessárias para uma aprendizagem escolar satisfatória.

Indicadores educacionais é a sexta categoria analisada, representada por cinco publicações (6,6%) que avaliam a educação escolar com base em dados, informações estatísticas e taxas provenientes do Saeb, das Pesquisas Nacionais por Amostra de Domicílios (Pnad) e do Censo Escolar. A análise dessa categoria possibilita desvelar a educação básica a partir de evidências oriundas dessas três fontes de dados. Ainda proporciona fazer um diagnóstico dos fatores extra e intraescolares que afetam o desempenho escolar, pois produz subsídios para o monitoramento e o aprimoramento dos processos educativos, além de contribuir com dados e evidências para a elaboração de pesquisas empíricas no campo da avaliação educacional.

A sétima categoria é a mineração de dados educacionais, composta por duas publicações (2,6%) que utilizam essa técnica para extração de conhecimento útil de grandes volumes de dados (Knowledge Discovery in Databases − KDD) provenientes dos questionários contextuais do Saeb, contendo milhões de registros de alunos, professores, diretores e escolas. Percebe-se que a categoria em análise possibilita aprofundar os dados do Saeb com base em um processo de identificação de padrões que proporciona fazer inferências estatísticas. Ademais, o uso das tecnologias de mineração de dados permite extrair informações de grande base de dados e verificar se os resultados encontrados são probabilísticos ou produto do acaso (Namen et al., 2013; Fonseca & Namen, 2016).

Por fim, a última categoria, accountability educacional, representada por duas publicações (2,6%), é caraterizada por produções científicas que avaliam o desempenho de sistemas educacionais, escolas e professores individuais com base em medidas de desempenho dos alunos. Nessa perspectiva, accountability educacional corresponde ao conjunto de regras pelas quais as escolas são responsabilizadas por seus resultados, sendo estabelecidas metas. Pela observação desta categoria foi possível notar que sua incorporação no campo da avaliação educacional ocorreu a partir de 2000. Isso porque as avaliações em larga escala (Saeb e Enem) e o Índice de Desenvolvimento da Educação Básica (Ideb) passaram a ser divulgados por unidades da federação e por escolas.

Um outro aspecto a ser levado em consideração, quanto à implantação das avaliações em larga escala no Brasil a partir de 1995, refere-se à incorporação dos procedimentos “preconizados pela Teoria da Resposta ao Item - TRI” (Gatti, 2009, p. 12) e à sua possibilidade de associação com outros métodos estatísticos para comparar alunos, estimar a distribuição de proficiências da população e subpopulações e, ainda, monitorar um sistema de avaliação em larga escala, como é o caso do Saeb.

Portanto, tais características das avaliações em larga escala implantadas no Brasil permitiram que estados e municípios adotassem programas de accountability com base no desempenho acadêmico da escola e no estabelecimento de metas e consequências, como por exemplo bônus para escolas e docentes que atingirem os resultados esperados (Fernandes & Gremaud, 2020; Alves et al., 2016).

Por fim, vale ressaltar que as categorias em que as publicações são agrupadas não são excludentes, visto que alguns estudos apresentam objetivos secundários e resultados que permitem classificá-los em outras categorias. Um exemplo é a pesquisa de Alves et al. (2016), que teve como objetivo analisar o efeito do PDE-Escola nos resultados acadêmicos das escolas que participaram do programa, a partir da estimação de um painel de escolas entre 2005 e 2012. A análise do estudo mostra uma grande intersecção com a categoria políticas públicas educacionais, entretanto esta revisão optou por apresentar essa pesquisa agrupada em uma categoria na qual as publicações tivessem maior similaridade temática, de objetivos e resultados.

CONSIDERAÇÕES FINAIS

Esta revisão sistemática da literatura teve como objetivo apresentar o mapeamento da produção científica acerca das pesquisas empíricas relacionadas ao Saeb, utilizando as diretrizes do método Prisma e a análise bibliométrica. Foram considerados e examinados 75 artigos e, a partir deles, verificou-se que 66,9%, 31,8% e 1,3%, respectivamente, são classificados em Qualis A, B e C. Esses resultados demonstram que os critérios de seleção adotados possibilitaram identificar as pesquisas empíricas mais relevantes para o campo da avaliação educacional.

É importante enfatizar algumas limitações deste estudo. Em primeiro lugar, a necessidade de utilizar novas fontes de informação, outras bases de dados e diferentes tipos de publicações, tais como teses, dissertações, livros e informes técnicos. Segundo, é preciso ampliar a busca usando outros termos associados às palavras-chave e/ou outros parâmetros de busca nas bases das publicações. Terceiro, devem-se mesclar estudos do Saeb com pesquisas provenientes da avaliação em larga escala dos sistemas estaduais de educação. Por fim, foram utilizados apenas dados secundários (resultados de pesquisas empíricas).

Conclui-se enfatizando a necessidade de pesquisas empíricas futuras que empreguem novas estratégias de investigação no sentido de aprofundar a análise dos processos estatísticos com base em uma abordagem teórica/científica robusta, consistente e confiável, que direcione a análise e interpretação dos resultados, de maneira que proporcione fidedignidade, generalidade e possibilidade de replicação desses resultados por outros estudos. Ademais, sugere-se a necessidade de utilizar a metanálise para identificar evidências procedentes dos dados do Saeb que possam ser utilizadas para a criação de modelos explicativos, para que o campo da avaliação educacional consiga testar teorias, aprimorar métodos e propor hipóteses fundamentadas em evidências resultantes do Saeb.

REFERÊNCIAS

Albernaz, Â., Ferreira, F. H. G., & Franco, C. (2002). Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, 32(3), 453-476. https://repositorio.ipea.gov.br/handle/11058/4340Links ]

Almeida, A. T. C. (2014). Determinantes dos piores e melhores resultados educacionais dos alunos da rede pública de ensino fundamental no Brasil. Pesquisa e Planejamento Econômico, (42), 147-188. https://repositorio.ipea.gov.br/handle/11058/4178Links ]

Almeida, F. A., & Xavier, F. P. (2021). Desigualdades no interior da escola: A formação da turma dos repetentes. Revista Brasileira de Política e Administração da Educação, 37(1), 109-131. https://doi.org/10.21573/vol37n12021.105420Links ]

Alves, F. (2007). Qualidade da educação fundamental: Integrando desempenho e fluxo escolar. Ensaio: Avaliação e Políticas Públicas em Educação, 15(57), 525-542. https://doi.org/10.1590/S0104-40362007000400005Links ]

Alves, F. (2008). Políticas educacionais e desempenho escolar nas capitais brasileiras. Cadernos de Pesquisa, 38(134), 413-440. https://doi.org/10.1590/S0100-15742008000200008Links ]

Alves, F., Elacqua, G., Martínez, M., & Santos, H. (2016). Efeitos do plano de desenvolvimento da escola nos resultados escolares. Estudos em Avaliação Educacional, 27(64), 128-159. https://doi.org/10.18222/eae.v27i64.3765Links ]

Alves, F., Ortigão, I., & Franco, C. (2007). Origem social e risco de repetência: Interação raça- -capital econômico. Cadernos de Pesquisa, 37(130), 161-180. https://doi.org/10.1590/S0100-15742007000100008Links ]

Alves, F., Soares, J. F., & Xavier, F. P. (2014). Índice socioeconômico das escolas de educação básica brasileiras. Ensaio: Avaliação e Políticas Públicas em Educação, 22(84), 671-704. https://doi.org/10.1590/S0104-40362014000300005Links ]

Alves, M. T. G., & Ferrão, M. E. (2019). Uma década da Prova Brasil: Evolução do desempenho e da aprovação. Estudos em Avaliação Educacional, 30(75), 688-720. https://doi.org/10.18222/eae.v0ix.6298Links ]

Alves, M. T. G., Soares, J. F., & Xavier, F. P. (2016). Desigualdades educacionais no ensino fundamental de 2005 a 2013: Hiato entre grupos sociais. Revista Brasileira de Sociologia, 4(7), 49-81. http://dx.doi.org/10.20336/rbs.150Links ]

Alves, M. T. G., & Xavier, F. P. (2018). Indicadores multidimensionais para avaliação da infraestrutura escolar: O ensino fundamental. Cadernos de Pesquisa, 48(169), 708-746. https://doi.org/10.1590/198053145455Links ]

Andrade, J. M., & Laros, J. A. (2007). Fatores associados ao desempenho escolar: Estudo multinível com dados do SAEB/2001. Psicologia: Teoria e Pesquisa, 23(1), 33-42. https://doi.org/10.1590/S0102-37722007000100005Links ]

Andrade, M., Franco, C., & Carvalho, J. P. (2003). Gênero e desempenho em matemática ao final do ensino médio: Quais as relações? Estudos em Avaliação Educacional, (27), 77-95. https://doi.org/10.18222/eae02720032178Links ]

Andrade, R. J., & Soares, J. F. (2008). O efeito da escola básica brasileira. Estudos em Avaliação Educacional, 19(41), 379-406. https://doi.org/10.18222/eae194120082067Links ]

André, M. E. D. A. (2009). Etnografia da prática escolar (16a ed.). Papirus. [ Links ]

Araújo, F. R. A., & Siqueira, L. B. O. (2010). Determinantes do desempenho escolar dos alunos da 4ª série do ensino fundamental no Brasil. Economia e Desenvolvimento, 9(1), 70-103. https://periodicos.ufpb.br/index.php/economia/article/view/10285/5642Links ]

Arruda, L. (2002). Desvendando desigualdades de oportunidades em ciências e em matemática relacionadas ao gênero do aluno - uma aplicação de modelagem multinível ao SAEB 99. Revista Brasileira de Investigação em Educação em Ciências, 2(3), 84-96. https://periodicos.ufmg.br/index.php/rbpec/article/view/4136/2701Links ]

Beltrão, K. I., Leite, I. C., & Ferrão, M. E. (2002). O ambiente escolar no desempenho acadêmico do aluno: Criação de uma escala a partir do SAEB-99. Estudos em Avaliação Educacional, (26), 75-91. https://doi.org/10.18222/eae02620022186Links ]

Bonamino, A. (2016). A evolução do Saeb: Desafios para o futuro. Em Aberto, 29(96), 113-126. http://rbep.inep.gov.br/ojs3/index.php/emaberto/article/view/3155/2890Links ]

Bridon, J., & Neitzel, A. de A. (2014). Competências leitoras no Saeb: Qualidade da leitura na educação básica. Educação & Realidade, 39(2), 437-462. https://www.scielo.br/j/edreal/a/JCKgBvxdJHx4hvpxRL7TMjk/?lang=ptLinks ]

Brooke, N., & Soares, J. F. (2008). Introdução. In N. Brooke, & J. F. Soares (Orgs.), Pesquisa em eficácia escolar: Origem e trajetórias (pp. 9-12). Editora UFMG. [ Links ]

Candian, J. F. (2009). Violência escolar e desempenho: As evidências do SAEB 2003. Revista Contemporânea de Educação, 4(8), 275-295. [ Links ]

Caprara, B. M. (2020). Condição de classe e desempenho educacional no Brasil. Educação & Realidade, 45(4), Artigo e93008. https://doi.org/10.1590/2175-623693008Links ]

Carvalho, I. L. A. de, Santos, J. J. A. dos, & Chrispino, Á. (2020). Sucesso e fracasso no ensino fundamental: Uma relação entre reprovação, abandono e proficiência. Meta: Avaliação, 12(34), 136-161. [ Links ]

Castro, V. G., & Tavares, F., Jr. (2016). Jovens em contextos sociais desfavoráveis e sucesso escolar no ensino médio. Educação & Realidade, 41(1), 239-258. https://doi.org/10.1590/2175-623656080Links ]

César, C. C., & Soares, J. F. (2001). Desigualdades acadêmicas induzidas pelo contexto escolar. Revista Brasileira de Estudos de População, 18(1/2), 97-110. https://rebep.org.br/revista/article/view/346/pdf_323Links ]

Chueke, G. V., & Amatucci, M. (2015). O que é bibliometria? Uma introdução ao fórum. Internext, 10(2), 1-5. https://doi.org/10.18568/1980-4865.1021-5Links ]

Curi, A. Z., & Menezes, N., Filho. (2009). A relação entre educação pré-primária, salários, escolaridade e proficiência escolar no Brasil. Estudos Econômicos, 39(4), 811-850. https://doi.org/10.1590/S0101-41612009000400005Links ]

Demo, P. (2008). Introdução à metodologia da ciência (2a ed., 16a reimpr.). Atlas. [ Links ]

Dwyer, T., Wainer, J., Dutra, R. S., Covic, A., Magalhães, V. B., Ferreira, L. R. R., Pimenta, V. A., & Claudio, K. (2007). Desvendando mitos: Os computadores e o desempenho no sistema escolar. Educação & Sociedade, 28(101), 1303-1328. https://doi.org/10.1590/S0101-73302007000400003Links ]

Fernandes, R., & Gremaud, A. P. (2020). Avaliação educacional em larga escala e accountability: Uma breve análise da experiência brasileira. Revista Pesquisa e Debate em Educação, 10(1), 1103-1137. https://doi.org/10.34019/2237-9444.2020.v10.32023Links ]

Fernandes, R., & Natenzon, P. E. (2003). A evolução recente do rendimento escolar das crianças brasileiras: Uma reavaliação dos dados do SAEB. Estudos em Avaliação Educacional, (28), 3-22. http://dx.doi.org/10.18222/eae02820032167Links ]

Ferrão, M. E. (2003). Introdução aos modelos de regressão multinível em educação. Komedi. [ Links ]

Ferrão, M. E., Beltrão, K. I., Fernandes, C., Santos, D., Suárez, M., & Andrade, A. do C. (2001). O SAEB - Sistema Nacional de Avaliação da Educação Básica: Objetivos, características e contribuições na investigação da escola eficaz. Revista Brasileira de Estudos de População, 18(1/2), 111-130. https://rebep.org.br/revista/article/view/347/pdf_324Links ]

Ferrão, M. E., Beltrão, K. I., & Santos, D. P. (2002a). O impacto de políticas de não-repetência sobre o aprendizado dos alunos da 4ª série. Pesquisa e Planejamento Econômico, 32(3), 495-514. http://repositorio.ipea.gov.br/bitstream/11058/4383/1/PPE_v32_n03_Impacto.pdfLinks ]

Ferrão, M. E., Beltrão, K. I., & Santos, D. P. (2002b). Políticas de não-repetência e a qualidade da educação: Evidências obtidas a partir da modelagem dos dados da 4ª série do SAEB-99. Estudos em Avaliação Educacional, (26), 47-73. https://doi.org/10.18222/eae02620022185Links ]

Fonseca, S. O. da, & Namen, A. A. (2016). Mineração em bases de dados do INEP: Uma análise exploratória para nortear melhorias no sistema educacional brasileiro. Educação em Revista, 32(1), 133-157. https://doi.org/10.1590/0102-4698140742Links ]

França, M. T. A., & Gonçalves, F. de O. (2010). Provisão pública e privada de educação fundamental: Diferenças de qualidade medidas por meio de propensity score. Economia Aplicada, 14(4), 373-390. [ Links ]

Franco, A. M. P., & Menezes, N., Filho. (2012). Uma análise de rankings de escolas brasileiras com dados do SAEB. Estudos Econômicos, 42(2), 263-283. https://doi.org/10.1590/S0101-41612012000200002Links ]

Franco, C., Mandarino, M., & Ortigão, M. I. (2002). O projeto pedagógico e os resultados escolares. Pesquisa e Planejamento Econômico, 32(3), 477-493. http://repositorio.ipea.gov.br/bitstream/11058/3387/5/PPE_v32_n03_Projeto.pdfLinks ]

Franco, C., Ortigão, I., Albernaz, Â., Bonamino, A., Aguiar, G., Alves, F., & Sátyro, N. (2007). Qualidade e equidade em educação: Reconsiderando o significado de “fatores intra- -escolares”. Ensaio: Avaliação e Políticas Públicas em Educação, 15(55), 277-298. https://doi.org/10.1590/S0104-40362007000200007Links ]

Galvão, T. F., Pansani, T. de S. A., & Harrad, D. (2015). Principais itens para relatar revisões sistemáticas e meta-análises: A recomendação PRISMA. Epidemiologia e Serviços de Saúde, 24(2), 335-342. [ Links ]

Gatti, B. A. (2004). Estudos quantitativos em educação. Educação e Pesquisa, 30(1), 11-30. https://doi.org/10.1590/S1517-97022004000100002Links ]

Gatti, B. A. (2009). Avaliação de sistemas educacionais no Brasil. Sísifo: Revista de Ciências da Educação, (9), 7-18. http://sisifo.ie.ulisboa.pt/index.php/sisifo/article/view/144Links ]

Gobbi, B. C., Lacruz, A. J., Américo, B. L., & Zanquetto, H., Filho. (2020). Uma boa gestão melhora o desempenho da escola, mas o que sabemos acerca do efeito da complexidade da gestão nessa relação? Ensaio: Avaliação e Políticas Públicas em Educação, 28(106), 198-220. https://doi.org/10.1590/S0104-40362019002701786Links ]

Gonçalves, F. O., & França, M. T. A. (2008). Transmissão intergeracional de desigualdade e qualidade educacional: Avaliando o sistema educacional brasileiro a partir do SAEB 2003. Ensaio: Avaliação e Políticas Públicas em Educação, 16(61), 639-662. https://doi.org/10.1590/S0104-40362008000400009Links ]

Hessen, J. (1999). Teoria do conhecimento. Martins Fontes. [ Links ]

Jesus, G. R. de., & Laros, J. A. (2004). Eficácia escolar: Regressão multinível com dados de avaliação em larga escala. Avaliação Psicológica, 3(2), 93-106. http://pepsic.bvsalud.org/pdf/avp/v3n2/v3n2a04.pdfLinks ]

Klein, R. (2006). Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, 14(51), 139-171. https://doi.org/10.1590/S0104-40362006000200002Links ]

Klein, R. (2007). A pré-escola no Brasil. REICE: Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 5(2), 273-288. https://revistas.uam.es/reice/article/view/10137Links ]

Laros, J. A., & Marciano, J. L. (2008). Índices educacionais associados à proficiência em língua portuguesa: Um estudo multinível. Avaliação Psicológica, 7(3), 371-389. http://pepsic.bvsalud.org/pdf/avp/v7n3/v7n3a10.pdfLinks ]

Laros, J. A., Marciano, J. L., & Andrade, J. M. de. (2012). Fatores associados ao desempenho escolar em português: Um estudo multinível por regiões. Ensaio: Avaliação e Políticas Públicas em Educação, 20(77), 623-646. https://doi.org/10.1590/S0104-40362012000400002Links ]

Lima, L. de E., Carvalho, A. A., & Silva, D. B. do N. (2021). Arranjos familiares e desempenho escolar de alunos do 5º e 9º anos no Brasil em 2015. Revista Brasileira de Estudos de População, 38, Artigo e0142. https://doi.org/10.20947/S0102-3098a0142Links ]

Mediavilla, M., & Gallego, L. (2016). Condicionantes del rendimiento académico en la escolaridad primaria en Brasil: Un análisis multifactorial. Educação & Sociedade, 37(134), 195-216. https://doi.org/10.1590/ES0101-7330201683265Links ]

Moraes, A. G. E. de, & Belluzzo, W. (2014). O diferencial de desempenho escolar entre escolas públicas e privadas no Brasil. Nova Economia, 24(2), 409-430. https://doi.org/10.1590/0103-6351/1564Links ]

Namen, A. A., Borges, S. X. de A., & Sadala, M. da G. S. (2013). Indicadores de qualidade do ensino fundamental: O uso das tecnologias de mineração de dados e de visões multidimensionais para apoio à análise e definição de políticas públicas. Revista Brasileira de Estudos Pedagógicos, 94(238), 677-700. http://rbep.inep.gov.br/ojs3/index.php/rbep/article/view/3497/3232Links ]

Oliveira, A. C. P., & Carvalho, C. P. (2018). Gestão escolar, liderança do diretor e resultados educacionais no Brasil. Revista Brasileira de Educação, 23, Artigo e230015. https://doi.org/10.1590/S1413-24782018230015Links ]

Oliveira, A. C. P., & Waldhelm, A. P. S. (2016). Liderança do diretor, clima escolar e desempenho dos alunos: Qual a relação? Ensaio: Avaliação e Políticas Públicas em Educação, 24(93), 824-844. https://doi.org/10.1590/S0104-40362016000400003Links ]

Ortigão, M. I. R. (2008). Avaliação e políticas públicas: Possibilidades e desafios para a educação matemática. Bolema: Boletim de Educação Matemática, 21(29), 71-98. https://www.periodicos.rc.biblioteca.unesp.br/index.php/bolema/article/view/1719Links ]

Paget, C. L., Malmberg, L.-E., & Martelli, D. R. (2015). Brazilian national assessment data and educational policy: An empirical illustration. Assessment in Education: Principles, Policy & Practice, 23(1), 98-125. https://doi.org/10.1080/0969594X.2015.1113929Links ]

Palermo, G. A., Silva, D. B. do N., & Novellino, M. S. F. (2014). Fatores associados ao desempenho escolar: Uma análise da proficiência em matemática dos alunos do 5º ano do ensino fundamental da rede municipal do Rio de Janeiro. Revista Brasileira de Estudos de População, 31(2), 367-394. https://doi.org/10.1590/S0102-30982014000200007Links ]

Rauter, R., Laros, J. A., & Jesus, G. R. (2007). Questionários contextuais do SAEB: Análise qualitativa baseada nos resultados da análise fatorial. REICE: Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 5(2), 56-68. https://revistas.uam.es/reice/article/view/10123Links ]

Rodrigues, C. G., Rios, E. L. G., Neto, & Pinto, C. C. de. (2011). Diferenças intertemporais na média e distribuição do desempenho escolar no Brasil: O papel do nível socioeconômico, 1997 a 2005. Revista Brasileira de Estudos de População, 28(1), 5-36. https://doi.org/10.1590/S0102-30982011000100002Links ]

Sammons, P. (2008). As características-chave das escolas eficazes. In N. Brooke, & J. F. Soares (Orgs.), Pesquisa em eficácia escolar: Origem e trajetórias (pp. 335-382). Editora UFMG. [ Links ]

Schneider, G., & Gouveia, A. B. (2011). Qualidade da escola: Uma proposta de índice para as condições materiais de escolas a partir de dados contextuais do Saeb. Revista Brasileira de Pós-Graduação, 8(1), 59-82. https://doi.org/10.21713/2358-2332.2011.v8.236Links ]

Schwartzman, S., & Castro, C. de M. (2013). Ensino, formação profissional e questão da mão de obra. Ensaio: Avaliação e Políticas Públicas em Educação, 21(80), 563-624. https://doi.org/10.1590/S0104-40362013000300010Links ]

Silva, P. B. C. da, Rezende, N. C., & Quaresma, T. C. C. (2016). Sobre o sucesso e o fracasso no ensino médio em 15 anos (1999 e 2014). Ensaio: Avaliação e Políticas Públicas em Educação, 24(91), 445-476. https://doi.org/10.1590/S0104-40362016000200009Links ]

Silveira, I. M., Lima, J. E., Teixeira, E. C., & Silva, R. G. da. (2017). Avaliação do efeito do FUNDEB sobre o desempenho dos alunos do ensino médio no Brasil. Pesquisa e Planejamento Econômico, 47(1), 7-43. https://ppe.ipea.gov.br/index.php/ppe/article/viewFile/1658/1237Links ]

Simielli, L. E. R. (2017). Equidade e oportunidades educacionais: O acesso a professores no Brasil. Archivos Analíticos de Políticas Educativas, 25(46). http://dx.doi.org/10.14507/epaa.25.2752Links ]

Simielli, L. E. R., & Zoghbi, A. C. P. (2017). Relação entre investimento financeiro e indicadores educacionais no Brasil. Meta: Avaliação, 9(26), 272-300. [ Links ]

Soares, J. F. (2004a). O efeito da escola no desempenho cognitivo de seus alunos. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2(2), 83-104. https://revistas.uam.es/reice/article/view/5550/5968Links ]

Soares, J. F. (2004b). Qualidade e equidade na Educação Básica brasileira: A evidência do SAEB-2001. Archivos Analíticos de Políticas Educativas, 12(38). http://dx.doi.org/10.14507/epaa.v12n38.2004Links ]

Soares, J. F., & Alves, M. T. G. (2003). Desigualdades raciais no sistema brasileiro de educação básica. Educação e Pesquisa, 29(1), 147-165. https://doi.org/10.1590/S1517-97022003000100011Links ]

Soares, J. F., & Alves, M. T. G. (2013). Efeitos de escolas e municípios na qualidade do ensino fundamental. Cadernos de Pesquisa, 43(149), 492-517. https://doi.org/10.1590/S0100-15742013000200007Links ]

Soares, J. F., Alves, M. T. G., & Xavier, F. P. (2015). Effects of Brazilian schools on student learning. Assessment in Education: Principles, Policy & Practice, 23(1). https://doi.org/10.1080/0969594X.2015.1043856Links ]

Soares, J. F., & Delgado, V. M. S. (2016). Medida das desigualdades de aprendizado entre estudantes de ensino fundamental. Estudos em Avaliação Educacional, 27(66), 754-780. https://doi.org/10.18222/eae.v27i66.4101Links ]

Sobreira, R., & Campos, B. C. (2008). Investimento público em educação fundamental e a qualidade do ensino: Uma avaliação regional dos resultados do Fundef. Revista de Administração Pública, 42(2), 327-346. https://doi.org/10.1590/S0034-76122008000200006Links ]

Sousa, E. J., & Vidal, E. M. (2020). Diretores da rede municipal de Fortaleza: Achados sobre gestão escolar. Roteiro, 45, Artigo e23212. https://doi.org/10.18593/r.v45i0.23212Links ]

Souza, Â. R. de (2006). Os dirigentes escolares no Brasil. Educação: Teoria e Prática, 15(27), 51-82. https://www.periodicos.rc.biblioteca.unesp.br/index.php/educacao/article/view/642/604Links ]

Souza, Â. R. de (2009). Perfil da gestão da escola pública no Brasil: Um estudo sobre os diretores escolares e sobre aspectos da gestão democrática. Revista Iberoamericana de Educación, 49(2). https://doi.org/10.35362/rie4922101Links ]

Souza, Â. R. de (2019). As condições de democratização da gestão da escola pública brasileira. Ensaio: Avaliação e Políticas Públicas em Educação, 27(103), 271-290. https://doi.org/10.1590/S0104-40362018002601470Links ]

Souza, Â. R. de, & Gouveia, A. B. (2010). Diretores de escolas públicas: Aspectos do trabalho docente. Educar em Revista, (1), 173-190. https://doi.org/10.1590/S0104-40602010000400009Links ]

Souza, Â. R. de, & Gouveia, A. B. (2011). Os trabalhadores docentes da educação básica no Brasil em uma leitura possível das políticas educacionais. Archivos Analíticos de Políticas Educativas, 19(35). https://doi.org/10.14507/epaa.v19n35.2011Links ]

Travitzki, R. (2017). Qualidade com equidade escolar: Obstáculos e desafios na educação brasileira. REICE: Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 15(4), 27-49. https://doi.org/10.15366/reice2017.15.4.002Links ]

Wainer, J., Dwyer, T., Dutra, R. S., Covic, A., Magalhães, V. B., Ferreira, L. R. R., Pimenta, V. A., & Claudio, K. (2008). Too much computer and Internet use is bad for your grades, especially if you are young and poor: Results from the 2001 Brazilian SAEB. Computers & Education, 51(4), 1417-1429. https://doi.org/10.1016/j.compedu.2007.12.007Links ]

Xavier, F. P., & Alves, M. T. G. (2015). A composição social importa para os efeitos das escolas no ensino fundamental? Estudos em Avaliação Educacional, 26(61), 216-243. https://doi.org/10.18222/eae266102933Links ]

1https://www-periodicos-capes-gov-br.ezl.periodicos.ca­pes.gov.br/

2https://www.scielo.br/

3https://doaj.org/

4https://vocabularyserver.com/brased/

5Dados obtidos na plataforma Scimago Journal & Country Rank: https://www.scimagojr.com

6Dados obtidos na plataforma Sucupira: https://sucupira.capes.gov.br

7http://www.capes.gov.br/avaliacao/instrumentos-de-apoio/Tabela-de-areas-do conhecimento-avaliacao

8https://www.scimagojr.com/

Recebido: 02 de Outubro de 2021; Aceito: 27 de Abril de 2023

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons