INTRODUÇÃO
Este trabalho reúne um conjunto de pesquisas empíricas desenvolvidas em torno do campo da avaliação educacional, tendo como escopo o aprofundamento do entendimento acerca da relação entre as variáveis independentes (obtidas a partir dos questionários respondidos pelos alunos, professores, diretores e secretários da escola) e dependentes (proficiência dos alunos) procedentes do Sistema de Avaliação da Educação Básica (Saeb).
Com a introdução do Saeb, em 1990, foi possível incorporar novas teorias, processos e métodos ao campo da avaliação educacional, proporcionando a criação de modelos explicativos que buscam compreender os processos educativos associados à aprendizagem escolar, fundamentados no exame da relação entre o desempenho escolar e fatores individuais, familiares, sociais, econômicos e culturais relacionados aos alunos, assim como características dos professores, diretores e escolas, o que pode contribuir para a produção de evidências sobre a realidade da educação básica a partir de dados do Saeb (Bonamino, 2016; Gatti, 2009).
A justificativa para um estudo dessa natureza encontra respaldo na concepção de Hessen (1999, p. 19), segundo a qual o conhecimento humano é oriundo da experiência, todavia precisa ser interpretado a partir de dados, fatos e evidências da realidade, de modo que “qualquer explicação ou interpretação deve ser precedida da observação e descrição exata do objeto”. A aplicação do empirismo para aquisição do conhecimento, coleta, resumo e sistematização da produção científica acerca do Saeb proporciona “rigor no tratamento do objeto” (Demo, 2008, p. 39). Portanto, o Saeb possibilita a coleta de dados no que concerne a alunos, professores, diretores e escolas, favorecendo a construção de modelos teóricos e estatísticos mais próximos da realidade, além de subsidiar as pesquisas no campo da avaliação educacional.
Dessa forma, o presente estudo tem como objetivo apresentar uma revisão sistemática da literatura sobre o mapeamento da produção científica acerca das pesquisas empíricas relacionadas ao Saeb. Trata-se de um levantamento de abordagem qualitativa, cuja estratégia de investigação foi a revisão sistemática da literatura. Foram utilizadas as diretrizes de elegibilidade e análise do modelo dos principais itens para relatar revisões sistemáticas e metanálises (método Prisma) e a análise bibliométrica.
METODOLOGIA
Para alcançar o objetivo estabelecido nesta pesquisa, utilizou-se a revisão sistemática da literatura como método de investigação. Além disso, foram aplicadas as diretrizes do método Prisma (Galvão et al., 2015) e a análise bibliométrica proposta por Chueke e Amatucci (2015). As etapas da revisão sistemática da literatura estão descritas a seguir.
A etapa 1 foi destinada à seleção das bases de busca da produção científica, sendo elas: Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes),1 Scientific Electronic Library Online (SciELO)2 e Directory of Open Access Journals (Doaj),3 que reúnem periódicos científicos em português, inglês e espanhol.
A etapa 2 consistiu na definição das palavras-chave como termos de busca. A seleção foi feita no Thesaurus Brasileiro da Educação,4 o que proporcionou identificar as palavras-chave (descritores) mais recorrentes no campo da avaliação educacional. Assim, a pesquisa das publicações foi realizada mediante os seguintes termos: “avaliação da educação básica”, “basic education evaluation” AND “Saeb”; “evaluación de la educación básica” Y “Saeb”; “equidade em educação”, “equity in education” AND “Saeb”; “equidad en la educación” Y “Saeb”; “qualidade da educação”, “quality of education” AND “Saeb”; “calidad de la educación” Y “Saeb”; “sistema nacional de avaliação da educação básica”, “Saeb”, “centro nacional brasileño de evaluación del progresso”, nas respectivas variações idiomáticas português, inglês e espanhol.
A etapa 3 compreendeu a seleção dos parâmetros de busca utilizados em cada base. Foram selecionadas pesquisas empíricas de janeiro de 1995 a junho de 2021. O ano de 1995 foi escolhido por ser o período em que se implementou o formato atual do Saeb. As tabelas 1 e 2 apresentam os critérios de exclusão e inclusão aplicados ao resultado da busca.
REFERÊNCIA | CRITÉRIOS DE EXCLUSÃO (CE) |
---|---|
CE 1 | Pesquisas relacionadas ao Saeb (Avaliação Nacional da Educação Básica - Aneb, Avaliação Nacional do Rendimento Escolar - Anresc e Prova Brasil) sem dados empíricos. |
CE 2 | Artigos não classificados pelo Qualis-Periódicos Capes no quadriênio 2013-2016 (artigos identificados nos periódicos dos estratos indicativos A1, A2, B1, B2, B3, B4, B5 e C). |
CE 3 | Artigos não revisados por pares. |
CE 4 | O trabalho mescla dados do Saeb (Aneb, Anresc e Prova Brasil) com dados provenientes da avaliação em larga escala dos sistemas estaduais de educação e do Programa Internacional de Avaliação de Estudantes (Pisa). |
Fonte: Elaboração dos autores (2021).
REFERÊNCIA | CRITÉRIOS DE INCLUSÃO (CI) |
---|---|
CI 1 | Pesquisas empíricas relacionadas ao Saeb (Aneb, Anresc e Prova Brasil). |
CI 2 | Obrigatoriedade de os artigos possuírem dados empíricos oriundos do Saeb (Aneb, Anresc e Prova Brasil). |
CI 3 | Trabalho mescla dados do Saeb (Aneb, Anresc e Prova Brasil) com dados do Exame Nacional do Ensino Médio (Enem) e da Pesquisa Nacional por Amostra de Domicílios Contínua (Pnad). |
CI 4 | Artigos oriundos de periódicos classificados pelo Qualis-Periódicos Capes no quadriênio 2013-2016. |
CI 5 | Artigos revisados por pares. |
Fonte: Elaboração dos autores (2021).
A etapa 4 foi destinada à seleção da produção científica identificada na base de busca, a partir dos critérios apresentados nas tabelas 1 e 2, sendo a amostra definida por conveniência, ou seja, constituída por pesquisas empíricas avaliadas com base nos critérios estabelecidos previamente.
A etapa 5 consistiu na identificação das publicações no formato de artigo científico, sendo que os trabalhos foram selecionados, inicialmente, a partir da leitura do resumo e, posteriormente, realizou-se a leitura do texto na íntegra para avaliar a qualidade do estudo e seu alinhamento com os critérios preestabelecidos. Foram identificadas 89 publicações e, quando excluídas as duplicadas, restaram 75.
Na etapa 6, aplicou-se o método bibliométrico para colaborar na sistematização da produção científica em um determinado campo do saber e apontar novas perspectivas de investigação (Chueke & Amatucci, 2015). Para alcançar essa finalidade, o método bibliométrico considerou as leis que regem estes estudos (Tabela 3).
LEI | MEDIDA | CRITÉRIO | OBJETIVO PRINCIPAL |
---|---|---|---|
Lei de Bradford | Grau de atração do periódico | Reputação do periódico | Identificar os periódicos mais relevantes e que dão maior vazão a um tema específico |
Lei de Zipf | Frequência de palavras- -chave | Lista ordenada de temas | Estimar os temas mais recorrentes relacionados a um campo do conhecimento |
Lei de Lotka | Produtividade do autor | Tamanho-frequência | Levantar o impacto da produção de um autor em uma área de conhecimento |
Fonte: Chueke e Amatucci (2015).
Por fim, na etapa 7, foram realizadas a análise e interpretação dos resultados. Após a leitura efetiva dos artigos selecionados, utilizou-se uma abordagem qualitativa, ponderando seus aspectos principais para traçar o mapeamento das pesquisas empíricas relacionadas com o desempenho escolar fundamentadas nos dados do Saeb. A Figura 1 apresenta os procedimentos de coleta e definição da amostra da pesquisa.
Para a análise da amostra (n = 75), foram utilizados os softwares Zotero (versão 5.0.96.3), para o gerenciamento das referências bibliográficas, e Excel (versão 2013), para analisar quantitativamente os artigos e gerar tabelas. Destacaram-se, ainda, com base nas informações obtidas do currículo Lattes, em junho de 2021, os autores com maior número de publicações.
RESULTADOS
Mapeamento das publicações
O levantamento bibliográfico realizado no Portal de Periódicos da Capes, SciELO e Doaj resultou em 5.642 artigos. Destes, 75 estavam de acordo com os critérios de inclusão da revisão sistemática, compondo a amostra examinada.
Dos artigos considerados, 66,9% são classificados em Qualis A - sendo 44,3% A1 e 22,6% A2 -, 31,8% em Qualis B - 25,3%, 2,6%, 1,3% e 2,6%, respectivamente classificados em B1, B2, B3 e B5 - e 1,3% em Qualis C. Logo, os resultados da pesquisa bibliográfica demonstram que os critérios de seleção adotados possibilitaram identificar as pesquisas mais relevantes publicadas na base bibliográfica das três bases de dados consideradas.
Os artigos selecionados foram publicados em 33 periódicos, sendo que dois concentraram o maior número de trabalhos: Ensaio: Avaliação e Políticas Públicas em Educação e Estudos em Avaliação Educacional (Tabela 4).
REVISTAS | N (%) | ISSN (A) | H-INDEX (B) | SJR 2020 (C) | QUALIS (D)/ ÁREA (E) |
---|---|---|---|---|---|
Ensaio: Avaliação e Políticas Públicas em Educação | 10 (13,4%) | 0104-4036 | 10 | 0,291 | A1/Educação |
Estudos em Avaliação Educacional | 10 (13,4%) | 0103-6831 | - | - | A2/Educação |
Fonte: Elaboração dos autores (2021).
Notas: (A) Dado retirado do website da revista. (B) O H-index é um índice criado para quantificar a produção científica a partir das citações dos trabalhos presentes na base de dados Scopus.5 (C) O SJR é um indicador bibliométrico que mede a influência científica da revista a partir do número de citações recebidas por um periódico que esteja presente na base de dados Scopus. (D) Classificação de periódicos no quadriênio 2013-2016.6 (E) Áreas de conhecimento de acordo com a Capes (2017).7
Quanto ao primeiro periódico, verifica-se que sua finalidade é publicar artigos originais relacionados à educação, tendo como temática questões sobre avaliação e políticas públicas em educação. Já o segundo tem como objetivo divulgar a produção acadêmica sobre avaliação educacional e análise de políticas e programas que dialoguem com a avaliação e/ou venham a subsidiar estudos avaliativos.
De modo geral, no que concerne ao critério de reputação dos periódicos, para identificar os mais relevantes e que dão maior vazão a um tema específico, a pesquisa fundamentou-se na Lei de Bradford (Tabela 3), tendo como base as métricas de citação H-index e o SJR. Dessa forma, segundo a área, tem-se os seguintes resultados: educação com 58,8% e 41,2% e economia com 60% e 40%, respectivamente, apresentaram e não apresentaram periódicos com indicadores. No que tange à sociologia e ao planejamento urbano e regional/demografia, não se observaram periódicos com indicadores.
O indicador SJR se baseia na ideia de que a área do conhecimento, a qualidade e a reputação de um periódico influenciam diretamente as citações por ele realizadas. Ou seja, um periódico com valor SJR > 1,0 tem potencial de citação acima da média, enquanto um com SJR < 1,0 tem potencial de citação abaixo da média. O Qualis da Capes foi utilizado para conferir a relevância do periódico. Dessa forma, tem-se como principais resultados: Assessment in Education: Principles, Policy & Practice (SJR = 1,259, Qualis A1), Computers & Education (SJR = 0,942, Qualis A1) e Education Policy Analysis Archives (SJR = 0,727, Qualis A1) para a área de educação. Na economia, observa-se a revista Nova Economia (SJR = 0,229, Qualis B1) e, na área de planejamento urbano e regional/demografia, o periódico Revista Brasileira de Estudos de População (SJR = 0,250, Qualis B1).
Ao analisar a autoria dos artigos, identifica-se um total de 90 autores ou coautores diferentes. Cerca de 85,7% dos artigos foram escritos em coautoria e somente 14,3% por um único autor. Observa-se que dois autores se destacam em função da autoria e coautoria em mais de um artigo: José Francisco Soares e Maria Teresa Gonzaga Alves. O primeiro tem autoria em nove trabalhos, sendo dois como único autor, quatro como primeiro e três como segundo. José Francisco Soares é professor emérito na Faculdade de Educação, Departamento de Ciências Aplicadas à Educação, na Universidade Federal de Minas Gerais, tendo como linhas de pesquisa: efeito de escolas, políticas públicas em educação e avaliação educacional. Maria Teresa Gonzaga Alves, por sua vez, tem autoria em nove trabalhos, sendo um como única autora, quatro como primeira e quatro como segunda. Professora na Faculdade de Educação, Departamento de Ciências Aplicadas à Educação, na Universidade Federal de Minas Gerais, suas linhas de pesquisa são: efeito-escola, sociologia da educação, avaliação de escolas e avaliação de sistemas de ensino. Esses autores publicaram conjuntamente cinco artigos.
A Lei de Lotka aponta a necessidade de mapear os autores que têm mais artigos publicados e, portanto, grande valor em uma área do conhecimento. Mostrou-se relevante, pois permite avaliar o impacto das publicações no campo da avaliação educacional. Nessa perspectiva, os autores com maior número de citações foram José Francisco Soares e Maria Teresa Gonzaga Alves. Ao analisar o índice H (H-index) dos pesquisadores pela plataforma Scopus,8 encontram-se, respectivamente, H = 9 e H = 5.
No que se refere ao ano de edição, constatou-se que os estudos selecionados foram publicados no período de 2001 a 2021, apesar de a busca considerar trabalhos de 1995 a 2021. Das 75 publicações analisadas, 54,5% referem-se ao ensino fundamental, 10,4% ao ensino médio e 35,1% aos ensinos fundamental e médio. Além disso, utilizou-se o índice H, que é determinado pela relação entre o número de trabalhos publicados e suas citações disponíveis na plataforma da Scopus.
Quanto às estratégias de investigação utilizadas, constata-se que 98,7% (74) dos estudos examinados utilizaram a abordagem quantitativa, com predominância do método estatístico, enquanto 1,3% (1) empregou a pesquisa qualitativa exploratória. Tais resultados indicam que os testes estatísticos foram utilizados para reduzir os fatores explicativos, identificar as variáveis mais significativas e examinar a relação entre as variáveis dependentes e independentes.
Contudo, vale ressaltar o risco de a abordagem quantitativa produzir um grande número de informações, sem que haja uma análise contextualizada. Por esse motivo, os resultados devem ter “profundidade de análise, significando a recusa de deter-se na superfície das coisas, na visão imediata, na ingenuidade da informação primeira” (Demo, 2008, p. 39). Isso leva à compreensão de que as informações resultantes dos processos estatísticos devem ser embasadas em uma perspectiva teórica/científica robusta e consistente, que oriente as análises e interpretações dos resultados (Gatti, 2004).
Dessa forma, a análise dos estudos examinados (n = 75) aponta, como principal limitação, a ausência de investigações que utilizaram a abordagem qualitativa e/ou quantitativa-qualitativa para avaliar o impacto das variáveis preditoras sobre o desempenho escolar. Tal constatação indica a necessidade de incorporar estratégias de investigação que utilizem observações, entrevistas, análise de documentos (públicos, privados, memoriais), pesquisas de opinião e bibliográficas, aplicação de questionários e estudos de caso. Com base no uso de um plano de trabalho aberto e flexível, os focos da investigação vão sendo constantemente revistos, as técnicas de coleta reavaliadas, os instrumentos reformulados e os fundamentos teóricos e metodológicos repensados (André, 2009).
Por fim, percebe-se a necessidade de serem empregadas novas estratégias de investigação que incorporem procedimentos qualitativos em um projeto quantitativo, de maneira que a análise e a interpretação dos processos estatísticos sejam feitas com base em uma abordagem lógica e confiável.
No que diz respeito às técnicas estatísticas adotadas para análise dos dados do Saeb nos artigos selecionados para a amostra, verifica-se a predominância de regressão multinível (36,3%), análise descritiva (20,8%), estimativas (6,5%), mineração de dados e regressão quantílica (2,6%). Outros procedimentos estatísticos foram empregados, mas apareceram apenas uma vez. Por isso, optou-se por citar aqueles identificados mais de uma vez nas publicações.
Ainda, destaca-se que 36,3% das pesquisas utilizaram a técnica de regressão multinível, também conhecida como modelo linear hierárquico (MLH) ou modelo de coeficiente aleatório. Essa técnica tem sido considerada a mais apropriada para analisar as variáveis que se relacionam com o desempenho escolar. Seu uso justifica-se por considerar a estrutura hierárquica dos dados, caracterizada por unidades amostrais que se agrupam em unidades maiores, capazes de formar ou não novos grupos. Nesse caso, tem-se o agrupamento dos alunos em turmas, que são associadas em escolas, e possuem, naturalmente, uma estrutura hierárquica (Ferrão, 2003).
No que se refere à distribuição das publicações, tendo como foco a origem institucional dos autores, verifica-se na Tabela 5 que, do total de 75 trabalhos sobre o Saeb e a Prova Brasil, das três universidades que mais publicaram no período pesquisado, destacam-se: uma confessional, a Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), com 28,0%; e duas universidades federais, a Universidade Federal de Minas Gerais (UFMG), com 33,3%, e a Universidade de Brasília (UnB), com 17,3%.
INSTITUIÇÕES | N | PARTICIPAÇÃO NO TOTAL (%) |
---|---|---|
Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio) | 21 | 28,0% |
Universidade de Brasília (UnB) | 13 | 17,3% |
Universidade Federal de Minas Gerais (UFMG) | 25 | 33,3% |
Fonte: Elaboração dos autores (2021).
Quando se consideram os autores e coautores (n = 90) dos trabalhos selecionados, constata-se que 92,2% deles estão associados às instituições de educação superior (federais ou confessionais). Também foram identificados autores de instituições internacionais e funcionários públicos federais, estaduais e municipais.
No que se refere às regiões geográficas onde os autores dos artigos publicaram, verifica-se que 71,2% estavam no Sudeste, 12% no Sul, 11,2% no Centro-Oeste e 3,2% no Nordeste, além de 0,8% em Portugal e 1,6% na Espanha. Esse resultado demonstra o grande desequilíbrio existente quanto ao número de artigos científicos no campo da avaliação educacional produzidos no Brasil. Também houve predomínio de autores nas regiões que sediam os programas de pós-graduação mais antigos e consolidados do país (UFMG, PUC-Rio e UnB). Por fim, constatou-se que os artigos são predominantemente de instituições acadêmicas nacionais, o que pode ser identificado pela quantidade de autores e entidades que divulgaram suas publicações.
Partindo para análise da Lei de Zipf (Tabela 3), medida pela frequência das palavras-chave e keywords presentes nos artigos científicos, foi possível obter o seguinte resultado: “desempenho escolar” e “school performance”; “ensino fundamental” e “primary education”; e “Saeb”. Esses descritores foram encontrados nove vezes nas publicações, sendo os que mais se repetem nos artigos examinados.
Análise das publicações
A partir das análises apresentadas anteriormente, realizou-se um estudo aprofundado das pesquisas empíricas relacionadas ao Saeb examinadas. Com base nos resultados, foi possível a criação de oito categorias, que foram organizadas de acordo com a temática, objetivo e resultado (Tabela 6). Tais categorias são investigadas a seguir.
Fonte: Elaboração dos autores (2021).
A primeira categoria, fatores extra e intraescolares (Soares, 2004a), é repre- sentada por 29 publicações (27,0%), englobando estudos que examinam a associação entre os fatores extraescolares (valores sociais, políticas públicas, recursos, gestão dos sistemas, família, comunidade e condições econômicas, entre outros) e intraescolares (gestão escolar, professores, projeto pedagógico, atividades didáticas, recursos pedagógicos, clima disciplinar, situação das instalações e equipamentos, serviços oferecidos pela escola, entre outros) e o desempenho escolar.
O exame da categoria em comento revelou a associação entre as variáveis dependentes (proficiência) e independentes (características relacionadas aos alunos, escolas, diretores e professores) e possibilitou discriminar os principais fatores extra e intraescolares que afetam o desempenho escolar verificado pelo Saeb.
É evidente a importância de pesquisas com esse enfoque, visto que identificam variáveis preditoras que podem ser utilizadas para a construção de modelos explicativos fundamentados em dados e evidências estatísticas. Além disso, é possível realizar simulações que propiciam estabelecer relações das variáveis associadas entre escolas, professores, funcionários e alunos e o desempenho escolar, contribuindo para a criação de índices/indicadores educacionais que possibilitam fazer inferências descritivas ou causais, utilizando evidências estatísticas para a elaboração de conclusões ou explicações.
A segunda categoria, eficácia escolar, reúne 11 publicações (14,6%) que têm como enfoque o exame dos fatores que tornam uma escola eficaz e possibilitam estimar quais são as características das escolas que levam os alunos a obterem melhores resultados médios após o controle dos fatores sociodemográficos, produzindo reflexo positivo no progresso acadêmico e no desempenho escolar (Sammons, 2008).
Os artigos partem do pressuposto de que existe uma influência da escola no desempenho cognitivo de seus alunos. No Brasil, com os dados e resultados provenientes do Saeb, foi possível avaliar as características das escolas que mais se associavam com o desempenho escolar. O exame da relação entre as condições de funcionamento das escolas, as características socioeconômicas dos alunos e o desempenho escolar permitiu “quantificar o efeito-escola e a desvendar as especificidades da escola eficaz” (Brooke & Soares, 2008, p. 9).
A análise dessa relação por meio de testes estatísticos proporcionou identificar os fatores significativos que possibilitam o exame da relação entre as variáveis independentes (relacionadas às escolas) e dependentes (proficiência dos alunos). Assim, pode-se aferir se os resultados encontrados são probabilísticos ou produto do acaso, fazendo com que as análises feitas tenham fidedignidade, generalidade e possam ser replicadas por outros estudos.
Vale ressaltar, ainda, que as publicações sobre eficácia escolar identificaram evidências empíricas do efeito das variáveis independentes relacionadas às escolas (presença de biblioteca, laboratório, laboratório de informática e quadras de esportes, o estado de conservação e qualidade das salas de aula, banheiros, cozinha, instalações hidráulicas e elétricas, segurança da escola e dos alunos) que afetam o desempenho escolar apontado pelo Saeb. Portanto, tais evidências demonstram que o investimento na infraestrutura da escola ainda é de grande relevância para o desempenho escolar verificado pelo Saeb.
Assim, observa-se, nos estudos sobre eficácia escolar, uma redução das va- riáveis associadas às escolas com base em testes estatísticos, graças à identificação dos fatores explicativos mais significativos, os quais possibilitam a construção de indicadores estatisticamente validados e adequados a cada realidade educacional. Ademais, viabilizam a coleta, tratamento, análise e disseminação de informações com base em dados procedentes do Saeb.
A desigualdade educacional é a terceira categoria, sendo representada por dez publicações (13,3%) que investigam as possíveis causas da desigualdade entre escolas (públicas e privadas), gênero, raça, estados e regiões com base nos dados do Saeb e indicadores socioeconômicos (Produto Interno Bruto - PIB, Índice de Gini, Índice de Desenvolvimento Humano - IDH). Tendo em vista a análise dessa categoria, observa-se que, no Brasil, a desigualdade educacional se estrutura em desigualdades econômicas e sociais que afetam direta/indiretamente o desempenho escolar e reduzem a probabilidade de acesso, permanência, inclusão escolar e oportunidades educacionais de uma grande parcela dos estudantes da edu- cação básica.
A quarta categoria, políticas públicas educacionais, representada por nove publicações (12,0%), reúne estudos que examinam o efeito dos fundos, programas de promoção automática, processos de escolha dos diretores, Programa Dinheiro Direto na Escola (PDDE), Plano de Desenvolvimento da Escola (PDE-Escola), implementação de sistemas de avaliação, atendimento em educação infantil, gasto por aluno e valorização docente sobre o desempenho escolar e a qualidade da educa- ção nas escolas.
Conforme a análise dessa categoria, verifica-se que é possível examinar o efeito das políticas educacionais sobre o desempenho escolar. Todavia, vale destacar a escassez de estudos empíricos nesse sentido, o que demonstra a necessidade de pesquisas futuras para investigar seu impacto no desempenho escolar e nos processos educativos associados. Além disso, o exame do efeito dessa categoria sobre os resultados do Saeb permite o monitoramento e o aprimoramento das políticas educacionais com base em evidências. Com isso, planeja-se verificar se os resultados encontrados são consequência de uma política educacional específica ou pro- duto do acaso.
A quinta categoria, composta por sete publicações (9,3%), diz respeito à qualidade e equidade na educação básica. É formada por textos que examinam o efeito das variáveis independentes obtidas dos questionários contextuais (alunos, professores, escolas e diretores de escolas) do Saeb sobre as condições de qualidade, entendidas, nessa perspectiva, como fatores que podem afetar o desempenho escolar e a capacidade de promover a equidade, no sentido de mitigar o efeito da origem social e econômica dos alunos nos resultados escolares.
Verifica-se que as reflexões acerca da qualidade e equidade na educação básica, provenientes das pesquisas empíricas do campo da avaliação educacional, revelam que as condições sociais, econômicas, educacionais, a infraestrutura da escola, a gestão escolar e pedagógica, a formação e condições de trabalho dos professores, o financiamento e as políticas públicas educacionais ainda têm forte impacto no desempenho escolar dos estudantes. Logo, tais fatores demonstram a ausência da definição dos padrões mínimos de qualidade no Brasil, para que os estudantes tenham as condições necessárias para uma aprendizagem escolar satisfatória.
Indicadores educacionais é a sexta categoria analisada, representada por cinco publicações (6,6%) que avaliam a educação escolar com base em dados, informações estatísticas e taxas provenientes do Saeb, das Pesquisas Nacionais por Amostra de Domicílios (Pnad) e do Censo Escolar. A análise dessa categoria possibilita desvelar a educação básica a partir de evidências oriundas dessas três fontes de dados. Ainda proporciona fazer um diagnóstico dos fatores extra e intraescolares que afetam o desempenho escolar, pois produz subsídios para o monitoramento e o aprimoramento dos processos educativos, além de contribuir com dados e evidências para a elaboração de pesquisas empíricas no campo da avaliação educacional.
A sétima categoria é a mineração de dados educacionais, composta por duas publicações (2,6%) que utilizam essa técnica para extração de conhecimento útil de grandes volumes de dados (Knowledge Discovery in Databases − KDD) provenientes dos questionários contextuais do Saeb, contendo milhões de registros de alunos, professores, diretores e escolas. Percebe-se que a categoria em análise possibilita aprofundar os dados do Saeb com base em um processo de identificação de padrões que proporciona fazer inferências estatísticas. Ademais, o uso das tecnologias de mineração de dados permite extrair informações de grande base de dados e verificar se os resultados encontrados são probabilísticos ou produto do acaso (Namen et al., 2013; Fonseca & Namen, 2016).
Por fim, a última categoria, accountability educacional, representada por duas publicações (2,6%), é caraterizada por produções científicas que avaliam o desempenho de sistemas educacionais, escolas e professores individuais com base em medidas de desempenho dos alunos. Nessa perspectiva, accountability educacional corresponde ao conjunto de regras pelas quais as escolas são responsabilizadas por seus resultados, sendo estabelecidas metas. Pela observação desta categoria foi possível notar que sua incorporação no campo da avaliação educacional ocorreu a partir de 2000. Isso porque as avaliações em larga escala (Saeb e Enem) e o Índice de Desenvolvimento da Educação Básica (Ideb) passaram a ser divulgados por unidades da federação e por escolas.
Um outro aspecto a ser levado em consideração, quanto à implantação das avaliações em larga escala no Brasil a partir de 1995, refere-se à incorporação dos procedimentos “preconizados pela Teoria da Resposta ao Item - TRI” (Gatti, 2009, p. 12) e à sua possibilidade de associação com outros métodos estatísticos para comparar alunos, estimar a distribuição de proficiências da população e subpopulações e, ainda, monitorar um sistema de avaliação em larga escala, como é o caso do Saeb.
Portanto, tais características das avaliações em larga escala implantadas no Brasil permitiram que estados e municípios adotassem programas de accountability com base no desempenho acadêmico da escola e no estabelecimento de metas e consequências, como por exemplo bônus para escolas e docentes que atingirem os resultados esperados (Fernandes & Gremaud, 2020; Alves et al., 2016).
Por fim, vale ressaltar que as categorias em que as publicações são agrupadas não são excludentes, visto que alguns estudos apresentam objetivos secundários e resultados que permitem classificá-los em outras categorias. Um exemplo é a pesquisa de Alves et al. (2016), que teve como objetivo analisar o efeito do PDE-Escola nos resultados acadêmicos das escolas que participaram do programa, a partir da estimação de um painel de escolas entre 2005 e 2012. A análise do estudo mostra uma grande intersecção com a categoria políticas públicas educacionais, entretanto esta revisão optou por apresentar essa pesquisa agrupada em uma categoria na qual as publicações tivessem maior similaridade temática, de objetivos e resultados.
CONSIDERAÇÕES FINAIS
Esta revisão sistemática da literatura teve como objetivo apresentar o mapeamento da produção científica acerca das pesquisas empíricas relacionadas ao Saeb, utilizando as diretrizes do método Prisma e a análise bibliométrica. Foram considerados e examinados 75 artigos e, a partir deles, verificou-se que 66,9%, 31,8% e 1,3%, respectivamente, são classificados em Qualis A, B e C. Esses resultados demonstram que os critérios de seleção adotados possibilitaram identificar as pesquisas empíricas mais relevantes para o campo da avaliação educacional.
É importante enfatizar algumas limitações deste estudo. Em primeiro lugar, a necessidade de utilizar novas fontes de informação, outras bases de dados e diferentes tipos de publicações, tais como teses, dissertações, livros e informes técnicos. Segundo, é preciso ampliar a busca usando outros termos associados às palavras-chave e/ou outros parâmetros de busca nas bases das publicações. Terceiro, devem-se mesclar estudos do Saeb com pesquisas provenientes da avaliação em larga escala dos sistemas estaduais de educação. Por fim, foram utilizados apenas dados secundários (resultados de pesquisas empíricas).
Conclui-se enfatizando a necessidade de pesquisas empíricas futuras que empreguem novas estratégias de investigação no sentido de aprofundar a análise dos processos estatísticos com base em uma abordagem teórica/científica robusta, consistente e confiável, que direcione a análise e interpretação dos resultados, de maneira que proporcione fidedignidade, generalidade e possibilidade de replicação desses resultados por outros estudos. Ademais, sugere-se a necessidade de utilizar a metanálise para identificar evidências procedentes dos dados do Saeb que possam ser utilizadas para a criação de modelos explicativos, para que o campo da avaliação educacional consiga testar teorias, aprimorar métodos e propor hipóteses fundamentadas em evidências resultantes do Saeb.