Introdução

No Brasil, a Lei de Diretrizes e Bases da Educação Nacional - LDB/1996 (^{BRASIL, 1996}) - estabelece que a União, em colaboração com os sistemas de ensino dos estados, tem a responsabilidade de assegurar o processo nacional de avaliação do rendimento escolar na educação básica e superior, objetivando a definição de prioridades e a melhoria da qualidade do ensino, bem como, coletar, analisar e disseminar informações sobre a educação.

Nesse cenário, as avaliações em larga escala conduzidas nos estados¹ brasileiros pelo Sistema de Avaliação da Educação Básica (SAEB) permitem a coleta de dados sobre alunos, professores e diretores de escolas públicas e particulares em todo o Brasil, o que viabiliza a realização de pesquisas empíricas que possibilitam examinar possíveis relações e/ou correlações entre os fatores intraescolares (gestão escolar, professores, projeto pedagógico, atividades didáticas, recursos pedagógicos, clima disciplinar, situação das instalações e equipamentos, serviços oferecidos pela escola etc.) e extraescolares (valores sociais, políticas públicas, recursos, gestão dos sistemas, família, comunidade e condições econômicas etc. A implementação deste sistema avaliativo influenciou governos estaduais a criarem seus próprios sistemas de avaliação de rendimento escolar (^{BABIE, 2005}; ^{GUSMÃO, 2021}; ^{SOARES, 2007}).

A crescente adoção das avaliações em larga escala refletiu também nos estados que estimularam a criação de sistemas próprios de avaliação, os quais “foram concebidos em complementaridade ao SAEB, o que significa dizer que suas características (matriz curricular, metodologia de análise, banco de itens etc.) seriam, originalmente, compatíveis ou assim foram constituindo-se no decorrer do tempo” (^{SOUSA; OLIVEIRA, 2010}, p. 811-812). Além disso, proporcionaram a obtenção de evidências estatísticas que permitiram demonstrar relações causais entre variáveis, possibilitando a identificação dos fatores mais significativos para a criação de modelos explicativos, a fim de analisar os problemas relacionados à realidade educacional brasileira.

Ante às questões apontadas, o presente estudo tem como objetivo apresentar uma revisão sistemática da literatura sobre o mapeamento da produção científica acerca das pesquisas empíricas relacionadas aos sistemas de avaliação do rendimento escolar dos estados brasileiros. Trata-se de uma pesquisa de abordagem qualitativa, cuja estratégia de investigação utilizada foi a revisão sistemática da literatura. Para tanto, foram utilizadas as diretrizes de elegibilidade e análise do modelo dos principais itens para relatar revisões sistemáticas, meta-análises (PRISMA) e a análise bibliométrica.

Materiais e métodos

Com o propósito de alcançar o objetivo formulado nesta pesquisa, foram utilizadas as diretrizes do método PRISMA (^{GALVÃO, PASANI, HARRAD, 2015}) e a análise bibliométrica proposta por ^{Chueke e Amatucci (2015)}. As etapas da revisão sistemática da literatura estão descritas a seguir:

A etapa 1 foi destinada à seleção das bases de busca da produção científica, sendo elas: Portal de Periódico da CAPES (https://www-periodicos-capes-gov-br.ezl.periodicos.capes.gov.br/), Scientific Electronic Library Online- SciELO (https://www.scielo.br/) e Directory of Open, as quais reúnem periódicos científicos em português, inglês e espanhol.

A etapa 2 constituiu-se pela definição das palavras-chave (descritores) como termo de busca, o que proporcionou identificar aquelas diretamente associadas aos sistemas de avaliação do rendimento escolar dos estados. A pesquisa das publicações foi realizada mediante os seguintes termos:

A etapa 3 compreendeu a identificação dos sistemas de avaliação dos estados e a seleção dos parâmetros de busca utilizados em cada base. As pesquisas empíricas foram selecionadas no período entre janeiro de 1996 a novembro de 2022. O ano de 1996 foi escolhido por ser o período em que se implementou o formato atual do SAEB e dos sistemas estaduais de avaliação.

Os critérios de exclusão e inclusão aplicados ao resultado da busca foram organizados da seguinte maneira:

Na etapa 4 foi realizada a seleção da produção científica identificada na base de dados a partir dos critérios apresentados nos quadros 2 e 3, sendo a amostra definida por conveniência, ou seja, constituída por pesquisas empíricas avaliadas com base nos critérios estabelecidos previamente.

A etapa 5 consistiu na identificação das publicações no formato de artigo científico. Inicialmente, os artigos foram selecionados a partir da leitura do resumo; posteriormente, realizou-se a leitura do texto na íntegra para avaliar a qualidade do estudo e seu alinhamento com os critérios pré-estabelecidos. Foram identificadas 53 publicações e, quando excluídas as duplicadas, restaram 30.

Na etapa 6 aplicou-se o método bibliométrico para colaborar na sistematização da produção científica em um determinado campo do saber e apontar novas perspectivas de investigação (^{CHUEKE; AMATUCCI, 2015}). Para alcançar esta finalidade, o método bibliométrico considerou as leis que regem estes estudos (Quadro 4).

Por fim, na etapa 7 foi realizada a análise e interpretação dos resultados. Após a leitura efetiva dos artigos selecionados foi utilizada uma abordagem qualitativa, ponderando seus aspectos principais para traçar o mapeamento das pesquisas empíricas relacionadas com o rendimento escolar fundamentada nos dados das avaliações em larga escala organizada, planejada e executada pelos estados. A Figura 1 apresenta os procedimentos de coleta e definição da amostra da pesquisa.

Fonte: Elaboração própria (2022).

Figura 1 Fluxograma dos artigos selecionados 

Para a análise da amostra (n = 30) foram utilizados os softwares: Zotero (versão 5.0.96.3), para o gerenciamento das referências bibliográficas; Excel (versão 2013), para analisar quantitativamente os artigos e gerar tabelas. Destacou-se, ainda, com base nas informações obtidas do currículo Lattes, em novembro de 2022, os autores com maior número de publicações.

Identificação dos sistemas estaduais de avaliação do rendimento escolar

Dos 25 sistemas de rendimento escolar identificados, verifica-se que 19 (76%), representados pelo Sistema Estadual da Aprendizagem Escolar do Acre (SEAPE), Sistema de Avaliação de Desempenho Educacional do Amazonas (SADEAM), Sistema Permanente de Avaliação da Educação Básica do Amapá (SISPAEP), Sistema Estadual de Avaliação do Maranhão (SEAMA), Sistema de Avaliação Educacional do Piauí (SAEPI), Sistema Permanente de Avaliação da Educação Básica do Ceará (SPACE), Sistema Integrado de Monitoramento e Avaliação Institucional da Rede de Ensino do Rio Grande do Norte (SIMAIS), Programa SOMA - Pacto pela Aprendizagem na Paraíba (SOMA), Sistema de Avaliação da Educação Básica de Pernambuco (SAEPE), Sistema de Avaliação Educacional de Alagoas (SAVEAL), Sistema de Avaliação da Educação Básica de Sergipe (SAESE), Sistema Baiano de Educação (SABE), Sistema Mineiro de Avaliação da Educação Pública (SIMAVE), Programa de Avaliação da Educação Básica do Espírito Santo (PAEBES), Sistema de Avaliação da Educação do Rio de Janeiro (SAERJ), Sistema de Avaliação da Educação Básica do Paraná (SAEP), Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (SAERS), Sistema de Avaliação da Educação Básica da Rede Pública de Mato Grosso do Sul (SAEMS), Sistema de Avaliação Educacional do Estado de Goiás (SAEGO), são organizados pelo Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora - CAEd²; e 6 (24%), constituídos pelo Sistema de Avaliação Educacional de Rondônia (SAERO), Sistema Paraense de Avaliação Educacional (SISPAE), Sistema de Avaliação da Educação do Estado de Tocantins (SAETO), Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP), Sistema de Avaliação Educacional do Estado de Mato Grosso (AVALIAMT), Sistema Permanente de Avaliação Educacional do Distrito Federal (SISPAEDF), foram implantados pelas secretarias de educação dos estados.

Mapeamento das publicações

O levantamento bibliográfico realizado no Portal de Periódicos da CAPES e do SciELO resultou em 2.149 artigos. Destes, 30 estavam de acordo com os critérios de inclusão da revisão sistemática, o que corresponde à amostra examinada.

Dos artigos encontrados, 63,7% possuem Qualis³ A - sendo 43,9%, A1 e 19,8% A2 -, 36,3% em Qualis B - 9,9%, 19,8%, 3,3% e 3,3%, respectivamente B1, B2, B3, B4. Logo, os resultados da pesquisa bibliográfica demonstram que os critérios de seleção adotados possibilitaram identificar as pesquisas mais relevantes publicadas na base bibliográfica do Portal de Periódicos da CAPES e do SciELO.

No que concerne aos periódicos examinados, identificou-se que os artigos foram publicados em 17 periódicos. As publicações mais recorrentes se concentram em 3 periódicos: “Ensaio - Avaliação e Políticas Públicas em Educação”, “Estudos em Avaliação Educacional” e “Educação em Revista”, respectivamente 30,0%, 13,3% e 10,0%. Estes três periódicos representam cerca de 53,3% das publicações identificadas.

Com relação ao primeiro periódico, verifica-se que sua finalidade publicar artigos originais relacionados à educação, tendo como temática questões sobre avaliação e políticas públicas em educação. O segundo periódico tem como objetivo divulgar a produção acadêmica relacionada com a avaliação educacional e a análise de políticas e programas que dialogam com a avaliação e/ou venham a subsidiar estudos avaliativos. Por fim, o terceiro periódico visa contribuir para a divulgação de conhecimento científico no campo da educação.

De modo geral, no que concerne ao critério de reputação dos periódicos para identificar os mais relevantes e que dão maior vazão a um tema específico, fundamentou-se na Lei de Bradford (Quadro 4), tendo como base as métricas de citação H index⁴ e o Scimago Journal Rank (SJR)⁵. Quanto aos periódicos de acordo com a área de conhecimento⁶, têm-se as seguintes conclusões: educação com 86,8%, economia com 9,9% e ensino com 3,3%.

O indicador SJR e o Qualis da CAPES foram utilizados para conferir a relevância do periódico, obtendo-se como principais resultados: Ensaio - Avaliação e Políticas Públicas em Educação (SJR = 0,30, Qualis A1), Revista Brasileira de Educação (SJR = 0,28, Qualis A1), Revista de Administração Pública (SJR = 0,44, Qualis B2) para área de educação. Na economia, destaca-se a revista Pesquisa Operacional (SJR = 0,35, Qualis B2) e Estudos Econômicos (SJR = 0,24, Qualis B1).

Ao analisar a autoria dos artigos, identifica-se um total de 63 autores ou coautores diferentes. Destes, cerca de 83,9% dos artigos foram escritos em coautoria e, somente 16,1% por um autor. Observa-se que um autor se destaca em função da autoria e coautoria em mais de um artigo: Tufi Machado Soares possui 3 trabalhos (sendo 1 como único autor, 1 como primeiro autor e 1 como segundo autor). O mencionado autor é professor Titular do Departamento de Estatística e do Programa de Doutorado e Mestrado em Educação, Universidade Federal de Juiz de Fora (UFJF). Suas linhas de pesquisa são: análise de avaliações longitudinais, desenvolvimento de sistemas para análise de dados de avaliação em larga escala, análise de dados contextuais de avaliações em larga escala, desenvolvimento de metodologia para análise do funcionamento diferencial do item e avaliação de políticas públicas educacionais.

O cálculo da lei de Lotka, o qual aponta a necessidade de mapear os autores que possuem maior número de produção e, portanto, grande valor em uma área do conhecimento, mostrou-se relevante, pois permite avaliar o impacto das publicações no campo da avaliação educacional. Nesta perspectiva, o autor que apresentou maior número de citações foi Tufi Machado Soares. Ao analisar o índice H do pesquisador pela plataforma Scopus (SJR, 2022b), encontra-se, H = 6.

No que se refere ao ano de publicação das pesquisas empíricas, constatou-se que as publicações selecionadas foram publicadas entre 2003 e 2022, apesar da busca considerar estudos entre 1996 e 2022. Das 30 pesquisas analisadas, verifica-se que 27,4% eram referentes ao SPEACE, 19,8% ao SIMAVE, 13,2% ao SARESP, 9,9% ao PAEBS, 6,6% ao SADEAM e SAERJ, 3,3% ao SAERO, SISPAE, SOMA e SAERJ. Na revisão da literatura não foram encontradas pesquisas empíricas referentes aos sistemas SEAPE, SISPAEAP, SEAMA, SAEPI, SIMAIS, SAEPE SAVEAL, SAESE, SABE, SAEP, SAEMS, AVALIAMT, SAEGO e SISPAEDF que se enquadrasse nos critérios pré-estabelecidos ou porque não foram produzidas. Além disso, utilizou-se o “Índice H” (H index) disponível na plataforma da Scopus (SJR, 2022b) para avaliar o impacto internacional das publicações.

Quanto às estratégias de investigação utilizadas nas pesquisas empíricas (n=30) investigadas, constata-se que 64,6% dos estudos examinados utilizaram a abordagem quantitativa com a predominância do método estatístico, enquanto 25,8% utilizou pesquisa qualitativa e 9,6% empregou o método quanti-qualitativo. Tais resultados apontam que os testes estatísticos foram utilizados para reduzir os fatores explicativos, identificar as variáveis mais significativa e examinar a relação/correlação/regressão entre as variáveis dependentes e independentes.

Por fim, percebe-se a necessidade de se empregar novas estratégias de investigação que incorporem procedimentos qualitativos em um projeto quantitativo, de maneira que a análise e interpretação dos processos estatísticos possam ser realizadas com base em uma perspectiva teórica/científica robusta, consistente e confiável, que oriente as análises e interpretações dos resultados.

No que diz respeito ao percentual das publicações tendo como foco a origem institucional, do total de 30 trabalhos sobre os sistemas estaduais de avaliação, verifica-se que, dentre as universidades e autores associados que mais publicaram trabalhos no período pesquisado, destacam-se: Universidade Federal de Juiz de Fora - UFJF (30,3%), a Universidade Federal do Ceará - UFCE (9,1%) e a Universidade Federal de Minas Gerais - UFMG e Universidade Federal do Amazonas UFAM ambas com 7,6%.

No quesito regiões geográficas onde os autores dos artigos publicaram, verifica-se: Sudeste (42,0%), Nordeste (28,3%), Norte (22,6%) e Sul (7,5%). Este resultado demonstra o grande desequilíbrio existente no que se refere ao número de artigos científicos no campo da avaliação educacional produzidos no Brasil. Além disso, houve o predomínio de autores localizados nas regiões que possuem os programas de pós-graduação mais antigos e consolidados do país (Universidade Federal de Juiz de Fora, Universidade Federal de Minas Gerais, e Universidade Federal do Ceará). Por fim, constatou-se que os artigos publicados são, predominantemente, de instituições acadêmicas nacionais, o que pode ser identificado pela quantidade de autores e entidades que divulgaram seus artigos em periódicos.

Partindo para análise da Lei de Zipt (Quadro 3), medida pela frequência das palavras-chave e keywords presentes nos artigos científicos, foi possível obter o seguinte resultado: avaliação educacional e educational evaluation, educação básica e basic education aparecem quatro vezes. Enquanto, avaliação externa e external evaluation, avaliação e evaluation três vezes. As demais palavras-chave aparecem duas vezes ou menos. Ou seja, estes resultados representam os descritores que se repetem mais vezes nos artigos examinados.

Análise das publicações

A partir das análises apresentadas anteriormente, partiu-se para um estudo aprofundado das pesquisas empíricas examinadas. Com base nos resultados, foi possível a criação de 6 (seis) categorias que foram organizadas de acordo com a temática, objetivo e resultado das pesquisas relacionadas aos sistemas estaduais de avaliação. Tais categorias são examinadas a seguir.

A primeira categoria, políticas públicas educacionais, está representada por 10 publicações (34,0%) e é constituída por artigos que examinam as implicações das políticas educacionais no rendimento escolar dos estudantes. Sendo assim, esta categoria é formada por estudos que examinam: fatores que afetam a eficiência das despesas relacionadas à educação básica dos municípios e estados; avaliação dos sistemas municipais e estaduais de educação e do rendimento escolar dos estudantes; processo de institucionalização dos sistemas estaduais de avaliação; impacto do Fundo de Manutenção e Desenvolvimento da Educação Básica (FUNDEB) sobre o nível de proficiência dos estudantes; análise das políticas de avaliação educacional e dos programas de formação dos professores alfabetizadores implementados pelos estados; reflexão sobre as implicações das avaliações em larga escala na rede estadual e municipal de ensino.

Conforme a análise dessa categoria, é possível examinar o efeito das políticas educacionais sobre o rendimento escolar. Todavia, vale destacar a escassez de estudos empíricos nesse sentido, o que demonstra a necessidade de pesquisas futuras para investigar seu impacto no rendimento escolar e nos sistemas de avaliação dos estados. Além disso, o exame do efeito desta categoria sobre os resultados do rendimento escolar dos estudantes permite o monitoramento e o aprimoramento das políticas educacionais com base em evidências. Com isso, planeja-se verificar se os resultados encontrados são consequências de uma política educacional específica ou é produto do acaso.

A segunda categoria, fatores extra e intraescolares (^{SOARES, 2004}), representada por 8 publicações (26,4%), é formada por publicações que examinam a associação entre os fatores extra (valores sociais, políticas públicas, recursos, gestão dos sistemas, família, comunidade e condições econômicas, entre outros) e intraescolares (gestão escolar, professores, projeto pedagógico, atividades didáticas, recursos pedagógicos, clima disciplinar, situação das instalações e equipamentos, serviços oferecidos pela escola, entre outros) e o rendimento escolar.

O exame desta categoria revelou a associação entre as variáveis dependentes (proficiência) e independentes (características relacionadas aos alunos, escolas, diretores e professores) e possibilitou discriminar os principais fatores extra e intraescolares que afetam o rendimento escolar verificado pelas avaliações em larga escala.

É evidente a importância das pesquisas com esse enfoque, visto que identificam variáveis preditoras que podem ser utilizadas para a construção de modelos explicativos fundamentados em dados e evidências estatísticas. Além disso, proporciona realizar simulações que propiciam estabelecer relações entre as variáveis associadas às escolas, professores, funcionários e alunos e o rendimento escolar, contribuindo para a criação de índices/indicadores educacionais que possibilitam fazer inferências descritivas ou causais, utilizando evidências estatísticas para a elaboração de conclusões ou explicações.

A terceira categoria, eficácia escolar, constituída por 4 publicações (13,2%), é representada por publicações que tinham como enfoque o exame dos fatores que fazem com que uma escola seja eficaz, o que permite estimar quais são as características das escolas que levam os alunos a obter melhores resultados médios, após o controle das características sociodemográficas, produzindo reflexo positivo no progresso acadêmico e no rendimento escolar (^{SAMMONS, 2008}).

Os artigos partiram do pressuposto de que existe uma influência da escola no rendimento cognitivo de seus alunos. No Brasil, com os dados e resultados provenientes do rendimento escolar das avaliações em larga escala foi possível aferir as características das escolas que mais se associavam com o rendimento escolar. Isso proporciona identificar as escolas que por suas práticas pedagógicas conseguem levar alunos de origem social e cultural desfavorecida a resultados escolares satisfatórios. Logo, o exame da relação entre as condições de funcionamento das escolas, as características socioeconômicas dos alunos e o rendimento escolar permitiu “[...] quantificar o efeito-escola e a desvendar as especificidades da escola eficaz (^{BROOKE; SOARES, 2008}, p. 9).

Portanto, a partir dos estudos sobre eficácia escolar observa-se que existe uma redução das variáveis associadas às escolas com base em testes estatísticos, graças à identificação dos fatores explicativos mais significativos, os quais possibilitam a construção de indicadores estatisticamente validados e adequados a cada realidade educacional. Ademais, viabilizam a coleta, tratamento, análise e disseminação de informações com base em dados procedentes das avaliações em larga escala.

Indicadores educacionais, a quarta categoria analisada, é representada por 3 publicações (9,9%) que avaliam a educação escolar com base em dados, informações estatísticas e taxas provenientes das avaliações em larga escala. Em decorrência da análise dessa categoria, é possível desvelar a educação básica com base em evidências procedentes do Índice de Desenvolvimento da Educação Básica (IDEB), do rendimento escolar dos estudantes e do Censo Escolar.

A referida categoria permite ainda fazer um diagnóstico dos fatores extra e intraescolares que afetam o rendimento escolar, isso porque produz subsídios para o monitoramento e o aprimoramento dos processos educativos, além de contribuir com dados e evidências para a elaboração de pesquisas empíricas no campo da avaliação educacional.

A quinta categoria, accountability educacional, representada por 3 publicações (9,9%), é caraterizada por produções científicas que avaliam o rendimento de sistemas educacionais, escolas e professores individuais com base em medidas do rendimento escolar dos alunos. Nessa perspectiva, accountability educacional corresponde ao conjunto de regras nas quais as escolas são responsabilizadas por seus resultados, sendo estabelecidas metas.

Ao observar esta categoria, percebe-se que sua incorporação no campo da avaliação educacional ocorreu a partir de 2000, quando as avaliações em larga escala (SAEB e as avaliações estaduais) e o IDEB permitiram que os estados adotassem programas de accountability com base no rendimento escolar dos estudantes e no rendimento das escolas. Assim foi possível estabelecer metas e consequências, como por exemplo, bônus para escolas e docentes que atingissem os resultados esperados.

Por fim, a última categoria, análise envoltória de dados, representada por 2 publicações (6,6%), utilizou a metodologia de programação linear utilizada para medir a eficiência relativa de unidades produtivas semelhantes (Decision Making Units - DMU) com múltiplos insumos e produtos. Essa modelagem busca avaliar a eficiência relativa das DMU.

Percebe-se que o método DMU permite avaliar a eficiência por duas maneiras diferentes: com orientação a input, que visa à minimização dos fatores de produção (insumos), mantendo um nível fixo de produção; e orientação a output, no qual se busca a maximização do nível de produção, mantendo os insumos fixos (^{GRAMANI, 2017}; ^{MUNIZ et al., 2022}). Ademais, o uso desse método permite examinar informações de grande base de dados e verificar se os resultados encontrados são probabilísticos ou produto do acaso.

Ressalta-se que as categorias em que as publicações são agrupadas não são excludentes, visto que alguns estudos apresentam objetivos secundários e resultados que permitem classificá-los em outras categorias. Como exemplo, é possível citar a pesquisa de ^{Sobrinho e Scarpin (2017)}, que teve como objetivo analisar os dados percentuais de acertos em questões da disciplina de língua portuguesa do 5º e 9º anos e da 3ª série do ensino médio no SAETO, nos anos de 2015 e 2016. A análise do estudo mostra uma grande intersecção com a categoria fatores extra e intraescolares, entretanto, esta revisão optou por apresentar essa pesquisa agrupada em uma categoria na qual as publicações tivessem maior similaridade temática, de objetivos e resultados.

Considerações finais

Esta pesquisa buscou apresentar uma revisão sistemática da literatura sobre o mapeamento da produção científica acerca das pesquisas empíricas relacionadas aos sistemas de avaliação do rendimento escolar dos estados brasileiros. Para tanto, utilizou as diretrizes do método PRISMA e a análise bibliométrica. Foram encontrados e examinados 30 artigos e, a partir destes se verificou que: 63,7% e 36,3% possuem, respectivamente, Qualis A e B, cujos resultados demonstram que os critérios de seleção adotados possibilitaram identificar as pesquisas empiricas mais relevantes para o campo da avaliação educacional.

A análise das categorias apresentadas demonstra o maior percentual de pesquisas empíricas pertencentes à categoria políticas públicas educacionais (34%). Essa categoria é caracterizada por publicações que examinam os fatores que afetam a eficiência das despesas relacionadas à educação básica, as avaliações dos sistemas de educação, do processo de institucionalização dos sistemas estaduais de avaliação, do impacto FUNDEB sobre o rendimento escolar dos estudantes, das políticas de avaliação educacional e dos programas de formação dos professores alfabetizadores e da reflexão acerca implicações das avaliações em larga escala nos sistemas de ensino. Ademais, verificou-se que 26,4%, 13,2%, 9,9%, 9,9% e 6,6%, refere-se, respectivamente, à categoria fatores extra e intraescolares, eficácia escolar, indicadores educacionais, accountability educacional e análise envoltória de dados.

É importante destacar algumas limitações deste estudo. Em primeiro lugar, a necessidade de utilizar novas fontes de informação, outras bases de dados e diferentes tipos de publicações como: teses, dissertações, livros e informes técnicos. Segundo, refere-se à necessidade de ampliar a busca usando outros termos associados às palavras-chave e/ou outros parâmetros de busca nas bases das publicações. Terceiro, mesclar estudos dos sistemas estaduais de avaliação com pesquisas provenientes do SAEB. Por fim, apenas a utilização de dados secundários (resultados de pesquisas empíricas).

Conclui-se, enfatizando a necessidade de pesquisas empíricas futuras que empreguem novas estratégias de investigação que aprofundem a análise dos processos estatísticos com base em uma abordagem teórica/científica robusta, consistente e confiável que direcione a análise e interpretação dos resultados, de maneira que proporcione fidedignidade, generalidade e que possam ser replicados por outros estudos. Ademais, sugere-se a importância de desenvolver estudos que forneçam subsídios para formulação, reformulação e monitoramento das políticas estaduais de avaliação e de sua aplicação na mensuração no rendimento escolar dos estudantes e da rede de ensino visando à melhoria da educação escolar.