INTRODUÇÃO

Este artigo decorre do trabalho desenvolvido por pesquisadores do Grupo de Estudos e Pesquisas em Avaliação Educacional (Gepave), da Faculdade de Educação da Universidade de São Paulo (FE/USP), que tem como um de seus objetos de estudo a análise das avaliações em larga escala. Tais avaliações ganharam proeminência no cenário das políticas educacionais nas últimas décadas, apresentadas por gestores educacionais como sendo capazes de auxiliar na tomada de decisões com vistas à melhoria da qualidade da educação escolar. Esse movimento aparece refletido no crescente volume de produção de conhecimento acadêmico, em diversas áreas, sobre essas avaliações, como indicado por ^{Bauer e Reis (2013)}.

Como uma dimensão da avaliação educacional, as avaliações em larga escala alimentam um campo do conhecimento em contínua construção, cujas contribuições para a educação e, mais amplamente, para a sociedade necessitam ser identificadas e estudadas. Para ^{Lüdke (2002)}, a avaliação se caracteriza como um campo do conhecimento científico repleto de contradições e conflitos, cuja identidade evoluiu de uma aproximação muito estreita com conceitos, recursos e técnicas da mensuração, para uma visão mais ampla e abrangente dos fenômenos educacionais, mas ainda não atingindo uma definição consensual de seu papel junto às escolas, seus professores e seus alunos.

Pode-se aventar a hipótese de que tais contradições e conflitos derivam do deslocamento da avaliação educacional de algo interno a salas de aula e escolas, onde tinha a função de mensurar as aprendizagens e regular fluxos, para avançar em direção a outros objetos que, tradicionalmente, estavam fora de seu escopo, tais como programas, políticas e profissionais, conforme apontado por ^{Nevo (2006)}.

Em movimento similar, a produção acadêmica brasileira sobre avaliação educacional, intensificada a partir da década de 1980, passou da valorização do conhecimento sobre o funcionamento interno da escola, focada na análise de práticas e significados da avaliação da aprendizagem, como tratado por ^{Borges e Rothen (2019)}, ^{Saul (2010)} e S. ^{Sousa (1996)}, para, no início dos anos 2000, concentrar esforços de investigação de outros objetos. Tal produção ampliou o campo de estudos da avaliação educacional, como salientado por C. ^{Sousa (2000)}, ao indicar um escopo de cinco dimensões da avaliação educacional: a avaliação de sala de aula, a avaliação institucional, a avaliação de currículos, a avaliação de programas educacionais e a avaliação de sistemas.

A visão sobre essa ampliação do campo da avaliação educacional é corrobo- rada por ^{Vianna (2005}, p. 12), que identifica múltiplos polos, de modo que a avaliação educacional

[...] apresenta interesses diversificados, rompendo, assim, em parte, com sua concentração limitada ao rendimento escolar. Hoje, a avaliação é uma área de múltiplos polos: sistemas, instituições, cursos, currículos, programas, materiais, professores e, por fim, alunos, nas suas dimensões cognitiva e não-cognitiva.

Nesse sentido, também reiteram Malavasi, Bertagna e Freitas (²⁰⁰⁶, p. 13) , ainda que com diferenças de classificação:

O campo da avaliação educacional vem se firmando no Brasil. Hoje abrange três áreas bem definidas, que envolvem a avaliação da aprendizagem no âmbito da sala de aula realizada pelo professor; a avaliação institucional realizada na esfera da escola com todos os seus principais atores; e a avaliação de sistema ou redes de ensino, de âmbito mais geral e que inclui a avaliação feita em sistemas municipais, estaduais e federais. (Grifo nosso).

Posteriormente, ^{Freitas et al. (2009)} destacaram a ênfase da avaliação de sistema ou redes de ensino sobre as demais, apontando a necessidade de: resgatar a relevância da avaliação da aprendizagem; pôr em destaque a avaliação institucional; e colocar ambas no mesmo nível da avaliação de sistema ou redes de ensino, para que elas interajam entre si a fim de avaliarem a qualidade educacional. ^{Nevo (2010)} pontuou a necessidade de reconciliação similar entre as áreas da avaliação educacional.

^{Sousa e Oliveira (2010)}, entre outros, sublinharam a centralidade, ora consolidada, da avaliação do desempenho dos estudantes em testes padronizados, elaborados e aplicados pelo governo federal, no caso do Sistema de Avaliação da Educação Básica (Saeb), ou por secretarias estaduais e municipais de educação, para as diversas iniciativas subnacionais.

Por diferentes pontos de partida e com diferentes escopos teórico-metodológicos, estudiosos se debruçaram sobre o surgimento de iniciativas estaduais de avaliações em larga escala a partir de meados dos anos 1990 e de sua proliferação, com avaliações municipais, na década seguinte. Tal movimento, com fortes evidências, foi impulsionado pelas políticas educacionais em favor de mecanismos de monitoramento e avaliação - com a Prova Brasil, em 2005, e o Índice de Desenvolvimento da Educação Básica (Ideb), em 2007 -, articuladas a práticas, em nível federal, de indução de comportamento e de accountability dos demais governos subnacionais, como o Plano de Desenvolvimento da Educação (PDE) e o Fundo Nacional de Desenvolvimento da Educação Básica (Fundeb), ambos lançados em 2007.

Estudos, numa evolução cronológica, como os de ^{Lopes (2007)}, ^{Brooke, Cunha e Faleiros (2011)}, ^{Oliveira (2015)}, ^{Horta Neto, Junqueira e Oliveira (2016)} e ^{Perboni (2016)} registraram esse fenômeno e analisaram comparativamente suas principais características e o modo como os dados gerados pelas avaliações foram utilizados em seus diferentes contextos e para diferentes fins.

De maneira complementar, em obras que tratam da temática das avaliações em larga escala de modo mais geral, também se encontram particularidades sobre iniciativas estaduais em ^{Sousa e Oliveira (2010)}, ^{Bauer (2012)}, ^{Machado, Alavarse e Arcas (2015)}, ^{Chappaz (2018)} e ^{Arcas et al. (2019)}, e sobre iniciativas municipais em ^{Sousa, Pimenta e Machado (2012)}, ^{Bauer et al. (2015)}, ^{Chappaz (2015)} e ^{Bauer e Horta Neto (2018)}, nas quais joga-se luz sobre o papel dessas avaliações dentro da composição da política educacional local.

Na intenção de ampliar o conhecimento sobre o campo de pesquisa em avaliação educacional no Brasil, para além das avaliações em larga escala e na perspectiva de abranger diferentes dimensões avaliativas, de modo a elucidar possíveis tendências de estudos sobre o campo, o presente artigo buscou levantar e organizar a produção científica sobre esse objeto publicada em periódicos científicos da área de educação no período de 1997 a 2018.

O intuito não é só quantificar e identificar os estudos, mas, também, localizar as produções relativas ao tema à luz da literatura acadêmica do próprio campo da avaliação educacional. O levantamento considerou periódicos classificados como A1, A2, B1 e B2 (Qualis Periódicos 2013-2016) e foi organizado em formato de base de dados. Os resultados e a análise são apresentados e discutidos ao longo do texto.

Este é um artigo eminentemente descritivo-analítico e, para tanto, está estruturado em quatro seções, além dessa introdução. Inicialmente, apresenta-se um breve panorama de estudos que precederam a pesquisa tratada neste artigo e que se propuseram a mapear a produção sobre avaliação educacional, de modo a fornecer uma síntese desse conjunto com base em seus recortes temporais, tipo de produção analisada e enfoques utilizados. A segunda seção explicita os aspectos e as escolhas metodológicas da pesquisa desenvolvida. Na sequência, abordam-se os resultados quantitativos e realiza-se a análise do levantamento realizado. Por fim, a última seção está dedicada às considerações finais.

BREVE PANORAMA DE ESTUDOS ANTERIORES SOBRE AVALIAÇÃO EDUCACIONAL

À medida que os estudos da área de avaliação educacional se proliferaram, levantamentos bibliográficos, estados da arte ou estados do conhecimento passaram também a ser desenvolvidos com o propósito de recensear, caracterizar e analisar essa produção. Nesse sentido, cabe demarcar - o que acabou por constituir uma das reflexões metodológicas deste trabalho - a própria definição e delimitação do que é um estado da arte, uma vez que a realização do levantamento bibliográfico de produções científicas pode ser denominada de diversas formas.

“Estado da arte” ou “estado do conhecimento”, “estado da questão”, “revisão de literatura” e até mesmo “inventário” são nomenclaturas recorrentes na produção acadêmica. Esses levantamentos, ainda que por meio de metodologias distintas, têm em comum o desafio de discutir determinado recorte dessa produção em um campo de conhecimento, na busca por aspectos e dimensões temáticas que vêm sendo abordados pelos pesquisadores.

As pesquisas denominadas “estado da arte” ou “estado do conhecimento”, como o estudo ora apresentado, de forma geral utilizam como fonte de pesquisa os catálogos com dados bibliográficos e resumos dos trabalhos produzidos na academia para realizar uma possível organização da produção de determinada área do conhecimento. Tais pesquisas também são compreendidas, segundo ^{Ferreira (2002}, p. 258), como “metodologia de caráter inventariante e descritivo da produção acadêmica e científica sobre o tema que busca investigar, à luz de categorias e facetas que se caracterizam enquanto tais, em cada trabalho e no conjunto deles, sob os quais o fenômeno passa a ser analisado”.

^{Ferreira (2002)} ressalta, ainda, que trabalhar com resumos e catálogos implica dois momentos distintos. O primeiro é aquele em que há interação com a produção acadêmica por meio da quantificação e da identificação de dados bibliográficos, com o objetivo de mapear a produção em um período delimitado, em anos, locais e áreas de produção. O segundo momento é aquele em que o pesquisador se pergunta sobre a possibilidade de inventariar essa produção, desvelando tendências, ênfases, pressupostos, escolhas metodológicas e teóricas, aproximando ou diferenciando trabalhos entre si. Nesse caso, deve-se buscar responder, além das perguntas “quando”, “onde” e “quem” produz pesquisas num determinado período e lugar, àquelas questões que se referem a “o quê” e “o como” dos trabalhos (^{FERREIRA, 2002}, p. 266).

É nesse segundo contexto que estão os estudos analisados nesse tópico, com o propósito de evidenciar tendências existentes na produção acadêmica do campo da avaliação educacional. Sem o intuito de realizar um arrolamento exaustivo, foram identificados 15 trabalhos¹ que buscaram mapear e analisar a produção do tema em tela, sendo constituída de 12 artigos científicos, uma tese de doutorado, um relatório de pesquisa e um trabalho publicado nos Anais da Associação Nacional de Pós- -Graduação em Educação (Anped).²

Publicadas nas décadas de 1990, 2000 e 2010, é possível identificar que mais da metade das produções que mapearam estudos voltados para a avaliação educacional (um total de nove) são datadas do período de 2010 a 2019 e apenas duas foram publicadas no início dos anos 2000 - sendo uma em 2001 e outra em 2005. O segundo maior volume de produções, no total de quatro, está compreendido na década de 1990, com uma em 1992, duas em 1995 e uma em 1996. Por sua vez, quando analisados os recortes temporais dos estudos abarcados por essa produção, verifica-se uma cobertura dos anos 1930 até 2014, com diversos períodos sobrepostos. Tais estudos examinaram teses, dissertações, artigos científicos, livros, capítulos de livros, relatórios de pesquisa, trabalhos publicados em anais de eventos da área educacional e documentos oficiais, como evidenciado no Quadro 1.

Sobre os enfoques tratados, observa-se a discussão em torno de diferentes dimensões avaliativas, de temas relacionados à avaliação, tais como aprovação, reprovação e evasão, e sobre questões conceituais e metodológicas da avaliação. Todavia, registra-se a recorrência de parte dos enfoques ao longo do período tratado nesta literatura (1930-2014), quais sejam: avaliação da aprendizagem; avaliação de sistemas educacionais; avaliação de projetos; programas e políticas educacionais; e questões conceituais e/ou metodológicas da avaliação.

No que se refere à nomenclatura indicada nos textos, cabe demarcar, contudo, que ela nem sempre designa o mesmo conteúdo/objeto analisado. Por exemplo, ao observar o Quadro 1 é possível identificar a expressão “rendimento escolar” sendo utilizada pelos diferentes estudos. Em alguns casos, considerou-se tal expressão como sinônimo de avaliação de sistemas educacionais. Entretanto, quando utilizada por S. ^{Sousa (2005)} e ^{Vianna (1992)}, ela estava designando a avaliação dos estudantes no âmbito da escola, para fins de aprovação ou reprovação e com foco na medida educacional, sem considerar uma perspectiva de processo que diz respeito ao uso feito da expressão avaliação da aprendizagem.

No que tange aos enfoques mais recorrentes nas produções, é possível observar que a avaliação da aprendizagem é abordada em todas as décadas de 1970 a 2010. Já os estudos sobre as avaliações em larga escala estaduais começam a aparecer nos anos 1970, tendo seu ápice nas décadas de 1990 e 2000. Em relação à avaliação de projetos, programas e políticas educacionais, as produções se restringem a quatro décadas - 1970, 1980, 1990, 2000 - enquanto os aspectos conceituais e metodológicos da avaliação concentram o maior número de produções nas décadas de 1980 e 1990, conforme explicitado no Gráfico 1.

Fonte: Elaboração dos autores (2021).

GRÁFICO 1 Número de produções segundo o enfoque/dimensão avaliativa (1930-2010) 

Em relação a esses estudos, o levantamento realizado pela pesquisa apresentada neste artigo, além de contemplar recortes temporais já tratados por outros estudos, abrange período ainda não examinado pela literatura aqui discutida - de 2015 a 2018 - e amplia o número de periódicos analisados, objetivando contribuir com o avanço do conhecimento no campo da avaliação educacional.

DELIMITAÇÃO DO LEVANTAMENTO DE ARTIGOS ACADÊMICOS SOBRE AVALIAÇÃO EDUCACIONAL

O levantamento bibliográfico foi realizado ao longo do segundo semestre de 2018 e em 2019, em periódicos classificados como A1, A2, B1 e B2 pelo critério Qualis 2013-2016. Na listagem disponível na Plataforma Sucupira, para o referido quadriênio, optou-se pelo trabalho com revistas nacionais, especializadas em educação e, mais especificamente, com uma linha editorial aberta à temática da avaliação educacional, contando com publicações que têm como objeto diferentes dimensões da avaliação educacional.

Realizado exclusivamente em meio eletrônico, o levantamento cobriu o período de 1997 a 2018, com o intuito de abranger estudos produzidos sobre a temática da avaliação de sistemas educacionais e políticas de avaliação no Brasil, desde a promulgação da Lei de Diretrizes e Bases da Educação Nacional (LDB) - Lei n. 9394 (^{BRASIL, 1996}) - até os dias atuais. De modo a afinar os critérios de filtragem de artigos, foi realizada uma análise preliminar, adotando como encaminhamento a manutenção de artigos com foco em temáticas relacionadas à avaliação na/da educação básica.

Foram utilizados 24 termos de busca selecionados para abranger as diferentes dimensões destacadas pela literatura do campo (^{MALAVASI; BERTAGNA; FREITAS, 2006}; SOUSA, C., 2000; ^{VIANNA, 2005}), bem como para dialogar com os termos utilizados pelos estudos analisados no tópico anterior, como se segue: avaliação educacional; avaliação escolar; avaliação da aprendizagem; avaliação da educação infantil; avaliação da gestão escolar; avaliação dos gestores escolares; avaliação de desempenho; avaliação de sistemas educacionais; avaliação do currículo; avaliação do docente; avaliação do rendimento escolar; avaliação em larga escala; avaliação e regime de colaboração; avaliação externa; avaliação institucional; educação infantil e avaliação; gestão e avaliação; política de avaliação; sistema de avaliação da educação; uso(s) do(s) resultado(s) da avaliação; Prova Brasil; Sistema de Avaliação da Educação Básica (Saeb); Índice de Desenvolvimento da Educação Básica (Ideb); e Exame Nacional do Ensino Médio (Enem).

A extensão dos termos de busca selecionados para o levantamento também está relacionada à não unicidade observada entre os trabalhos acadêmicos no que tange à nomenclatura utilizada para referenciar as avaliações em larga escala - chamadas de avaliação de sistemas, avaliação externa, avaliação de rendimento, entre outros termos que aparecem nos resumos como sinônimos, embora não o sejam (^{BAUER, 2012}).

Inicialmente foram utilizados os termos completos e de forma exata, com o uso de aspas, diretamente nos sites dos periódicos analisados, com o mecanismo de busca próprio disponível. Ao observar que muitos trabalhos publicados não eram recuperados, optou-se por expandir a busca pelos termos sem aspas e, caso necessário, com o uso de AND, quando este não era implícito. É importante destacar que com esse procedimento houve a recorrência de um mesmo artigo em diferentes listagens de termos de busca, o que demandou cuidado redobrado na incorporação dos itens pesquisados e um longo trabalho de consolidação do banco de dados criado. Após a adoção dos critérios elencados, obteve-se um total de 1.100 artigos, distribuídos em 58 periódicos.

O próximo tópico abordará os dados quantitativos do levantamento de artigos acadêmicos sobre avaliação educacional no Brasil, de 1997 a 2018, e enquadra-se no primeiro momento de um levantamento bibliográfico, como descrito por ^{Ferreira (2002)}.

RESULTADOS E ANÁLISE DO LEVANTAMENTO QUANTITATIVO

A análise do material levantado indica uma dispersão de estudos sobre avaliação educacional e suas dimensões em revistas classificadas em diferentes estratos Qualis, como se constata na Tabela 1.

No que tange aos periódicos e sua classificação Qualis, observa-se na Tabela 1 maior número daqueles relacionados à temática da avaliação educacional na classificação B1, com um total de 20 periódicos. Os demais se distribuem entre A1, A2 e B2 com, praticamente, o mesmo percentual.

Com relação ao número de artigos por estrato Qualis, em A1 destaca-se a revista Ensaio: Avaliação e Políticas Públicas em Educação, com 57 artigos selecionados neste estudo. Na sequência, com maior número de publicações estão a revista Educação e Pesquisa, com 33 artigos, a revista Educação & Sociedade, com 31 artigos, e a revista Cadernos de Pesquisa, com 30 artigos, como evidenciado na Tabela 2.

No estrato Qualis A2, chama atenção a revista Estudos em Avaliação Educacional (EAE), que teve expressivos 247 artigos selecionados. Em seguida, com cerca de 11% do total da EAE, aparecem as revistas Práxis Educativa e a Revista Brasileira de Política e Administração da Educação, ambas com 29 artigos selecionados cada, e na posição mais próxima, com 21 artigos, está a Revista Ibero-Americana de Estudos em Educação. As demais 10 publicações Qualis A2 podem ser organizadas em dois blocos iguais: o primeiro com 5 revistas que tiveram de 15 a 17 artigos selecionados e o segundo com 5 revistas com 3 a 10 artigos, como apresentado na Tabela 3.

Com relação ao estrato Qualis B1, destaca-se a revista Educação, Teoria e Prática (Rio Claro), com 37 artigos, seguida dos periódicos Revista de Educação da PUC-Campi- nas, com 31 artigos, e Retratos da Escola, com 30 artigos, como aparece na Tabela 4.

No último estrato, Qualis B2, evidencia-se a Revista Online de Política e Gestão Educacional (Unesp) com 21 artigos, como exposto na Tabela 5.

No tocante à distribuição dos artigos por ano, observa-se um incremento no número de produções, sendo que de 1997 a 2005 houve um total de 117 artigos, chegando, nos cinco anos seguintes, de 2006 a 2011, a 301. De 2012 a 2018, outros 684 artigos foram publicados. Para além do crescimento expressivo, em termos gerais, chama atenção a tendência de publicação nas revistas classificadas em B1, saltando de 12 para 81, e, posteriormente, 203 artigos no mesmo intervalo temporal, como representado no Gráfico 2.

Uma das hipóteses explicativas para esse movimento decorre da proliferação de avaliações especialmente em âmbito municipal a partir do estabelecimento da Prova Brasil em 2005 e do Ideb em 2007, como exposto anteriormente, e das discussões suscitadas por tais políticas, que passaram a constar na agenda temática dos pesquisadores com maior intensidade.

Também se observa, com relação ao número de artigos por estrato Qualis, que o maior crescimento de publicações se apresenta em periódicos A2, sendo que o número de artigos em B2 é estável ao longo do tempo, como se registra no Gráfico 2.

Fonte: Elaboração dos autores (2021).

GRÁFICO 2 Número de artigos por ano, segundo o estrato Qualis (1997-2018) 

Identifica-se maior concentração de periódicos e artigos com a temática da avaliação educacional nas regiões Sudeste, com 27 periódicos e 712 artigos, Sul, com 19 e 229, e Centro-Oeste, com 9 e 134.³ Deve-se destacar, ainda, que os artigos selecionados podem tanto ter sido escritos por pesquisadores de outras regiões, como tratar de redes e/ou experiências diversas, de outras localidades, que não seja a de origem do autor. Também se ressalta que os critérios de inclusão e exclusão de revistas e artigos - previamente estabelecidos - podem ter incidido sobre o número de revistas e artigos selecionados para a região Nordeste, com 3 periódicos e 25 artigos, e a não existência de revistas selecionadas para a região Norte. Vale destacar que tais dados reforçam a histórica concentração tanto de programas de pós-graduação e centros de pesquisa nas regiões Sul e Sudeste,⁴ quanto de revistas científicas, como identificado no estudo de ^{Poltronieri e Calderón (2012)}.

Os termos de busca que contemplam, de forma mais abrangente, a temática da avaliação, ou seja, avaliação educacional e avaliação escolar, revelaram grande diversidade de trabalhos encontrados, tanto com o termo exato quanto de forma ampliada (ou seja, utilizando AND). No caso de avaliação educacional, com o termo exato foram encontrados 156 trabalhos, mas, quando a busca foi realizada utilizando avaliação AND educacional, o número de trabalhos mais que duplicou (378). O termo exato avaliação escolar revelou 72 trabalhos, número quase quintuplicado quando se utilizou o AND (348). Comportamento similar foi observado com o termo de busca avaliação da aprendizagem, como exibido na Tabela 6.

Corroborando o reconhecimento exposto na introdução deste artigo, de crescente fortalecimento do campo da avaliação educacional e de sua diversificação interna, temos a identificação de um grande número de trabalhos que utilizam os termos de busca avaliação educacional e avaliação escolar, sendo, normalmente, utilizados como palavras-chave em muitas pesquisas que se ocupam de alguma dimensão da avaliação, mas também servindo para se diferenciar de pesquisas que utilizam a avaliação em outro campo do conhecimento, isto é, que não seja o educacional ou escolar.

Já o termo de busca avaliação da aprendizagem (146 estudos para o termo exato e 252 para o termo com AND) remete a uma dimensão específica do campo da avaliação educacional, sendo que o grande número de trabalhos identificados com esse termo específico pode ser compreendido pelo fato de parte considerável das pesquisas ter se ocupado em refletir sobre a avaliação realizada na sala de aula, que tem os docentes como sujeitos e a aprendizagem dos estudantes como objeto, sentido costumeiramente atribuído a essa dimensão da avaliação educacional.

O termo de busca avaliação do rendimento escolar,⁵ historicamente relacionado à avaliação da aprendizagem, evidenciou um número menor de trabalhos identificados com o termo exato (19), mais do que duplicando quando se utilizou o AND. Uma hipótese sobre esse movimento é a de que o pouco uso do rendimento escolar como algo relacionado à avaliação talvez decorra da influência crescente da função formativa da avaliação, presente nos documentos oficiais, na legislação e no discurso pedagógico, afastando a ideia da avaliação como “rendimento”, mais vinculada a uma perspectiva da avaliação como classificação e se aproximando mais de uma função somativa.

As expressões avaliação externa, avaliação em larga escala e avaliação de desempenho são praticamente utilizadas como sinônimas em muitas das pesquisas e estudos que abordam essa dimensão, tomando como parâmetro a definição de C. ^{Sousa (2000)}. Foram encontrados 80 trabalhos com o termo de busca avaliação externa, 64 com avaliação em larga escala e 59 com avaliação de desempenho, em diferentes revistas.

Com o termo de busca Prova Brasil, que também remete à ideia de avaliação de desempenho, externa e em larga escala, por compor o Saeb, foram localizadas 88 pesquisas. Já as buscas realizadas utilizando esses termos com AND não ofereceram resultados significativos, como ocorreu com os termos de busca avaliação educacional e avaliação escolar.

Quando foram empregados termos de busca mais específicos, vinculados à dimensão avaliação de sistemas educacionais, como Sistema de Avaliação da Educação Básica/Saeb, Índice de Desenvolvimento da Educação Básica/Ideb, Exame Nacional do Ensino Médio/Enem e com o termo de busca específico Sistema de Avaliação da Educação, encontrou-se com os termos exatos um número menos expressivo de trabalhos (37, 37, 30 e 39, respectivamente); porém, quando a busca foi realizada com AND, os resultados para esses termos de busca ultrapassaram o dobro, à exceção de Sistema de Avaliação da Educação.

A presença de trabalhos com diversidade encontrados sob o termo de busca avaliação de sistemas educacionais (15) em sua forma ampliada (63) reafirma a centralidade que tal dimensão adquiriu na política educacional brasileira, nos últimos anos, com incidência sobre escolas e sobre o trabalho pedagógico. Vale lembrar que os usos dos resultados dessas avaliações as tornaram objeto de preocupação de atores intra e extraescolares, assim como a divulgação dos resultados pela mídia, a criação de rankings, além de outras consequências para professores, escolas e sistemas, imputando a essa dimensão da avaliação grande interesse por parte dos pesquisadores, o que explica a frequência das publicações encontradas.

Com os termos de busca políticas de avaliação e uso(s) do(s) resultado(s) da avaliação, que também se articulam à dimensão da avaliação de sistemas educacionais, observaram-se um comportamento similar para o primeiro e outro totalmente oposto para o segundo. Para o termo políticas de avaliação foram encontrados 28 trabalhos, número que quintuplicou quando se fez uso do AND na busca. Quanto a uso(s) do(s) resultado(s) da avaliação, poucos trabalhos foram identificados (3), fato que evidencia a necessidade de uma análise mais acurada do conjunto de dados levantados com termos de busca vinculados à dimensão sistemas de avaliação, pois muitos trabalhos podem ter como foco os usos dos resultados das avaliações externas em larga escala de desempenho, sem, entretanto, terem indicado como palavras-chave ou utilizado nos resumos a expressão uso(s) do(s) resultado(s) da avaliação.

Foram identificados, com os termos exatos, 34 trabalhos sobre gestão e avaliação e apenas 17 com o termo avaliação da gestão escolar. A busca realizada com AND trouxe um número maior de trabalhos, porém, ainda assim, comparando com outros termos de busca, nota-se que as pesquisas não têm enfatizado essa relação entre gestão e avaliação, o que é algo que necessita ser mais bem analisado a partir dos dados que foram coletados.

No que se refere à dimensão da avaliação do currículo, a busca com esse termo também trouxe um número relativamente pequeno de trabalhos, tanto com o termo exato como com AND (26 e 89, respectivamente), porém considera-se que em estudos relacionados à dimensão da avaliação de sistemas educacionais, apesar de não ser central, o currículo termina sendo abordado, dado o fato de as avaliações externas em larga escala enfocarem, principalmente, o desempenho de estudantes em algumas competências. Contudo, publicações sobre avaliações que tomam o currículo como objeto específico foram menos encontradas.

Uma dimensão da avaliação educacional que vem crescendo nos últimos anos é a da avaliação institucional. Na década de 1990, houve um grande impulso dessa dimensão avaliativa no âmbito da educação superior, porém a avaliação institucional na educação básica, até o início da última década, não recebia muita atenção. A partir da promulgação da LDB (^{BRASIL, 1996}) e da elaboração do material Indicadores da Qualidade na Educação, principalmente para o ensino fundamental (^{AÇÃO EDUCATIVA et al., 2004}) e para a educação infantil (^{BRASIL, 2009b}), ocorreu um estímulo para que processos de avaliação institucional, com ênfase na autoavaliação, fossem desenvolvidos nas escolas de educação básica. Esse interesse pela avaliação institucional se revela no número de estudos que foram identificados com esse termo de busca (70 estudos para o termo exato e 73 para o termo com AND).

Alguns termos que foram utilizados nas buscas estão relacionados a temas emergentes acerca da avaliação educacional e estão se tornando foco de pesquisas mais recentemente, sendo o caso de avaliação da educação infantil, assim como a avaliação da atuação de atores específicos dos sistemas de ensino, no caso, a avaliação de gestores escolares e avaliação de docentes.

O total de estudos identificados com os termos de busca avaliação da educação infantil (25 estudos para o termo exato e 54 para o termo com AND) e educação infantil e avaliação (12 estudos para o termo exato e 55 para o termo com AND) é indicativo de que o tema vem atraindo o olhar de pesquisadores da área educacional, especialmente a partir da segunda década do século XXI, período em que se observa um crescente dessa produção. Segundo ^{Rosemberg (2013}, p. 46), o período que antecede a publicação de seu artigo não forneceu, de fato, uma grande produção sobre o tema, entretanto, para a autora, isso não significa ausência de mobilização de “gestores, pesquisadores(as) e ativistas da educação” em torno da avaliação da e na educação infantil, mas que a temática ainda não havia, naquele momento, adquirido status de “problema social”, de modo a integrar a agenda das políticas públicas educacionais. O aumento paulatino de produções, a partir de 2010, parece relacionar-se, justamente, com a entrada da avaliação da educação infantil na pauta das políticas educacionais, por meio de marcos legais que podem ter impulsionado esse debate, como a Emenda Constitucional n. 59/2009 (^{BRASIL 2009a}), os documentos Indicadores da Qualidade na Educação Infantil (^{BRASIL, 2009b}) e Educação infantil: subsídios para a construção de uma sistemática de avaliação (^{BRASIL, 2012}), ambos publicados pelo Ministério da Educação, a Lei n. 12.796, de 4 de abril de 2013 - que trata da obrigatoriedade do ensino para crianças e adolescentes dos quatro aos 17 anos de idade (^{BRASIL, 2013}) - e a Lei n. 13.005, de 24 de junho de 2014, que aprova o Plano Nacional de Educação (PNE) 2014-2024 (^{BRASIL, 2014}) que estabelece a avaliação da educação infantil como estratégia para universalizar a pré-escola e ampliar a oferta em creches.

A avaliação da atuação de segmentos específicos dos sistemas de ensino, no caso a avaliação de gestores escolares e de docentes, ainda é muito incipiente no Brasil. Além disso, sabe-se que tomar as atividades de profissionais específicos dos sistemas de ensino como foco da avaliação, principalmente docentes, é tema polêmico, controverso e marcado por resistências (^{AUGUSTO, 2012}; ^{CASSETTARI, 2014}; ^{RODRIGUES, 2012}; ^{SHIROMA; SCHNEIDER, 2013}).

Utilizando os termos de busca avaliação dos gestores escolares e avaliação do docente, identificaram-se poucos trabalhos que se ocuparam desses termos. No caso de avaliação do docente, quando utilizado o AND na busca, evidenciou-se um maior número de estudos (166), muito provavelmente devido à articulação e aos usos que vêm sendo feitos dos resultados das avaliações externas em larga escala para o pagamento de bônus ou premiação aos professores, pelo alcance de metas, como as do Ideb ou de índices criados pelos sistemas subnacionais. Portanto, a avaliação do docente pode estar muito mais relacionada aos usos dos resultados dessas avaliações, não representando, efetivamente, processos específicos para avaliação docente, vinculados ao ingresso, à carreira, ao desenvolvimento profissional.

Um termo que não trouxe publicações foi o que buscava identificar trabalhos cujo foco estivesse relacionado à avaliação e ao regime de colaboração. O uso desse termo de busca (avaliação e regime de colaboração) se deveu, justamente, à intensa articulação prevista na legislação brasileira, especificamente no PNE 2014-2024 (^{BRASIL, 2014}), entre os sistemas de avaliação nacional e subnacionais, assim como a criação de um sistema nacional de avaliação mais complexo, articulado e que envolvesse diferentes dimensões avaliativas e indicadores educacionais. A ausência de estudos com tal termo de busca, seja como foco das pesquisas ou, ao menos, articulado a elas, pode ser indicativo da dificuldade que ainda persiste no Brasil, de criação de um sistema nacional de educação que teria, no regime de colaboração, um possível eixo de construção, assim como uma importante ferramenta de gestão educacional.

CONSIDERAÇÕES FINAIS

No Brasil, a produção acadêmica sobre o tema da avaliação educacional se intensificou, especialmente, a partir da década de 1990, quando a temática adquire progressiva centralidade na formulação e implementação das políticas educacionais nas diferentes esferas governamentais, com a elaboração e/ou o uso de informações produzidas por avaliações externas em larga escala. Não obstante, temas como a avaliação da aprendizagem, a avaliação institucional, a avaliação de programas e projetos, entre outros, continuaram a ser investigados e explorados, em maior ou menor grau, em estudos e pesquisas da área educacional.

Diversos estudos se propuseram a mapear, caracterizar e analisar essa produção, ao longo das últimas três décadas, indicando um crescente interesse dos pesquisadores pelo campo da avaliação educacional, analisando e problematizando diferentes dimensões avaliativas e objetos.

O levantamento exposto neste artigo identificou produção circunscrita aos anos de 1997 a 2018, constante em periódicos acadêmicos classificados com Qualis A1, A2, B1 e B2 (Capes 2013-2016), tendo evidenciado um aumento de produção ao longo do período selecionado, o que pode significar o estabelecimento e/ou consolidação do campo da avaliação educacional. Quase todos os periódicos, nos diferentes Qualis, absorveram o debate sobre avaliação, situação que parece ser transversal às diversas revistas, com diferentes indicadores e conceitos. Existe uma estabilidade em periódicos Qualis B2, o que pode ser explorado em estudos posteriores. Há predominância de produção, voltada para a temática da avaliação educacional, na revista EAE, mas é possível ver a multiplicação de polos de publicação sobre diferentes dimensões do campo.

A grande quantidade de artigos publicados sobre temas próprios do campo da avaliação educacional é nítida, com um crescente número a partir do ciclo 2005-2008, período no qual observam-se tanto a emergência de políticas federais, como a Prova Brasil e o Ideb, quanto o aumento e consolidação de iniciativas estaduais e o surgimento de iniciativas municipais de avaliação.

Na segunda década do século XXI esse crescimento se acentua, provavelmente, em função da implementação da Avaliação Nacional da Alfabetização (ANA), em 2013, e, ainda, pela aprovação do PNE 2014-2024 (^{BRASIL, 2014}), que estabelece, na Meta 7, a necessidade de estimular a melhoria da qualidade da educação, de modo a atingir o Ideb 6,0 ou mais, nas diferentes etapas e modalidades de ensino, até 2022.

Utilizou-se um leque abrangente de termos de busca para a pesquisa de artigos, abarcando termos recorrentes na literatura do campo da avaliação educacional e aqueles suscitados pelos estudos que realizaram levantamentos anteriores a este texto, sendo que os termos avaliação educacional, avaliação escolar e avaliação da aprendizagem são os mais frequentes, ainda que genéricos, pois sob eles encontram-se trabalhos com detalhamentos e desdobramentos relativos à temática da avaliação educacional e suas dimensões. Nesse sentido, buscou-se, ao longo do artigo, evidenciar possíveis fatores associados a tais fenômenos, fundamentados em autores que tratam sobre o tema.

Se consideramos o número de artigos identificados por meio de termos cor- respondentes à avaliação externa em larga escala (avaliação de desempenho; avaliação de sistemas educacionais; avaliação em larga escala; avaliação externa; sistema de avaliação da educação; Prova Brasil; Sistema de Avaliação da Educação Básica; Índice de Desenvolvimento da Educação Básica; Exame Nacional do Ensino Médio), evidencia-se um número que ultrapassa o total de produções encontradas com os termos citados no parágrafo anterior, o que denota a relevância que essa dimensão adquiriu, ao longo do tempo, em nosso país, como já problematizado anteriormente.

Chama atenção o pequeno número de artigos com foco na avaliação de cur- rículo. Ainda que as avaliações externas em larga escala, em grande medida, tomem por base o currículo escolar, especialmente no que tange às competências em língua portuguesa e matemática, estas não se propõem a avaliar o currículo, mas sim o desempenho dos estudantes em parte dele. Talvez, com a reforma curricular em curso, resultando na implementação da Base Nacional Comum Curricular (BNCC) em toda educação básica e, também, na mudança das diretrizes para a formação inicial dos professores (licenciaturas), dela decorrentes, haja aumento de estudos com foco na avaliação do currículo em si.

Outros termos de busca que trouxeram menor número de trabalhos, mas que vêm em um crescente de publicações, especialmente a partir de 2010, foram avaliação da educação infantil e educação infantil e avaliação. Defende-se que o aumento progressivo de publicações sobre o tema relaciona-se à inserção da avaliação da educação infantil na pauta da agenda das políticas públicas educacionais, com a aprovação de leis e publicação de documentos voltados para essa etapa educacional.

Os termos avaliação dos gestores escolares e avaliação do docente trouxeram poucos trabalhos, sendo que o segundo, quando utilizado o AND na busca, evidenciou um maior número de estudos, o que pode estar relacionado à articulação e aos usos dos resultados de avaliações externas em larga escala, mas que não se configuram, estritamente, como avaliação docente no que concerne ao ingresso, à carreira ou ao desenvolvimento profissional.

O termo avaliação e regime de colaboração trouxe o menor número de artigos do levantamento, sendo que tais produções só apareceram quando utilizado o AND na busca e não com o termo exato. Considera-se que a ausência de estudos com esse termo de busca relaciona-se à fragilidade do regime de colaboração brasileiro, que, mesmo tendo sido estabelecido por lei, está longe de se tornar realidade, implicando políticas sociais, entre elas a educação.

Por fim, assinala-se que a produção levantada e analisada neste artigo será alvo de análises qualitativas acuradas, de modo a evidenciar o debate teórico-metodológico em cada uma das dimensões da avaliação educacional, proposições e eventuais contribuições para o campo e para a área educacional em futuras publicações.