SciELO - Scientific Electronic Library Online

 
vol.33AVALIAÇÃO DE PROJETOS, PROGRAMAS E POLÍTICAS EDUCACIONAISPERCEPÇÕES DOCENTES E APRENDIZAGEM NO ENSINO MÉDIO BRASILEIRO: QUAL A RELAÇÃO? índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Estudos em Avaliação Educacional

versão impressa ISSN 0103-6831versão On-line ISSN 1984-932X

Est. Aval. Educ. vol.33  São Paulo  2022  Epub 01-Set-2022

https://doi.org/10.18222/eae.v33.8734 

Três décadas de Estudos em Avaliação Educacional

AVALIAÇÕES EXTERNAS: A INSTITUCIONALIZAÇÃO DO DEBATE EM 30 ANOS DA REVISTA EAE

EVALUACIONES EXTERNAS: LA INSTITUCIONALIZACIÓN DEL DEBATE EN 30 AÑOS DE LA REVISTA EAE

EXTERNAL EVALUATIONS: THE INSTITUTIONALIZATION OF THE DEBATE OVER 30 YEARS OF THE EAE JOURNAL

VANDRé GOMES DA SILVAI 
http://orcid.org/0000-0001-5369-0736

CLáUDIA OLIVEIRA PIMENTAII 
http://orcid.org/0000-0002-1836-7535

RODRIGO ROSISTOLATOIII 
http://orcid.org/0000-0002-4025-0632

IFundação Carlos Chagas (FCC), São Paulo-SP, Brasil

IIFundação Carlos Chagas (FCC), São Paulo-SP, Brasil

IIIUniversidade Federal do Rio de Janeiro (UFRJ), Rio de Janeiro-RJ, Brasil


RESUMO

O artigo analisa textos publicados de 1990 a 2018, na revista Estudos em Avaliação Educacional, relacionados a avaliações externas. O principal argumento é o de que a revista contribuiu significativamente para a institucionalização desse debate no campo acadêmico brasileiro, com reflexões sobre concepções, desenhos, metodologias e formas de implementação das avaliações. Apresentam-se uma descrição quantitativa das publicações desse período e categorias de análise estabelecidas a priori e a posteriori. Como resultados, evidencia-se o protagonismo da Fundação Carlos Chagas nessa temática e identificam-se modos de consolidação do debate sobre avaliações externas no campo acadêmico brasileiro e lacunas de conhecimento sobre os usos das avaliações externas em escolas e redes de ensino.

PALAVRAS-CHAVE ESTUDOS EM AVALIAÇÃO EDUCACIONAL; AVALIAÇÃO EXTERNA; REVISTAS DE EDUCAÇÃO.

RESUMEN

El artículo analiza textos publicados de 1990 a 2018 en la revista Estudos em Avaliação Educacional, en relación a las evaluaciones externas. El principal argumento es que la revista contribuyó de forma significativa con la institucionalización de este debate en el ámbito académico brasileño, con reflexiones sobre concepciones, diseños, metodologías y formas de implementación de las evaluaciones. Se presentan una descripción cuantitativa de las publicaciones de dicho periodo y categorías de análisis establecidas a priori y a posteriori. Como resultados, se pone en evidencia el protagonismo de la Fundação Carlos Chagas en tal temática y se identifican modos de consolidación del debate sobre evaluaciones externas en el campo académico brasileño y lagunas de conocimiento sobre los usos de las evaluaciones externas en escuelas y redes de enseñanza.

PALABRAS CLAVE ESTUDOS EM AVALIAÇÃO EDUCACIONAL; EVALUACIÓN EXTERNA; REVISTAS DE EDUCACIÓN.

ABSTRACT

The article analyzes texts published in the journal Estudos em Avaliação Educacional, between 1990 and 2018, related to the theme of external evaluation. The main argument is that the journal has contributed significantly to the institutionalization of this debate in the Brazilian academic field, with reflections on concepts, designs, methodologies, and ways of implementing evaluations. A quantitative description of the articles published in this period is presented and categories of analysis are established a priori and a posteriori. As a result, the protagonism of Fundação Carlos Chagas on this theme is demonstrated; and ways of consolidating the debate on external evaluations in the Brazilian academic field, as well as knowledge gaps about the uses of external evaluations in schools and education networks, are identified.

KEYWORDS ESTUDOS EM AVALIAÇÃO EDUCACIONAL; EXTERNAL EVALUATION; EDUCATION JOURNALS.

INTRODUÇÃO

O incremento e a consolidação das avaliações externas no Brasil se confundem com o surgimento e a trajetória da revista Estudos em Avaliação Educacional (EAE), em 1990, pioneira na divulgação de estudos e pesquisas sobre avaliações externas no cenário nacional.

Este artigo faz parte das comemorações dos 30 anos da fundação desse importante periódico e tem como objetivo identificar e interpretar as tendências mais expressivas e os aspectos relevantes das temáticas discutidas na revista nas últimas três décadas. Entende-se que as investigações divulgadas durante esse período contribuíram para a consolidação do campo da avaliação educacional no Brasil.

O texto não constitui uma revisão sistemática em termos estritos. Uma revisão sistemática é um estudo secundário, que utiliza estudos primários como principal fonte de organização e investigação (GALVÃO; PEREIRA, 2014), sendo realizada com base em uma temática de pesquisa, cuja ideia é mapear o conjunto de debates, incluindo questões teóricas, metodológicas e empíricas relacionadas ao tema. Tem como foco uma ou mais plataformas que agreguem revistas acadêmicas nacionais e internacionais - SciELO (Scientific Electronic Library Online), Scopus, entre outras - e visa, a partir de um recorte temporal preciso, a oferecer um panorama das discussões acadêmicas relacionadas ao tema.

Galvão e Pereira (2014, p. 2) afirmam que uma revisão sistemática envolve oito momentos sucessivos e complementares. São eles:

[...] (1) elaboração da pergunta de pesquisa; (2) busca na literatura; (3) seleção dos artigos; (4) extração dos dados; (5) avaliação da qualidade metodológica; (6) síntese dos dados (metanálise); (7) avaliação da qualidade das evidências; e (8) redação e publicação dos resultados.

No caso específico do presente estudo, a EAE foi escolhida como campo empírico exclusivo. Trata-se de uma investigação que procura oferecer um panorama sobre a trajetória da revista, que constitui um periódico reconhecido no campo educacional brasileiro e uma referência nos debates sobre avaliação. É também importante frisar que não foram utilizados mecanismos de busca de artigos como em uma revisão sistemática em termos estritos. Ao contrário, foram verificadas todas as edições da EAE até 2018, tendo sido seguidos os passos posteriores de uma revisão sistemática até a redação e publicação dos resultados. Tem-se, portanto, um artigo que considerou os debates metodológicos inerentes às revisões sistemáticas, mas os adaptou para um caso muito específico, relacionado à análise da contribuição da EAE para o campo da avaliação educacional no Brasil.

Frequentemente tomadas como sinônimo de avaliação em larga escala de desem- penho discente ou de sistemas educacionais, na literatura educacional, as avaliações externas podem compreender uma gama maior de iniciativas na medida em que, como nos informa o glossário Ceale,1 disponibilizado pelo Centro de Alfabetização, Leitura e Escrita, “[...] a avaliação externa à escola recebe essa denominação porque é concebida, planejada, elaborada, corrigida e tem seus resultados analisados fora da escola”. Nesse sentido, estudos e pesquisas pautados por avaliações com amostras robustas e/ou representativas de alunos, exames vestibulares e avaliações do ensino superior (ES) - que podem contemplar instrumentos externos em associação com avaliações institucionais padronizadas - também constituem o escopo de análise do presente artigo, para além das avaliações sistêmicas.

Em face do desafio de analisar 256 artigos publicados na EAE até 2018, compreendidos no escopo amplo e multifacetado das avaliações externas no Brasil, foram estipuladas categorias prévias de análise, com base na literatura sobre o tema das avaliações externas, bem como na construção de categorias depreendidas do exame dos resumos e, eventualmente, da integralidade dos textos classificados nessa temática. Desse modo, destaca-se o maior número de artigos publicados na EAE sobre temáticas que analisam e discutem as diversas avaliações referentes à educação básica (EB), protagonizadas tanto pela União como por governos estaduais e municipais, de forma sincrônica à classificação estipulada por Bonamino e Sousa (2012), que observam três gerações de avaliação no Brasil, marcadas por diferentes consequências e efeitos no cotidiano de sistemas e escolas e que, em boa medida, orientam as premissas deste estudo. Tais gerações, longe de se sobreporem, coexistem no tempo e agregam novos desenhos e possibilidades quanto aos seus usos na gestão educacional e escolar e os diferentes efeitos que podem acarretar.

Nesses termos, o grupo de categorias de análise adotadas no presente estudo não constitui uma classificação exaustiva ou exclusiva - de forma análoga à estipulação de diferentes gerações de avaliação que coexistem no tempo -, mas sim um esforço de apreender diferentes núcleos de sentido presentes no conjunto de artigos selecionados como recurso analítico precípuo.

Este trabalho está estruturado em cinco partes, além desta introdução. A primeira parte descreve a base de artigos publicados na EAE, desde sua fundação até 2018, sob o escopo das avaliações externas e a abordagem adotada no estudo. Em seguida são discutidas três categorias de análise principais, que orientam a maior parte dos artigos coletados: problematizações teóricas e/ou metodológicas; análise de resultados e/ou demais informações da avaliação; e uso dos resultados e/ou demais informações da avaliação. Por fim, apresentam-se as considerações acerca das avaliações externas no Brasil, sob a lente do periódico EAE, e perspectivas sobre o futuro da temática.

DESCRIÇÃO E TRATAMENTO DA BASE DE ARTIGOS

A base de dados sobre a temática “avaliação externa” extraída da EAE é composta por 256 artigos publicados entre 1990 e 2018. Na década de 1990, identificam-se mais de dez publicações em 1992, 1994 e 1995. Na primeira década do século XXI, destacam-se os anos de 2008 e 2010 e, na segunda década, o período de 2011 a 2018, em que apenas o primeiro ano apresenta menos de dez publicações, sendo que 2012, 2014 e 2017 registram um número considerável de publicações, cujo escopo se insere na temática em tela (Gráfico 1).

Fonte: Elaboração dos autores.

GRÁFICO 1 Quantidade de artigos por ano de publicação, 1990 a 2018 

O maior percentual de artigos publicados trata da avaliação externa na EB. A referência ao ES aparece em 21,48% dos artigos analisados. Identificaram-se, ainda, dois artigos que abordam a avaliação em ambos os níveis educacionais e outros dez que não fazem menção explícita a um ou outro nível de educação.

Fonte: Elaboração dos autores.

GRÁFICO 2 Percentual de artigos distribuídos por nível educacional 

Ao serem detalhados os dados sobre os artigos concernentes à EB, identifica-se que a maior parte abrange o ensino fundamental (EF), vindo a seguir aqueles que tratam, conjuntamente, dessa etapa e do ensino médio (EM), os quais, em geral, discutem questões relacionadas ao Programme for International Student Assessment (Pisa). Dado que a referida avaliação tem como público-alvo os alunos de 15 anos de idade2 e que, no Brasil, o aluno nessa faixa etária pode estar cursando tanto uma etapa quanto outra, decidiu-se classificar os artigos em ambas. O EM, categorizado de forma específica, a educação infantil (EI) e a modalidade educação de jovens e adultos (EJA) foram referenciados em menos de 10% dos artigos que discutem avaliação externa. Identificaram-se, ainda, dois artigos que envolvem o debate sobre avaliação externa nas três etapas da EB.

Fonte: Elaboração dos autores.

GRÁFICO 3 Percentual de artigos por etapa/modalidade da educação básica 

Em relação aos 55 artigos que se referem, especificamente, ao ES, o maior percentual corresponde a avaliações para o ingresso nesse nível de ensino e, em boa parte, relacionam-se ao Exame Nacional do Ensino Médio (Enem).

Fonte: Elaboração dos autores.

GRÁFICO 4 Percentual de artigos distribuídos por segmento do ensino superior 

Quanto ao vínculo institucional dos autores no ano de publicação do artigo na EAE, procedeu-se à identificação dos estados brasileiros ou países onde tais instituições estão sediadas, para até cinco autores. Em 18 artigos há autores que se vinculavam a instituições estrangeiras e em 249 artigos os autores estavam em instituições nacionais. A soma desses quantitativos ultrapassa o total de artigos analisados porque há publicações com autores vinculados aos dois tipos de instituição.

Na primeira situação verificou-se que, em 13 artigos, o primeiro autor estava vinculado a uma instituição estrangeira, sendo seis nos Estados Unidos da América, duas em Portugal, uma na Argentina, uma na Austrália, uma no Chile, uma na Colômbia e uma na Inglaterra. Austrália, Chile e Portugal são países-sede de instituições de vínculo, também, de coautores, bem como o Canadá, que aparece como país-sede da instituição de um coautor.

No que tange aos 249 artigos com autores vinculados a instituições nacionais, tem-se que, em 243 deles, o autor com esse tipo de vínculo assina a primeira autoria. A maior parte é proveniente de instituições presentes na região Sudeste, seguida do Centro-Oeste - em especial, o Distrito Federal. As regiões Sul e Nordeste aparecem em terceiro e quarto lugares, respectivamente. A região Norte está representada apenas pelo terceiro autor, em dois artigos (Tabela 1).

TABELA 1 Distribuição dos artigos por vínculo institucional dos autores - regiões do Brasil 

Regiões 1º autor 2º autor 3º autor 4º autor 5º autor
Centro-Oeste 28 11 5 1 0
Nordeste 23 12 6 1 1
Norte 0 0 2 0 0
Sudeste 167 89 49 19 6
Sul 25 15 4 1 0
Total 243 127 66 22 7

Fonte: Elaboração dos autores.

Detalhando um pouco mais essa identificação, tem-se que autores de 14 estados e do Distrito Federal publicaram artigos na EAE referentes à temática da avaliação externa, o que significa que 12 estados não estão representados por publicações com esse tema.

É possível verificar pela distribuição cronológica dos artigos - como visto no Gráfico 1 - e por sua concentração no segmento da EB - mostrada no Gráfico 2 - uma forte correspondência entre as temáticas abordadas e o quadro classificatório estipulado por Bonamino e Sousa (2012), que identificam no Brasil três gerações de avaliação.

Tais gerações, longe de simplesmente se sobreporem ou substituírem umas às outras, se somam e coexistem ao longo do tempo, ampliando o debate acadêmico ante o crescimento e a diversificação de experiências de avaliação externa no país, nas últimas três décadas. Nessa perspectiva, a primeira geração é caracterizada pela ênfase no “[...] caráter diagnóstico da qualidade da educação ofertada” (BONAMINO; SOUSA, 2012, p. 375), não acarretando consequências diretas para escolas e seus currículos. A segunda geração de avaliação envolveria a devolução dos resultados para as unidades escolares sem o estabelecimento de consequências materiais - algo possível tendo em vista a adoção de formatos avaliativos de caráter censitário, capazes de propiciar resultados por escolas, ampliando o alcance de abordagens amostrais. A terceira geração de avaliação englobaria políticas de “responsabilização forte” ou high stakes (BONAMINO; SOUSA, 2012; BROOKE, 2013), que acarretam “sanções ou recompensas” a escolas e seus profissionais em função dos resultados obtidos. No Brasil, tais consequências concernem, notadamente, a políticas de bonificação docente e diferentes ações de acompanhamento, apoio e/ou controle de escolas que apresentem baixos resultados.

Tais amplitude e diversificação, verificadas na abordagem das avaliações, orientaram o estabelecimento de categorias de análise a priori, seguidas por sua readequação, e a definição de categorias a posteriori a partir da manipulação da base de artigos, tendo em vista o que a literatura do campo já acumula em termos de temas estudados e nuances que surgiram no decorrer da análise dos resumos das publicações, ou, em aproximadamente metade dos casos, da leitura integral dos artigos.

Analogamente à estipulação efetuada por Bonamino e Sousa (2012), de três gerações de avaliação que coexistem no tempo, os artigos foram classificados com base em uma lógica mutuamente complementar que se impôs, uma vez que a maior parte dos textos demandou sua classificação em duas ou mais categorias em face da complexidade das abordagens verificadas nas diferentes articulações empreendidas pelos autores. Nesses termos, a primeira etapa de análise identificou seis categorias que informam distintos núcleos de sentido, a despeito de outras possíveis classificações que poderiam ser feitas do conjunto de textos. São elas:

  • problematizações teóricas e/ou metodológicas: conjunto de artigos que discutem e problematizam finalidades, desenhos e resultados das avaliações;

  • análise de resultados e/ou demais informações da avaliação: artigos que analisam e comparam resultados e/ou se detêm sobre aspectos relacionados às matrizes das avaliações, instrumentos e formatos adotados;

  • uso dos resultados e/ou demais informações da avaliação: artigos que tratam do uso dos resultados e/ou outras informações das avaliações por instituições escolares e redes de ensino;

  • caracterização das avaliações: artigos que buscam descrever e contextualizar, de forma detalhada, a origem, desenho, abordagem metodológica e objetivos de avaliações externas e/ou suas mudanças ao longo do tempo;

  • avaliações externas de programas e projetos: artigos que tratam da avaliação externa de programas e/ou projetos educacionais;

  • apresentação e/ou uso de abordagens metodológicas, instrumentos, técnicas estatísticas: artigos que, ao se debruçarem sobre as avaliações externas, lançam mão de instrumentos e abordagens metodológicas inovadoras ou pouco usuais - ao menos, no contexto brasileiro - capazes de ampliar e diversificar o escopo de resultados e análises ausentes de sua divulgação original.

O maior percentual de artigos se encontra na categoria análise de resultados e/ou demais informações da avaliação, seguida pelas categorias problematizações teóricas e/ou metodológicas e apresentação e/ou uso de abordagens metodológicas, instrumentos, técnicas estatísticas, como se pode verificar no Gráfico 5.

Fonte: Elaboração dos autores.

GRÁFICO 5 Percentual de artigos classificados em cada categoria de análise 

Diante da amplitude das abordagens e nuances encontradas, neste artigo, optamos por analisar, em profundidade, as duas categorias que contêm a maior quantidade de artigos e a categoria uso dos resultados e/ou demais informações da avaliação, esta por sua relevância ante o debate acerca das consequências e repercussão das avaliações externas nos cotidianos escolares e na gestão de diferentes redes educacionais. Especificamente em relação às categorias problematizações teóricas e/ou metodológicas e análise de resultados e/ou demais informações da avaliação, tendo em vista seus percentuais elevados de textos, foram destacados em sua discussão os artigos classificados exclusivamente em cada uma delas, propiciando uma análise com maior acuidade e que informa as características distintivas dessas classificações.

Tomando essas três categorias para aprofundamento das análises, o Gráfico 6 detalha a distribuição dos artigos, por ano de publicação, com o propósito de evidenciar os períodos em que essas categorias estão mais presentes na produção sobre avaliação externa, no âmbito da EAE.

Fonte: Elaboração dos autores.

GRÁFICO 6 Distribuição por categoria de análise dos artigos, por ano de publicação 

Observe-se que os artigos que abrangem problematizações teóricas e/ou metodo- lógicas das avaliações e análise de resultados e/ou demais informações da avaliação, além de estarem presentes na revista desde a sua fundação, registram picos de publicações nas três décadas de existência do periódico. Já a categoria uso dos resultados e/ou demais informações da avaliação começa a aparecer apenas em publicações de 2007 em diante.

Sousa e Arcas (2010, p. 183) assinalam que a Prova Brasil, implantada em 2005, e o Índice de Desenvolvimento da Educação Básica (Ideb), criado em 2007, foram iniciativas com potencial para “[...] mobilizar redes de ensino e escolas a buscarem compreender e valer-se dos resultados das avaliações de sistema no planejamento do trabalho escolar”. Essa mobilização parece estar associada ao fato de os resultados do Ideb “[...] vincularem-se a financiamento promovido pelo governo federal, via Plano de Desenvolvimento da Educação (PDE), para escolas e municípios com baixos índices de desempenho” (PIMENTA, 2012, p. 45). É provável, portanto, que as publicações na EAE reflitam, ao menos em parte, esse movimento.

PROBLEMATIZAÇÕES TEÓRICAS E/OU METODOLÓGICAS

Entre 1990 e 2018, a EAE publicou 107 artigos que envolviam problematizações teóricas e/ou metodológicas, o que equivale a 41,80% do total de publicações. Praticamente metade das investigações publicadas pela revista nesse período escrutina aspectos teórico-metodológicos, o que revela não somente a pluralidade do debate sobre avaliações externas no Brasil, mas também a vivacidade dessa discussão e sua natureza paradigmática plural.

É importante salientar que somente foram elencados na categoria problematizações teóricas e/ou metodológicas os artigos que traziam algum tipo de reflexão com o objetivo de contribuir para o acúmulo de teorias e métodos na área, problematizando algumas premissas e/ou criticando e oferecendo caminhos metodológicos alternativos.

Dos 107 artigos, 46 são exclusivamente teóricos e/ou metodológicos e estão distribuídos ao longo da trajetória da revista, mas não estiveram presentes em todos os anos. Em 1993, 1998, 1999 e 2009 não houve nenhuma publicação com essa temática. Já os anos de 1995, 2010 e 2014 foram aqueles com a maior quantidade de textos editados, destacando-se 2014, que concentra 12,15% dos artigos (Gráfico 7).

Fonte: Elaboração dos autores.

GRÁFICO 7 Artigos que abrangem problematizações teóricas e/ou metodológicas das avaliações, por ano de publicação - 1990 a 2018 

É preciso ressaltar que 2014 foi um ano atípico porque houve um número especial da revista (n. 60), com a reedição de artigos escritos por Heraldo Vianna em periódicos da Fundação Carlos Chagas (FCC). Novaes (2014) explica que se tratava de uma homenagem ao idealizador e primeiro editor da EAE, mantendo-se nesta função de 1990 até a sua aposentadoria em 2008. Esse número publicou um total de 14 artigos, sendo que três versavam sobre problematizações teóricas e/ou metodológicas. Sem eles, o ano de 2014 ficaria com dez artigos nessa categoria. No mesmo ano, no número 59, foi publicado um dossiê sobre avaliação em larga escala e gestão educacional. Nessa edição, dois artigos traziam problematizações teóricas e/ou metodológicas. Temos, portanto, em 2014, cinco artigos para além da demanda contínua da revista. Ainda assim, se os retirássemos da contagem, 2014 empataria com 1995 e 2010, mantendo sua posição entre os anos com maior número de publicações. Cabe ressaltar que tanto o número especial quanto o dossiê revelam movimentos editoriais da revista no sentido de sistematizar e consolidar debates que estavam espraiados por todas as edições.

O Gráfico 8 apresenta a distribuição por ano de publicação dos artigos que foram classificados exclusivamente na categoria supracitada. No período analisado, em oito anos não houve nenhuma publicação classificada exclusivamente nessa categoria: 1993, 1998, 1999, 2000, 2007, 2009, 2011 e 2018.

Fonte: Elaboração dos autores.

GRÁFICO 8 Artigos que tratam exclusivamente de problematizações teóricas e/ou metodológicas das avaliações, por ano de publicação - 1990 a 2018 

O gráfico indica que 1995, 1996, 2001 e 2015 foram os anos com maior incidência de problematizações teóricas e/ou metodológicas, no âmbito da EAE. Em 1995 foram publicados dois números da revista - 11 e 12 -, que trouxeram 18 artigos no total, seis deles incluídos no rol de investigações classificadas nessa categoria. O número 12, especificamente, desde a apresentação indica que se tratava de um conjunto de investigações com foco na avaliação externa, conectado com a discussão sobre a eficácia dos sistemas educacionais no oferecimento de educação de qualidade. Naquele momento, havia acúmulo de conhecimento relacionado à trajetória dos sistemas de avaliação no Brasil e, conforme destacam Bonamino e Sousa (2012), a primeira geração das avaliações externas estava em progressiva consolidação.

O Sistema de Avaliação da Educação Básica (Saeb) foi implementado a partir de 1991, embora tenha sido formalmente estabelecido três anos mais tarde, em 1994. Os sistemas estaduais de educação, como demonstra Souza (2007) para o caso específico de Minas Gerais, também estavam em diálogo direto ou indireto com o Saeb, ampliando o escopo de suas avaliações e colocando os agentes, presentes nas escolas, em diálogo. A avaliação dos sistemas estava na pauta dos debates educacionais e a EAE compôs esse cenário como veículo de interlocução entre o debate acadêmico stricto sensu e o campo mais amplo das discussões sobre políticas educacionais.

A análise da produção classificada como problematizações teóricas e/ou metodológicas das avaliações revela dinâmicas de circulação de ideias sobre avaliação de sistemas educacionais no Brasil. O primeiro passo que realizamos para sistematizar essa discussão foi classificar todos os artigos considerando a posição dos autores sobre as avaliações externas. Partimos do pressuposto de que essa temática segue em paralelo com discussões e posicionamentos políticos referentes à educação pública no Brasil. Tal argumento parte da premissa de que os debates teóricos sobre formas de avaliação, desenhos avaliativos, usos dos resultados, comparação de sistemas, entre outros, seguem pari passu com abordagens de caráter pragmático/instrumental por conta das conexões diretas entre investigação e ação dos setores públicos, desde a formulação até a implementação de políticas educacionais.

Nossa estratégia de classificação dos artigos envolveu três rótulos mutuamente excludentes.3 No primeiro deles estão os artigos favoráveis aos sistemas de avaliação externa. Nesse rótulo, categorizamos todos os textos nos quais a discussão teórica é favorável aos sistemas de avaliação e/ou que desenvolvem problematizações teóricas em defesa das avaliações. Também inserimos as publicações que partem de análises de dados produzidos pelas avaliações com vistas a acompanhar a evolução dos indicadores, realizar análises comparativas, entre outras, sem efetuar quaisquer ressalvas ou críticas diretas aos dados.

O segundo rótulo agrega os artigos que demarcam posições contrárias às avaliações e/ou às suas metodologias. As investigações que utilizam os dados disponibilizados pelos sistemas de avaliação para argumentar sobre a inadequação desses dados, para quaisquer análises no campo educacional, também foram classifica- das nesse rótulo.

Entre os dois rótulos anteriores estão os artigos que reconhecem as avaliações e sua legitimidade, mas apontam ressalvas teóricas, empíricas e/ou metodológicas. Nesse grupo incluímos os textos que apontam limitações dos dados, erros ou fragilidades metodológicas, assim como usos e exageros interpretativos presentes no debate educacional strictu sensu e/ou na discussão das políticas de avaliação externa. São textos que legitimam os sistemas de avaliação, mas identificam lacunas nos procedimentos desenvolvidos em sua implementação e/ou análise e, por vezes, propõem sugestões com base em abordagens comparativas nacionais ou internacionais.

Ao final do processo de rotulação, classificamos 59 artigos como favoráveis, 34 na categoria reconhecimento com ressalvas e 14 como contrários. Se considerados apenas aqueles que apresentam exclusivamente problematizações teóricas e/ou metodológicas, tem-se 26 artigos favoráveis, 14 que reconhecem as avaliações, mas fazem ressalvas, e 6 contrários.

Visões contrárias

Os seis artigos que apresentam visões contrárias às avalições externas de aprendizagem estão pautados por dois conjuntos de sentido complementares. No primeiro deles, a crítica direciona-se à redução do debate sobre qualidade da EB a uma reflexão sobre o desempenho dos alunos e das redes de ensino nas avaliações nacionais e internacionais. O segundo sinaliza cenários de indução curricular e desenhos avaliativos nesse nível de ensino que resultam da ênfase em processos seletivos para o ensino superior.

O primeiro bloco agrega autores que escreveram em momentos diferentes e chegaram a conclusões convergentes. O trabalho de Morris (2017) é o mais recente. Nele, o autor afirma que a publicação de resultados internacionais de desempenho gera disputas entre as nações pela melhoria dos números dos sistemas de ensino. Como consequência, limita-se a reflexão sobre educação porque a reduz à realização de testes em larga escala. O autor se coloca a favor das comparações internacionais como estratégia de pesquisa, mas repudia ações governamentais que pensam o ensino exclusivamente com base no que será cobrado nos exames. Indica que essa prática, conhecida como “[...] aprendizado com as melhores práticas internacionais” (MORRIS, 2017, p. 335), é, de fato, uma forma de manipular o sistema em busca de resultados.

Em convergência, Bautheney (2014) argumenta que as avaliações externas movimentam um debate classificatório, meritocrático e psicologizante. Tais discussões reduzem a reflexão sobre a qualidade da educação, desresponsabilizando as redes de ensino com relação ao oferecimento de educação de qualidade para todos. A autora entende que se enfatizam os alunos e seus resultados individuais, desconsiderando questões gerais das redes de ensino, o que mantém as desigualdades e contribui para sua ampliação.

Silva (2008) também direciona sua análise para a qualidade da educação, argumentando que essa discussão tem de ser plural e contextual, uma vez que a pauta induzida pelas avaliações externas de aprendizagem reduz as análises, tornando-as instrumentalizadas e limitadas. O debate sobre qualidade fica restrito à eficiência com que certas competências e habilidades podem ser demonstradas.

As críticas às avaliações estandardizadas, presentes nesses estudos, focalizam possíveis efeitos redutivos. Em síntese, avaliar os sistemas educacionais configurar-se-ia contraditoriamente como um processo de empobrecimento da educação, em vez de aprimorar a capacidade dos sistemas para o oferecimento de educação de qualidade. Tem-se aqui um problema construído na interface entre a ação política e a investigação científica. Ao investigarem e proporem diagnósticos, as redes de ensino deflagrariam ações peremptórias e com consequências nefastas, principalmente para as camadas mais empobrecidas da população.

Em paralelo, os vestibulares realizariam ações de mesmo sentido. Ao estabelecerem as regras para acesso ao ES, acabariam por induzir ações na EB motivadas pela ampliação das chances dos jovens nos exames de seleção para as universidades. A EB ganharia, por isso, um caráter excessivamente pragmático e subalternizado em relação ao ensino superior.

Vianna (1995a) critica especificamente o vestibular em duas fases e discute a presença da redação com caráter eliminatório. No decorrer do texto, o autor realiza uma série de comentários sobre os problemas técnicos presentes no vestibular, inclusive relacionados à efetiva capacidade de as provas medirem os conhecimentos dos estudantes, e aponta a possibilidade de a seleção dos vestibulares ter um caráter elitizante por conta dos problemas técnicos de medição e da redação eliminatória.

Seguindo a lógica apresentada por Vianna (1995a), se o vestibular é incapaz de medir adequadamente as capacidades intelectuais dos estudantes, não faria sentido alçá-lo ao lugar de indutor de políticas de formação na EB. Em linha convergente, Pinho Filho (1995) entende que a preparação para o acesso ao ES não pode ser o único e nem o principal objetivo da EB. O autor entende que a consideração do vestibular como parâmetro constitui um desserviço à educação secundária.

Avena (2004) aponta que os estudantes mais pobres tendem a escolher os cursos menos concorridos não por vocação, exclusivamente, mas porque são aqueles com maiores possibilidades de ingresso e conclusão. O autor trabalha com as variáveis presentes nos estudos clássicos da sociologia da educação: renda, tempo efetivo dedicado ao estudo, entre outras.

Considerando as análises dos três autores, percebe-se uma dupla reprodução de desigualdades. O vestibular induz ações na EB, tornando-a empobrecida. Como consequência, os estudantes mais desfavorecidos, e que recebem a menor parte dessa educação reduzida, acabam por adaptar seus sonhos e projetos à lógica do possível, ocupando, quando muito, as vagas nas carreiras menos concorridas.

Os dois conjuntos de críticas apontam para um fenômeno em que os níveis posteriores de educação acabam por orientar as ações nos níveis anteriores. O vestibular orienta o EM, que, por sua vez, orienta o EF. Quando as avaliações estandardizadas passam a oferecer diagnósticos sobre esses níveis de ensino com vistas a aprimorá-los, acabam, contraditoriamente, por reduzi-los, ao induzirem ações pragmáticas no âmbito da política educacional.

Visões favoráveis

No grupo de artigos com visões favoráveis, o vestibular e a avaliação do ES também apareceram dentre os temas discutidos. Dos 26 artigos, 5 trazem reflexões sobre esse nível de ensino, com foco no acesso e na medição da qualidade.

Santos (1997) critica o que classifica como mitos. O primeiro deles seria a seletividade social promovida pelo vestibular. O segundo, o de que as universidades públicas seriam redutos exclusivos de jovens de famílias com alto poder aquisitivo. Todas as análises são sustentadas pelos dados do vestibular da Unesp.

Ortega (2001) discute outro aspecto da seleção para o ES. Uma seleção que antecede o próprio vestibular. A autora argumenta que o EM público não prepara o corpo discente para o vestibular. Essa ausência de preparo faz com que os estudantes das escolas privadas tenham vantagens extras, para além das que já possuem por conta do nível socioeconômico e cultural. Se as escolas públicas, que são maioria, não preparam os estudantes pobres, que também são maioria, para o vestibular, a minoria composta pelas classes média e alta tem seus caminhos facilitados.

Essa discussão pode ser ampliada em diálogo com Ribeiro (1995), que, em momento anterior, já criticava os processos seletivos para as universidades e o que ele classificava como mito da influência do vestibular na EB. O autor afirma que se houvesse, de fato, essa influência, provavelmente não haveria tantas vagas ociosas nos cursos de graduação, especialmente nas licenciaturas. Sua principal crítica é direcionada aos processos de superseleção e ao consequente número de vagas ociosas.

Burlamaqui (2008) discute especificamente a avaliação do ES, problematizando o conceito de qualidade e indicando seus níveis de complexidade e seu caráter multifacetado. O autor entende que um dos “perigos” da avaliação do ES é a possibilidade de todas as avaliações serem reduzidas aos indicadores externos, o que contraditoriamente poderia vir a reduzir a qualidade do ensino oferecido. Em temática convergente, Leitão et al. (2010) analisam o boicote dos alunos ao Exame Nacional de Desempenho dos Estudantes (Enade). Os autores apresentam o perfil dos estudantes que boicotam o exame e afirmam que o fenômeno não é significativo porque o percentual de ocorrência nunca ultrapassou 3,5% do número de concluintes.

A análise desse grupo de textos revela a abertura da EAE para a pluralidade de perspectivas teóricas e metodológicas presente no campo educacional. Percebe- -se a publicação de artigos com perspectivas distintas e, por vezes, conflitantes, como as análises sobre as influências do vestibular na EB. Nesse sentido, a revista coloca-se como um espaço significativo para o livre desenvolvimento de ideias e embates sobre as avaliações externas. Da mesma forma, nota-se que a existência de dados sólidos sobre as dinâmicas dos sistemas educacionais permite análises divergentes e/ou complementares, como as realizadas por Santos (1997), Ortega (2001) e Ribeiro (1995).

Entre os textos favoráveis, outra temática presente está associada aos desenhos das avaliações externas e aos textos normativos. Valente (2003) realiza uma análise dos documentos oficiais relacionados à EI, ao EF e ao EM. A autora conecta sua análise com o debate mais geral sobre a reforma educacional e desvela interconexões entre o desenvolvimento das políticas e sua materialização em textos. No mesmo sentido, um artigo assinado pelo comitê editorial da revista (ESTUDOS EM AVALIAÇÃO EDUCACIONAL - EAE, 1996) apresenta e descreve detalhadamente todo o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (Saresp). O texto foi publicado junto a artigos que discutiram esse sistema em um seminário internacional sobre modelos avaliativos, financiado pelo Banco Mundial e realizado pela Secretaria de Estado da Educação de São Paulo (SEE/SP) e pela Fundação Carlos Chagas (FCC). Nele, identifica-se o envolvimento direto da FCC no debate sobre as políticas educacionais desenvolvidas no estado de São Paulo.

A presença e a legitimidade da FCC no debate sobre políticas educacionais também se revelam na publicação de três artigos da EAE, que são apresentações de seminários sobre a temática da avaliação no estado de São Paulo e em outras unidades da federação, todos eles com a participação direta da FCC. Goulart (1992) analisa os textos relacionados à avaliação da escola pública de Minas Gerais. A autora aponta o progressivo surgimento de uma cultura da avaliação naquele estado e indica que a avaliação seria um processo irreversível nas escolas mineiras.

Calmon (1990), na época senador da República, realiza a abertura de um seminário chamado “Encontro sobre a Qualidade da Educação”. Ele enfatiza que não estava presente como um educador, mas sim como alguém que acompanhava o debate sobre educação no Brasil e no mundo, além de buscar estabelecer diálogos com os ministros da educação sobre a importância da avaliação dos sistemas educacionais.

Bessa (1992) apresenta o “Seminário Nacional sobre Medidas Educacionais”, apoiado e promovido pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), realizado em junho de 1992. A mesma autora também publica um artigo discutindo os resultados obtidos nos grupos de trabalho desenvolvidos no seminário. Indica a proposição de sugestões significativas para que a avaliação da educação ultrapasse o limite exclusivo da aferição.

Além dos textos já apresentados, há dois que tratam de questões mais específicas - dinâmica de produção na área e políticas de responsabilização. Um deles é uma exegese da produção sobre avaliações em larga escala na pós-graduação brasileira (MINHOTO, 2015). A autora localiza essa produção, inclusive sinalizando as universidades e os principais orientadores de dissertações e teses sobre a temática. Ela aponta que o tema estava em processo de consolidação e que encontrou problemas para analisar o material porque os resumos eram mal feitos e pouco informativos.

Os outros 14 artigos classificados como favoráveis às avaliações externas convergem em alguns pontos que consideramos centrais nesse debate. Deles emerge a defesa de um modelo de escola pública, republicana, pautada pela equalização de oportunidades e oferecimento de disciplinas escolares de forma equivalente para todos os estudantes. Também se verifica uma ênfase nas políticas orientadas por evidências e avaliadas durante a implementação. Descreveremos os artigos seguindo a ordem cronológica de sua publicação, o que nos permitirá demonstrar que essas preocupações estão no âmago da linha editorial da revista desde os primeiros anos de sua publicação.

Vianna (1991) realiza uma comparação entre as redes pública e privada, com o objetivo de abordar os problemas que afetam o segundo grau.4 O autor trabalha com base no cruzamento entre dados dos estudantes e das escolas para pensar nas variáveis que poderiam explicar o desempenho das redes de ensino. Tais análises foram possíveis por conta da existência de dados produzidos pelas avaliações externas.

Mandel e Maluf (1994) argumentam que a avaliação sistêmica é possível e pode servir como um instrumento de gestão dos serviços prestados pelo Estado, no caso, a educação. Elas também enfatizam a possibilidade de uso dos dados para o acompanhamento e a gestão das políticas educacionais.

Bessa (1990b) apresenta a ideia de medida no que concerne à qualidade da educação. A autora relaciona mensuração sistemática com a construção de uma “cultura da avaliação” no Brasil e aponta que a avaliação teria um lugar importante no momento da preparação de um novo plano plurianual de educação no país.

Traçando um panorama histórico sobre a avaliação educacional no mundo e no Brasil, Vianna (1995b) aponta que a avaliação educacional sempre esteve conectada aos processos decisórios em educação, inicialmente com pesquisa e depois com ava- liação mais direta de programas e projetos. O autor destaca que as atividades de avaliação sempre foram escassas em nosso país, ainda que o Ministério da Educação, naquele momento, estivesse incentivando a ampliação dos debates nessa área.

A partir da análise de dados de desempenho dos alunos, Neubauer, Davis e Espósito (1996) realizam uma avaliação do impacto de políticas voltadas para inovações no ciclo básico da educação na região metropolitana de São Paulo.

Maluf (1996) apresenta os estudos e testes sobre rendimento escolar como uma tendência do continente, também seguida pelo Brasil. A autora cita o Saeb como um avanço nessa direção e mostra um estudo sobre sua implementação.

Com uma reflexão sobre a Teoria da Resposta ao Item (TRI), Valle (2001) apresenta e discute os dados do Saresp, indicando que esses dados são fornecidos para a rede de ensino. Dessa forma, decisões podem ser tomadas no nível tanto da rede quanto de uma unidade escolar.

Depresbiteris (2001) argumenta que os sistemas públicos e privados precisam ser avaliados por conta do caráter dinâmico das redes de ensino. A autonomia das escolas deve ser respeitada, ao mesmo tempo que a responsabilidade do Estado deve ser ressaltada. A autora ainda defende que avaliações externas e internas não são necessariamente estanques, e que é preciso definir indicadores precisos para que se tenha clareza sobre o desempenho dos sistemas.

Baeta (2002) apresenta os pressupostos epistemológicos da psicologia do desenvolvimento, da concepção de currículo e dos conteúdos básicos que os estudantes deveriam dominar durante a EB. Afirma que o Saeb é uma necessidade histórica e aponta o potencial analítico trazido pelos dados mapeados nas avaliações externas.

Locatelli (2002) indica que os sistemas padronizados de avaliação eram uma novidade no Brasil, apontando que o uso dos resultados das avaliações pode gerar mudanças positivas na educação. Para a autora, o dimensionamento da qualidade da educação está ligado à medição da equidade por intermédio da avaliação do desempenho das redes de ensino. Ela assinala que as informações produzidas de nada valerão se não forem utilizadas.

Para Darling-Hammond e Ascher (2006), o controle burocrático das escolas tem seu principal sentido relacionado à busca pela garantia da equalização e padronização educacional. Segundo os autores, os dados produzidos pelas avaliações permitem a construção de indicadores que alimentam os sistemas de controle burocrático, enfatizando-se que esses indicadores não são o sistema. Com base nessa lógica, são destacadas diversas formas de controle.

Lee (2010) indica que dados longitudinais são fundamentais para análises sobre valor agregado em educação. A autora entende que há um conjunto de dificuldades para a produção desses dados - de ordem técnica e financeira -, mas afirma que pesquisas transversais não dão conta das medidas necessárias à reflexão sobre os sistemas educacionais.

Realizando uma comparação entre os sistemas de avaliação do Brasil, da Argentina e da Colômbia, Vizcarra Herles e Pereira (2012) escrutinam os fundamentos conceituais dos processos de avaliação e apresentam um conjunto de autores que contribuíram diretamente para essa discussão, além de mostrarem a recepção das ideias desses autores nos contextos analisados.

Em artigo que discute aspectos centrais das avaliações em larga escala, Vianna (2014) afirma que os testes e os indicadores produzidos com base neles não podem ser pensados de forma independente com relação às outras questões do campo educacional. Dentre estas estão a formação dos professores, as condições materiais das escolas, currículo, políticas educacionais, entre outras.

A leitura em sequência das reflexões trazidas por esse conjunto de autores revela a ênfase na legitimidade das avaliações externas como mecanismos de reflexão, controle e acompanhamento dos sistemas públicos de educação. Destaca-se, nesse debate, a presença da FCC, por intermédio de Heraldo Vianna, autor de três dos 14 artigos resenhados. Vianna foi uma das principais referências sobre avaliações - tanto externas quanto de aprendizagem no Brasil - e sempre teve por pressuposto o caráter não meramente burocrático das avaliações. Ele afirma que

[...] a avaliação não é um valor em si e não deve ficar restrita a um simples rito da burocracia educacional, necessita integrar-se ao processo de transformação do ensino/aprendizagem e contribuir, desse modo, ativamente, para o processo de transformação dos educandos. (VIANNA, 2014, p. 26).

O reconhecimento dos sistemas externos de avaliação está conectado com visões sobre a gestão dos sistemas educacionais e seu impacto no desenvolvimento cognitivo dos estudantes. Tem-se como premissa que uma rede de ensino precisa ter clareza de seus propósitos, implementá-los considerando as variáveis contextuais presentes e avaliá-los com base em critérios padronizados, o que produzirá o feedback necessário para novas decisões no plano da gestão e do ensino em termos mais específicos.

Na sequência, apresentaremos autores que reconhecem a validade dos sistemas externos de avaliação educacional, mas apontam ressalvas sobre a sua organização e implementação.

Reconhecimento com ressalvas

Entre os artigos analisados, 14 reconhecem a validade dos sistemas de avaliação, mas registram ressalvas, assinalando preocupações convergentes. Oito deles trazem questões referentes à limitação dos dados das avaliações para a determinação das causas do desempenho dos estudantes, bem como relativizam a validade estatística dos sistemas de avaliação e de suas amostras. No caso específico do vestibular, argumenta-se que não é possível ter clareza sobre a capacidade efetiva de os estudantes selecionados serem, de fato, os mais capacitados (ALLEN, 1996; VIANNA, 2001, 2003; GATTI, 1996; DALBEN; ALMEIDA, 2015; BAUER; SILVA, 2005; MARTINS; GABRIEL, 2016; MALUF, 1996).

Sobre o vestibular e o ES, há mais quatro textos presentes nesse subgrupo. Bessa (1990a) critica as influências do vestibular nas ações pedagógicas dos outros níveis de ensino, percebendo-as como deletérias para a educação em geral. Leser (1995) e Beisiegel (1995) - ambos falando em mesas redondas organizadas para pensar o vestibular - analisam o formato das provas e seus impactos na seleção de candidatos. Moraes, Cordazzo e Wollinger (2015) criticam a desarticulação entre os critérios do Sistema Nacional de Avaliação da Educação Superior (Sinaes) e aqueles que seriam importantes para o mercado de trabalho, especificamente ligados à empregabilidade posterior à graduação.

As outras ressalvas relacionadas à EB enfatizam uma possível conexão excessiva entre o mapeamento de boas práticas e o desempenho dos alunos (MARTINS; CALDERÓN, 2015) e, também, a indução que as avaliações externas podem exercer nas avaliações internas e no cotidiano das escolas (ARCAS, 2010).

É importante enfatizar que esse grupo de autores não se posiciona contrariamente às avaliações. Pretendem, com seus textos, apontar fragilidades teóricas e/ou metodológicas que permitam o refinamento dos sistemas avaliativos, assim como o uso dos dados oriundos das avaliações.

ANÁLISE DE RESULTADOS E/OU DEMAIS INFORMAÇÕES DA AVALIAÇÃO

Na categoria análise de resultados e/ou demais informações da avaliação, foram classificados 156 artigos, sendo que 69 se referem apenas a essa categoria e os outros 87 se articulam a uma ou mais categorias definidas na temática sobre avaliação externa: 40 em problematizações teóricas e/ou metodológicas; 38 em apresentação e/ou uso de abordagens metodológicas, instrumentos, técnicas estatísticas; 14 em uso dos resultados e/ou demais informações da avaliação; 12 em caracterização das avaliações e, por fim, 11 em avaliações externas de programas e projetos.

Da mesma forma que na categoria problematizações teóricas e/ou metodológicas, os artigos relativos à análise de resultados e/ou demais informações da avaliação estão distribuídos ao longo de todos os anos da revista, com destaque para 1994, 2010, 2012, 2014 e 2017, que contam com dez ou mais artigos que envolvem esse tema.

Fonte: Elaboração dos autores.

GRÁFICO 9 Artigos que tratam da análise de resultados e/ou demais informações da avaliação, por ano de publicação - 1990 a 2018 

Os números 9 e 10 da EAE, publicados em 1994, foram dedicados à análise de resultados das avaliações, sendo que o primeiro teve como objetivo disseminar publicações de trabalhos que apresentam resultados de avaliações desenvolvidas no âmbito do Programa de Avaliação da Escola Pública de Minas Gerais (Proeb). Cabe informar que o número 6, editado em 1992, continha artigos que analisaram os dados produzidos pela avaliação do ciclo básico, também em Minas Gerais. Já o número 10 da revista apresenta publicações que ampliam essa análise para avaliações ocorridas em escolas de diferentes entes da federação, como é o caso dos estados do Nordeste - no âmbito do Programa de Expansão e Melhoria da Educação no Meio Rural do Nordeste (Edurural-NE) -, do Paraná e de São Paulo.

Em 2010, dos três números editados, um contemplou, em ao menos metade da publicação, artigos que analisaram resultados de avaliações externas de programas e projetos e outro abordou avaliações de redes e sistemas, com vistas a compreender os pressupostos, resultados e usos das avaliações, além de “[...] apresentar novas abordagens de análise dos dados para evidenciar relações entre as características dos atores, as práticas e os resultados escolares” (EAE, 2010, p. 423).

Os três números publicados em 2012 concentram 16 artigos que analisam resultados e/ou demais informações da avaliação, principalmente os números 51 e 53. O primeiro teve como eixo central “[...] o tema dos fatores intervenientes que podem atuar em processos avaliativos” (EAE, 2012, p. 6) e implicar seus resultados. O segundo, tanto na seção “Temas em destaque” quanto na “Outros temas”, traz produções que abordam essa categoria para caracterizar e problematizar os desenhos ou usos das avaliações, mensurar o alcance de programas educacionais ou, simplesmente, apresentar análises dos resultados obtidos, com vistas a auxiliar educadores e a sociedade em geral na sua compreensão.

Dentre as três publicações de 2017, destaca-se o número 68 da revista, com nove artigos que apresentam estudos e pesquisas no campo da educação comparada e que buscam “[...] analisar sistemas, processos e resultados educacionais” (EAE, 2017, p. 294). Com efeito, os dados produzidos por avaliações, tanto no âmbito nacional como internacional, constituem fontes importantes de informações para estudos dessa natureza.

No que tange aos 69 artigos referentes exclusivamente à análise de resultados e/ou demais informações da avaliação, apresenta-se uma síntese dos aspectos analisados por essas produções, com base, principalmente, em seus resumos.

A EB é o nível de ensino cujas informações da avaliação são analisadas em 52 artigos, enquanto os outros 17 se referem ao ES.

No que diz respeito aos aspectos das avaliações examinados por esses 69 artigos, tem-se que em 49 são analisados os resultados obtidos pelos estudantes nos testes ou os resultados dos índices correlatos, como o Ideb. Os dados contidos em instrumentos de recolha de informações contextuais das escolas e redes, por meio de questionários aplicados a estudantes, familiares, professores, gestores escolares e/ou das secretarias de educação, são objeto de análise em 14 artigos e os itens das provas são discutidos em outros 14.

Em relação à análise de resultados obtidos nas provas ou resultados de índices correlatos, o exame se dá com diferentes objetivos: analisar o desenho da avaliação; identificar avanços e quedas no desempenho; identificar elementos explicativos das diferenças/desigualdades de desempenho; explorar relações entre qualidade do ensino e características dos municípios e escolas; verificar o quanto se oportunizam aprendizagens; observar determinantes de sucesso de escolas que atendem alunos de baixo nível socioeconômico; verificar o efeito escola no desempenho dos estudantes (especialmente nas variáveis raça e gênero); verificar melhoria de desempenho na relação com a implantação de avaliações externas estaduais; identificar variações entre os resultados obtidos e as metas estabelecidas; auxiliar a compreensão de educadores e sociedade sobre os resultados obtidos; e observar a efetividade das políticas públicas. Em relação especificamente ao ES, observou-se a análise dos resultados para: abordar a política de cotas; apoiar decisões de gestores e implementadores de políticas; apoiar a formulação de políticas de inclusão e de melhoria da aprendizagem; analisar variáveis que implicam o resultado; e verificar a qualidade da formação continuada.

No que concerne às respostas fornecidas em questionários contextuais, as análises foram encetadas para: cotejar as respostas com os resultados da avaliação; analisar informações fornecidas por diretores e alunos; cotejar as respostas com a incidência de bullying na escola; evidenciar singularidades de escolas organizadas em ciclos; avaliar o contexto escolar; e identificar elementos que implicam o processo ensino-aprendizagem.

Em nove artigos há a análise de itens de múltipla escolha dos testes e, em cinco, são abordadas as redações. O exame desses aspectos se deu, especialmente, com o intuito de analisar as propriedades dos itens, a validade de conteúdo e o potencial de escrita dos estudantes.

Os artigos que tratam exclusivamente da análise de resultados e/ou demais informações da avaliação se inserem na segunda geração de avaliação, como assinalado por Bonamino e Sousa (2012), na medida em que permitem a apropriação dos resultados e de outros aspectos das avaliações pelas famílias e a sociedade em geral, além de fomentar estudos que tomam esses dados como variáveis importantes para a apreensão do processo educacional e das políticas públicas de educação que nele incidem, sem estabelecer mecanismos de responsabilização com consequências fortes para profissionais da educação, escolas, estudantes e redes.

A seção a seguir expõe a discussão de artigos que avançam o debate para além das análises, evidenciando usos efetuados a partir dos resultados obtidos e/ou das informações produzidas pelas avaliações, de um lado, problematizando possíveis conexões a processos de responsabilização com “consequências fracas e fortes” e, de outro, relevando o potencial dessas avaliações de propiciar “[...] uma discussão informada sobre o currículo escolar” (BONAMINO; SOUSA, 2012, p. 373).

USO DOS RESULTADOS E/OU DEMAIS INFORMAÇÕES DA AVALIAÇÃO

Políticas de avaliação externa consequentes vão muito além da realização de provas, da compilação e análise dos dados e da divulgação dos resultados aferidos em relatórios e outros materiais destinados às escolas. Nesses termos, o esforço em investigar e buscar descrever eventuais tipos de apropriação de resultados desencadeados por avaliações externas amplia e diversifica a compreensão destas como “instrumentos” ou “políticas de gestão” no âmbito do processo decisório das secretarias de educação (SOUSA; OLIVEIRA, 2010; BROOKE; CUNHA, 2011) ou mesmo de instituições universitárias.

Como bem destaca Vianna (2003), as avaliações externas, para além de características normais relacionadas a diversos tipos de validade (de conteúdo, preditiva e de construto), devem ter, necessariamente, “validade consequencial”. Assim, as eventuais implicações dos instrumentos de avaliação externa utilizados e as expectativas neles depositadas demandam a identificação e análise dos eventuais efeitos que uma avaliação externa pode despertar no pensamento, nas atitudes e na ação dos diversos interessados, em especial dos agentes educacionais e escolares. Tais efeitos incidem na identificação de possíveis usos das avaliações externas e na consolidação de um campo específico de investigação que os toma como objeto de estudo (SILVA; CARVALHO, 2014).

No caso da EB, o cenário educacional brasileiro recente tem enfatizado a perspectiva de uma apropriação abrangente de avaliações externas em larga exscala, desde a adoção, em 2005, da Prova Brasil - aplicada à maior parte das escolas públicas nacionais -, em conjunto com o Saeb, mais antigo e de caráter amostral,5 que se soma a uma série de iniciativas de governos estaduais e municipais de criarem seus próprios sistemas de avaliação, muitos deles anteriores à própria Prova Brasil e que já possuíam um desenho avaliativo de caráter censitário.

Nesse sentido, é justamente a possibilidade de gerar dados referentes às unidades escolares, no caso da Prova Brasil, o que propicia a criação e divulgação do Ideb, que tem, notadamente, angariado repercussão e pautado, em alguma medida, diversas políticas educacionais em diferentes níveis de gestão da política educacional. Contudo, alguns aspectos verificados no desenho e divulgação do Saeb parecem não atender plenamente à expectativa de sistemas estaduais e municipais de educação na utilização de avaliações externas, tanto em termos mais gerenciais, como também em relação ao potencial pedagógico que as avaliações externas podem desencadear no âmbito das unidades escolares (GIMENES et al., 2013).

A EAE publicou 30 artigos que abordam, em diferentes vertentes, pesquisas e estudos que tomam por objeto um ou mais tipos de uso de avaliações externas e seus resultados. Desse total, apenas um artigo refere-se ao ES, estando os demais textos circunscritos à EB. O Gráfico 10 expõe a distribuição desses artigos, por ano de publicação.

Fonte: Elaboração dos autores.

GRÁFICO 10 Artigos que tratam dos uso de resultados e/ou demais informações da avaliação, por ano de publicação - 2007 a 2018 

Em 2007 foi publicado na EAE o primeiro artigo sobre usos de avaliações externas voltado a identificar consequências e implicações do Proeb (SOUZA, 2007). Destaca-se um aumento significativo de artigos sobre usos de avaliação externa na EB, notadamente a partir de 2010, algo que parece corroborar a consolidação, no Brasil, de uma “segunda geração de avaliação educacional”, caracterizada por inovações nos desenhos das avaliações externas, que “[...] incorporam a divulgação de resultados de modo a permitir comparações não apenas entre redes, mas entre escolas”, além da possibilidade de uma interferência mais direta “[...] no que as escolas fazem e em como o fazem” (BONAMINO; SOUSA, 2012, p. 380).

Dentre os 30 artigos presentes nessa categoria, apenas quatro foram classificados exclusivamente em uso dos resultados e/ou demais informações da avaliação, sendo que a maioria contemplou duas ou mais classificações, como visto anteriormente. Ademais, a própria categoria demandou sua divisão interna em três núcleos de sentido que discriminam tipos distintos de usos, em meio a diferentes instituições e instâncias de gestão educacional. Seriam eles: usos de avaliações externas feitos pela gestão educacional e implicações de políticas de avaliação; uso de avaliações externas em instituições escolares e universitárias; e uso de avaliações externas por parte de professores.

Assim, verifica-se um conjunto de 26 artigos que abordam, dentre outras classificações possíveis, usos de avaliações externas feitos pela gestão educacional e implicações de políticas de avaliação, todos referentes à EB. Essa categoria busca agrupar tanto os tipos de apropriação das avaliações e seus resultados por parte de secretarias de educação, como as implicações da presença de avaliações nas redes de ensino, aqui tomadas como seus possíveis desdobramentos.

Em meio à evidência de que a “[...] avaliação em larga escala vem se consolidando como instrumento de gestão educacional nas municipalidades” (BAUER et al., 2015, p. 238), diferentes usos por parte de secretarias estaduais e municipais de educação são verificados. Em parte, tais usos compreenderiam uma interpretação mais geral e crítica em torno dos aspectos de regulação e controle envolvidos no uso das avaliações, dentre os quais destacamos: a adoção dos resultados das avaliações externas como critério para aprovação escolar; o foco de avaliações externas voltado estritamente aos componentes curriculares prescritos (SANTOS; SABIA, 2015) e/ou avaliados (GARCIA et al., 2018); o pouco conhecimento técnico de avaliações externas por parte de setores intermediários de gestão para orientação e apoio às escolas (ROSISTOLATO; PRADO; FERNÁNDEZ, 2014; BAUER, 2008); ou a supervalorização das matrizes das provas aplicadas (VIDAL; VIEIRA, 2011).

Algumas pesquisas destacam certos efeitos e implicações de políticas de avaliação, tais como: o favorecimento “[...] da manutenção de processos de exclusão escolar” a partir de dados relativos à EJA (PEREIRA; OLIVEIRA, 2018, p. 532); a associação existente entre o desempenho dos alunos em testes de proficiência do Sistema Mineiro de Avalição Escolar (Simave) e o conhecimento que professores detêm sobre essa avaliação (FERNANDES et al., 2010); e o incremento de resultados de aprendizagem, em determinados contextos da rede estadual paulista, por parte de professores que foram submetidos à formação continuada do programa Letra e Vida (BAUER, 2012).

Em outro sentido, identificam-se, em parte dos artigos, alguns usos ou tentativas de utilização promissoras, como a conscientização de diferentes atores institucionais sobre os problemas educacionais e escolares a partir dos resultados de avaliações externas (MARQUES; AGUIAR; CAMPOS, 2009), a necessidade de se repensarem as ações pedagógicas que possam ter efeitos na aprendizagem dos alunos (SOUSA; PIMENTA; MACHADO, 2012) e a consolidação de uma cultura de avaliação potencialmente capaz de mobilizar professores, escolas e gestores sobre a importância de instrumentos de avaliação externa para melhoria da qualidade educacional (VIDAL; FARIAS, 2008; SOUZA, 2007).

Em meio a abordagens metodológicas qualitativas, boa parte dos artigos busca captar e identificar o que pensam os agentes institucionais ligados à gestão educacional acerca das avaliações externas a que são submetidos e suas eventuais consequências e desdobramentos no cotidiano escolar. São exemplos um estudo em que se busca analisar a utilização dos resultados do PISA, a partir de documentos oficiais e percepção de gestores (ARAÚJO; TENÓRIO, 2017) e trabalhos que, por meio de entrevistas ou grupos focais direcionados a gestores de secretarias de educação, procuram captar reflexos e concepções desses agentes quanto ao constrangimento e controle curricular ensejados por avaliações externas (CERDEIRA; ALMEIDA; COSTA, 2014; AMARO, 2013).

Sete artigos se debruçam sobre o uso de avaliações externas em instituições escolares e universitárias, contemplando abordagens que buscam analisar: a relação entre o conhecimento técnico sobre as avaliações em larga escala e o uso efetivo dos indicadores por elas produzidos (CERDEIRA et al., 2017); como as avaliações externas afetam a orientação, o planejamento e os encaminhamentos tomados em horas de trabalho pedagógico coletivo (CUNHA; BARBOSA; FERNANDES, 2015; SANTOS; SABIA, 2015); as visões de diferentes gestores escolares sobre as avaliações em larga escala e seus reflexos no cotidiano escolar (ROSISTOLATO; PRADO; FERNÁNDEZ, 2014; BIRMAN; LOPES, 2013; CATUNDA, 2010) e em desempenhos escolares aferidos; e a conscientização de instituições escolares e seus atores em relação aos resultados de avaliação. Um estudo referente ao ES buscou identificar o uso dos dados do Enade na gestão de cinco instituições universitárias (SOUSA; SOUSA, 2012).

Provavelmente, um dos usos que mais desperta a atenção por parte de secretarias de educação seria a bonificação de professores, tendo como um de seus critérios o resultado obtido em avaliações externas. Não raro, o surgimento de avaliações externas em estados e municípios é motivado pela possibilidade de se premiar o desempenho obtido, em meio a outros critérios comumente encontrados, em especial a assiduidade docente. Metade dos artigos referentes a esse agrupamento se debruçou sobre essa temática de forma mais detida e em múltiplos formatos de pesquisa. Destacam-se aqui dois estudos (FURTADO; SOARES, 2018; KOSLINSKI; RIBEIRO; OLIVEIRA, 2017) que indicam pequenas melhoras de desempenho em função da bonificação, ao passo que Sousa, Maia e Haas (2014) não encontraram melhoras significativas nos resultados a partir do oferecimento de bônus na rede estadual de São Paulo.

De forma geral, esse conjunto de artigos enfatiza os aspectos polêmicos envolvidos nesse tipo de política, recomendando desde ajustes em seu desenho e funcionamento, até o alerta de que a bonificação mediante resultados de avaliação pode provocar “[...] desigualdades sistêmicas ainda maiores por incentivar os melhores professores a procurarem as escolas com alunos de nível socioeconômico mais alto” (SOUSA; MAIA; HAAS, 2014, p. 201).

Ainda que de modo diminuto, pode-se perceber, em cinco trabalhos, um enfoque que contempla o uso de avaliações externas por parte de professores, mesmo que considerem também a percepção das avaliações por parte de outros agentes institucionais, presentes na gestão escolar ou educacional. Nesse aspecto, destacam-se a reflexão sobre práticas pedagógicas e mudanças de perspectivas metodológicas provocadas por resultados de avaliações (BIRMAN; LOPES, 2013; CARVALHO; MACEDO, 2010; MARQUES; AGUIAR; CAMPOS, 2009) e a visão de professores acerca dos possíveis efeitos das avaliações externas sobre o planejamento pedagógico e reuniões pedagógicas. Dentre esses estudos, ressalta-se o trabalho de Santos e Sabia (2015), que busca tipificar e detalhar, em uma perspectiva crítica: os usos e efeitos da utilização do Saresp como critério de aprovação (ou não) ao final do ciclo escolar; a utilização da avaliação externa como modelo para elaboração de novas provas; a realização de treinamento dos alunos para as provas; e o foco no currículo prescrito, com direcionamento e controle do trabalho do professor, limitando sua autonomia.

De maneira geral, os artigos que abordam usos e consequências provocadas pelas avaliações externas referidas à educação básica coincidem com o quadro classificatório que estipula uma segunda e terceira gerações de avaliação (BONAMINO; SOUSA, 2012), cujos modelos e desenhos permitem a disponibilização e/ou devolução dos resultados às unidades escolares. No caso da segunda geração, esses resultados não acarretariam consequências materiais às escolas, mas apenas consequências simbólicas, que decorreriam da própria publicidade dos resultados, da eventual mobilização das equipes escolares para a melhoria de seu planejamento pedagógico e práticas cotidianas, bem como do acompanhamento e eventual pressão por parte da comunidade escolar para a melhoria dos resultados. Em relação à terceira geração de avaliação - cujo exemplo notório no caso brasileiro são as políticas de bonificação docente -, verifica-se o uso de resultados que incidem em sanções ou recompensas em função do desempenho alcançado pelas unidades escolares, implicando consequências materiais aos atores escolares.

Em que pese o fato de que o volume de artigos relativos aos possíveis e/ou eventuais usos de avaliações externas seja notadamente diminuto, em face do conjunto de pesquisas publicadas na EAE, pode-se verificar que, conforme aumentam e se aprofundam as investigações voltadas a essa temática, diferentes tipos de utilização de avaliações externas vão sendo criados e demandados não apenas pelo próprio movimento de gestão, aperfeiçoamento e implementação das políticas de avaliação, mas também a partir da autonomia de escolas e seus profissionais.

CONSIDERAÇÕES FINAIS

O artigo demonstra a contribuição da EAE na consolidação da temática das avaliações externas no Brasil. É possível ressaltar o protagonismo da Fundação Carlos Chagas nessa discussão, materializado, dentre outras questões, na atuação do pesquisador Heraldo Vianna, tanto no campo da investigação quanto no fomento ao debate público sobre avaliação de sistemas educacionais. Trata-se de um movimento que contribuiu diretamente para a consolidação desse campo de estudos no Brasil, sempre em articulação com os debates internacionais.

Não obstante o fato de a EAE, ao longo desses 30 anos, ter publicado artigos sobre avaliação externa escritos por autores de diferentes estados brasileiros, evidencia-se uma maior concentração de produções oriundas da região Sudeste do país, especialmente do estado de São Paulo, seguido por Minas Gerais. Isso não quer dizer que as demais regiões não desenvolvam estudos e pesquisas acerca dessa temática, mas sim que o montante maior de artigos aprovados para publicação no periódico se concentra no Sudeste, o que pode indicar, em alguma medida, a necessidade de a EAE divulgar, com maior ênfase, o seu escopo de publicação para instituições de outras regiões, buscando agregar pesquisadores e estudiosos do campo da avaliação educacional com potencial de contribuir para o debate sobre avaliação externa nos diferentes estados e regiões do Brasil.

Durante a análise, tivemos como eixo norteador a discussão sobre as “três gerações de avaliação” trazida por Bonamino e Sousa (2012), sendo possível verificar que a hipótese das autoras permanece sustentável. A EAE publicou investigações situadas em cada uma das gerações, com menor ênfase na terceira, que estaria mais relacionada aos usos dos indicadores e processos de responsabilização. É mister salientar a presença de artigos relativos à avaliação do ensino superior, que trazem argumentos convergentes com aqueles que discutem a educação básica, ainda que fora do escopo analítico apontado pelas autoras.

Ao final, é possível afirmar que os sistemas de avaliação em larga escala, embora estejam consolidados no Brasil, ainda enfrentam dificuldades relacionadas aos usos dos indicadores educacionais. Os desenhos das políticas de avaliação envolvem a aplicação das provas, sua correção, a divulgação dos dados de desempenho dos alunos e, por vezes, consequências para os professores. Porém não trazem necessariamente propostas e metodologias para o uso dos dados em termos pedagógicos e na avaliação das políticas. Dessa forma, secretarias de educação, escolas e professores apenas recebem os dados, mas não os convertem em ações práticas. Tal cenário reverbera no menor número de investigações sobre usos de dados e nas lacunas de conhecimento sobre essa temática no Brasil.

1 ROCHA, Gladys. Avaliação externa. In: CENTRO DE ALFABETIZAÇÃO, LEITURA E ESCRITA. Glossário Ceale: termos de alfabetização, leitura e escrita para educadores. Belo Horizonte: UFMG/Ceale, 2016. Disponível em: https://www.ceale.fae.ufmg.br/glossarioceale/verbetes/avaliacao-externa. Acesso em: 5 maio 2020.

2 Disponível em: http://portal.inep.gov.br/pisa. Acesso em: 9 jul. 2020.

3 Os rótulos foram diretamente inspirados em Ribeiro e Pimenta (2011).

4 Atualmente ensino médio.

5 Em 2005, o Saeb passou a ser composto por duas avaliações, a Avaliação Nacional da Educação Básica (Aneb), de caráter amostral, e a Avaliação Nacional do Rendimento Escolar (Anresc), também denominada de Prova Brasil, cujo desenho censitário permite a mensuração de resultados por unidade escolar. Em 2019, as siglas Aneb e Anresc deixaram de existir, sendo identificadas apenas pelo nome Saeb, acompanhado das etapas, áreas de conhecimento e tipos de instrumentos envolvidos.

REFERÊNCIAS

ALLEN, Nancy. Avaliação de desempenho escolar. Estudos em Avaliação Educacional, São Paulo, n. 13, p. 143-148, jan./jun. 1996. DOI: https://doi.org/10.18222/eae01319962294Links ]

AMARO, Ivan. Avaliação externa da escola: repercussões, tensões e possibilidades. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 54, p. 32-55, abr. 2013. DOI: [ Links ]

ARAÚJO, Maria de Lourdes Haywanon Santos; TENÓRIO, Robinson Moreira. Resultados brasileiros no Pisa e seus (des)usos. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 68, p. 344-380, maio/ago. 2017. DOI: https://doi.org/10.18222/eae.v28i68.4553Links ]

ARCAS, Paulo Henrique. Saresp e progressão continuada: implicações na avaliação escolar. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 47, p. 473-488, set./dez. 2010. DOI: https://doi.org/10.18222/eae214720102459Links ]

AVENA, Cláudio Pondé. Alocação do tempo para estudo e desempenho no vestibular: evidências a partir da Universidade Federal da Bahia. Estudos em Avaliação Educacional, São Paulo, v. 15, n. 30, p. 131-162, set./dez. 2004. DOI: https://doi.org/10.18222/eae153020042154Links ]

BAETA, Anna M. Bianchini. Pressupostos teóricos e implicações práticas do modelo Saeb - 2001. Estudos em Avaliação Educacional, São Paulo, n. 25, p. 23-42, jan./jun. 2002. DOI: https://doi.org/10.18222/eae02520022190Links ]

BAUER, Adriana. Uso dos resultados do Saresp e formação de professores: a visão dos níveis centrais. Estudos em Avaliação Educacional, São Paulo, v. 19, n. 41, p. 483-498, set./dez. 2008. DOI: https://doi.org/10.18222/eae194120082073Links ]

BAUER, Adriana. Avaliação de impacto de programas de formação docente em serviço: uma proposta metodológica. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 53, p. 104-125, set./dez. 2012. DOI: https://doi.org/10.18222/eae235320121917Links ]

BAUER, Adriana; PIMENTA, Cláudia Oliveira; HORTA NETO, João; SOUSA, Sandra Zákia Lian. Avaliação em larga escala em municípios brasileiros: o que dizem os números? Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 326-352, maio/ago. 2015. DOI: http://dx.doi.org/10.18222/eae266203207Links ]

BAUER, Adriana; SILVA, Vandré Gomes da. Saeb e qualidade de ensino: algumas questões. Estudos em Avaliação Educacional, São Paulo, v. 16, n. 31, p. 133-152, jan./jun. 2005. DOI: https://doi.org/10.18222/eae163120052145Links ]

BAUTHENEY, Katia Cristina Silva Forli. Incongruências no discurso sobre qualidade da educação brasileira. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 57, p. 138-162, jan./abr. 2014. DOI: https://doi.org/10.18222/eae255720142827Links ]

BEISIEGEL, Celso de Rui. Uma política de vestibulares para a Universidade de São Paulo (USP). Estudos em Avaliação Educacional, São Paulo, n. 11, p. 9-14, jan./jun. 1995. DOI: https://doi.org/10.18222/eae01119952308Links ]

BESSA, Nícia M. Acesso ao ensino superior no Brasil. Estudos em Avaliação Educacional, São Paulo, n. 1, p. 47-62, jan./jun. 1990a. DOI: https://doi.org/10.18222/eae00119902407Links ]

BESSA, Nícia M. Comentários sobre a proposta da Orealc/Unesco para medição de qualidade em educação. Estudos em Avaliação Educacional, São Paulo, n. 2, p. 91-98, jul./dez. 1990b. DOI: https://doi.org/10.18222/eae00219902395Links ]

BESSA, Nícia M. Seminário Nacional sobre Medidas Educacionais: temas para discussão. Estudos em Avaliação Educacional, São Paulo, n. 5, p. 77-80, jan./jun. 1992. DOI: https://doi.org/10.18222/eae00519922365Links ]

BIRMAN, Eliane; LOPES, Isa Cristina da Rocha. Multicurso matemática: avaliação e aprimoramento. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 54, p. 276-303, jan./abr. 2013. DOI: https://doi.org/10.18222/eae245420131911Links ]

BONAMINO, Alicia; SOUSA, Sandra Zákia. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, jan./jun. 2012. [ Links ]

BROOKE, Nigel. Sobre a equidade e outros impactos dos incentivos monetários para professores. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 55, p. 34-62, maio/ago. 2013. DOI: https://doi.org/10.18222/eae245520132719Links ]

BROOKE, Nigel; CUNHA, Maria Amália. A avaliação externa como instrumento da gestão educacional nos estados. Estudos & Pesquisas Educacionais, São Paulo, n. 2, p. 17-79, nov. 2011. [ Links ]

BURLAMAQUI, Marco Guilherme Bravo. Avaliação e qualidade na educação superior: tendências na literatura e algumas implicações para o sistema de avaliação brasileiro. Estudos em Avaliação Educacional, São Paulo, v. 19, n. 39, p. 133-154, set./dez. 2008. DOI: https://doi.org/10.18222/eae193920082473Links ]

CALMON, João. A educação brasileira: algumas considerações. Estudos em Avaliação Educacional, São Paulo, n. 2, p. 7-9, jul./dez. 1990. DOI: https://doi.org/10.18222/eae00219902388Links ]

CARVALHO, Gisele Francisca da Silva; MACEDO, Maria do Socorro Alencar Nunes. Avaliação oficial: o que dizem os mediadores da política pública sobre o impacto na prática docente. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 46, p. 253-270, maio/ago. 2010. DOI: https://doi.org/10.18222/eae214620102012Links ]

CATUNDA, Arturo Cavalcanti. Ampliando o conceito de competência: contribuições às políticas públicas de certificação de competências. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 45, p. 107-126, jan./abr. 2010. DOI: https://doi.org/10.18222/eae214520102029Links ]

CERDEIRA, Diana Gomes da Silva; ALMEIDA, Andrea Baptista de; COSTA, Marcio da. Indicadores e avaliação educacional: percepções e reações a políticas de responsabilização. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 57, p. 198-225, jan./abr. 2014. DOI: https://doi.org/10.18222/eae255720142845Links ]

CERDEIRA, Diana Gomes da Silva; PRADO, Ana Pires; ROSISTOLATO, Rodrigo Pereira da Rocha; TAVARES, Mayara de Oliveira; COSTA, Marcio da. Conhecimento e uso de indicadores educacionais no município do Rio de Janeiro. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 69, p. 926-968, set./dez. 2017. DOI: https://doi.org/10.18222/eae.v0ix.4104Links ]

CUNHA, Renata Cristina Oliveira Barrichelo; BARBOSA, Andreza; FERNANDES, Maria José da Silva. Implicações das avaliações externas para o trabalho docente coletivo. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 386-416, maio/ago. 2015. DOI: https://doi.org/10.18222/eae266203288Links ]

DALBEN, Adilson; ALMEIDA, Luana Costa. Para uma avaliação de larga escala multidimensional. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 61, p. 12-28, jan./abr. 2015. DOI: https://doi.org/10.18222/eae266103140Links ]

DARLING-HAMMOND, Linda; ASCHER, Carol. Construindo sistemas de controle em escolas urbanas. Estudos em Avaliação Educacional, São Paulo, v. 17, n. 35, p. 7-48, set./dez. 2006. DOI: https://doi.org/10.18222/eae173520062107Links ]

DEPRESBITERIS, Léa. A avaliação na educação básica: ampliando a discussão. Estudos em Avaliação Educacional, São Paulo, n. 24, p. 137-146, jul./dez. 2001. DOI: https://doi.org/10.18222/eae02420012203Links ]

ESTUDOS EM AVALIAÇÃO EDUCACIONAL - EAE. Sistema de avaliação do rendimento escolar do Estado de São Paulo: documento de implantação. Estudos em Avaliação Educacional, São Paulo, n. 13, p. 121-136, jan./jun. 1996. DOI: https://doi.org/10.18222/eae01319962293Links ]

ESTUDOS EM AVALIAÇÃO EDUCACIONAL - EAE. Editorial. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 47, p. 423-424, set./dez. 2010. DOI: https://doi.org/10.18222/eae214720102456Links ]

ESTUDOS EM AVALIAÇÃO EDUCACIONAL - EAE. Editorial. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 51, p. 6-8, jan./abr. 2012. DOI: https://doi.org/10.18222/eae235120121941Links ]

ESTUDOS EM AVALIAÇÃO EDUCACIONAL - EAE. Editorial. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 68, p. 294-298, maio/ago. 2017. DOI: https://doi.org/10.18222/eae.v28i68.4930Links ]

FERNANDES, Neimar da Silva; SOARES, Tufi Machado; PENA, Anderson Córdova; CUNHA, Iago Carvalho. O conhecimento do professor em avaliação educacional e a proficiência do aluno. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010. DOI: https://doi.org/10.18222/eae214720102464Links ]

FURTADO, Clayton Sirilo do Valle; SOARES, Tufi Machado. Impacto da bonificação educacional em Pernambuco. Estudos em Avaliação Educacional, São Paulo, v. 29, n. 70, p. 48-76, jan./abr. 2018. DOI: https://doi.org/10.18222/eae.v0ix.3940Links ]

GALVÃO, Taís Freire; PEREIRA, Mauricio Gomes. Revisões sistemáticas da literatura: passos para sua elaboração. Epidemiologia e Serviços de Saúde, Brasília, v. 23, n. 1, p.183-184, 2014. [ Links ]

GARCIA, Paulo Sérgio; FAZIO, Xavier; PANIZZON, Debra; BIZZO, Nelio. Austrália, Brasil e Canadá: impacto das avaliações no ensino de ciências. Estudos em Avaliação Educacional, São Paulo, v. 29, n. 70, p. 188-221, jan./abr. 2018. DOI: https://doi.org/10.18222/eae.v0ix.4824Links ]

GATTI, Bernardete A. Desenvolvimento de projeto de avaliação do sistema educacional no Estado de São Paulo. Estudos em Avaliação Educacional, São Paulo, n. 13, p. 13-18, jan./jun. 1996. DOI: https://doi.org/10.18222/eae01319962289Links ]

GIMENES, Nelson; SILVA, Vandré Gomes da; PRÍNCIPE, Lisandra Marisa; LOUZANO, Paula; MORICONI, Gabriela Miranda. Além da Prova Brasil: investimento em sistemas próprios de avaliação externa. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 55, p. 12-32, maio/ago. 2013. DOI: https://doi.org/10.18222/eae245520132718Links ]

GOULART, Íris Barbosa. Ciclo básico de alfabetização: lições de uma avaliação. Estudos em Avaliação Educacional, São Paulo, n. 6, p. 3-8, jul./dez. 1992. DOI: https://doi.org/10.18222/eae00619922352Links ]

KOSLINSKI, Mariane Campelo; RIBEIRO, Eduardo; OLIVEIRA, Luisa Xavier de. Indicadores educacionais e responsabilização escolar: um estudo do “Prêmio Escola Nota Dez”. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 69, p. 804-846, set./dez. 2017. DOI: https://doi.org/10.18222/eae.v28i69.4087Links ]

LEE, Valerie E. Dados longitudinais em educação: um componente essencial da abordagem de valor agregado no que se refere à avaliação de desempenho escolar. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 47, p. 531-542, set./dez. 2010. DOI: https://doi.org/10.18222/eae214720102462Links ]

LEITÃO, Thiago Miguel Sabino de Pereira; MORICONI, Gabriela Miranda; ABRÃO, Mariângela; SILVA, Dayse Souza da. Análise acerca do boicote dos estudantes aos exames de avaliação do ensino superior. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 45, p. 87-105, jan./abr. 2010. DOI: https://doi.org/10.18222/eae214520102028Links ]

LESER, Walter Sidney Pereira. O início dos testes de múltipla escolha no acesso à universidade. Estudos em Avaliação Educacional, São Paulo, n. 11, p. 15-22, jan./jun. 1995. DOI: https://doi.org/10.18222/eae01119952309Links ]

LOCATELLI, Iza. Construção de instrumentos para a avaliação de larga escala e indicadores de rendimento: o modelo Saeb. Estudos em Avaliação Educacional, São Paulo, n. 25, p. 3-21, jan./jun. 2002. DOI: https://doi.org/10.18222/eae02520022189Links ]

MALUF, Mônica Maia Bonel. Sistema Nacional de Avaliação da Educação Básica no Brasil: análise e proposições. Estudos em Avaliação Educacional, São Paulo, n. 14, p. 5-38, jul./dez. 1996. DOI: https://doi.org/10.18222/eae01419962280Links ]

MANDEL, Lúcia Mara; MALUF, Mônica Maia Bonel. Avaliação do rendimento de alunos das escolas padrão: o caso de São Paulo. Estudos em Avaliação Educacional, São Paulo, n. 10, p. 103-122, jul./dez. 1994. DOI: https://doi.org/10.18222/eae01019942322Links ]

MARQUES, Cláudio de Albuquerque; AGUIAR, Rui Rodrigues; CAMPOS, Márcia Oliveira Cavalcante. Programa Alfabetização na Idade Certa: concepções, primeiros resultados e perspectivas. Estudos em Avaliação Educacional, São Paulo, v. 20, n. 43, p. 275-291, ago. 2009. DOI: https://doi.org/10.18222/eae204320092049Links ]

MARTINS, Edivaldo Cesar Camarotti; CALDERÓN, Adolfo Ignacio. Boas práticas escolares e avaliação em larga escala: a literatura ibero-americana em questão. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 264-293, maio/ago. 2015. DOI: https://doi.org/10.18222/eae266203022Links ]

MARTINS, Marcus Leonardo Bomfim; GABRIEL, Carmen Teresa. Saerjinho: sentidos de avaliação em disputa. Estudos em Avaliação Educacional, São Paulo, v. 27, n. 64, p. 160-186, jan./abr. 2016. DOI: https://doi.org/10.18222/eae.v27i64.3416Links ]

MINHOTO, Maria Angélica Pedra. Políticas de avaliação em larga escala e institucional: perfil da produção na pós-graduação. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 294-324, maio/ago. 2015. DOI: https://doi.org/10.18222/eae266203043Links ]

MORAES, Gustavo Henrique; CORDAZZO, Taciana; WOLLINGER, Paulo Roberto. A avaliação da educação superior pelo mundo do trabalho. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 61, p. 124-144, jan./abr. 2015. DOI: https://doi.org/10.18222/eae266102973Links ]

MORRIS, Paul. Política educacional, exames internacionais de desempenho e a busca da escolarização de classe mundial: uma análise crítica. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 68, p. 302-342, maio/ago. 2017. DOI: https://doi.org/10.18222/eae.v28i68.4696Links ]

NEUBAUER, Rose; DAVIS, Claudia; ESPÓSITO, Yara Lúcia. Avaliação do processo de inovações no ciclo básico e seu impacto sobre a situação de ensino-aprendizagem na Região Metropolitana de São Paulo. Estudos em Avaliação. Educacional, São Paulo, n. 13, p. 35-64, jan./jun. 1996. DOI: https://doi.org/10.18222/eae01319962290Links ]

NOVAES, Gláucia Torres Franco. Apresentação. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014. DOI: https://doi.org/10.18222/eae246020143306Links ]

ORTEGA, Eliane Maria Vani. O ensino médio público e o acesso ao ensino superior. Estudos em Avaliação Educacional, São Paulo, n. 23, p. 153-176, jan./jun. 2001. DOI: https://doi.org/10.18222/eae02320012213Links ]

PEREIRA, Talita Vidal; OLIVEIRA, Roberta Avoglio Alves. Juvenilização da EJA como efeito colateral das políticas de responsabilização. Estudos em Avaliação Educacional, São Paulo, v. 29, n. 71, p. 528-553, maio/ago. 2018. DOI: https://doi.org/10.18222/eae.v0ix.5013Links ]

PIMENTA, Cláudia Oliveira. Avaliações externas e o trabalho de coordenadores pedagógicos: estudo em uma rede municipal paulista. 2012. 141 f. Dissertação (Mestrado em Educação) - Universidade de São Paulo, São Paulo, 2012. [ Links ]

PINHO FILHO, Alceu Gonçalves de. O vestibular da Universidade de São Paulo: modelo adotado em 1995. Estudos em Avaliação Educacional, São Paulo, n. 11, p. 53-92, jan./jun. 1995. DOI: https://doi.org/10.18222/eae01119952313Links ]

RIBEIRO, Sérgio Costa. Reflexões sobre o vestibular para as universidades no Brasil. Estudos em Avaliação Educacional, São Paulo, n. 11, p. 41-46, jan./jun. 1995. DOI: https://doi.org/10.18222/eae01119952311Links ]

RIBEIRO, Vanda Mendes; PIMENTA, Cláudia Oliveira. Potencialidades e limites do Ideb: analisando o que pensam gestores educacionais de municípios com melhores resultados no Estado de São Paulo. In: REUNIÃO ANUAL DA ANPED, 34., 2011, Natal. Anais [...]. Natal: Anped, 2011. v. 1. Tema: Educação e Justiça Social. [ Links ]

ROSISTOLATO, Rodrigo; PRADO, Ana Pires do; FERNÁNDEZ, Silvina Julia. Cobranças, estratégias e “jeitinhos”: avaliações em larga escala no Rio de Janeiro. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 59, p. 78-107, set./dez. 2014. DOI: https://doi.org/10.18222/eae255920142853Links ]

SANTOS, Cássio M. dos. A aparente responsabilidade do vestibular na elitização da universidade pública: uma análise dos dados da Universidade Estadual Paulista - Vunesp/1993. Estudos em Avaliação Educacional, São Paulo, n. 15, p. 227-254, jan./jun. 1997. DOI: https://doi.org/10.18222/eae01519972278Links ]

SANTOS, Uillians Eduardo dos; SABIA, Claudia Pereira de Pádua. Percurso histórico do Saresp e as implicações para o trabalho pedagógico em sala de aula. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 354-385, maio/ago. 2015. DOI: https://doi.org/10.18222/eae266203006Links ]

SILVA, Vandré Gomes da. A narrativa instrumental da qualidade na educação. Estudos em Avaliação Educacional, São Paulo, v. 19, n. 40, p. 191-221, maio/ago. 2008. DOI: https://doi.org/10.18222/eae194020082076Links ]

SILVA, Vandré Gomes da; CARVALHO, Cynthia Paes de. Usos e efeitos das avaliações externas como objeto de pesquisa. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 59, p. 12-21, set./dez. 2014. DOI: https://doi.org/10.18222/eae255920143154Links ]

SOUSA, Beatriz Pereira Batista de; SOUSA, José Vieira de. Resultados do Enade na gestão acadêmica de cursos de licenciaturas: um caso em estudo. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 232-253, maio/ago. 2012. DOI: https://doi.org/10.18222/eae235220121938Links ]

SOUSA, Sandra Zákia; ARCAS, Paulo Henrique. Implicações da avaliação em larga escala no currículo: revelações de escolas estaduais de São Paulo. Educação: Teoria e Prática, Rio Claro, SP, v. 20, n. 35, p. 181-199, jul./dez. 2010. [ Links ]

SOUSA, Sandra Zákia; MAIA, Marcia Maria Vieira da; HAAS, Celia Maria. Avaliação, índices e bonificação: controvérsias suscitadas por dados da rede estadual paulista. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 58, p. 188-209, maio/ago. 2014. DOI: https://doi.org/10.18222/eae255820142772Links ]

SOUSA, Sandra Zákia; OLIVEIRA, Romualdo Portela de. Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, São Paulo, v. 40, n. 141, p. 793-822, set./dez. 2010. [ Links ]

SOUSA, Sandra Zákia; PIMENTA, Cláudia Oliveira; MACHADO, Cristiane. Avaliação e gestão municipal da educação. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 53, p. 14-36, set./dez. 2012. DOI: https://doi.org/10.18222/eae235320121913Links ]

SOUZA, Maria Alba de. Avaliação do rendimento do aluno da escola pública estadual de Minas Gerais no período de 1991-1998: a experiência e seus ensinamentos. Estudos em Avaliação Educacional, São Paulo, v. 18, n. 37, p. 41-90, maio/ago. 2007. DOI: https://doi.org/10.18222/eae183720072091Links ]

VALENTE, Silza Maria Pasello. A avaliação da aprendizagem no contexto da reforma educacional brasileira. Estudos em Avaliação Educacional, São Paulo, n. 28, p. 75-88, jul./dez. 2003. DOI: https://doi.org/10.18222/eae02820032170Links ]

VALLE, Raquel da Cunha. A construção e a interpretação das escalas de conhecimento: considerações gerais e uma visão do que vem sendo feito no Saresp. Estudos em Avaliação Educacional, São Paulo, n. 23, p. 71-92, jan./jun. 2001. DOI: https://doi.org/10.18222/eae02320012208Links ]

VIANNA, Heraldo Marelim. Avaliação do rendimento escolar de alunos da 3ª série do 2º grau: subsídios para uma discussão. Estudos em Avaliação Educacional, São Paulo, n. 3, p. 71-102, jan./jun. 1991. DOI: https://doi.org/10.18222/eae00319912384Links ]

VIANNA, Heraldo Marelim. Os novos modelos de vestibular: preocupações metodológicas. Estudos em Avaliação Educacional, São Paulo, n. 11, p. 47-52, jan./jun. 1995a. DOI: https://doi.org/10.18222/eae01119952312Links ]

VIANNA, Heraldo Marelim. Avaliação educacional: uma perspectiva histórica. Estudos em Avaliação Educacional, São Paulo, n. 12, p. 7-24, jul./dez. 1995b. DOI: https://doi.org/10.18222/eae01219952297Links ]

VIANNA, Heraldo Marelim. Programas de avaliação em larga escala: algumas considerações. Estudos em Avaliação Educacional, São Paulo, n. 23, p. 93-104, jan./jun. 2001. DOI: https://doi.org/10.18222/eae02320012209Links ]

VIANNA, Heraldo Marelim. Avaliações nacionais em larga escala: análises e propostas. Estudos em Avaliação Educacional, São Paulo, n. 27, p. 41-76, jan./jun. 2003. DOI: https://doi.org/10.18222/eae02720032177Links ]

VIANNA, Heraldo Marelim. Fundamentos de um programa de avaliação educacional. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 60, p. 56-70, set./dez. 2014. DOI: https://doi.org/10.18222/eae246020143314Links ]

VIDAL, Eloísa Maia; FARIAS, Isabel Maria Sabino de. Avaliação da aprendizagem e política educacional: desafios para uma nova agenda. Estudos em Avaliação Educacional, São Paulo, v. 19, n. 40, p. 223-246, maio/ago. 2008. DOI: https://doi.org/10.18222/eae194020082077Links ]

VIDAL, Eloisa Maia; VIEIRA, Sofia Lerche. Gestão educacional e resultados no Ideb: um estudo de caso em dez municípios cearenses. Estudos em Avaliação Educacional, São Paulo, v. 22, n. 50, p. 419-434, set./dez. 2011. DOI: https://doi.org/10.18222/eae225020111963Links ]

VIZCARRA HERLES, Nina Eleonor; PEREIRA, Elisabete Monteiro de Aguiar. Fundamentos en sistemas de evaluación de la educación superior: Colombia y Argentina. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 51, p. 138-166, jan./abr. 2012. DOI: https://doi.org/10.18222/eae235120121952Links ]

Recebido: 05 de Julho de 2021; Aceito: 10 de Maio de 2022

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.