INTRODUÇÃO
O incremento e a consolidação das avaliações externas no Brasil se confundem com o surgimento e a trajetória da revista Estudos em Avaliação Educacional (EAE), em 1990, pioneira na divulgação de estudos e pesquisas sobre avaliações externas no cenário nacional.
Este artigo faz parte das comemorações dos 30 anos da fundação desse importante periódico e tem como objetivo identificar e interpretar as tendências mais expressivas e os aspectos relevantes das temáticas discutidas na revista nas últimas três décadas. Entende-se que as investigações divulgadas durante esse período contribuíram para a consolidação do campo da avaliação educacional no Brasil.
O texto não constitui uma revisão sistemática em termos estritos. Uma revisão sistemática é um estudo secundário, que utiliza estudos primários como principal fonte de organização e investigação (GALVÃO; PEREIRA, 2014), sendo realizada com base em uma temática de pesquisa, cuja ideia é mapear o conjunto de debates, incluindo questões teóricas, metodológicas e empíricas relacionadas ao tema. Tem como foco uma ou mais plataformas que agreguem revistas acadêmicas nacionais e internacionais - SciELO (Scientific Electronic Library Online), Scopus, entre outras - e visa, a partir de um recorte temporal preciso, a oferecer um panorama das discussões acadêmicas relacionadas ao tema.
Galvão e Pereira (2014, p. 2) afirmam que uma revisão sistemática envolve oito momentos sucessivos e complementares. São eles:
[...] (1) elaboração da pergunta de pesquisa; (2) busca na literatura; (3) seleção dos artigos; (4) extração dos dados; (5) avaliação da qualidade metodológica; (6) síntese dos dados (metanálise); (7) avaliação da qualidade das evidências; e (8) redação e publicação dos resultados.
No caso específico do presente estudo, a EAE foi escolhida como campo empírico exclusivo. Trata-se de uma investigação que procura oferecer um panorama sobre a trajetória da revista, que constitui um periódico reconhecido no campo educacional brasileiro e uma referência nos debates sobre avaliação. É também importante frisar que não foram utilizados mecanismos de busca de artigos como em uma revisão sistemática em termos estritos. Ao contrário, foram verificadas todas as edições da EAE até 2018, tendo sido seguidos os passos posteriores de uma revisão sistemática até a redação e publicação dos resultados. Tem-se, portanto, um artigo que considerou os debates metodológicos inerentes às revisões sistemáticas, mas os adaptou para um caso muito específico, relacionado à análise da contribuição da EAE para o campo da avaliação educacional no Brasil.
Frequentemente tomadas como sinônimo de avaliação em larga escala de desem- penho discente ou de sistemas educacionais, na literatura educacional, as avaliações externas podem compreender uma gama maior de iniciativas na medida em que, como nos informa o glossário Ceale,1 disponibilizado pelo Centro de Alfabetização, Leitura e Escrita, “[...] a avaliação externa à escola recebe essa denominação porque é concebida, planejada, elaborada, corrigida e tem seus resultados analisados fora da escola”. Nesse sentido, estudos e pesquisas pautados por avaliações com amostras robustas e/ou representativas de alunos, exames vestibulares e avaliações do ensino superior (ES) - que podem contemplar instrumentos externos em associação com avaliações institucionais padronizadas - também constituem o escopo de análise do presente artigo, para além das avaliações sistêmicas.
Em face do desafio de analisar 256 artigos publicados na EAE até 2018, compreendidos no escopo amplo e multifacetado das avaliações externas no Brasil, foram estipuladas categorias prévias de análise, com base na literatura sobre o tema das avaliações externas, bem como na construção de categorias depreendidas do exame dos resumos e, eventualmente, da integralidade dos textos classificados nessa temática. Desse modo, destaca-se o maior número de artigos publicados na EAE sobre temáticas que analisam e discutem as diversas avaliações referentes à educação básica (EB), protagonizadas tanto pela União como por governos estaduais e municipais, de forma sincrônica à classificação estipulada por Bonamino e Sousa (2012), que observam três gerações de avaliação no Brasil, marcadas por diferentes consequências e efeitos no cotidiano de sistemas e escolas e que, em boa medida, orientam as premissas deste estudo. Tais gerações, longe de se sobreporem, coexistem no tempo e agregam novos desenhos e possibilidades quanto aos seus usos na gestão educacional e escolar e os diferentes efeitos que podem acarretar.
Nesses termos, o grupo de categorias de análise adotadas no presente estudo não constitui uma classificação exaustiva ou exclusiva - de forma análoga à estipulação de diferentes gerações de avaliação que coexistem no tempo -, mas sim um esforço de apreender diferentes núcleos de sentido presentes no conjunto de artigos selecionados como recurso analítico precípuo.
Este trabalho está estruturado em cinco partes, além desta introdução. A primeira parte descreve a base de artigos publicados na EAE, desde sua fundação até 2018, sob o escopo das avaliações externas e a abordagem adotada no estudo. Em seguida são discutidas três categorias de análise principais, que orientam a maior parte dos artigos coletados: problematizações teóricas e/ou metodológicas; análise de resultados e/ou demais informações da avaliação; e uso dos resultados e/ou demais informações da avaliação. Por fim, apresentam-se as considerações acerca das avaliações externas no Brasil, sob a lente do periódico EAE, e perspectivas sobre o futuro da temática.
DESCRIÇÃO E TRATAMENTO DA BASE DE ARTIGOS
A base de dados sobre a temática “avaliação externa” extraída da EAE é composta por 256 artigos publicados entre 1990 e 2018. Na década de 1990, identificam-se mais de dez publicações em 1992, 1994 e 1995. Na primeira década do século XXI, destacam-se os anos de 2008 e 2010 e, na segunda década, o período de 2011 a 2018, em que apenas o primeiro ano apresenta menos de dez publicações, sendo que 2012, 2014 e 2017 registram um número considerável de publicações, cujo escopo se insere na temática em tela (Gráfico 1).
O maior percentual de artigos publicados trata da avaliação externa na EB. A referência ao ES aparece em 21,48% dos artigos analisados. Identificaram-se, ainda, dois artigos que abordam a avaliação em ambos os níveis educacionais e outros dez que não fazem menção explícita a um ou outro nível de educação.
Ao serem detalhados os dados sobre os artigos concernentes à EB, identifica-se que a maior parte abrange o ensino fundamental (EF), vindo a seguir aqueles que tratam, conjuntamente, dessa etapa e do ensino médio (EM), os quais, em geral, discutem questões relacionadas ao Programme for International Student Assessment (Pisa). Dado que a referida avaliação tem como público-alvo os alunos de 15 anos de idade2 e que, no Brasil, o aluno nessa faixa etária pode estar cursando tanto uma etapa quanto outra, decidiu-se classificar os artigos em ambas. O EM, categorizado de forma específica, a educação infantil (EI) e a modalidade educação de jovens e adultos (EJA) foram referenciados em menos de 10% dos artigos que discutem avaliação externa. Identificaram-se, ainda, dois artigos que envolvem o debate sobre avaliação externa nas três etapas da EB.
Em relação aos 55 artigos que se referem, especificamente, ao ES, o maior percentual corresponde a avaliações para o ingresso nesse nível de ensino e, em boa parte, relacionam-se ao Exame Nacional do Ensino Médio (Enem).
Quanto ao vínculo institucional dos autores no ano de publicação do artigo na EAE, procedeu-se à identificação dos estados brasileiros ou países onde tais instituições estão sediadas, para até cinco autores. Em 18 artigos há autores que se vinculavam a instituições estrangeiras e em 249 artigos os autores estavam em instituições nacionais. A soma desses quantitativos ultrapassa o total de artigos analisados porque há publicações com autores vinculados aos dois tipos de instituição.
Na primeira situação verificou-se que, em 13 artigos, o primeiro autor estava vinculado a uma instituição estrangeira, sendo seis nos Estados Unidos da América, duas em Portugal, uma na Argentina, uma na Austrália, uma no Chile, uma na Colômbia e uma na Inglaterra. Austrália, Chile e Portugal são países-sede de instituições de vínculo, também, de coautores, bem como o Canadá, que aparece como país-sede da instituição de um coautor.
No que tange aos 249 artigos com autores vinculados a instituições nacionais, tem-se que, em 243 deles, o autor com esse tipo de vínculo assina a primeira autoria. A maior parte é proveniente de instituições presentes na região Sudeste, seguida do Centro-Oeste - em especial, o Distrito Federal. As regiões Sul e Nordeste aparecem em terceiro e quarto lugares, respectivamente. A região Norte está representada apenas pelo terceiro autor, em dois artigos (Tabela 1).
Regiões | 1º autor | 2º autor | 3º autor | 4º autor | 5º autor |
---|---|---|---|---|---|
Centro-Oeste | 28 | 11 | 5 | 1 | 0 |
Nordeste | 23 | 12 | 6 | 1 | 1 |
Norte | 0 | 0 | 2 | 0 | 0 |
Sudeste | 167 | 89 | 49 | 19 | 6 |
Sul | 25 | 15 | 4 | 1 | 0 |
Total | 243 | 127 | 66 | 22 | 7 |
Fonte: Elaboração dos autores.
Detalhando um pouco mais essa identificação, tem-se que autores de 14 estados e do Distrito Federal publicaram artigos na EAE referentes à temática da avaliação externa, o que significa que 12 estados não estão representados por publicações com esse tema.
É possível verificar pela distribuição cronológica dos artigos - como visto no Gráfico 1 - e por sua concentração no segmento da EB - mostrada no Gráfico 2 - uma forte correspondência entre as temáticas abordadas e o quadro classificatório estipulado por Bonamino e Sousa (2012), que identificam no Brasil três gerações de avaliação.
Tais gerações, longe de simplesmente se sobreporem ou substituírem umas às outras, se somam e coexistem ao longo do tempo, ampliando o debate acadêmico ante o crescimento e a diversificação de experiências de avaliação externa no país, nas últimas três décadas. Nessa perspectiva, a primeira geração é caracterizada pela ênfase no “[...] caráter diagnóstico da qualidade da educação ofertada” (BONAMINO; SOUSA, 2012, p. 375), não acarretando consequências diretas para escolas e seus currículos. A segunda geração de avaliação envolveria a devolução dos resultados para as unidades escolares sem o estabelecimento de consequências materiais - algo possível tendo em vista a adoção de formatos avaliativos de caráter censitário, capazes de propiciar resultados por escolas, ampliando o alcance de abordagens amostrais. A terceira geração de avaliação englobaria políticas de “responsabilização forte” ou high stakes (BONAMINO; SOUSA, 2012; BROOKE, 2013), que acarretam “sanções ou recompensas” a escolas e seus profissionais em função dos resultados obtidos. No Brasil, tais consequências concernem, notadamente, a políticas de bonificação docente e diferentes ações de acompanhamento, apoio e/ou controle de escolas que apresentem baixos resultados.
Tais amplitude e diversificação, verificadas na abordagem das avaliações, orientaram o estabelecimento de categorias de análise a priori, seguidas por sua readequação, e a definição de categorias a posteriori a partir da manipulação da base de artigos, tendo em vista o que a literatura do campo já acumula em termos de temas estudados e nuances que surgiram no decorrer da análise dos resumos das publicações, ou, em aproximadamente metade dos casos, da leitura integral dos artigos.
Analogamente à estipulação efetuada por Bonamino e Sousa (2012), de três gerações de avaliação que coexistem no tempo, os artigos foram classificados com base em uma lógica mutuamente complementar que se impôs, uma vez que a maior parte dos textos demandou sua classificação em duas ou mais categorias em face da complexidade das abordagens verificadas nas diferentes articulações empreendidas pelos autores. Nesses termos, a primeira etapa de análise identificou seis categorias que informam distintos núcleos de sentido, a despeito de outras possíveis classificações que poderiam ser feitas do conjunto de textos. São elas:
problematizações teóricas e/ou metodológicas: conjunto de artigos que discutem e problematizam finalidades, desenhos e resultados das avaliações;
análise de resultados e/ou demais informações da avaliação: artigos que analisam e comparam resultados e/ou se detêm sobre aspectos relacionados às matrizes das avaliações, instrumentos e formatos adotados;
uso dos resultados e/ou demais informações da avaliação: artigos que tratam do uso dos resultados e/ou outras informações das avaliações por instituições escolares e redes de ensino;
caracterização das avaliações: artigos que buscam descrever e contextualizar, de forma detalhada, a origem, desenho, abordagem metodológica e objetivos de avaliações externas e/ou suas mudanças ao longo do tempo;
avaliações externas de programas e projetos: artigos que tratam da avaliação externa de programas e/ou projetos educacionais;
apresentação e/ou uso de abordagens metodológicas, instrumentos, técnicas estatísticas: artigos que, ao se debruçarem sobre as avaliações externas, lançam mão de instrumentos e abordagens metodológicas inovadoras ou pouco usuais - ao menos, no contexto brasileiro - capazes de ampliar e diversificar o escopo de resultados e análises ausentes de sua divulgação original.
O maior percentual de artigos se encontra na categoria análise de resultados e/ou demais informações da avaliação, seguida pelas categorias problematizações teóricas e/ou metodológicas e apresentação e/ou uso de abordagens metodológicas, instrumentos, técnicas estatísticas, como se pode verificar no Gráfico 5.
Diante da amplitude das abordagens e nuances encontradas, neste artigo, optamos por analisar, em profundidade, as duas categorias que contêm a maior quantidade de artigos e a categoria uso dos resultados e/ou demais informações da avaliação, esta por sua relevância ante o debate acerca das consequências e repercussão das avaliações externas nos cotidianos escolares e na gestão de diferentes redes educacionais. Especificamente em relação às categorias problematizações teóricas e/ou metodológicas e análise de resultados e/ou demais informações da avaliação, tendo em vista seus percentuais elevados de textos, foram destacados em sua discussão os artigos classificados exclusivamente em cada uma delas, propiciando uma análise com maior acuidade e que informa as características distintivas dessas classificações.
Tomando essas três categorias para aprofundamento das análises, o Gráfico 6 detalha a distribuição dos artigos, por ano de publicação, com o propósito de evidenciar os períodos em que essas categorias estão mais presentes na produção sobre avaliação externa, no âmbito da EAE.
Observe-se que os artigos que abrangem problematizações teóricas e/ou metodo- lógicas das avaliações e análise de resultados e/ou demais informações da avaliação, além de estarem presentes na revista desde a sua fundação, registram picos de publicações nas três décadas de existência do periódico. Já a categoria uso dos resultados e/ou demais informações da avaliação começa a aparecer apenas em publicações de 2007 em diante.
Sousa e Arcas (2010, p. 183) assinalam que a Prova Brasil, implantada em 2005, e o Índice de Desenvolvimento da Educação Básica (Ideb), criado em 2007, foram iniciativas com potencial para “[...] mobilizar redes de ensino e escolas a buscarem compreender e valer-se dos resultados das avaliações de sistema no planejamento do trabalho escolar”. Essa mobilização parece estar associada ao fato de os resultados do Ideb “[...] vincularem-se a financiamento promovido pelo governo federal, via Plano de Desenvolvimento da Educação (PDE), para escolas e municípios com baixos índices de desempenho” (PIMENTA, 2012, p. 45). É provável, portanto, que as publicações na EAE reflitam, ao menos em parte, esse movimento.
PROBLEMATIZAÇÕES TEÓRICAS E/OU METODOLÓGICAS
Entre 1990 e 2018, a EAE publicou 107 artigos que envolviam problematizações teóricas e/ou metodológicas, o que equivale a 41,80% do total de publicações. Praticamente metade das investigações publicadas pela revista nesse período escrutina aspectos teórico-metodológicos, o que revela não somente a pluralidade do debate sobre avaliações externas no Brasil, mas também a vivacidade dessa discussão e sua natureza paradigmática plural.
É importante salientar que somente foram elencados na categoria problematizações teóricas e/ou metodológicas os artigos que traziam algum tipo de reflexão com o objetivo de contribuir para o acúmulo de teorias e métodos na área, problematizando algumas premissas e/ou criticando e oferecendo caminhos metodológicos alternativos.
Dos 107 artigos, 46 são exclusivamente teóricos e/ou metodológicos e estão distribuídos ao longo da trajetória da revista, mas não estiveram presentes em todos os anos. Em 1993, 1998, 1999 e 2009 não houve nenhuma publicação com essa temática. Já os anos de 1995, 2010 e 2014 foram aqueles com a maior quantidade de textos editados, destacando-se 2014, que concentra 12,15% dos artigos (Gráfico 7).
É preciso ressaltar que 2014 foi um ano atípico porque houve um número especial da revista (n. 60), com a reedição de artigos escritos por Heraldo Vianna em periódicos da Fundação Carlos Chagas (FCC). Novaes (2014) explica que se tratava de uma homenagem ao idealizador e primeiro editor da EAE, mantendo-se nesta função de 1990 até a sua aposentadoria em 2008. Esse número publicou um total de 14 artigos, sendo que três versavam sobre problematizações teóricas e/ou metodológicas. Sem eles, o ano de 2014 ficaria com dez artigos nessa categoria. No mesmo ano, no número 59, foi publicado um dossiê sobre avaliação em larga escala e gestão educacional. Nessa edição, dois artigos traziam problematizações teóricas e/ou metodológicas. Temos, portanto, em 2014, cinco artigos para além da demanda contínua da revista. Ainda assim, se os retirássemos da contagem, 2014 empataria com 1995 e 2010, mantendo sua posição entre os anos com maior número de publicações. Cabe ressaltar que tanto o número especial quanto o dossiê revelam movimentos editoriais da revista no sentido de sistematizar e consolidar debates que estavam espraiados por todas as edições.
O Gráfico 8 apresenta a distribuição por ano de publicação dos artigos que foram classificados exclusivamente na categoria supracitada. No período analisado, em oito anos não houve nenhuma publicação classificada exclusivamente nessa categoria: 1993, 1998, 1999, 2000, 2007, 2009, 2011 e 2018.
O gráfico indica que 1995, 1996, 2001 e 2015 foram os anos com maior incidência de problematizações teóricas e/ou metodológicas, no âmbito da EAE. Em 1995 foram publicados dois números da revista - 11 e 12 -, que trouxeram 18 artigos no total, seis deles incluídos no rol de investigações classificadas nessa categoria. O número 12, especificamente, desde a apresentação indica que se tratava de um conjunto de investigações com foco na avaliação externa, conectado com a discussão sobre a eficácia dos sistemas educacionais no oferecimento de educação de qualidade. Naquele momento, havia acúmulo de conhecimento relacionado à trajetória dos sistemas de avaliação no Brasil e, conforme destacam Bonamino e Sousa (2012), a primeira geração das avaliações externas estava em progressiva consolidação.
O Sistema de Avaliação da Educação Básica (Saeb) foi implementado a partir de 1991, embora tenha sido formalmente estabelecido três anos mais tarde, em 1994. Os sistemas estaduais de educação, como demonstra Souza (2007) para o caso específico de Minas Gerais, também estavam em diálogo direto ou indireto com o Saeb, ampliando o escopo de suas avaliações e colocando os agentes, presentes nas escolas, em diálogo. A avaliação dos sistemas estava na pauta dos debates educacionais e a EAE compôs esse cenário como veículo de interlocução entre o debate acadêmico stricto sensu e o campo mais amplo das discussões sobre políticas educacionais.
A análise da produção classificada como problematizações teóricas e/ou metodológicas das avaliações revela dinâmicas de circulação de ideias sobre avaliação de sistemas educacionais no Brasil. O primeiro passo que realizamos para sistematizar essa discussão foi classificar todos os artigos considerando a posição dos autores sobre as avaliações externas. Partimos do pressuposto de que essa temática segue em paralelo com discussões e posicionamentos políticos referentes à educação pública no Brasil. Tal argumento parte da premissa de que os debates teóricos sobre formas de avaliação, desenhos avaliativos, usos dos resultados, comparação de sistemas, entre outros, seguem pari passu com abordagens de caráter pragmático/instrumental por conta das conexões diretas entre investigação e ação dos setores públicos, desde a formulação até a implementação de políticas educacionais.
Nossa estratégia de classificação dos artigos envolveu três rótulos mutuamente excludentes.3 No primeiro deles estão os artigos favoráveis aos sistemas de avaliação externa. Nesse rótulo, categorizamos todos os textos nos quais a discussão teórica é favorável aos sistemas de avaliação e/ou que desenvolvem problematizações teóricas em defesa das avaliações. Também inserimos as publicações que partem de análises de dados produzidos pelas avaliações com vistas a acompanhar a evolução dos indicadores, realizar análises comparativas, entre outras, sem efetuar quaisquer ressalvas ou críticas diretas aos dados.
O segundo rótulo agrega os artigos que demarcam posições contrárias às avaliações e/ou às suas metodologias. As investigações que utilizam os dados disponibilizados pelos sistemas de avaliação para argumentar sobre a inadequação desses dados, para quaisquer análises no campo educacional, também foram classifica- das nesse rótulo.
Entre os dois rótulos anteriores estão os artigos que reconhecem as avaliações e sua legitimidade, mas apontam ressalvas teóricas, empíricas e/ou metodológicas. Nesse grupo incluímos os textos que apontam limitações dos dados, erros ou fragilidades metodológicas, assim como usos e exageros interpretativos presentes no debate educacional strictu sensu e/ou na discussão das políticas de avaliação externa. São textos que legitimam os sistemas de avaliação, mas identificam lacunas nos procedimentos desenvolvidos em sua implementação e/ou análise e, por vezes, propõem sugestões com base em abordagens comparativas nacionais ou internacionais.
Ao final do processo de rotulação, classificamos 59 artigos como favoráveis, 34 na categoria reconhecimento com ressalvas e 14 como contrários. Se considerados apenas aqueles que apresentam exclusivamente problematizações teóricas e/ou metodológicas, tem-se 26 artigos favoráveis, 14 que reconhecem as avaliações, mas fazem ressalvas, e 6 contrários.
Visões contrárias
Os seis artigos que apresentam visões contrárias às avalições externas de aprendizagem estão pautados por dois conjuntos de sentido complementares. No primeiro deles, a crítica direciona-se à redução do debate sobre qualidade da EB a uma reflexão sobre o desempenho dos alunos e das redes de ensino nas avaliações nacionais e internacionais. O segundo sinaliza cenários de indução curricular e desenhos avaliativos nesse nível de ensino que resultam da ênfase em processos seletivos para o ensino superior.
O primeiro bloco agrega autores que escreveram em momentos diferentes e chegaram a conclusões convergentes. O trabalho de Morris (2017) é o mais recente. Nele, o autor afirma que a publicação de resultados internacionais de desempenho gera disputas entre as nações pela melhoria dos números dos sistemas de ensino. Como consequência, limita-se a reflexão sobre educação porque a reduz à realização de testes em larga escala. O autor se coloca a favor das comparações internacionais como estratégia de pesquisa, mas repudia ações governamentais que pensam o ensino exclusivamente com base no que será cobrado nos exames. Indica que essa prática, conhecida como “[...] aprendizado com as melhores práticas internacionais” (MORRIS, 2017, p. 335), é, de fato, uma forma de manipular o sistema em busca de resultados.
Em convergência, Bautheney (2014) argumenta que as avaliações externas movimentam um debate classificatório, meritocrático e psicologizante. Tais discussões reduzem a reflexão sobre a qualidade da educação, desresponsabilizando as redes de ensino com relação ao oferecimento de educação de qualidade para todos. A autora entende que se enfatizam os alunos e seus resultados individuais, desconsiderando questões gerais das redes de ensino, o que mantém as desigualdades e contribui para sua ampliação.
Silva (2008) também direciona sua análise para a qualidade da educação, argumentando que essa discussão tem de ser plural e contextual, uma vez que a pauta induzida pelas avaliações externas de aprendizagem reduz as análises, tornando-as instrumentalizadas e limitadas. O debate sobre qualidade fica restrito à eficiência com que certas competências e habilidades podem ser demonstradas.
As críticas às avaliações estandardizadas, presentes nesses estudos, focalizam possíveis efeitos redutivos. Em síntese, avaliar os sistemas educacionais configurar-se-ia contraditoriamente como um processo de empobrecimento da educação, em vez de aprimorar a capacidade dos sistemas para o oferecimento de educação de qualidade. Tem-se aqui um problema construído na interface entre a ação política e a investigação científica. Ao investigarem e proporem diagnósticos, as redes de ensino deflagrariam ações peremptórias e com consequências nefastas, principalmente para as camadas mais empobrecidas da população.
Em paralelo, os vestibulares realizariam ações de mesmo sentido. Ao estabelecerem as regras para acesso ao ES, acabariam por induzir ações na EB motivadas pela ampliação das chances dos jovens nos exames de seleção para as universidades. A EB ganharia, por isso, um caráter excessivamente pragmático e subalternizado em relação ao ensino superior.
Vianna (1995a) critica especificamente o vestibular em duas fases e discute a presença da redação com caráter eliminatório. No decorrer do texto, o autor realiza uma série de comentários sobre os problemas técnicos presentes no vestibular, inclusive relacionados à efetiva capacidade de as provas medirem os conhecimentos dos estudantes, e aponta a possibilidade de a seleção dos vestibulares ter um caráter elitizante por conta dos problemas técnicos de medição e da redação eliminatória.
Seguindo a lógica apresentada por Vianna (1995a), se o vestibular é incapaz de medir adequadamente as capacidades intelectuais dos estudantes, não faria sentido alçá-lo ao lugar de indutor de políticas de formação na EB. Em linha convergente, Pinho Filho (1995) entende que a preparação para o acesso ao ES não pode ser o único e nem o principal objetivo da EB. O autor entende que a consideração do vestibular como parâmetro constitui um desserviço à educação secundária.
Avena (2004) aponta que os estudantes mais pobres tendem a escolher os cursos menos concorridos não por vocação, exclusivamente, mas porque são aqueles com maiores possibilidades de ingresso e conclusão. O autor trabalha com as variáveis presentes nos estudos clássicos da sociologia da educação: renda, tempo efetivo dedicado ao estudo, entre outras.
Considerando as análises dos três autores, percebe-se uma dupla reprodução de desigualdades. O vestibular induz ações na EB, tornando-a empobrecida. Como consequência, os estudantes mais desfavorecidos, e que recebem a menor parte dessa educação reduzida, acabam por adaptar seus sonhos e projetos à lógica do possível, ocupando, quando muito, as vagas nas carreiras menos concorridas.
Os dois conjuntos de críticas apontam para um fenômeno em que os níveis posteriores de educação acabam por orientar as ações nos níveis anteriores. O vestibular orienta o EM, que, por sua vez, orienta o EF. Quando as avaliações estandardizadas passam a oferecer diagnósticos sobre esses níveis de ensino com vistas a aprimorá-los, acabam, contraditoriamente, por reduzi-los, ao induzirem ações pragmáticas no âmbito da política educacional.
Visões favoráveis
No grupo de artigos com visões favoráveis, o vestibular e a avaliação do ES também apareceram dentre os temas discutidos. Dos 26 artigos, 5 trazem reflexões sobre esse nível de ensino, com foco no acesso e na medição da qualidade.
Santos (1997) critica o que classifica como mitos. O primeiro deles seria a seletividade social promovida pelo vestibular. O segundo, o de que as universidades públicas seriam redutos exclusivos de jovens de famílias com alto poder aquisitivo. Todas as análises são sustentadas pelos dados do vestibular da Unesp.
Ortega (2001) discute outro aspecto da seleção para o ES. Uma seleção que antecede o próprio vestibular. A autora argumenta que o EM público não prepara o corpo discente para o vestibular. Essa ausência de preparo faz com que os estudantes das escolas privadas tenham vantagens extras, para além das que já possuem por conta do nível socioeconômico e cultural. Se as escolas públicas, que são maioria, não preparam os estudantes pobres, que também são maioria, para o vestibular, a minoria composta pelas classes média e alta tem seus caminhos facilitados.
Essa discussão pode ser ampliada em diálogo com Ribeiro (1995), que, em momento anterior, já criticava os processos seletivos para as universidades e o que ele classificava como mito da influência do vestibular na EB. O autor afirma que se houvesse, de fato, essa influência, provavelmente não haveria tantas vagas ociosas nos cursos de graduação, especialmente nas licenciaturas. Sua principal crítica é direcionada aos processos de superseleção e ao consequente número de vagas ociosas.
Burlamaqui (2008) discute especificamente a avaliação do ES, problematizando o conceito de qualidade e indicando seus níveis de complexidade e seu caráter multifacetado. O autor entende que um dos “perigos” da avaliação do ES é a possibilidade de todas as avaliações serem reduzidas aos indicadores externos, o que contraditoriamente poderia vir a reduzir a qualidade do ensino oferecido. Em temática convergente, Leitão et al. (2010) analisam o boicote dos alunos ao Exame Nacional de Desempenho dos Estudantes (Enade). Os autores apresentam o perfil dos estudantes que boicotam o exame e afirmam que o fenômeno não é significativo porque o percentual de ocorrência nunca ultrapassou 3,5% do número de concluintes.
A análise desse grupo de textos revela a abertura da EAE para a pluralidade de perspectivas teóricas e metodológicas presente no campo educacional. Percebe- -se a publicação de artigos com perspectivas distintas e, por vezes, conflitantes, como as análises sobre as influências do vestibular na EB. Nesse sentido, a revista coloca-se como um espaço significativo para o livre desenvolvimento de ideias e embates sobre as avaliações externas. Da mesma forma, nota-se que a existência de dados sólidos sobre as dinâmicas dos sistemas educacionais permite análises divergentes e/ou complementares, como as realizadas por Santos (1997), Ortega (2001) e Ribeiro (1995).
Entre os textos favoráveis, outra temática presente está associada aos desenhos das avaliações externas e aos textos normativos. Valente (2003) realiza uma análise dos documentos oficiais relacionados à EI, ao EF e ao EM. A autora conecta sua análise com o debate mais geral sobre a reforma educacional e desvela interconexões entre o desenvolvimento das políticas e sua materialização em textos. No mesmo sentido, um artigo assinado pelo comitê editorial da revista (ESTUDOS EM AVALIAÇÃO EDUCACIONAL - EAE, 1996) apresenta e descreve detalhadamente todo o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (Saresp). O texto foi publicado junto a artigos que discutiram esse sistema em um seminário internacional sobre modelos avaliativos, financiado pelo Banco Mundial e realizado pela Secretaria de Estado da Educação de São Paulo (SEE/SP) e pela Fundação Carlos Chagas (FCC). Nele, identifica-se o envolvimento direto da FCC no debate sobre as políticas educacionais desenvolvidas no estado de São Paulo.
A presença e a legitimidade da FCC no debate sobre políticas educacionais também se revelam na publicação de três artigos da EAE, que são apresentações de seminários sobre a temática da avaliação no estado de São Paulo e em outras unidades da federação, todos eles com a participação direta da FCC. Goulart (1992) analisa os textos relacionados à avaliação da escola pública de Minas Gerais. A autora aponta o progressivo surgimento de uma cultura da avaliação naquele estado e indica que a avaliação seria um processo irreversível nas escolas mineiras.
Calmon (1990), na época senador da República, realiza a abertura de um seminário chamado “Encontro sobre a Qualidade da Educação”. Ele enfatiza que não estava presente como um educador, mas sim como alguém que acompanhava o debate sobre educação no Brasil e no mundo, além de buscar estabelecer diálogos com os ministros da educação sobre a importância da avaliação dos sistemas educacionais.
Bessa (1992) apresenta o “Seminário Nacional sobre Medidas Educacionais”, apoiado e promovido pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), realizado em junho de 1992. A mesma autora também publica um artigo discutindo os resultados obtidos nos grupos de trabalho desenvolvidos no seminário. Indica a proposição de sugestões significativas para que a avaliação da educação ultrapasse o limite exclusivo da aferição.
Além dos textos já apresentados, há dois que tratam de questões mais específicas - dinâmica de produção na área e políticas de responsabilização. Um deles é uma exegese da produção sobre avaliações em larga escala na pós-graduação brasileira (MINHOTO, 2015). A autora localiza essa produção, inclusive sinalizando as universidades e os principais orientadores de dissertações e teses sobre a temática. Ela aponta que o tema estava em processo de consolidação e que encontrou problemas para analisar o material porque os resumos eram mal feitos e pouco informativos.
Os outros 14 artigos classificados como favoráveis às avaliações externas convergem em alguns pontos que consideramos centrais nesse debate. Deles emerge a defesa de um modelo de escola pública, republicana, pautada pela equalização de oportunidades e oferecimento de disciplinas escolares de forma equivalente para todos os estudantes. Também se verifica uma ênfase nas políticas orientadas por evidências e avaliadas durante a implementação. Descreveremos os artigos seguindo a ordem cronológica de sua publicação, o que nos permitirá demonstrar que essas preocupações estão no âmago da linha editorial da revista desde os primeiros anos de sua publicação.
Vianna (1991) realiza uma comparação entre as redes pública e privada, com o objetivo de abordar os problemas que afetam o segundo grau.4 O autor trabalha com base no cruzamento entre dados dos estudantes e das escolas para pensar nas variáveis que poderiam explicar o desempenho das redes de ensino. Tais análises foram possíveis por conta da existência de dados produzidos pelas avaliações externas.
Mandel e Maluf (1994) argumentam que a avaliação sistêmica é possível e pode servir como um instrumento de gestão dos serviços prestados pelo Estado, no caso, a educação. Elas também enfatizam a possibilidade de uso dos dados para o acompanhamento e a gestão das políticas educacionais.
Bessa (1990b) apresenta a ideia de medida no que concerne à qualidade da educação. A autora relaciona mensuração sistemática com a construção de uma “cultura da avaliação” no Brasil e aponta que a avaliação teria um lugar importante no momento da preparação de um novo plano plurianual de educação no país.
Traçando um panorama histórico sobre a avaliação educacional no mundo e no Brasil, Vianna (1995b) aponta que a avaliação educacional sempre esteve conectada aos processos decisórios em educação, inicialmente com pesquisa e depois com ava- liação mais direta de programas e projetos. O autor destaca que as atividades de avaliação sempre foram escassas em nosso país, ainda que o Ministério da Educação, naquele momento, estivesse incentivando a ampliação dos debates nessa área.
A partir da análise de dados de desempenho dos alunos, Neubauer, Davis e Espósito (1996) realizam uma avaliação do impacto de políticas voltadas para inovações no ciclo básico da educação na região metropolitana de São Paulo.
Maluf (1996) apresenta os estudos e testes sobre rendimento escolar como uma tendência do continente, também seguida pelo Brasil. A autora cita o Saeb como um avanço nessa direção e mostra um estudo sobre sua implementação.
Com uma reflexão sobre a Teoria da Resposta ao Item (TRI), Valle (2001) apresenta e discute os dados do Saresp, indicando que esses dados são fornecidos para a rede de ensino. Dessa forma, decisões podem ser tomadas no nível tanto da rede quanto de uma unidade escolar.
Depresbiteris (2001) argumenta que os sistemas públicos e privados precisam ser avaliados por conta do caráter dinâmico das redes de ensino. A autonomia das escolas deve ser respeitada, ao mesmo tempo que a responsabilidade do Estado deve ser ressaltada. A autora ainda defende que avaliações externas e internas não são necessariamente estanques, e que é preciso definir indicadores precisos para que se tenha clareza sobre o desempenho dos sistemas.
Baeta (2002) apresenta os pressupostos epistemológicos da psicologia do desenvolvimento, da concepção de currículo e dos conteúdos básicos que os estudantes deveriam dominar durante a EB. Afirma que o Saeb é uma necessidade histórica e aponta o potencial analítico trazido pelos dados mapeados nas avaliações externas.
Locatelli (2002) indica que os sistemas padronizados de avaliação eram uma novidade no Brasil, apontando que o uso dos resultados das avaliações pode gerar mudanças positivas na educação. Para a autora, o dimensionamento da qualidade da educação está ligado à medição da equidade por intermédio da avaliação do desempenho das redes de ensino. Ela assinala que as informações produzidas de nada valerão se não forem utilizadas.
Para Darling-Hammond e Ascher (2006), o controle burocrático das escolas tem seu principal sentido relacionado à busca pela garantia da equalização e padronização educacional. Segundo os autores, os dados produzidos pelas avaliações permitem a construção de indicadores que alimentam os sistemas de controle burocrático, enfatizando-se que esses indicadores não são o sistema. Com base nessa lógica, são destacadas diversas formas de controle.
Lee (2010) indica que dados longitudinais são fundamentais para análises sobre valor agregado em educação. A autora entende que há um conjunto de dificuldades para a produção desses dados - de ordem técnica e financeira -, mas afirma que pesquisas transversais não dão conta das medidas necessárias à reflexão sobre os sistemas educacionais.
Realizando uma comparação entre os sistemas de avaliação do Brasil, da Argentina e da Colômbia, Vizcarra Herles e Pereira (2012) escrutinam os fundamentos conceituais dos processos de avaliação e apresentam um conjunto de autores que contribuíram diretamente para essa discussão, além de mostrarem a recepção das ideias desses autores nos contextos analisados.
Em artigo que discute aspectos centrais das avaliações em larga escala, Vianna (2014) afirma que os testes e os indicadores produzidos com base neles não podem ser pensados de forma independente com relação às outras questões do campo educacional. Dentre estas estão a formação dos professores, as condições materiais das escolas, currículo, políticas educacionais, entre outras.
A leitura em sequência das reflexões trazidas por esse conjunto de autores revela a ênfase na legitimidade das avaliações externas como mecanismos de reflexão, controle e acompanhamento dos sistemas públicos de educação. Destaca-se, nesse debate, a presença da FCC, por intermédio de Heraldo Vianna, autor de três dos 14 artigos resenhados. Vianna foi uma das principais referências sobre avaliações - tanto externas quanto de aprendizagem no Brasil - e sempre teve por pressuposto o caráter não meramente burocrático das avaliações. Ele afirma que
[...] a avaliação não é um valor em si e não deve ficar restrita a um simples rito da burocracia educacional, necessita integrar-se ao processo de transformação do ensino/aprendizagem e contribuir, desse modo, ativamente, para o processo de transformação dos educandos. (VIANNA, 2014, p. 26).
O reconhecimento dos sistemas externos de avaliação está conectado com visões sobre a gestão dos sistemas educacionais e seu impacto no desenvolvimento cognitivo dos estudantes. Tem-se como premissa que uma rede de ensino precisa ter clareza de seus propósitos, implementá-los considerando as variáveis contextuais presentes e avaliá-los com base em critérios padronizados, o que produzirá o feedback necessário para novas decisões no plano da gestão e do ensino em termos mais específicos.
Na sequência, apresentaremos autores que reconhecem a validade dos sistemas externos de avaliação educacional, mas apontam ressalvas sobre a sua organização e implementação.
Reconhecimento com ressalvas
Entre os artigos analisados, 14 reconhecem a validade dos sistemas de avaliação, mas registram ressalvas, assinalando preocupações convergentes. Oito deles trazem questões referentes à limitação dos dados das avaliações para a determinação das causas do desempenho dos estudantes, bem como relativizam a validade estatística dos sistemas de avaliação e de suas amostras. No caso específico do vestibular, argumenta-se que não é possível ter clareza sobre a capacidade efetiva de os estudantes selecionados serem, de fato, os mais capacitados (ALLEN, 1996; VIANNA, 2001, 2003; GATTI, 1996; DALBEN; ALMEIDA, 2015; BAUER; SILVA, 2005; MARTINS; GABRIEL, 2016; MALUF, 1996).
Sobre o vestibular e o ES, há mais quatro textos presentes nesse subgrupo. Bessa (1990a) critica as influências do vestibular nas ações pedagógicas dos outros níveis de ensino, percebendo-as como deletérias para a educação em geral. Leser (1995) e Beisiegel (1995) - ambos falando em mesas redondas organizadas para pensar o vestibular - analisam o formato das provas e seus impactos na seleção de candidatos. Moraes, Cordazzo e Wollinger (2015) criticam a desarticulação entre os critérios do Sistema Nacional de Avaliação da Educação Superior (Sinaes) e aqueles que seriam importantes para o mercado de trabalho, especificamente ligados à empregabilidade posterior à graduação.
As outras ressalvas relacionadas à EB enfatizam uma possível conexão excessiva entre o mapeamento de boas práticas e o desempenho dos alunos (MARTINS; CALDERÓN, 2015) e, também, a indução que as avaliações externas podem exercer nas avaliações internas e no cotidiano das escolas (ARCAS, 2010).
É importante enfatizar que esse grupo de autores não se posiciona contrariamente às avaliações. Pretendem, com seus textos, apontar fragilidades teóricas e/ou metodológicas que permitam o refinamento dos sistemas avaliativos, assim como o uso dos dados oriundos das avaliações.
ANÁLISE DE RESULTADOS E/OU DEMAIS INFORMAÇÕES DA AVALIAÇÃO
Na categoria análise de resultados e/ou demais informações da avaliação, foram classificados 156 artigos, sendo que 69 se referem apenas a essa categoria e os outros 87 se articulam a uma ou mais categorias definidas na temática sobre avaliação externa: 40 em problematizações teóricas e/ou metodológicas; 38 em apresentação e/ou uso de abordagens metodológicas, instrumentos, técnicas estatísticas; 14 em uso dos resultados e/ou demais informações da avaliação; 12 em caracterização das avaliações e, por fim, 11 em avaliações externas de programas e projetos.
Da mesma forma que na categoria problematizações teóricas e/ou metodológicas, os artigos relativos à análise de resultados e/ou demais informações da avaliação estão distribuídos ao longo de todos os anos da revista, com destaque para 1994, 2010, 2012, 2014 e 2017, que contam com dez ou mais artigos que envolvem esse tema.
Os números 9 e 10 da EAE, publicados em 1994, foram dedicados à análise de resultados das avaliações, sendo que o primeiro teve como objetivo disseminar publicações de trabalhos que apresentam resultados de avaliações desenvolvidas no âmbito do Programa de Avaliação da Escola Pública de Minas Gerais (Proeb). Cabe informar que o número 6, editado em 1992, continha artigos que analisaram os dados produzidos pela avaliação do ciclo básico, também em Minas Gerais. Já o número 10 da revista apresenta publicações que ampliam essa análise para avaliações ocorridas em escolas de diferentes entes da federação, como é o caso dos estados do Nordeste - no âmbito do Programa de Expansão e Melhoria da Educação no Meio Rural do Nordeste (Edurural-NE) -, do Paraná e de São Paulo.
Em 2010, dos três números editados, um contemplou, em ao menos metade da publicação, artigos que analisaram resultados de avaliações externas de programas e projetos e outro abordou avaliações de redes e sistemas, com vistas a compreender os pressupostos, resultados e usos das avaliações, além de “[...] apresentar novas abordagens de análise dos dados para evidenciar relações entre as características dos atores, as práticas e os resultados escolares” (EAE, 2010, p. 423).
Os três números publicados em 2012 concentram 16 artigos que analisam resultados e/ou demais informações da avaliação, principalmente os números 51 e 53. O primeiro teve como eixo central “[...] o tema dos fatores intervenientes que podem atuar em processos avaliativos” (EAE, 2012, p. 6) e implicar seus resultados. O segundo, tanto na seção “Temas em destaque” quanto na “Outros temas”, traz produções que abordam essa categoria para caracterizar e problematizar os desenhos ou usos das avaliações, mensurar o alcance de programas educacionais ou, simplesmente, apresentar análises dos resultados obtidos, com vistas a auxiliar educadores e a sociedade em geral na sua compreensão.
Dentre as três publicações de 2017, destaca-se o número 68 da revista, com nove artigos que apresentam estudos e pesquisas no campo da educação comparada e que buscam “[...] analisar sistemas, processos e resultados educacionais” (EAE, 2017, p. 294). Com efeito, os dados produzidos por avaliações, tanto no âmbito nacional como internacional, constituem fontes importantes de informações para estudos dessa natureza.
No que tange aos 69 artigos referentes exclusivamente à análise de resultados e/ou demais informações da avaliação, apresenta-se uma síntese dos aspectos analisados por essas produções, com base, principalmente, em seus resumos.
A EB é o nível de ensino cujas informações da avaliação são analisadas em 52 artigos, enquanto os outros 17 se referem ao ES.
No que diz respeito aos aspectos das avaliações examinados por esses 69 artigos, tem-se que em 49 são analisados os resultados obtidos pelos estudantes nos testes ou os resultados dos índices correlatos, como o Ideb. Os dados contidos em instrumentos de recolha de informações contextuais das escolas e redes, por meio de questionários aplicados a estudantes, familiares, professores, gestores escolares e/ou das secretarias de educação, são objeto de análise em 14 artigos e os itens das provas são discutidos em outros 14.
Em relação à análise de resultados obtidos nas provas ou resultados de índices correlatos, o exame se dá com diferentes objetivos: analisar o desenho da avaliação; identificar avanços e quedas no desempenho; identificar elementos explicativos das diferenças/desigualdades de desempenho; explorar relações entre qualidade do ensino e características dos municípios e escolas; verificar o quanto se oportunizam aprendizagens; observar determinantes de sucesso de escolas que atendem alunos de baixo nível socioeconômico; verificar o efeito escola no desempenho dos estudantes (especialmente nas variáveis raça e gênero); verificar melhoria de desempenho na relação com a implantação de avaliações externas estaduais; identificar variações entre os resultados obtidos e as metas estabelecidas; auxiliar a compreensão de educadores e sociedade sobre os resultados obtidos; e observar a efetividade das políticas públicas. Em relação especificamente ao ES, observou-se a análise dos resultados para: abordar a política de cotas; apoiar decisões de gestores e implementadores de políticas; apoiar a formulação de políticas de inclusão e de melhoria da aprendizagem; analisar variáveis que implicam o resultado; e verificar a qualidade da formação continuada.
No que concerne às respostas fornecidas em questionários contextuais, as análises foram encetadas para: cotejar as respostas com os resultados da avaliação; analisar informações fornecidas por diretores e alunos; cotejar as respostas com a incidência de bullying na escola; evidenciar singularidades de escolas organizadas em ciclos; avaliar o contexto escolar; e identificar elementos que implicam o processo ensino-aprendizagem.
Em nove artigos há a análise de itens de múltipla escolha dos testes e, em cinco, são abordadas as redações. O exame desses aspectos se deu, especialmente, com o intuito de analisar as propriedades dos itens, a validade de conteúdo e o potencial de escrita dos estudantes.
Os artigos que tratam exclusivamente da análise de resultados e/ou demais informações da avaliação se inserem na segunda geração de avaliação, como assinalado por Bonamino e Sousa (2012), na medida em que permitem a apropriação dos resultados e de outros aspectos das avaliações pelas famílias e a sociedade em geral, além de fomentar estudos que tomam esses dados como variáveis importantes para a apreensão do processo educacional e das políticas públicas de educação que nele incidem, sem estabelecer mecanismos de responsabilização com consequências fortes para profissionais da educação, escolas, estudantes e redes.
A seção a seguir expõe a discussão de artigos que avançam o debate para além das análises, evidenciando usos efetuados a partir dos resultados obtidos e/ou das informações produzidas pelas avaliações, de um lado, problematizando possíveis conexões a processos de responsabilização com “consequências fracas e fortes” e, de outro, relevando o potencial dessas avaliações de propiciar “[...] uma discussão informada sobre o currículo escolar” (BONAMINO; SOUSA, 2012, p. 373).
USO DOS RESULTADOS E/OU DEMAIS INFORMAÇÕES DA AVALIAÇÃO
Políticas de avaliação externa consequentes vão muito além da realização de provas, da compilação e análise dos dados e da divulgação dos resultados aferidos em relatórios e outros materiais destinados às escolas. Nesses termos, o esforço em investigar e buscar descrever eventuais tipos de apropriação de resultados desencadeados por avaliações externas amplia e diversifica a compreensão destas como “instrumentos” ou “políticas de gestão” no âmbito do processo decisório das secretarias de educação (SOUSA; OLIVEIRA, 2010; BROOKE; CUNHA, 2011) ou mesmo de instituições universitárias.
Como bem destaca Vianna (2003), as avaliações externas, para além de características normais relacionadas a diversos tipos de validade (de conteúdo, preditiva e de construto), devem ter, necessariamente, “validade consequencial”. Assim, as eventuais implicações dos instrumentos de avaliação externa utilizados e as expectativas neles depositadas demandam a identificação e análise dos eventuais efeitos que uma avaliação externa pode despertar no pensamento, nas atitudes e na ação dos diversos interessados, em especial dos agentes educacionais e escolares. Tais efeitos incidem na identificação de possíveis usos das avaliações externas e na consolidação de um campo específico de investigação que os toma como objeto de estudo (SILVA; CARVALHO, 2014).
No caso da EB, o cenário educacional brasileiro recente tem enfatizado a perspectiva de uma apropriação abrangente de avaliações externas em larga exscala, desde a adoção, em 2005, da Prova Brasil - aplicada à maior parte das escolas públicas nacionais -, em conjunto com o Saeb, mais antigo e de caráter amostral,5 que se soma a uma série de iniciativas de governos estaduais e municipais de criarem seus próprios sistemas de avaliação, muitos deles anteriores à própria Prova Brasil e que já possuíam um desenho avaliativo de caráter censitário.
Nesse sentido, é justamente a possibilidade de gerar dados referentes às unidades escolares, no caso da Prova Brasil, o que propicia a criação e divulgação do Ideb, que tem, notadamente, angariado repercussão e pautado, em alguma medida, diversas políticas educacionais em diferentes níveis de gestão da política educacional. Contudo, alguns aspectos verificados no desenho e divulgação do Saeb parecem não atender plenamente à expectativa de sistemas estaduais e municipais de educação na utilização de avaliações externas, tanto em termos mais gerenciais, como também em relação ao potencial pedagógico que as avaliações externas podem desencadear no âmbito das unidades escolares (GIMENES et al., 2013).
A EAE publicou 30 artigos que abordam, em diferentes vertentes, pesquisas e estudos que tomam por objeto um ou mais tipos de uso de avaliações externas e seus resultados. Desse total, apenas um artigo refere-se ao ES, estando os demais textos circunscritos à EB. O Gráfico 10 expõe a distribuição desses artigos, por ano de publicação.
Em 2007 foi publicado na EAE o primeiro artigo sobre usos de avaliações externas voltado a identificar consequências e implicações do Proeb (SOUZA, 2007). Destaca-se um aumento significativo de artigos sobre usos de avaliação externa na EB, notadamente a partir de 2010, algo que parece corroborar a consolidação, no Brasil, de uma “segunda geração de avaliação educacional”, caracterizada por inovações nos desenhos das avaliações externas, que “[...] incorporam a divulgação de resultados de modo a permitir comparações não apenas entre redes, mas entre escolas”, além da possibilidade de uma interferência mais direta “[...] no que as escolas fazem e em como o fazem” (BONAMINO; SOUSA, 2012, p. 380).
Dentre os 30 artigos presentes nessa categoria, apenas quatro foram classificados exclusivamente em uso dos resultados e/ou demais informações da avaliação, sendo que a maioria contemplou duas ou mais classificações, como visto anteriormente. Ademais, a própria categoria demandou sua divisão interna em três núcleos de sentido que discriminam tipos distintos de usos, em meio a diferentes instituições e instâncias de gestão educacional. Seriam eles: usos de avaliações externas feitos pela gestão educacional e implicações de políticas de avaliação; uso de avaliações externas em instituições escolares e universitárias; e uso de avaliações externas por parte de professores.
Assim, verifica-se um conjunto de 26 artigos que abordam, dentre outras classificações possíveis, usos de avaliações externas feitos pela gestão educacional e implicações de políticas de avaliação, todos referentes à EB. Essa categoria busca agrupar tanto os tipos de apropriação das avaliações e seus resultados por parte de secretarias de educação, como as implicações da presença de avaliações nas redes de ensino, aqui tomadas como seus possíveis desdobramentos.
Em meio à evidência de que a “[...] avaliação em larga escala vem se consolidando como instrumento de gestão educacional nas municipalidades” (BAUER et al., 2015, p. 238), diferentes usos por parte de secretarias estaduais e municipais de educação são verificados. Em parte, tais usos compreenderiam uma interpretação mais geral e crítica em torno dos aspectos de regulação e controle envolvidos no uso das avaliações, dentre os quais destacamos: a adoção dos resultados das avaliações externas como critério para aprovação escolar; o foco de avaliações externas voltado estritamente aos componentes curriculares prescritos (SANTOS; SABIA, 2015) e/ou avaliados (GARCIA et al., 2018); o pouco conhecimento técnico de avaliações externas por parte de setores intermediários de gestão para orientação e apoio às escolas (ROSISTOLATO; PRADO; FERNÁNDEZ, 2014; BAUER, 2008); ou a supervalorização das matrizes das provas aplicadas (VIDAL; VIEIRA, 2011).
Algumas pesquisas destacam certos efeitos e implicações de políticas de avaliação, tais como: o favorecimento “[...] da manutenção de processos de exclusão escolar” a partir de dados relativos à EJA (PEREIRA; OLIVEIRA, 2018, p. 532); a associação existente entre o desempenho dos alunos em testes de proficiência do Sistema Mineiro de Avalição Escolar (Simave) e o conhecimento que professores detêm sobre essa avaliação (FERNANDES et al., 2010); e o incremento de resultados de aprendizagem, em determinados contextos da rede estadual paulista, por parte de professores que foram submetidos à formação continuada do programa Letra e Vida (BAUER, 2012).
Em outro sentido, identificam-se, em parte dos artigos, alguns usos ou tentativas de utilização promissoras, como a conscientização de diferentes atores institucionais sobre os problemas educacionais e escolares a partir dos resultados de avaliações externas (MARQUES; AGUIAR; CAMPOS, 2009), a necessidade de se repensarem as ações pedagógicas que possam ter efeitos na aprendizagem dos alunos (SOUSA; PIMENTA; MACHADO, 2012) e a consolidação de uma cultura de avaliação potencialmente capaz de mobilizar professores, escolas e gestores sobre a importância de instrumentos de avaliação externa para melhoria da qualidade educacional (VIDAL; FARIAS, 2008; SOUZA, 2007).
Em meio a abordagens metodológicas qualitativas, boa parte dos artigos busca captar e identificar o que pensam os agentes institucionais ligados à gestão educacional acerca das avaliações externas a que são submetidos e suas eventuais consequências e desdobramentos no cotidiano escolar. São exemplos um estudo em que se busca analisar a utilização dos resultados do PISA, a partir de documentos oficiais e percepção de gestores (ARAÚJO; TENÓRIO, 2017) e trabalhos que, por meio de entrevistas ou grupos focais direcionados a gestores de secretarias de educação, procuram captar reflexos e concepções desses agentes quanto ao constrangimento e controle curricular ensejados por avaliações externas (CERDEIRA; ALMEIDA; COSTA, 2014; AMARO, 2013).
Sete artigos se debruçam sobre o uso de avaliações externas em instituições escolares e universitárias, contemplando abordagens que buscam analisar: a relação entre o conhecimento técnico sobre as avaliações em larga escala e o uso efetivo dos indicadores por elas produzidos (CERDEIRA et al., 2017); como as avaliações externas afetam a orientação, o planejamento e os encaminhamentos tomados em horas de trabalho pedagógico coletivo (CUNHA; BARBOSA; FERNANDES, 2015; SANTOS; SABIA, 2015); as visões de diferentes gestores escolares sobre as avaliações em larga escala e seus reflexos no cotidiano escolar (ROSISTOLATO; PRADO; FERNÁNDEZ, 2014; BIRMAN; LOPES, 2013; CATUNDA, 2010) e em desempenhos escolares aferidos; e a conscientização de instituições escolares e seus atores em relação aos resultados de avaliação. Um estudo referente ao ES buscou identificar o uso dos dados do Enade na gestão de cinco instituições universitárias (SOUSA; SOUSA, 2012).
Provavelmente, um dos usos que mais desperta a atenção por parte de secretarias de educação seria a bonificação de professores, tendo como um de seus critérios o resultado obtido em avaliações externas. Não raro, o surgimento de avaliações externas em estados e municípios é motivado pela possibilidade de se premiar o desempenho obtido, em meio a outros critérios comumente encontrados, em especial a assiduidade docente. Metade dos artigos referentes a esse agrupamento se debruçou sobre essa temática de forma mais detida e em múltiplos formatos de pesquisa. Destacam-se aqui dois estudos (FURTADO; SOARES, 2018; KOSLINSKI; RIBEIRO; OLIVEIRA, 2017) que indicam pequenas melhoras de desempenho em função da bonificação, ao passo que Sousa, Maia e Haas (2014) não encontraram melhoras significativas nos resultados a partir do oferecimento de bônus na rede estadual de São Paulo.
De forma geral, esse conjunto de artigos enfatiza os aspectos polêmicos envolvidos nesse tipo de política, recomendando desde ajustes em seu desenho e funcionamento, até o alerta de que a bonificação mediante resultados de avaliação pode provocar “[...] desigualdades sistêmicas ainda maiores por incentivar os melhores professores a procurarem as escolas com alunos de nível socioeconômico mais alto” (SOUSA; MAIA; HAAS, 2014, p. 201).
Ainda que de modo diminuto, pode-se perceber, em cinco trabalhos, um enfoque que contempla o uso de avaliações externas por parte de professores, mesmo que considerem também a percepção das avaliações por parte de outros agentes institucionais, presentes na gestão escolar ou educacional. Nesse aspecto, destacam-se a reflexão sobre práticas pedagógicas e mudanças de perspectivas metodológicas provocadas por resultados de avaliações (BIRMAN; LOPES, 2013; CARVALHO; MACEDO, 2010; MARQUES; AGUIAR; CAMPOS, 2009) e a visão de professores acerca dos possíveis efeitos das avaliações externas sobre o planejamento pedagógico e reuniões pedagógicas. Dentre esses estudos, ressalta-se o trabalho de Santos e Sabia (2015), que busca tipificar e detalhar, em uma perspectiva crítica: os usos e efeitos da utilização do Saresp como critério de aprovação (ou não) ao final do ciclo escolar; a utilização da avaliação externa como modelo para elaboração de novas provas; a realização de treinamento dos alunos para as provas; e o foco no currículo prescrito, com direcionamento e controle do trabalho do professor, limitando sua autonomia.
De maneira geral, os artigos que abordam usos e consequências provocadas pelas avaliações externas referidas à educação básica coincidem com o quadro classificatório que estipula uma segunda e terceira gerações de avaliação (BONAMINO; SOUSA, 2012), cujos modelos e desenhos permitem a disponibilização e/ou devolução dos resultados às unidades escolares. No caso da segunda geração, esses resultados não acarretariam consequências materiais às escolas, mas apenas consequências simbólicas, que decorreriam da própria publicidade dos resultados, da eventual mobilização das equipes escolares para a melhoria de seu planejamento pedagógico e práticas cotidianas, bem como do acompanhamento e eventual pressão por parte da comunidade escolar para a melhoria dos resultados. Em relação à terceira geração de avaliação - cujo exemplo notório no caso brasileiro são as políticas de bonificação docente -, verifica-se o uso de resultados que incidem em sanções ou recompensas em função do desempenho alcançado pelas unidades escolares, implicando consequências materiais aos atores escolares.
Em que pese o fato de que o volume de artigos relativos aos possíveis e/ou eventuais usos de avaliações externas seja notadamente diminuto, em face do conjunto de pesquisas publicadas na EAE, pode-se verificar que, conforme aumentam e se aprofundam as investigações voltadas a essa temática, diferentes tipos de utilização de avaliações externas vão sendo criados e demandados não apenas pelo próprio movimento de gestão, aperfeiçoamento e implementação das políticas de avaliação, mas também a partir da autonomia de escolas e seus profissionais.
CONSIDERAÇÕES FINAIS
O artigo demonstra a contribuição da EAE na consolidação da temática das avaliações externas no Brasil. É possível ressaltar o protagonismo da Fundação Carlos Chagas nessa discussão, materializado, dentre outras questões, na atuação do pesquisador Heraldo Vianna, tanto no campo da investigação quanto no fomento ao debate público sobre avaliação de sistemas educacionais. Trata-se de um movimento que contribuiu diretamente para a consolidação desse campo de estudos no Brasil, sempre em articulação com os debates internacionais.
Não obstante o fato de a EAE, ao longo desses 30 anos, ter publicado artigos sobre avaliação externa escritos por autores de diferentes estados brasileiros, evidencia-se uma maior concentração de produções oriundas da região Sudeste do país, especialmente do estado de São Paulo, seguido por Minas Gerais. Isso não quer dizer que as demais regiões não desenvolvam estudos e pesquisas acerca dessa temática, mas sim que o montante maior de artigos aprovados para publicação no periódico se concentra no Sudeste, o que pode indicar, em alguma medida, a necessidade de a EAE divulgar, com maior ênfase, o seu escopo de publicação para instituições de outras regiões, buscando agregar pesquisadores e estudiosos do campo da avaliação educacional com potencial de contribuir para o debate sobre avaliação externa nos diferentes estados e regiões do Brasil.
Durante a análise, tivemos como eixo norteador a discussão sobre as “três gerações de avaliação” trazida por Bonamino e Sousa (2012), sendo possível verificar que a hipótese das autoras permanece sustentável. A EAE publicou investigações situadas em cada uma das gerações, com menor ênfase na terceira, que estaria mais relacionada aos usos dos indicadores e processos de responsabilização. É mister salientar a presença de artigos relativos à avaliação do ensino superior, que trazem argumentos convergentes com aqueles que discutem a educação básica, ainda que fora do escopo analítico apontado pelas autoras.
Ao final, é possível afirmar que os sistemas de avaliação em larga escala, embora estejam consolidados no Brasil, ainda enfrentam dificuldades relacionadas aos usos dos indicadores educacionais. Os desenhos das políticas de avaliação envolvem a aplicação das provas, sua correção, a divulgação dos dados de desempenho dos alunos e, por vezes, consequências para os professores. Porém não trazem necessariamente propostas e metodologias para o uso dos dados em termos pedagógicos e na avaliação das políticas. Dessa forma, secretarias de educação, escolas e professores apenas recebem os dados, mas não os convertem em ações práticas. Tal cenário reverbera no menor número de investigações sobre usos de dados e nas lacunas de conhecimento sobre essa temática no Brasil.