SciELO - Scientific Electronic Library Online

 
vol.36DISSERTAÇÕES DE MESTRADO ATRELADAS A PROJETOS DE EXTENSÃO: PREMISSAS AO TRIPÉ ACADÊMICODO COMUM DA EDUCAÇÃO AMBIENTAL À EDUCAÇÃO AMBIENTAL DO COMUM índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Educação em Revista

versão impressa ISSN 0102-4698versão On-line ISSN 1982-6621

Educ. rev. vol.36  Belo Horizonte  2020  Epub 02-Dez-2020

https://doi.org/10.1590/0102-4698233713 

Artigos

QUANDO O FOCO PASSA A SER O RESULTADO NA AVALIAÇÃO EXTERNA EM LARGA ESCALA: EVIDÊNCIAS DE UMA REDE

WHEN FOCUS BECOMES THE RESULT IN EXTERNAL LARGE-SCALE EVALUATION: EVIDENCE OF A SCHOOL NETWORK

CUANDO EL ENFOQUE SE CONVIERTE EN EL RESULTADO DE LA EVALUACIÓN EXTERNA A GRAN ESCALA: INDICIOS DE UNA RED PÚBLICA DE ENSEÑANZA

1 Departamento de Teorias e Práticas Pedagógicas. Universidade Federal de São Carlos. São Carlos, SP, Brasil. <luanaca@ufscar.br>


RESUMO:

A indução das avaliações externas sobre o trabalho escolar tem sido desvelada em várias pesquisas e, com o objetivo de aprofundar a investigação nessa temática, este artigo apresenta os resultados de uma investigação que se propôs a analisar evidências empíricas de como diferentes níveis de uma mesma rede organizam suas ações para a melhoria de sua performance. Nele, são problematizados e analisados os objetivos e as ações estabelecidas para a melhoria dos índices de desempenho, tanto no nível da secretaria municipal de educação quanto das escolas. O objetivo da investigação foi descrever e analisar a forma pela qual essas avaliações impactam nas decisões e ações no âmbito de uma rede de ensino. As evidências foram coletadas em entrevistas com o secretário de educação da rede e os gestores das escolas e por meio de grupos focais com professores. Os resultados mostram não apenas as ações adotadas na rede, mas também indícios de uma rendição dos profissionais da educação à lógica gerencialista que coloniza a política educacional na atualidade.

Palavras-chave: Avaliação; qualidade educacional; gerencialismo; escola

ABSTRACT:

The induction of external evaluations on school work has been unveiled in several surveys. Aiming to deepen the investigation on this theme, this article presents the results of an investigation that aimed to analyze empirical evidence of how school network, at different levels, organize their actions to improve their performance. This article is based on a research that sought to understand how these evaluations impact the decisions and actions of a school network. It discusses the capture of educational objectives by improving the indexes, taking for analysis both the level of the municipal secretary of education and schools. From interviews with the secretary of education and school managers, as well as focus groups with teachers, our analysis not only highlights the actions adopted in the network but also indicates some surrender to the managerialist logic that colonizes educational policy today.

Keywords: Evaluation; educational quality; managerialism; school

RESÚMEN:

La inducción de evaluaciones externas sobre el trabajo escolar se ha presentado en varias investigaciones y, con el objetivo de profundizar la investigación sobre este tema, este artículo presenta los resultados de una investigación que tuvo como objetivo analizar la evidencia empírica de cómo diferentes niveles de la misma red pública de enseñanza organizan sus acciones para mejorar su rendimiento. En él, los objetivos y acciones establecidas para la mejora de los índices de desempeño se problematizan y analizan, tanto a nivel del departamento municipal de educación como de las escuelas. El objetivo de la investigación fue describir y analizar la forma en que estas evaluaciones impactan las decisiones y acciones dentro de una red pública de enseñanza. La evidencia se recolectó en entrevistas con la secretaria de educación de la red y los gerentes de las escuelas y a través de grupos focales con los maestros. Los resultados muestran no solo las acciones tomadas en la red pública de enseñanza, sino también el indicio de una rendición de los profesionales de la educación a la lógica gerencial que hoy coloniza la política educativa.

Palabras clave: Evaluación; calidad educativa; el gerencialismo; escuela

INTRODUÇÃO

Embora a avaliação da Educação Básica tenha se consolidado somente em meados da década de 1990, desde os anos de 1980 nos aproximamos de políticas públicas educacionais voltadas à avaliação externa em larga escala. Todavia, ainda que esboços de pesquisa e planejamento tenham dado base para propostas anteriores, foi a delimitação do Sistema de Avaliação da Educação Básica - Saeb - que inaugurou uma política nacional com enraizamento amplo e profundo, dadas as possibilidades de comparação em diferentes perspectivas com o uso da Teoria de Resposta ao Item - TRI2.

A adoção de um sistema nacional de avaliação dialoga com o que se denomina Nova Gestão Pública (NGP). Ela se relaciona com a ideia de que as testagens propiciam conhecer os resultados produzidos pelo trabalho nas escolas de forma a favorecer o planejamento dos recursos disponíveis, permitindo o uso mais eficiente e eficaz dos investimentos destinados à educação, dentro do viés gerencialista3. Verger e Normand (2015) debatem essa questão explicitando seu caráter global, já que está presente em vários e distintos países, e argumentam que, mesmo com desenhos diferenciados e sem um modelo de reforma monolítico, há traços comuns observados em diferentes localidades.

Já consolidada em âmbito nacional brasileiro e ligada à lógica gerencial, a política de avaliação externa em larga escala da Educação Básica, especialmente representada pelo Saeb e reproduzida nos diferentes entes federativos, tem nos testes padronizados sua expressão mais visível. O Saeb apresenta-se oficialmente como um diagnóstico da Educação Básica brasileira e dos fatores que podem interferir no desempenho do estudante; ele permitiria às redes e escolas que usassem seus resultados para a melhoria do ensino (INEP, s/d) .

Referenciado pela mesma lógica, o desenho político com impacto direto nas escolas e nas salas de aula recentemente delimitado e construído com a Base Nacional Comum Curricular - BNCC - articula de forma ainda mais fechada o direcionamento das ações. Como “[...] documento de caráter normativo que define o conjunto orgânico e progressivo de aprendizagens essenciais que todos os alunos devem desenvolver ao longo das etapas e modalidades da Educação Básica” (BRASIL, 2019, p. 7), a BNCC é vislumbrada como uma referência para a reelaboração dos currículos escolares e diretrizes pedagógicas nos diferentes níveis do sistema educacional, mas também para a produção de recursos didáticos, produtos da indústria editorial, formação inicial e continuada de professores, ambientes virtuais de aprendizagem e, principalmente, avaliação externa em larga escala (recurso central para a regulação e controle, diante de tanta flexibilização). Definindo os chamados “direitos de aprendizagem”, a BNCC delimita o que deve ser focalizado na Educação Básica.

Esses “direitos de aprendizagem”, os quais podem ser entendidos como “aprendizagem mínima” ou “aprendizagem básica”, acabam por se tornar o currículo escolar4 - ou seja, os direitos de aprendizagem, traduzidos como competências e habilidades5, passam a ser o grande objetivo educacional a ser avaliado e, por isso, assumidos como eixo de trabalho das redes e escolas.

Desse modo, percebemos que essa proposta permite o fechamento de um ciclo: a BNCC delimita as “aprendizagens essenciais”, as quais passam a ser o grande objetivo educacional; estas orientam a produção de materiais didáticos e o trabalho das redes e escolas, que, por sua vez, serão avaliadas a partir de seus resultados, segundo as “aprendizagens essenciais” definidas no documento.

Mesmo sem questionarmos, de imediato, o limite da avaliação proposta, cuja matriz dos testes se difere da matriz curricular almejada para as escolas6, é preciso problematizarmos o ciclo ora explicitado. Vigorosamente alinhada e precisamente colocada, a lógica apresentada estaria perfeita se em nenhum momento nos questionássemos sobre quais perspectivas ancoram sua produção. Há uma falsa neutralidade construída, para que o medido seja verossímil como a única qualidade possível, causando a ilusão de que a definição dos direitos de aprendizagem assumidos não passasse pela exclusão de tantos outros necessários e desejáveis.

Essa falsa neutralidade causa a sensação equivocada de que não seria preciso questionarmos o objetivo da educação, assumindo o avaliado como aquilo que deveria ser efetivado pela escola, também orientador da produção dos materiais didáticos, e que não haveria nada de melhor ou diferente que pudesse ser feito. Passa-se a impressão de que a qualidade almejada seria um dado objetivo e pacífico, portanto, neutra, que apenas devesse ser perseguida, e não questionada.

La relación entre evidencia y formulación de política no es lineal como se quisiera sugerir. A veces domina la evidencia y en otras ocasiones domina la formulación de la política, pero en la base, aunque oculta, siempre está la opción política, valórica o filosófica de quienes toman estas decisiones (CASASSUS, 2013, s/p).

Nessa perspectiva, é fato conhecido na literatura da área que as avaliações externas em larga escala induzem e conformam as prioridades que escolas e redes assumem como foco (RAVITCH, 2010; SOUSA e ARCAS, 2010; FREITAS, 2014; 2016). Nesse sentido, o ciclo acaba por se iniciar e finalizar na avaliação, o que dá a essa dimensão uma centralidade perigosa dentro das opções adotadas pela rotina escolar e das redes.

Se é verdade que os processos de desenvolvimento do currículo são centrais para se pensar a qualidade do serviço educativo prestado, é igualmente verdade que uma avaliação dessa qualidade focada nos resultados que os alunos obtêm em provas de exames nacionais terá influências no que passará a ser considerado fundamental nesses processos curriculares (FIGUEIREDO; LEITE; FERNANDES, 2016, p. 649).

Ainda que importante em termos de disputa política por delineamento, esse ciclo que se inicia e termina na avaliação foi instaurado de tal forma que mesmo discursos bem-intencionados sobre o objetivo da educação dentro de uma rede de ensino, os quais anunciam a formação mais ampla dos sujeitos, acabam cooptados pelo foco nos resultados das avaliações externas em larga escala. Lógica que, com a implementação da BNCC, tende a se intensificar e fortalecer.

Fruto da investigação que procurou compreender as ações relacionadas ao uso das avaliações externas em larga escala e suas implicações no trabalho de escolas em uma rede de ensino, o presente artigo apresenta evidências empíricas de como a rede, em diferentes níveis, organiza suas ações para a melhoria dos resultados.

ORIGEM DOS DADOS

Circunscrito ao projeto de pesquisa que articulou três investigações paralelas sobre o uso das avaliações externas em larga escala por profissionais da educação de uma mesma rede de ensino, entre os anos de 2015 e 2017, o presente artigo busca evidenciar uma questão que se mostrou transversal aos diferentes sujeitos: a captura dos objetivos educacionais em favor da busca pela melhoria dos índices na avaliação externa em larga escala.

Foco de análise em outros textos7, a investigação abarcou o nível da secretaria de educação, da gestão das escolas e dos professores em sala de aula e permitiu observar que nos diferentes níveis foi comum a observação da cooptação da definição dos objetivos educacionais pela lógica da melhoria dos índices, evidenciando um trabalho articulado, via secretaria municipal de educação, com ações centradas nos testes: aplicação de simulados e retomada das habilidades e competências medidas como insuficientes. Foi observado, na análise das falas do representante da secretaria de educação do município, dos gestores e dos professores, a focalização das ações planejadas e colocadas em prática ao postulado pela avaliação externa em larga escala.

Nesse sentido, o presente artigo analisa os dados coletados junto aos três níveis, debatendo como as avaliações externas em larga escala, seus resultados e indicadores, têm colonizado os objetivos da rede em detrimento do foco em uma formação mais ampla.

Com foco na Educação Básica e buscando a compreensão das ações relacionadas ao uso das avaliações externas em larga escala e suas implicações no trabalho de escolas que atendem aos anos iniciais do ensino fundamental, a eleição do município teve como critério sua localização geográfica e desempenho no Índice de Desenvolvimento da Educação Básica - Ideb. Buscou-se uma cidade localizada no Sul de Minas Gerais, campo de atuação dos pesquisadores envolvidos, com rede municipal que apresentasse crescimento nos resultados do Ideb. A rede eleita não apenas apresentou crescimento, como esse superou as metas estipuladas para os anos de 2011, 2013 e 2017, conforme evidencia a figura 1.

Figura 1 Evolução do IDEB 2005-2017 - rede municipal/anos iniciais 

O município estudado está entre as 20 maiores cidades do estado de Minas Gerais e entre os municípios mais populosos do Sul de Minas. Com um crescimento superior a 30% na última década, o município conta com cerca de 150 mil habitantes segundo o censo do Instituto Brasileiro de Geografia e Estatística - IBGE. De acordo com informações oficiais disponíveis no site da prefeitura, as fontes geradoras de recursos econômicos são principalmente a agropecuária, o comércio e a indústria, com empresas brasileiras e multinacionais de grande porte, além de outras pequenas e médias indústrias de diversos segmentos.

A rede pública da cidade é composta por escolas estaduais e municipais, mas a pesquisa assumiu apenas a rede municipal de ensino como campo, pela possibilidade de abarcar os diferentes níveis na investigação: secretaria de educação e instituições escolares, em sua gestão e docência. Considerado o desejo de observar o uso e o impacto das avaliações externas em larga escala, tanto no nível da secretaria de educação da rede quanto de suas escolas, optou-se por buscar a percepção de diferentes atores para análise. Com 15 escolas que ofertam os anos iniciais do ensino fundamental, assumimos como participantes da pesquisa, como um todo, o secretário de educação, os gestores de cada uma das 15 escolas e professores de 3 escolas da rede, as quais foram definidas a partir de seu Ideb em relação à média do município: maior, menor e dentro da média.

Para tanto, e buscando uma abordagem descritivo-analítica, optamos pelo uso de diferentes técnicas de coleta de dados: entrevista em profundidade com o secretário de educação, semiestruturada com os gestores (36) e dois grupos focais com os professores de cada uma das três escolas (média de 10 participantes por grupo). Para garantir o anonimato de todos os participantes, omitiram-se seus nomes, e as escolas foram codificadas com a letra E seguida por número aleatório de 1 a 15. Para diferenciação entre gestores e professores, os primeiros foram codificados pela letra G, acompanhada pelos números de 1 a 3, em dependência da quantidade de gestores entrevistados na escola; e os professores, pela letra P, acompanhada por um número aleatório de 1 a 10.

A opção pela entrevista em profundidade com o secretário de educação na rede justifica-se pela necessidade de uma maior abertura em relação ao foco de investigação. Como se procurava entender o lugar ocupado pelas avaliações externas em larga escala no planejamento municipal, não apenas elencando as ações propostas pela secretaria como, também, suas motivações, era essencial que não houvesse um roteiro fechado, abrindo-se espaço para uma conversa livre e aprofundada. Já com os gestores, optamos pela entrevista semiestruturada, pois ela possibilita a interação entre o pesquisador e os participantes da pesquisa, todavia guiada por um roteiro que ajuda o entrevistador a focar alguns temas essenciais à pesquisa. Utilizando um roteiro construído previamente com foco no uso dos resultados das avaliações externas na escola, esse instrumento possibilitou que o entrevistador tivesse questões centrais elencadas, ao mesmo tempo que pôde fazer as adaptações necessárias. Esse instrumento permite ouvir atentamente as informações, respeitando a fala do entrevistado e interferindo sempre que necessário para perguntas de aprofundamento da coleta de dados (LÜDKE; ANDRÉ, 1986).

Já em relação aos professores, considerando a impossibilidade de entrevistarmos a todos, optamos pela técnica de grupo focal, a qual nos possibilitou a observação do olhar partilhado dos docentes sobre as avaliações externas em larga escala na realidade da instituição em que trabalham, permitindo, durante a dinâmica, o aprofundamento de algumas questões e a observação dos conflitos e concordâncias entre eles. Isso porque, através da discussão, temos acesso a uma rica análise da questão investigada com pontos e contrapontos que podem, de imediato, ser confirmados ou refutados pelos integrantes do grupo. Além disso, essa técnica ocupa uma posição intermediária entre a observação participante e as entrevistas em profundidade, ou seja, consolida-se como um processo de construção das percepções, atitudes e representações sociais de grupos humanos, sobre um determinado tema (GATTI, 2005).

Após a construção de nosso campo de pesquisa, a análise de dados deu-se a partir da perspectiva da análise de conteúdo. Inspirados por Bardin (1977), iniciamos com a transcrição de todas as entrevistas e de todos os grupos focais, passando a uma leitura flutuante de todo o material de cada nível, separadamente, a fim de apreendermos os temas abordados pelos sujeitos. Em seguida, definimos núcleos de conteúdo, em que os dados foram sendo organizados a partir de seus temas, passando, por fim, à organização de categorias empíricas, as quais agruparam os dados a partir de uma descrição clara de seu conteúdo, formando blocos diferenciados e não sobrepostos de temáticas. Dentre as categorias empíricas observadas para cada um dos níveis, coincidiu nos três a menção à melhoria dos resultados da escola e da rede como meta ou constitutiva das ações principais adotadas.

CONSOLIDAÇÃO DOS TESTES COMO MÉTRICA DE “QUALIDADE”: O TESTE PELO TESTE

Consolidadas tanto no contexto internacional quanto no nacional, as avaliações externas em larga escala, com testes padronizados, surgiram pela busca de formas sistêmicas de medir a aprendizagem e o funcionamento dos sistemas escolares. Fortemente relacionadas à lógica da globalização e da busca de parâmetros a serem perseguidos, na análise de Arroyo (2017), essas avaliações respondem ao desejo de homogeneização dos padrões produtivos.

No Brasil, mesmo existindo experiências anteriores, essas avaliações passam a ganhar força e abrangência com a criação do Sistema Nacional da Educação Básica - Saeb -, na década de 1990. Cada vez mais comuns, as políticas públicas de avaliação que têm como instrumento principal os testes padronizados em larga escala já se constituíram como parte da rotina das redes e escolas brasileiras. Lima e Gandim (2019, p. 3) indicam que o processo que levou ao estabelecimento dessa naturalização e consolidação das avaliações externas em larga escala no País tem dois elementos centrais:

[1] a proliferação de discursos hegemônicos e de práticas concretas, no âmbito global, que afirmavam a importância das avaliações; [2] uma articulação, no cenário brasileiro, na qual se constata um compromisso entre as avaliações internacionais e as particularidades do Brasil, o que culminou na solidificação do Sistema de Avaliação da Educação Básica (SAEB) e das avaliações em larga escala como práticas do contexto brasileiro.

Importante instrumento de gestão, os resultados da avaliação externa em larga escala e a divulgação dos índices podem tanto ser utilizados de forma positiva pelo poder público e profissionais da educação nas redes e escolas, quanto usadas negativamente. Os dados gerados pelas políticas de avaliação podem ser apropriados pelos sujeitos e servirem como disparadores de reflexões que permitam o aprimoramento do trabalho, mas também como meio de engessamento das ações em que se limita o trabalho ao que é elencado como foco pela matriz das avaliações.

Muitas vezes o que se percebe é uma absolutização da medida, o que, potencialmente, pode levar a uma situação paradoxal no futuro próximo. Distingo, portanto, o uso dessas medidas para aperfeiçoar a educação, da ação, muitas vezes fraudulenta, de buscar melhorar os resultados nas próximas medidas. De um lado, temos um uso dos resultados na perspectiva de melhorar a educação, o que pode se traduzir em um genuíno processo de reflexão acerca do funcionamento da escola e de seu trabalho, com vistas a garantir o aprendizado a todos. De outro, a mera tentativa de melhorar os resultados nas testagens (OLIVEIRA, 2013, s/d).

A adoção de testes para a avaliação dos sistemas de ensino é um fator positivo para pensarmos e estabelecermos agendas e políticas públicas voltadas à melhoria educacional. Todavia, esses testes não podem ser tomados como orientadores cabais da ação das redes, escolas e profissionais, sob o risco de produzirem reações diferentes daquelas que poderiam promover uma efetiva melhoria da qualidade da educação postulada a partir de uma formação mais ampla e multidimensional (DALBEN; ALMEIDA, 2015), o que, infelizmente, não tem se configurado como a realidade observada.

As avaliações externas em larga escala têm se convertido no que orienta as decisões na maioria dos âmbitos da educação, fragilizando sua potencialidade para a efetiva contribuição no melhoramento do trabalho das escolas. A confusão entre o que deveria ser o objetivo da educação ofertada pelas instituições escolares e o que permite o instrumento avaliativo é profunda. Restringe-se recorrentemente a qualidade das escolas aos aspectos medidos nas avaliações.

Criado em 2007 e a despeito de ser um importante instrumento da política pública educacional, o Índice de Desenvolvimento da Educação Básica - Ideb - corrobora com o equívoco (ALMEIDA, DALBEN, FREITAS, 2013). Anunciado como indicador da qualidade da educação, ele se propõe como um importante termômetro da realidade educacional do País, sem assumir a limitação de seu próprio delineamento. Mesmo composto apenas por fluxo escolar e proficiência nos testes padronizados, esse indicador recorrentemente tem sido utilizado como métrica para o julgamento de escolas e de seus profissionais (GERALDI; GERALDI, 2012).

Não são desconhecidas as consequências da adoção dessas políticas na realidade educacional das redes e escolas para a organização do trabalho docente (MAUÉS, 2009; NEAL; SCHANZENBACH, 2010). Dentre as principais consequências denunciadas e registradas na literatura destacamos:

  • Ênfase na busca pelo aprimoramento dos resultados nos índices divulgados, tomando-os como o principal objetivo das escolas.

  • Priorização da instrução em Leitura e Matemática em detrimento de outras áreas do conhecimento devido à focalização dessas áreas pelos testes.

  • Priorização do que é considerado como “básico”, focalizando a ação docente na matriz dos testes.

  • Adoção de medidas de treinamento para a resposta aos testes.

  • Focalização das metas, com ações voltadas a grupos priorizados, determinando a atenção do professor aos alunos próximos do padrão de proficiência exigido, desconsiderando os mais “adiantados” ou “atrasados”.

Construindo o planejamento com foco nas avaliações externas, tanto as normativas da rede quanto as ações docentes acabam por não almejar uma formação mais ampliada das crianças, objetivando prioritariamente a matriz dos testes. Privilegia-se a matriz da avaliação em detrimento da matriz curricular da escola, que deve abarcar outras dimensões além das medidas pelos testes. Como destacam Hout; Elliott (2011) e Madaus et al. (2009), a pressão pelo aumento nos índices e proficiências médias mensuradas via testes intensifica a ação de ensinar aquilo que é abordado e aumentar as atividades de treinamento.

Nesse sentido, a literatura tem sido enfática, já há algum tempo, em denunciar que as propostas metodológicas adotadas pelas escolas acabam por abarcar uma proposta curricular restrita, com ações voltadas ao treinamento para o teste tanto a partir da aplicação de simulados quanto de questões nas atividades em sala semelhantes às cobradas pelos testes. Igualmente, tem-se denunciado a ênfase em um planejamento que não prioriza as necessidades de todos e cada um dos estudantes.

Seja pela crença de que aquilo que é abarcado na prova deve ser o privilegiado por ser o correto, seja pela tentativa explícita de melhoramento dos índices, o que se percebe no cotidiano escolar é o recorrente abandono de outras dimensões da formação e outros recursos didáticos potentes para seu desenvolvimento em favor do que é priorizado pela matriz das avaliações externas em larga escala. Como podemos concluir com Mainardes (2013), esse movimento gera um enfraquecimento de ações que visam propostas curriculares e ações tanto para o coletivo quanto para grupos particulares e indivíduos.

Atualmente, as propostas curriculares, em diversas redes de ensino, resumem-se a uma lista de conteúdos ou objetivos, de expectativas de aprendizagem ou de competências e habilidades. Observa-se, assim, uma gradual redução do conceito de currículo e uma preocupação com a avaliação do desempenho dos alunos por meio de avaliações internas ou externas, sem que os resultados dessas avaliações, em muitos casos, sejam tomados como ponto de partida para o planejamento de intervenções necessárias, levando em conta as necessidades da classe como um todo, de grupos específicos e de necessidades individuais (MAINARDES, 2013, s/p).

Corroborando essas evidências, Bauer et al. (2015) explicitam que a análise das pesquisas da área sobre o tema revela a preocupação na obtenção de bons resultados nos testes padronizados pelos estudantes. Evidenciam a preocupação com a adaptação do trabalho aos testes e às suas matrizes, preparando os estudantes para as provas.

As contribuições desses estudos têm revelado convergência em iniciativas de organizar as propostas de ensino de acordo com as habilidades e conteúdos elencados em matrizes de referência de elaboração das provas e preocupação de preparar os alunos para obtenção de bons desempenhos nas provas (BAUER et al., 2015, p. 332).

Nesse mesmo trabalho, os referidos autores afirmam que as contribuições trazidas para a discussão, focalizando a análise dos contextos municipais, permitem observar a consolidação da avaliação externa em larga escala como instrumento de gestão educacional das redes. Em levantamento feito junto a 4.309 municípios, eles puderam observar que, desses, 82% “estimulam as escolas a prepararem seus alunos para esses testes”, sendo que 57% aplicam provas “com o objetivo de preparar os alunos para os testes” (BAUER et al., 2015, p. 339). Essa lógica assumida pelos municípios carrega em si similaridade com as delimitações propostas pelo Ministério da Educação - MEC.

Não se trata de falta de reconhecimento acerca da necessidade de políticas públicas de avaliação. Concordamos com Silva e Gomes (2018, p. 381) quando concluem, após uma importante análise das concepções de avaliação historicamente colocadas, que avaliar para tomar decisões e construir as estratégias políticas é essencial:

Mesmo diante desse cenário adverso, é imprescindível avaliar o sistema educacional, seus resultados e processos, para tomar decisões que orientem, com legitimidade técnica e política, os fluxos de problemas, de soluções, observando as condições políticas favoráveis e a janela de oportunidades para as políticas de avaliação.

Longe de um movimento de recusa completa às avaliações externas em larga escala e à construção de indicadores pelas políticas públicas, o que causa preocupação é o uso que se tem feito delas. Mesmo não sendo possível negar a importância dessas avaliações e do próprio Ideb para a análise dos sistemas de ensino, há de se reconhecer que são insuficientes para avaliar o trabalho desenvolvido pelas escolas. Isso porque tanto limitam a qualidade almejada apenas à aprendizagem de algumas habilidades e competências, recorrentemente nas áreas de Leitura e Matemática, não abrangendo todos os componentes presentes no currículo escolar, quanto têm delineamento incapaz de captar o processo, deixando de fora da análise aspectos essenciais ao trabalho pedagógico em contextos específicos de ação.

Es de todos sabido que la manera como se define un problema determina el tipo de solución que se le dará. Esto es particularmente cierto en relación a los problemas en educación. Hay muchas maneras de enseñar, de aprender, y evaluar. Técnicas que funcionan en un contexto, no son tan efectivas en otros y en materia de educación se requiere sensibilidad a los contextos y a las sutilezas (CASASSUS, 2013, s/p).

Nesse sentido, preocupa-nos como as escolas e seus atores têm sido afetados por toda essa lógica e como têm respondido às avaliações externas em larga escala e à publicização dos índices educacionais de suas instituições. Esses são parte da análise construída pelas redes e escolas para aprimoramento do trabalho e da qualidade produzida ou têm sido assumidos como objetivo e fim último a ser alcançado? Quais movimentos vêm sendo engendrados nas redes e escolas perante essa política pública? É possível observarmos ações voltadas a prioridades locais, ou se manifestam apenas aquelas alinhadas à lógica da política?

FOCO NO RESULTADO: CONCORDÂNCIA OU RENDIÇÃO À LÓGICA COLOCADA?

Como já discutido, não é novidade a indução do trabalho escolar pela avaliação externa em larga escala. Todavia, ainda é necessário apresentar evidências empíricas de sua produção, especialmente em relação às ações em diferentes níveis de uma mesma rede para a melhoria de sua performance.

Ao analisarmos as declarações dos diferentes atores partícipes da pesquisa, chamou-nos a atenção que, desde a ação do secretário de educação até as prioridades elencadas pela gestão escolar e atividades propostas pelos professores, a busca pela melhoria dos índices passou a colonizar os objetivos e ações. Evidencia-se tanto a delimitação da matriz das avaliações externas como norteadora das propostas construídas quanto a proposição de provas preparatórias para os testes. Estas, segundo as declarações analisadas, para além de familiarizarem as crianças com o instrumento, possibilitariam antever as habilidades e competências cobradas e ainda não desenvolvidas, de modo que o planejamento estivesse voltado a atividades que permitissem seu aprimoramento.

As ações planejadas pelo secretário integram o que é declarado por gestores e professores como parte da rotina de trabalho das escolas. A busca pela melhoria dos resultados e as opções assumidas para alcançá-la podem ser observadas nas atividades propostas e executadas.

É marcante a declaração do secretário de educação ao descrever as ações realizadas. Ele revela que desde o início de sua gestão tem o foco na avaliação externa em larga escala, cuja matriz e resultados têm sido referência para o trabalho da secretaria. Listando de forma muito bem-intencionada sua atuação, na tentativa de acabar com a desigualdade de desempenho entre as escolas da rede a partir de uma homogeneização do trabalho, ele descreve as ações planejadas e implementadas. Unifica o material didático, contratando o sistema Positivo, assim como passa a realizar avaliações nos moldes adotados pelo Inep para o desenvolvimento de propostas voltadas aos resultados nessas avaliações.

Quando nós assumimos, as escolas tinham um IDEB muito desigual, não era baixo, era muito desigual. Essa diversidade me incomodava, porque todos os alunos [merecem bom desempenho], sejam os da escola em área de maior ou de menor vulnerabilidade social. A pessoa é a mesma, o ser humano tem a mesma capacidade, então a forma de trabalhar esse ser humano é que estava em situações diferenciadas. Por que numa escola nós tínhamos um bom IDEB e nas outras nós não tínhamos? Por que uma escola era um destaque e a outra não era? E da mesma forma no meio rural... Então, o que nós colocamos para nós, porque isso foi um grupo que trabalhou com o norte da secretária de educação, é que todas as escolas tivessem as mesmas orientações, tivessem o mesmo acompanhamento e produzissem o mesmo trabalho. Então a primeira coisa que a gente tentou fazer foi essa unificação dentro dos materiais didáticos. Nós buscamos junto ao prefeito que apoiou perfeitamente a nossa ideia e nós fomos galgando e adotamos um sistema, o Positivo. Porque nós percebemos que dentro da mesma escola, quando tínhamos professores de mais de um terceiro ano, [por exemplo], o professor de um terceiro trabalhava de um jeito e o professor de outro terceiro trabalhava de outro. [...] As turmas de um professor tinham um desenvolvimento e as turmas do outro professor tinham outro desenvolvimento e isso diagnosticado, porque a primeira coisa que nós introduzimos aqui foi uma avaliação interna. O que nos interessava era o nosso diagnóstico. E uma avaliação interna não no sentido apenas de avaliar, mas uma avaliação interna que nós tivéssemos como parâmetro para que nós pudéssemos desenvolver programas e resultados em cima dessa avaliação [Entrevistador intervém: E essa avaliação por teste também?] Por teste e nos mesmos padrões do IDEB, do INEP (Secretário de Educação Municipal8).

O secretário demonstra em sua fala tanto a crença de que a diferença no desempenho das escolas se relaciona a ações não unificadas quanto de que, a partir de orientações e materiais didáticos comuns, se poderia equalizar o desempenho dos estudantes em toda a rede. Tudo sem demonstrar, em momento algum durante a entrevista, quaisquer dúvidas sobre o Ideb ser o melhor parâmetro de qualidade a ser adotado, assim como a matriz da avaliação, a melhor referência a ser assumida curricularmente. Aspecto evidente, também, ao reconhecer, como “avaliação diagnóstica” para planejamento do trabalho, um instrumento nos mesmos parâmetros e formato da Prova Brasil.

Mesmo bem-intencionado, orientado pela crença de que o delimitado na avaliação externa em larga escala é o que deveria ser priorizado e que, em sendo, deveria ser garantido a toda a rede, fato é que o secretário de educação do município estudado vai revelando um plano articulado que leva à melhoria dos índices. Desde a adoção de material apostilado e de simulados aplicados aos estudantes, até a coordenação de ações com foco no desenvolvimento das habilidades e competências observadas como insuficientes, os procedimentos adotados pela secretaria voltam-se à lógica das avaliações externas e de seu delineamento. Há, inclusive, no rol de testes respondidos pelos alunos, um do próprio sistema Positivo9, o qual, aplicado aos quartos e oitavos anos pela equipe do sistema, permite identificar as habilidades e competências a serem focalizadas para um melhor desempenho nos testes oficiais, os quais ocorrem nos quintos e nonos anos.

Esses aspectos foram corroborados nos demais níveis, considerando que tanto as declarações dos gestores quanto dos professores revelam as ações anunciadas pelo secretário - uma integração de orientações e ações na rede bastante interessante e que poderia ser extremamente potente para a construção de patamares de qualidade voltados a uma educação mais abrangente, caso não estivesse focada no que delimitam as avaliações.

Merece destaque o fato de o secretário assumir o avaliado como sinônimo de algo maior, que pretensamente levaria o estudante ao sucesso. Sem questionar se tal sucesso poderia ser alcançado a partir daquilo que é priorizado nas avaliações, ele explicita que a importância das ações planejadas estaria voltada não apenas ao melhoramento do Ideb.

[...] Então nós trabalhamos em cima de competências, de área de habilidades e provas, avaliações né?! [...] e aí a gente começou a desenvolver projetos [...] Projeto Prova Brasil, que foi trabalhado dentro das escolas não só em avaliações, mas trabalhado em cima do desenvolvimento de habilidades e isso desde a educação infantil. [...] Hoje eles fazem não só essa avaliação física como também ela é feita em várias etapas ou bimestralmente no NET [tablets comprados para as escolas]. [...] E trabalhamos em cima de intervenção pedagógica. Porque também não era hábito do professor trabalhar a intervenção pedagógica. [Entrevistador intervém: O que é a intervenção pedagógica?] A intervenção pedagógica é exatamente aquele momento em que você, através das avaliações, detecta e mapeia, porque nós mapeamos cada questão que a gente faz, de cada aluno e depois por escola, e então a gente tem o perfil do aluno, a gente sabe o que o aluno sabe e o que ele não sabe, então o que ele não sabe é trabalhado com ele de uma forma que ele venha a ter conhecimento daquilo que ele não sabe. [Isso o próprio professor de sala?] O próprio professor de sala e nós colocamos nas escolas um professor para intervenção pedagógica que trabalha no contraturno. E isso foi mudando a maneira de perceber a necessidade e a aceitação, porque havia muita crítica dos professores não apenas à avaliação externa que é a Prova Brasil, ANA [Avaliação Nacional da Alfabetização], Proalfa [Programa de Avaliação da Alfabetização], Proeb [Programa de Avaliação da Rede Pública de Educação Básica]... havia muita resistência, o professor fazia aquilo ali com muito descaso... A própria escola em si, ela não valorizava e começamos a mostrar para eles o valor disso. O valor não é apenas para termos um bom IDEB, mas o valor para que eles possam parametrizar o que ele deve oferecer para o aluno, para que o aluno possa ter sucesso. Porque o que nos interessa não é nem a nota. Eu acho que resultado é uma consequência, uma finalização, ele vem como uma consequência de um trabalho realizado, então esse trabalho tem que ser realizado durante todo o ano e não apenas no ano que vai ter o IDEB, que vai ter a Prova Brasil, no caso. [...] [...] [Entrevistador intervém: E tem uma prova do Positivo?] Também. É o Hábile. Ele é feito no meio do ano. É uma avaliação muito fechada e dá para a gente uma visão muito grande porque ele analisa muito (Secretário de Educação Municipal).

No âmbito da escola, para gestores e professores, também foi comum o enfoque bem-intencionado nas avaliações externas e melhoria dos índices. Eles confessam a mudança de foco a partir dos resultados, mas relativizam a partir da suposta necessidade de preparar o estudante para o mundo externo à escola, cuja lógica é a mesma dessas avaliações. Um dos professores participantes do grupo focal da escola E12 (de desempenho na média do município) revela sua preocupação em que sua escola não fique para trás, ao que outro participante do grupo complementa, dizendo que, mesmo acreditando existirem outras prioridades de aprendizagem, considera importante que seus estudantes sejam preparados para o que o mundo fora da escola cobrará deles.

[...] P5: Mas o resultado acaba interferindo bastante, porque a gente muda o foco [...] em função do resultado a gente muda a nossa maneira, às vezes, o conteúdo, a gente amplia. A gente altera a nossa maneira de trabalhar em sala de aula. P3: Cai na questão moral. Eu não quero que a minha escola fique para trás. P4: Você tem que analisar assim, tudo bem não é a maneira correta que eu acho que o meu aluno deve aprender, mas a hora que ele cair no mundo lá fora, é por isso que ele vai conseguir. Então, a melhor maneira de preparar ele para a vida, não é querer isolar a minha escola entre muros e trabalhar do jeito só que eu quero, é eu trabalhar da maneira correta, mas pensando que lá fora ele vai disputar com todos os outros, de igual para igual. Então, eu tenho que preparar ele também para isso. Sabe, tanto que nós estamos fazendo, montando provas para eles trabalharem em cima do que vai ser cobrado lá fora. Mesmo eu achando que isso não é o que seria bom para ele, para eu trabalhar, eu faço isso, porque é isso que ele vai pegar lá fora. [...] P4: Bom, a supervisora, quando termina a prova, faz uma análise e nós sentamos juntos e montamos estratégias para ver aquilo que precisa ser trabalhado [...] P8: Temos a sala de apoio para os alunos com maior dificuldade (GF - Anos Iniciais - E12).

As declarações dos gestores e professores evidenciam o foco dado aos resultados das avaliações externas. Indicam a adoção de simulados, por vezes chamados de “avaliações diagnósticas”, para orientar o trabalho e destacam que, após a análise dos resultados, para que as habilidades e competências testadas e verificadas como insuficientes sejam desenvolvidas, diferentes ações são propostas.

Os simulados, da rede e do sistema Positivo, servem como parâmetro para o planejamento do trabalho. Seus resultados são assumidos tanto para a decisão de quais habilidades e competências privilegiar nas atividades propostas pelos professores quanto como preparação para os testes oficiais, como a Prova Brasil, em que se prioriza aquilo que se configurou como baixo desempenho.

As avaliações diagnósticas elaboradas pelo sistema positivo apontam caminhos na preparação para a Prova Brasil. Apontam também indicativos como fios norteadores de nossa proposta pedagógica. Junto com a SME elaboramos ações/metas e apresentamos à secretaria de educação” (G1/E6).

“[...] temos também cursos que são oferecidos pelo Positivo, que é um curso de capacitação tanto para supervisores, orientadores, quanto para os professores. Eles estão sempre buscando atender justamente a proposta tanto da Prova Brasil, quanto das provas externas e, também da nossa realidade que seriam as provas internas, [...] utilizam essas ferramentas todas para nortear o trabalho mesmo que é feito em sala de aula” (G1/E4).

[...] após análise e apropriação dos resultados, são elaboradas e aplicadas intervenções para a consolidação de competências e habilidades dos alunos e estratégias que viabilizem um trabalho mais eficiente com os alunos de baixo desempenho nestas avaliações (G1/E7).

Então eles fazem os simulados e depois a gente faz um levantamento. Assim a gente tem que prestar conta pra eles do que a gente está fazendo e então eles acompanham o que a gente faz. Específica da avaliação externa, eles fizeram um projeto, o projeto “Prova Brasil”, eles mandaram pra gente, a gente recebeu as informações, e depois eles mandaram material que a gente poderia trabalhar. Entendeu?” (G2/E11).

[...] verificamos as questões onde os alunos apresentaram baixo rendimento e trabalhamos com atividades diferenciadas para sanar essas dificuldades. São ações que ocorrem dentro da escola como uma aula diferenciada, atividade mais lúdica, jogos pedagógicos, acompanhamento contraturno com professor de reforço (G3/E9).

Os diversos simulados serviriam, portanto, tanto para treinamento quanto para verificação das habilidades a serem focalizadas em vias de garantir melhores resultados nas aplicações oficiais. Nas declarações dos gestores e professores, vai-se evidenciando que esses instrumentos ganham centralidade à medida que vão indiciando o que deve ser priorizado e quais estudantes precisam de ações mais focalizadas. Observamos tanto um número grande de aplicações, a partir do terceiro ano com frequência bimestral, quanto certa priorização e centralização do planejamento do trabalho a partir desse instrumento.

[...] os simulados que a gente providencia, que são estes projetinhos, nós já trabalhamos pensando no IDEB, na Prova Brasil que é para o IDEB. Aí pensando no IDEB os alunos fazem simuladinhos desde o terceiro aninho. [...] No caso, o terceiro faz simuladinho semestral. Quando é no quarto ano aí a gente já faz um bimestral. [...] No quinto também já faz um bimestral. Esse simuladinho a gente sempre tá fazendo com o intuito de melhorar o IDEB. Então os nossos da escola, os projetos - projeto Prova Brasil, projeto Ana ou no caso do quarto ano o projeto HABILE que são esses simulados, a Secretaria Municipal de Educação também providencia pra gente. Ela providenciou um no começo do ano e ela vai providenciar agora. (G3/E4).

[...] esta escola aqui é municipal então além das [avaliações] externas, tem as diagnósticas do município [...]o que eu faço: eu recolho as avaliações, trago as avaliações e aplico. Sempre sou eu que aplico, mesmo que a professora fique junto e tudo, mas eu entro em sala e aplico. Depois eu corrijo, faço a tabulação, mando para a SME e sento com as professoras pra gente ver o que a sala inteira está precisando ou o que determinados alunos estão precisando. Tem coisas que têm que trabalhar com a sala inteira... Porque [com] esta tabulação, no final, a gente sabe os alunos que estão fracos e em que parte da matéria e do conteúdo que eles estão fracos. A habilidade e competência que eles estão fracos. E dá pra gente ver também o que a sala inteira está precisando trabalhar [...] (G2/E10).

Fora o sistema positivo de toda a rede, que também afeta o IDEB. Eles também promovem simulados [...] É uma prova interdisciplinar e difícil. [...] A SME também envia avaliações parecidas, pois envolve dinheiro. Assim os alunos teriam um melhor resultado (tipo treinamento) [...] eles vêm olhar todo nosso trabalho e tem um projeto na Secretaria Municipal de Educação que se chama “Prova Brasil”. [...] Eles enviam por e-mail avaliações dentro dos eixos norteadores da Prova Brasil que são realizados no netbook. Isso não é esporádico, é sempre e em todos os anos, desde o primeiro ano. A prova no “net” tem o objetivo de gerar menos estresse. É composta de questões de acordo com as habilidades para sondagem [...] (G2/E15).

Merece destaque a observação de que as principais atividades citadas como voltadas para o trabalho com a especificidade de cada estudante se mostraram orientadas para o resultado nas avaliações externas. Explicitando o Programa de Intervenção Pedagógica - PIP -, também mencionado pelo secretário, o professor P1 da escola E5 (acima da média da rede) esclarece sua relação com a matriz das avaliações externas. Ambos destacam que na intervenção pedagógica são trabalhados os descritores medidos como insuficientes pelos testes:

A intervenção pedagógica é exatamente aquele momento em que você, através das avaliações, detecta e mapeia [o que o aluno sabe]. Porque nós mapeamos cada questão que a gente faz, de cada aluno e depois por escola, e então a gente tem o perfil do aluno e sabe o que o aluno sabe e o que ele não sabe. E o que ele não sabe é trabalhado com ele de uma forma que ele venha a ter conhecimento daquilo que ele não sabe (Secretário de Educação Municipal).

P1: Quando os resultados saem, a equipe da supervisão e orientação passam para a gente em módulo os resultados e [eles] são analisados - aquilo que tem que ser trabalhado, mais trabalhado. A gente estava fazendo isso no decorrer do ano. Esse ano teve um novo projeto, o PIP - Programa de Intervenção Pedagógica, que é muito baseado nessas avaliações externas. Então a gente já aplicou muito ao longo do ano, baseado nos descritores que mais tiveram falhas, [aqueles] que as crianças menos dominaram. Então, a gente trabalhou em cima disso também (GF - Anos Iniciais - E5).

Todavia, nem todos acreditam nessa priorização dos resultados das avaliações externas em larga escala como a melhor perspectiva para o trabalho das escolas ou de atuação da secretaria de educação. O gestor G1 da escola E7, quando declara que a centralidade nas avaliações externas e em seus resultados seria um “desvio de foco”, enfatiza que essa ação, além de não garantir a aprendizagem dos estudantes, ocasiona a desqualificação da função docente - aspecto complementado pelos professores da escola E10 (abaixo da média da rede), quando denunciam o acirramento da competição entre escolas, e da escola E12 (na média da rede), que mencionam a necessidade de atenção às condições objetivas de desenvolvimento do trabalho na escola e pelos professores.

Considero que há um desvio do foco no aprendizado para o desempenho do aluno, pois nem sempre o bom desempenho nessas avaliações pode ser considerado garantia de aprendizagem. Com a pressão por melhores resultados e a preparação excessiva para os testes, corre-se o risco de mecanizar o ensino e desqualificar a função docente (G1/E7).

P8: [...] Há uma grande preocupação por parte das escolas quanto a essa nota. Há uma grande preocupação. [Moderador intervém: Por que isso?] P8: Ué, para elevar o nome da escola. Parece até uma disputa para cada uma ganhar X de nota. P6: Há uma disputa. P5: Parece um treino. É um treinamento para ganhar X de nota P3: Uma disputa entre as escolas. Aquela escola subiu, a outra baixou. Uma vai a outra vem, então é uma disputa entre as escolas (GF - Anos Iniciais - E10).

P1: [...] eu acredito que mesmo diante de tudo isso que está acontecendo, o nosso resultado ainda está bom. É um número, igual você falou, mas se nós realmente não fizéssemos, como a gente está trabalhando, a nota seria bem [pior]... P9: Eu gostaria, é o meu sonho, que eles através dessas avaliações vissem o que a gente precisa. Uma escola mais bonita! É o prédio da nossa escola... Então a pessoa pode achar que não tem nada a ver, mas o recurso físico, professor melhor remunerado... o mobiliário para a sala de apoio [são importantes]. Na educação infantil as crianças ficam de cócoras. E eu não chamo nem a atenção, porque eu vou falar para uma criança pequena sentar direito nessa cadeira que serve para o adulto?! (GF - Anos Iniciais - E12).

Sobressai em nossa análise a articulação nos procedimentos da rede; ficou evidente que as ações mencionadas pelo secretário em sua entrevista estão presentes no cotidiano das escolas ao serem citadas com destaque pelos gestores e professores. Nenhuma escola, seja a partir das declarações dos gestores ou de seus professores, deixa de mencionar as mesmas atividades: aplicação de simulados, mapeamento de habilidades e competências para eleição das prioridades a serem assumidas, intervenção pedagógica em diferentes âmbitos e com diferentes atividades focadas naquilo que foi mapeado como insuficiente.

Mesmo com alguma discordância acerca da positividade de se tomar as avaliações externas em larga escala como referência, comum a partir da diversidade de sujeitos que compõem o todo da rede, observamos equalização de procedimentos. Observamos, de forma declaradamente bem-intencionada, um desenho eficiente de atuação: focalizando a matriz de referência das avaliações e tendo como parâmetro os resultados nos testes, a rede delineia e planeja ações, as quais são adotadas e implementadas nas escolas.

Qualitativamente, e confirmando o que Bauer et al (2017, p. 7) indicavam como tendência ao analisarem a realidade de municípios brasileiros, observa-se a manifestação da “[...] crença de que a avaliação de alunos pode induzir à melhoria de qualidade do ensino e de índices educacionais [...]”. Aspecto perigoso, já que o delineamento das ações que anteriormente era visto de forma complexa e multidimensional acaba sendo guiado por um único indicador: os testes padronizados e seus resultados.

Estariam os educadores profissionais favoráveis a isso, ou o que presenciamos pode ser entendido como uma rendição coletiva à lógica colocada? Assumindo ou se conformando ao objetivo posto, sem movimento amplo de questionamento, a rede vai desenhando sua ação e, por consequência, deixando de priorizar muitas outras dimensões do que deveria compor a formação dos estudantes nas escolas (DALBEN; ALMEIDA, 2015). Mesmo que declaradamente bem-intencionado, o trabalho focado na melhoria dos índices deixa de lado a discussão essencial acerca de qual deveria ser o objetivo da educação rendendo-se ao postulado pela política de avaliação. Movimento que, como discutimos anteriormente, tende a se intensificar com a implementação da política que circunda a Base Nacional Comum Curricular.

Como destaca Santos (2013), além da ocultação do debate acerca dos objetivos educacionais, desloca-se a preocupação com os processos para o produto final. Dentre tantos importantes aspectos, e como indiciado no grupo focal da escola E12 anteriormente destacado, seria essencial, por exemplo, pensarmos nas condições objetivas que a escola tem para desenvolvimento de seu trabalho.

Como bem alerta Casassus (2013), nem sempre uma escola com baixo resultado é uma escola de má qualidade, depende do que entendemos por qualidade e de como significamos o resultado obtido. O risco maior é que, a partir da verdade construída em cima da compreensão de que o que é avaliado é o que deveria ser trabalhado nas escolas, porque definido por uma matriz que elenca o que se deve objetivar educacionalmente, deixamos de nos questionar o que significa desenvolver um bom trabalho e, complementarmente, o que essas instituições deveriam objetivar, rendendo-nos à lógica posta. A avaliação externa em larga escala, como observado na rede pesquisada, torna-se gradualmente o início e fim de todo o processo...

Por ejemplo, un puntaje bajo en la prueba Pisa, es solo un bajo puntaje en la prueba Pisa. Esto es una verdad literal, es un dato. Pero al metaforizar ese puntaje, decimos que un bajo puntaje es sinónimo de mala educación. Al decir esto le estamos agregando un valor al dato. Una escuela con bajo puntaje en las pruebas del sistema de medición en Chile, o en Brasil, equivale a decir que es una escuela que ofrece mala educación. Pero puede ser que esta escuela sea en realidad una gran escuela. Podríamos ver que es fuerte en la formación de valores, en desarrollo emocional, en socialización no violenta, en la generación de desarrollo cognitivo importante en poblaciones carenciadas, desarrollo de competencias sociales, deportivas, creatividad, compromiso con la comunidad, y muchas otras virtudes de este tipo. Sin embargo, si esa escuela tiene un bajo puntaje en la prueba, la metáfora nos indicará que esa es una mala escuela, aunque ello sea falso. Lo delicado es que muchas veces la verdad metafórica se impone sobre la verdad real e interfiere con nuestra capacidad de ver lo que ocurre (CASASSUS, 2013, s/p).

ALGUMAS CONSIDERAÇÕES

Há uma série de implicações das avaliações externas em larga escala na rede. Nossas evidências somam-se àquelas já presentes na literatura da área, mostrando as consequências da forma como vêm sendo assumidas as políticas públicas de avaliação nos últimos anos. Avançamos ao observar a articulação construída em diferentes níveis. As evidências indicam a existência de interrelação na atuação dos atores, com adoção de atividades comuns em movimento mobilizado pela secretaria de educação.

Mesmo não defendendo a simples oposição às políticas de avaliação externa em larga escala no Brasil, por reconhecermos sua potencialidade para o desenho e planejamento de políticas públicas, alimentados pelo trabalho desenvolvido, somamo-nos aos críticos da forma como vêm sendo desenvolvidas. Reconhecemos a necessidade do monitoramento da qualidade educacional pelo Estado, mas dentro de um desenho que não coloque os resultados como fim último, ou as matrizes dos testes como referência primordial de ação das escolas. Nesse sentido, podemos tensionar a visão de que a busca pela melhoria da qualidade educacional tem nos resultados dessas avaliações e nos índices sintéticos produzidos a partir delas um reflexo apropriado do que deveríamos almejar como a qualidade produzida pelas escolas.

Acreditamos na potência da utilização dos dados gerados pelas redes e escolas como um indicador a mais de seu trabalho. Duvidamos, todavia, de seu delineamento como norte a ser perseguido. Seja porque os instrumentos de medida têm desenho pouco apropriado para avaliar o trabalho das escolas de forma mais ampla e profunda, seja porque priorizam aspectos que deixam de fora parte importante do desejável para a educação escolar, o trabalho escolar não pode se render àquilo que será testado pelas provas; o uso dos resultados não pode eliminar o pensar sobre a educação e sobre o desenvolvimento humano dos estudantes pelos profissionais que atuam nas escolas.

Ao serem propostos e divulgados como têm acontecido, os resultados e índices acabam por induzir, como pudemos observar empiricamente, o trabalho das redes ao que será medido, limitando a produção da qualidade que ela seria capaz de construir. O objetivo final da educação acaba cooptado pela busca por melhores resultados; e os profissionais acabam rendidos ou conformados à lógica estabelecida pela política, dada a égide do sistema que impõe seus valores e diretrizes.

Na investigação da forma como diferentes níveis de uma mesma rede com crescimento no Ideb respondem às avaliações externas em larga escala, foi possível observar uma eficiente articulação do trabalho com o propósito de melhoramento dos resultados. No que tange à rede pesquisada, uma importante energia de planejamento e trabalho articulado se volta à busca pelo melhoramento do índice. Ocorre-nos, nesse sentido, que, se chamados a pensar a escola em seus objetivos e prioridades, não apenas a aceitar o que entendem como o já delimitado para ela, esse movimento poderia se transformar em um potente processo de formação e consolidação de um trabalho educacional genuinamente construído pela e para a rede.

REFERÊNCIAS

ALMEIDA, L. C.; DALBEN, A.; FREITAS, L. C. O Ideb: limites e ilusões de uma política educacional. Educação & Sociedade, Campinas, v. 34, n. 125, p. 1153-1174, 2013. [ Links ]

ARROYO, M. O direito à formação humana como referente da avaliação. In: SORDI, M. R. L.; VARANI, A.; MENDES, G. S. C. V. (Orgs.). Qualidade(s) da escola pública: reinventando a avaliação como resistência. Uberlândia: Navegando Publicações, 2017, p. 11-30. [ Links ]

BARDIN, L. Análise de Conteúdo. Lisboa: Edições 70, 1977. [ Links ]

BAUER, A. et al. Avaliação em larga escala em municípios brasileiros: o que dizem os números? Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 326-352, maio/ago. 2015. [ Links ]

BAUER, A. et al. Iniciativas de avaliação do ensino fundamental em municípios brasileiros: mapeamento e tendências. Revista Brasileira de Educação. v. 22, n. 71, p. 1-19, 2017. [ Links ]

BAUER, A.; ALAVARSE, O. M.; OLIVEIRA, R. P. Avaliações em larga escala: uma sistematização do debate. Educ. Pesqui., São Paulo, v. 41, n. especial, p. 1367-1384, 2015. Disponível em: https://doi.org/10.1590/S1517-9702201508144607. Acesso em:17 jul. 2017. [ Links ]

BRASIL. Base Nacional Comum Curricular (BNCC). 2019. Disponível em: Disponível em: http://basenacionalcomum.mec.gov.br/images/BNCC_EI_EF_110518_versaofinal_site.pdf . Acesso em: 14 jan. 2020. [ Links ]

CASASSUS, J. Política y Metáforas: un Análisis de la Evaluación Estandarizada en el Contexto de la Política Educativa. In Bauer, A; Gatti, B. A.; Tavares, M. R.; Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: Origens e pressupostos. V. 1. Florianópolis: Insular, 2013. [ Links ]

DALBEN, A.; ALMEIDA, L C. Para uma avaliação de larga escala multidimensional. Estudos em Avaliação Educacional, v. 26, p. 12-28, 2015. [ Links ]

FIGUEIREDO, C.; LEITE, C.; FERNANDES, P. O desenvolvimento do currículo no contexto de uma avaliação de escolas centrada nos resultados: que implicações? Currículo sem Fronteiras, v. 16, n. 3, p. 646-664, set./dez. 2016. [ Links ]

FREITAS, L. C. Três teses sobre as reformas empresariais da educação: perdendo a ingenuidade. Cadernos CEDES, Campinas, v. 36, n. 99, p. 137-153, 2016. Disponível em:https://doi.org/10.1590/CC0101-32622016160502. Acesso em:17 jul. 2017. [ Links ]

FREITAS, L.C. Os reformadores empresariais da educação e a disputa pelo controle do processo pedagógico na escola. Educação & Sociedade, Campinas, v. 35, n. 129, p. 1085-1114, 2014. [ Links ]

GATTI, B. A. Grupo focal na pesquisa em ciências sociais e humanas. Brasília: Líber Livro Editora, 2005. [ Links ]

GAULEJAC, V. Gestão como doença social. Aparecida, SP: Idéias & Letras, 2007. [ Links ]

GERALDI, C. M. G.; GERALDI, J. W. A domesticação dos agentes educativos: há alguma luz no fim do túnel. Revista Inter Ação, v. 37, n.1, p. 37-50, 2012. Disponível em: Disponível em: https://doi.org/10.5216/ia.v37i1.18867 . Acesso em:17 mar. 2019. [ Links ]

HOUT, M.; ELLIOTT, S.W. (Ed.). Incentives and test-based accountability in education. Washington, DC: The National Academies, 2011. [ Links ]

INEP. Sistema de Avaliação da Educação Básica (Saeb). s/d. Disponível em: Disponível em: http://provabrasil.inep.gov.br/educacao-basica/saeb/historico . Acesso em: 14 jan. 2020. [ Links ]

LIMA, I. G.; GANDIN, L. A. O contexto da consolidação das avaliações em larga escala no cenário brasileiro. Educação & Sociedade, Campinas, v. 40, e0204183, 2019. Disponível e: http://dx.doi.org/10.1590/es0101-73302019204183. Acesso em:12 jan. 2020. [ Links ]

LÜDKE, M.; ANDRÉ, M E D A. Pesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986. [ Links ]

MADAUS, G. et al. The paradoxes of high-stakes testing: how they aff ect students, their parents, teachers, principals, schools, and society. Charlo e: Information Age, 2009. [ Links ]

MAINARDES, J. As Relações entre Currículo, Pedagogia e Avaliação no Contexto das Avaliações de Sistemas Educacionais. In Bauer, A; Gatti, B. A. Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: Implicações nas redes de ensino, no currículo e na formação de professores. V. 2. Florianópolis: Insular, 2013. [ Links ]

MAUÉS, O. C. Regulação educacional, formação e trabalho docente. Estudos em Avaliação Educacional, n. 44, p. 473-492, 2009. Disponível em: Disponível em: http://dx.doi.org/10.18222/eae204420092040 . Acesso em:13 mar. 2019 [ Links ]

NEAL, D.; SCHANZENBACH, D.W. Left behind by design: profi ciency counts and test-based accountability. The Review of Economics and Statistics, Massachusetts, p. 263-283, maio2010. Disponível em:Disponível em:https://www.urban.org/sites/default/files/publication/33401/1001305-Left-Behind-By-Design-Proficiency-Counts-and-Test-Based-Accountability.PDF Acesso em:13 nov. 2020 [ Links ]

OLIVEIRA, R. P. A Utilização de Indicadores de Qualidade na Unidade Escolar ou porque o IDEB é Insuficiente. In Bauer, A; Gatti, B. A. Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: Implicações nas redes de ensino, no currículo e na formação de professores. V. 2. Florianópolis: Insular, 2013. [ Links ]

RAVITCH, D. The death and life the great American school system: How testing and choice are undermining education. Published by Basic Books: New York, 2010. [ Links ]

SANTOS, L. L. A Avaliação em Debate In Bauer, A; Gatti, B. A. Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: Implicações nas redes de ensino, no currículo e na formação de professores. V. 2. Florianópolis: Insular, 2013. [ Links ]

SILVA, A. L.; GOMES, A. M. Avaliação educacional: concepções e embates teóricos. Estud. Aval. Educ., São Paulo, v. 29, n. 71, p. 350-384, maio/ago. 2018. [ Links ]

SILVEIRA, A. A. F.; ALMEIDA, L. C. Uso dos Resultados das Avaliações Externas da Escola. Educativa. Goiânia, v. 22, p. 1-21, 2019. Disponível em:http://dx.doi.org/10.18224/educ.v22i1.6524. Acesso em:03 ago. 2020. [ Links ]

SOUSA, S. Z.; ARCAS, P. H. Implicações da avaliação em larga escala no currículo: revelações de escolas estaduais de São Paulo. Educação: teoria e prática. Publicação do Departamento de Educação - IBUNESP/Câmpus de Rio Claro. v. 20, n. 35, p. 181-189, jul./dez, 2010. [ Links ]

VERGER, A.; NORMAND, R. Nueva gestión pública y educación: Elementos teóricos y conceptuales para el estudio de un modelo de reforma educativa global. Educação & Sociedade, Campinas, v. 36, n. 132, p. 599-622, 2015. Disponível em: http://dx.doi.org/10.1590/ES0101-73302015152799. Acesso em: 10 mar. 2016. [ Links ]

VILA BOAS, I. V.; ALMEIDA, L. C. O Índice de Desenvolvimento da Educação Básica como indicador de qualidade: ele reflete o trabalho desenvolvido? Revista de Educação PUC-Campinas, v. 22, p. 441-455, 2017. [ Links ]

2A Teoria de Resposta ao Item é um recurso estatístico que permite, dentre outras possibilidades, a comparação entre os resultados das avaliações, usando diferentes unidades de análise (alunos, turmas, escolas, redes municipais, redes estaduais), inclusive em diferentes anos. Seu princípio básico é o de que a probabilidade de acerto de um item depende do nível de domínio do aluno em um determinado assunto. Ela permite a comparação entre populações, desde que submetidas a provas que tenham alguns itens comuns, ou ainda, a comparação entre indivíduos da mesma população que tenham sido submetidos a provas diferentes.

3O gerencialismo apresenta-se de maneira objetiva, operatória e pragmática, tornando-se uma ideologia que traduz as ações humanas a partir de indicadores de desempenho que se apoiam em custos ou em benefícios. Entre diversos dispositivos há a defesa de processos de privatização, incorporação de práticas de gestão privada, avaliação centrada nos resultados e introdução de mecanismos de responsabilização (GAULEJAC, 2007).

4Como ocorreu com o novo Currículo Paulista que, qualitativamente, se difere pouco da BNCC.

5Segundo o documento final da BNCC (BRASIL, 2019), ela deverá nortear a formulação dos currículos dos sistemas e das redes, indicando as competências e habilidades que se espera que todos os estudantes desenvolvam ao longo da escolaridade. Assim, os direitos de aprendizagem são as habilidades relativas a diversos objetos de conhecimento que os alunos devem desenvolver em cada etapa da Educação Básica.

6Como o próprio INEP define em seu site, “o termo matriz de referência é utilizado especificamente no contexto das avaliações em larga escala para indicar habilidades a serem avaliadas em cada etapa da escolarização e orientar a elaboração de itens de testes e provas, bem como a construção de escalas de proficiência que definem o que e o quanto o aluno realiza no contexto da avaliação”. Ainda que sejam usualmente confundidas com a matriz curricular, elas se diferem dela, pois não englobam tudo o que o currículo escolar deve abranger.

7Dos gestores (SILVEIRA; ALMEIDA, 2019) e dos professores (VILA BOAS; ALMEIDA, 2017).

8Considerando o objetivo da pesquisa, em que a análise da utilização linguística pelos entrevistados não foi o foco da investigação, optamos pela textualização dos trechos transcritos, corrigindo os erros que não acarretavam mudança no conteúdo e no sentido das declarações.

9Nomeado como hábile, é um teste que compõe o Sistema de Avaliação Positivo.

Recebido: 04 de Fevereiro de 2020; Aceito: 27 de Maio de 2020

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons