Avaliação externa em larga escala no Brasil

As avaliações externas e em larga escala na educação básica começam a aparecer no Brasil em fins dos anos 1980 e na década seguinte o tema já ocupa a agenda educacional brasileira, se fazendo presente em políticas orientadas pelo governo federal, a exemplo do Sistema de Avaliação da Educação Básica (Saeb). O modelo se coaduna com a reforma do Estado brasileiro que ganha corpo no período pós-ditadura civil-militar e, internacionalmente, com o cenário de globalização da economia e fortalecimento do neoliberalismo no mundo ocidental. A Nova Gestão Pública (NGP) e a construção do arcabouço do Estado-Avaliador (^{Barroso, 2005}; ^{Afonso, 2009}; ^{Soares, 2021}; ^{Lima; Luce, 2022}) adentram o país, que inicia uma reforma do Estado tentando substituir o modelo burocrático por um gerencialismo que busca a produtividade, eficiência e eficácia dos serviços públicos. Na visão de ^{Mendes e Marques (2021}), ocorre uma modernização da gestão pública pautada na lógica da accountability, que passa a afetar as políticas educacionais em todos os níveis.

O Saeb pode ser considerado a primeira iniciativa de âmbito nacional a se preocupar em obter dados sobre o desempenho escolar dos estudantes do ensino fundamental e médio no país. Aplicado pelo Inep a cada dois anos, a partir de 1995 adota a Teoria de Resposta ao Item (TRI) como metodologia que orienta a correção das provas, o que permite a construção de séries históricas comparáveis. Passa a incluir também os questionários contextuais dirigidos a diretores, professores, alunos e escola. Com a obtenção e análise desses dados, o Saeb disponibiliza informações aos governantes que podem ser utilizadas para o monitoramento, planejamento e/ou redefinição de políticas educacionais baseadas no diagnóstico da realidade.

Em 2005, a Portaria Ministerial n^o 931 introduz modificações no Saeb criando duas avaliações: Avaliação Nacional da Educação Básica (Aneb) e Avaliação Nacional do Rendimento Escolar (Anresc), também conhecida como Prova Brasil. Esta última é uma avaliação em larga escala censitária para as escolas públicas, aplicada aos estudantes matriculados na 4ª série/5º ano e 8ª série/9º ano do ensino fundamental. Essa avaliação possibilita que sejam produzidos relatórios de resultados por estado, município, rede escolar e escola.

Em 2013, a Avaliação Nacional da Alfabetização (ANA) é incorporada ao Saeb, e procura verificar os níveis de alfabetização e letramento em Língua Portuguesa (leitura e escrita) e Matemática dos alunos matriculados no 3º ano do ensino fundamental. Em 2017 o Saeb inclui os resultados das escolas públicas e privadas de ensino médio, e, consequentemente, essas passaram a possuir Ideb. A mudança mais recente ocorreu em 2019, extinguindo as siglas ANA, Aneb e Anresc, transformando-as em uma única denominação, Saeb.

O Índice de Desenvolvimento da Educação Básica (Ideb) foi criado em 2007 e segundo o Inep “é um indicador educacional que relaciona, de forma positiva, informações de rendimento escolar (aprovação) e desempenho (proficiências) em exames padronizados, como a Prova Brasil e o Saeb”². O resultado do Ideb é traduzido em notas de 0 a 10 e mostra a trajetória dos sistemas de ensino, em âmbito nacional, nos estados, municípios e unidades escolares. Sua aplicação, a cada dois anos, permite que se construa séries históricas que podem ser comparadas com as metas projetadas a partir da linha de base estabelecida em 2005 mostrando como está se comportando a escola ou a rede de ensino. Isso leva a gestão educacional ou escolar a caminhar sempre em direção a um “devir”, considerando que o presente vai ser o responsável pelo futuro.

Na visão de ^{Garcia et al. (2016}, p. 96)

Trata-se de um indicador que tem como premissa a ideia de que um sistema educacional onde os estudantes fracassam sistematicamente e onde uma grande parte abandona a escola antes de completar a Educação Básica não é um sistema desejável, mesmo considerando que uma parcela dos jovens finalize a Educação Básica, atingindo altos desempenhos nos exames padronizados. Por outro lado, também não é desejável para um sistema que todos os alunos finalizem o Ensino Fundamental com pouco aprendizado, ainda que no período correto.

O Ideb projetou metas bianuais até 2021, com o objetivo de que “os estudantes das escolas brasileiras atinjam os padrões de desempenho apresentados pelos sistemas escolares dos países desenvolvidos, referenciando-se nos resultados do Programa Internacional de Avaliação da Aprendizagem (Pisa)” (^{Gatti; Barretto, André, 2011}, p. 40). O surgimento do Ideb caracteriza uma nova fase do Saeb, tornando viável um nível de estratificação dos dados a ponto de se conseguir analisar a menor unidade do sistema educacional - a escola. Ao disponibilizar dados com este nível de estratificação abre-se a possibilidade para a criação de mecanismos de responsabilização junto aos atores escolares, pelos resultados alcançados.

^{Bonamino e Sousa (2012}, p. 373-375) identificam três gerações nas políticas de avaliação em larga escala no Brasil, considerando seus objetivos e desenhos. A primeira geração consiste na avaliação diagnóstica da qualidade da educação, sem atribuição de consequências diretas para as escolas e para o currículo escolar, o que pode ser identificado com os primeiros anos do Saeb; as outras duas gerações articulam os resultados das avaliações a políticas de responsabilização, com consequências simbólicas ou materiais para as escolas. As autoras afirmam que a segunda geração das avaliações em larga escala é associada a mecanismos de responsabilização branda, relacionada a consequências simbólicas, enquanto a terceira geração apresenta características associadas a responsabilização forte que envolve premiação e bônus para aqueles que atingirem as metas estabelecias.

Sob a égide do Ideb, gradativamente estados e municípios foram aderindo à cultura de avaliação representada, em alguns casos, pela criação de iniciativas próprias. A literatura nacional tem se dedicado ao estudo destas propostas, tanto no âmbito dos estados (^{Bertagna, 2018}; ^{Machado, 2020}), como dos municípios (^{Bauer et al., 2017}; ^{Leão e Souza, 2020}). Um mapeamento dos sistemas de avaliação mostra que dos 23 estados que possuem avaliações próprias, dezoito foram criadas a partir de 2007, ano que se inicia o Ideb. No caso dos municípios, um survey realizado em 2014 por Bauer et al. (2017) ao qual 4.309 municípios responderam, 1.563 (36,3%) afirmaram possuir avaliações próprias e 905 (21%) manifestaram a intenção de implantar. Esse mesmo estudo informa que 1.280 (82%) avaliações surgiram entre os anos 2005 e 2014, momento que coincide com a criação da Prova Brasil (Saeb) e que, do total, a grande maioria (82,8%) declara avaliar os alunos.

Os municípios brasileiros são entes autônomos com competência para legislar sobre assuntos de interesses locais. Em matéria educacional, compete a eles oferecerem a educação infantil e o ensino fundamental em colaboração com a União e os estados, e com padrão de qualidade (^{Brasil, 1996}). Segundo ^{Arretche (2012}), a federação brasileira está organizada de modo que o governo federal centraliza a regulação, enquanto são os estados e os municípios que executam as políticas. Ainda assim, “a execução das políticas provê margens de autonomia associadas às decisões próprias da implementação” (Arretche, 2012, p. 24), fazendo com que a execução local de uma determinada política pública seja permeada por influências históricas e políticas.

A partir da criação do Ideb em 2007, as avaliações externas têm assumido protagonismo na implementação das políticas educacionais, e isso vem repercutindo na gestão das redes municipais de ensino, como se verá ao analisar este bloco de questões do Saeb 2019.

O que informam os secretários municipais de educação sobre avaliação

A primeira questão do bloco de Avaliação do Questionário do Secretário de Educação indaga se a Secretaria Municipal de Educação (SME) utiliza os resultados do Ideb (Q.156) e 96,2% (n = 5.204) dos secretários municipais responderam sim, 3,3% (n = 178) responderam não e apenas 0,6% (n = 30) não respondeu. Esses dados confirmam que o Ideb passou a ocupar a atenção dos gestores públicos municipais, orientando a pauta política das iniciativas educacionais, como veremos ao longo da análise das demais questões. Na visão de ^{Leão e Souza (2020}, p. 13) “as avaliações municipais se estabeleceram por meio de um processo de fortalecimento das competências em nível municipal no âmbito do planejamento e da gestão educacional”. Elas surgem também como uma reação ao ethos do Estado-avaliador, preconizado pelas reformas neoliberais e que se espalha do governo central em direção às estruturas descentralizadas, a quem cabe implementar as políticas.

A Tabela 1 apresenta os usos mais frequentes atribuídos às avaliações e apontados pelos secretários municipais de educação (Q.157 a Q.171).

Os respondentes informam que utilizam os resultados do Ideb para planejamento das ações educacionais (93%), promoção de debates sobre educação (80,5%), divulgação de informações para a sociedade (78,2%), monitoramento das escolas (77,2%), subsídios para a formação continuada de professores (75,2%), implantação de políticas para redução da repetência (67,9%), subsídios para avaliação de programas e projetos da Secretaria de Educação (66,1%), revisão ou criação de orientações curriculares (62,5%), produção de materiais didáticos e pedagógicos (55,1%) e outros (22,8%). Em menor percentagem de municípios, os usos do Ideb servem: para estabelecimento de metas de desempenho nos testes de proficiência (43,5%), no auxílio para unidades escolares com resultados inferiores (41,4%), na criação de critérios para remanejamento de diretores (6,9%) e como subsídios para pagamento de bonificação para professores (5,2%).

Ou seja, no que se refere aos resultados do Ideb, prevalecem usos relacionados a iniciativas que afetam toda a rede de ensino como planejamento, monitoramento, formação continuada de professores, redução da repetência, orientações curriculares etc., mostrando que o índice adquire um papel orientador das políticas públicas em diversas dimensões que vão desde o planejamento até a ação na sala de aula, onde se efetiva o currículo escolar, aspectos também encontrados por ^{Da Silva e Fernandes (2019}) e ^{Bauer et al. (2017}). Quanto ao uso de resultados como mecanismo de responsabilização - recompensar a escolas com melhores resultados, criação de critérios para remanejamento de diretores e pagamento de bonificação aos professores - ainda é pequena a parcela de municípios que utiliza, embora já seja perceptível a presença de mecanismos dessa natureza.

Quando indagados se a Secretaria orienta as escolas a prepararem seus alunos para as avaliações externa (Q.172), 96,2% (n = 5.208) dos secretários afirma que isso acontece e apenas 3,5% (n = 188) informa que não, sendo que 0,3% (n = 16) não respondeu. Conforme estudos realizados por ^{Almeida (2020}) dentre outros, a preparação para os testes tem sido iniciativa adotada com vistas a melhorar a performance dos alunos nos exames e tem repercussões em vários âmbitos na gestão educacional e escolar, impactando no monitoramento e acompanhamento dos resultados da rede, bem como, na responsabilização de professores e diretores na melhoria dos resultados educacionais, impulsionando um clima organizacional de competição entre as instituições. Bonamino e Sousa (2012, p. 384) também alertam para a criação de cultura de preparação para os testes, uma vez que “a fim de garantir uma boa média de desempenho para a escola [...] os professores afirmam ter incorporado a prática de preparar os alunos para se habituarem aos textos, aos comandos e à extensão dos testes de leitura da Prova Brasil”.

Uma indagação do questionário diz respeito à realização, por parte da Secretaria Municipal, de avaliação externa das escolas, além daquelas promovidas pelos governos estadual ou federal, e os dados estão apresentados no Gráfico 1.

Do total de respondentes, 53% (n = 2.869) secretários responderam que sim, 46,6% (n = 2.522) responderam que não e 0,4% (n = 21) não respondeu, o que leva a constatação de que mais da metade dos municípios que responderam ao questionário possuem mecanismos próprios de avaliação. O crescimento das avaliações municipais já tinha sido diagnosticado por ^{Bauer et al. (2017}) e entre as justificativas para a criação desses mecanismos no âmbito municipal está a necessidade de diagnóstico, acompanhamento e monitoramento por parte da gestão educacional do município (43%); apoio ao gerenciamento educacional (30,6%); e melhoria de índices educacionais (13%) (Bauer et al., 2017).

Quando se procura analisar a situação de cada estado no que tange a mecanismos de avaliação municipal, a Tabela 2 apresenta os valores absolutos e relativos, considerando a totalidade de municípios por estado que responderam ao questionário.

Analisando por estado da federação, em dez deles, de 60% a 80% dos secretários informaram que os municípios possuem mecanismos de avaliação externa, dos quais seis estados situam-se na região Nordeste (Alagoas, Maranhão, Ceará, Piauí, Pernambuco e Paraíba), dois são da região Sudeste (Rio de Janeiro e São Paulo) e dois da região Norte (Amazonas e Rondônia). Na faixa de 40% a 60% encontram-se onze estados, totalizando 1.458 municípios de todas as regiões do país. Na faixa de 20% a 40% são quatro estados e apenas o Amapá possui menos de 20% dos municípios com mecanismos próprios de avaliação externa.

A presença de seis estados do Nordeste entre os que possuem maior número relativo de municípios com mecanismos próprios de avaliação pode estar associada ao fato de ser nessa região que se encontram os maiores percentuais de municipalização do ensino fundamental, chegando a 96,8% dos anos iniciais e a 82,1% dos anos finais do ensino fundamental em 2020 (^{Inep, 2021}). Ao se observar a evolução do Ideb no ensino fundamental no período 2005 - 2019, três dos estados cujos municípios possuem mecanismos de avaliação externa são os que apresentam maiores crescimentos nos anos iniciais - Ceará (125%), Alagoas (120,8%) e Piauí (107,7%) - e nos anos finais - Alagoas (95,7%), Pernambuco (87,5%) e Ceará (85,7%). Nesses estados, as avaliações estaduais foram criadas, respectivamente, em 1992, 2001 e 2011 e segundo ^{Oliveira e Clementino (2020}) podem ser consideradas de alta (CE) e média responsabilização (AL e PI). O questionário não permite identificar o ano em que o município criou sua avaliação externa e para aprofundar possíveis correlações entre as variáveis, seria necessário um estudo mais detalhado sobre esses mecanismos e em que medida eles se articulam com as avaliações estaduais e nacional.

Sobre a periodicidade das avaliações aplicadas no âmbito municipal, o Gráfico 2 mostra os dados obtidos a partir das respostas dos secretários. Importante destacar que os valores foram calculados considerando os 53% (n = 2.869) secretários municipais de educação que afirmaram realizar avaliação externa das escolas, além daquelas promovidas pelos governos estaduais ou federal, como mostra a Tabela 2.

Considerando o universo dos que responderam, 33% (n = 948) dos secretários municipais informaram que a avaliação é aplicada semestralmente, seguida de 28,7% (n = 822) que afirmaram ser bimestral e 18,4% (n = 527) que declararam ser anual, 10,7% trimestral e 5,4%, mensal. Tais dados mostram que a quase totalidade das avaliações são realizadas durante o ano letivo, com variações quanto a periodicidade e quantidade de vezes. Pesquisa realizada por ^{Oliveira, Costa e Vidal (2021}) junto aos 184 municípios cearenses constatou que dos 64 que declararam possuir mecanismos de avaliação, 48,4% (n = 31) aplicavam a cada bimestre, 28,1% (n = 18) realizavam semestralmente, 7,8% (n = 5) aplicavam mensalmente, 7,8% (n = 5) trimestral, 3,1% (n = 2) quadrimestrais e 12,5% (n = 8) anual. Da Silva e Fernandes (2019, p. 11) afirmam que as secretarias intencionam que “as avaliações proporcionem diagnósticos com periodicidade menor do que a adotada pelos demais sistemas de avaliação e com maior abrangência de anos avaliados”.

A seguir se discrimina a periodicidade das avaliações externas aplicadas pelos municípios, por estado da federação, como mostra a Tabela 3.

Dos secretários que informaram possuir mecanismos de avaliação externa, Ceará e Alagoas realizam mensalmente em 17,4% e 16,9% dos municípios, respectivamente; Goiás e Acre realizam bimestralmente em 41,9% e 41,7% dos municípios; Espírito Santo e Bahia aplicam trimestralmente em 55,2% e 27% dos municípios; Mato Grosso e Tocantins aplicam semestralmente em 50% e 41,2% e Rio Grande do Sul e Roraima aplicam anualmente em 51,5% e 50% dos municípios. Uma indagação a ser feita é se a frequência das avaliações criadas pelos municípios tem relação com as avaliações implementadas pelos seus respectivos estados ou com os mecanismos de responsabilização criados por eles. Na visão de Da Silva e Fernandes (2019, p. 7) “as avaliações municipais têm sido engendradas como um subterfúgio para a preparação dos estudantes para as avaliações externas à rede de ensino, tomadas como referência”, o que explica em parte o sentido de urgência de suas aplicações em períodos tão curtos.

Dos secretários que informaram possuir mecanismos de avaliação externa, o Gráfico 3 mostra as etapas da educação básica que são avaliadas pelas secretarias, além daquelas promovidas pelos governos estaduais ou federal.

Sobressai os anos iniciais do ensino fundamental como o segmento sobre o qual mais incide as avaliações realizadas pela SME, segundo 98,9% (n = 2.838) dos secretários, seguido por 66,2% (n = 1.898) de municípios que aplicam avaliação nos anos finais do ensino fundamental; 45,7% (n = 1.311) na pré-escola e 25,8% (n = 740) em creches. Estes dados tornam mais evidente as iniciativas de avaliação municipal como uma resposta articulada com os propósitos das avaliações estadual e nacional.

Chama a atenção o fato de 45,7% dos municípios aplicarem avaliação na pré-escola, uma etapa educacional para a qual não é recomendada avaliação de desempenho, como orienta as Diretrizes Curriculares Nacionais da Educação Infantil (^{Brasil, 2010}). No Brasil, a discussão em torno da educação infantil como etapa preparatória para o ensino fundamental tem sido criticada, sobretudo quando aquela é ‘colonizada’ pelas práticas deste, remetendo à subordinação da educação infantil à etapa subsequente (^{Correa, 2011}).

O que motiva os municípios a aplicarem avaliação na pré-escola? Pode estar associado à necessidade de criar uma situação de preparação prévia de alfabetização junto às crianças de cinco anos de idade, para que elas cheguem ao ensino fundamental em “prontidão” para os procedimentos de leitura e escrita. Estudos da Organização de Cooperação e Desenvolvimento Econômico (^{OCDE, 2011}) e de ^{Gardinal-Pizato, Marturano e Fontaine (2012}) já relataram a importância da pré-escola no desenvolvimento dos estudantes e que quanto mais tempo o aluno passar na educação infantil mais favorável será a sua trajetória escolar subsequente. Assim, uma explicação para a inserção da avaliação na educação infantil pode estar associada à cadeia avaliativa, com vistas a melhorar indicadores de proficiência nas demais etapas da educação básica, levando os municípios a recorrerem a alfabetização precoce das crianças.

Há que se considerar, no entanto, que a transição da educação infantil para o ensino fundamental é tão relevante que na Base Nacional Comum Curricular (BNCC) foi introduzida uma seção sobre essa temática, na qual é afirmada a necessidade de “integração e continuidade dos processos de aprendizagem das crianças, respeitando suas singularidades e as diferentes relações que elas estabelecem com os conhecimentos, assim como a natureza das mediações de cada etapa” (^{Brasil, 2018}). Adicionalmente, é registrada a importância da consideração das informações disponibilizadas em relatórios, portfólios e outros registros realizados na trajetória das crianças na educação infantil ao longo dos anos iniciais do ensino fundamental. Assim, a presença de mecanismos de avaliação externa apontada pelos secretários para esta etapa da educação básica deve ser aprofundada, com atenção especial sobre os modelos e procedimentos adotados.

A Tabela 4 apresenta os dados dos municípios por estado acerca das etapas avaliadas, segundos os secretários municipais de educação.

No que se refere aos mecanismos municipais de avaliação externa aplicados por etapa da educação básica, em oito estados - Amapá, Rio Grande do Norte, Rondônia, Santa Catarina, Tocantins, Acre, Bahia e Mato Grosso do Sul - mais de 30% dos secretários informam avaliar as creches; em oito estados - Rio Grande do Norte, Acre, Tocantins, Espirito Santo, Rondônia, Minas Gerais, Amapá e Roraima - 50% ou mais dos secretários municipais afirmam avaliar a pré-escola; em todos os estados mais de 94% dos secretários municipais avaliam os anos iniciais do ensino fundamental; em 14 estados mais de 75% dos secretários afirmam avaliar os anos finais do ensino fundamental e menos de 5% dos municípios de todos os estados aplicam avaliação no ensino médio.

Alguns aspectos que chamam a atenção se referem ao fato de a) a avaliação da pré-escola estar mais concentrada em municípios da região Norte; b) que a preocupação dos municípios com a avaliação externa dos anos iniciais é universalizada e c) a avaliação dos anos finais também é representativa, especialmente nos nove estados da região Nordeste e alguns outros estados que apresentam maiores percentuais de municipalização deste segmento do ensino fundamental.

O Gráfico 4 mostra o que é avaliado pelos mecanismos criados pelas secretarias municipais. Mais uma vez, importante evidenciar que os dados deste gráfico foram calculados considerando os 2.869 secretários de educação municipal que afirmaram que a Secretaria Municipal possui mecanismos de avaliação externa das escolas, além daquelas promovidas pelos governos estaduais ou federal.

O desempenho dos alunos é claramente o maior objetivo para 97,4% (n = 2.795) dos secretários municipais de educação, o que confirma a associação destas avaliações com as aplicadas pelo governo federal e/ou governos estaduais como aponta Da Silva; Fernandes (2019). Na sequência tem-se o desenvolvimento dos alunos com 89,5% (n = 2.567), o que implicaria na avaliação possuir outros componentes no seu processo, para além da proficiência nas disciplinas de Língua Portuguesa e Matemática, o que não é possível identificar a partir do questionário aplicado.

O desempenho dos professores, segundo 61,8% (n = 1.772) dos secretários, é avaliado; para 52,4% (n = 1.054) deles as avaliações municipais identificam aspectos relacionados ao projeto pedagógico; e, por fim, para 28,1% (n = 805) são também avaliadas as instalações e equipamentos. Essa amplitude de aspectos avaliados precisa ser elucidada por meio de pesquisas mais detalhadas, uma vez que a considerar as etapas da educação básica avaliadas, alguns deles podem estar associados a um segmento específico, como o caso das instalações e equipamento na educação infantil, conforme orienta diretrizes desta etapa. Sobre a avaliação de professores nas redes municipais, não há literatura que indique tipologias e procedimentos aplicados diretamente a estes sujeitos; no entanto, essa afirmativa pode ter relação indireta com os resultados obtidos pelos alunos nas avaliações de desempenho a que eles são submetidos.

A Tabela 5 apresenta os dados considerando o número de municípios por estado que respondeu a essa questão.

Em dois estados, mais de 40% dos municípios que possuem mecanismos de avaliação externa avaliam instalações e equipamentos das escolas; em dezenove estados mais de 50% dos municípios avaliam o projeto pedagógico; mais de 75% dos municípios de todos os estados avaliam o desenvolvimento dos alunos; 94% de todos os municípios dos estados avaliam o desempenho dos alunos e entre 50% e 75% dos municípios por estado avaliam o desempenho dos professores. O que se depreende dos objetos avaliados é que há uma concentração de esforços das avaliações municipais nos alunos e professores.

O que se constata a partir das perguntas e respostas apresentadas no bloco do questionário do Saeb referente a Avaliação é que as avaliações externas em larga escala se propagam nas redes municipais de forma massiva, passando a serem utilizadas para finalidades diversas, com o período entre as aplicações se reduzindo cada vez mais, chegando a terem periodicidade bimestral ou semestral, o que significa a submissão de alunos e escolas a duas ou mais avaliações externas por ano e em algumas situações todos os anos escolares e todas as disciplinas, como aponta o estudo de Da Silva e Fernandes (2019). Embora prevaleça nos anos iniciais do ensino fundamental, tem se ampliado para os anos finais e educação infantil, incluindo creche e pré-escola. Entre seus objetivos, destaca-se a mensuração do desempenho e desenvolvimento dos alunos.