Introdução

Este artigo é derivado da pesquisa de doutorado intitulada Avaliação em larga escala da alfabetização: os casos de Paebes Alfa, Proalfa e Spaece Alfa (^{REZENDE, 2020}), defendida em maio de 2020¹. Seu objetivo foi analisar, em detalhe, esses três programas estaduais de avaliação da alfabetização, no intuito de contribuir para o preenchimento da lacuna encontrada na literatura educacional em relação a políticas de avaliação para essa etapa de escolaridade. A importância experimentada pelos sistemas de avaliação educacional (^{CASTRO, 2009}) e o papel central de que passaram a gozar as políticas relacionadas à alfabetização (^{GONTIJO, 2014}) contrastam com a falta de interesse da literatura educacional sobre as políticas de avaliação da alfabetização, encarnadas, nos estados, em programas como os três analisados na referida tese. Esse contraste torna-se ainda mais evidente quando observamos a importância que os gestores estaduais têm atribuído a esses programas, como veremos adiante. Na literatura disponível, não foram encontrados trabalhos que fizeram uma análise ampla de programas como o Paebes Alfa (Programa de Avaliação da Educação Básica do Espírito Santo - Alfabetização)², que realiza a avaliação sistemática da alfabetização no estado do Espírito Santo (ES).

Parte da literatura sobre políticas públicas (^{FREY, 2000}; ^{MARTINS, 2013}) critica o excesso de trabalhos que descrevem programas específicos, chamando a atenção para a necessidade do estabelecimento de vínculos com o contexto macropolítico, em especial, o internacional. Entretanto, no que diz respeito aos programas de avaliação da alfabetização, observamos o contrário: a ausência de trabalhos que descrevem e analisam esses programas em profundidade. Os poucos trabalhos que abordam o Paebes Alfa, por exemplo, o fazem, em regra, tomando o programa como fonte de dados, mas não como objeto de estudo, ou a partir de um viés crítico (condicionando, por exemplo, a prática pedagógica nas escolas), sem realizar uma análise e uma descrição mais profundas.

O presente artigo apresenta os resultados da pesquisa sobre o Paebes Alfa, entre os anos de 2009 e 2017 (contemplando quase toda sua trajetória). Para tanto, foi realizada uma busca em três importantes periódicos nacionais e no Banco de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) (apresentada no tópico seguinte), de modo a investigar como o programa havia sido retratado na literatura educacional. Em seguida, neste texto, são apresentados os critérios propostos para a análise do programa, pensados especificamente para a análise de políticas de avaliação da alfabetização, algo que não foi encontrado na literatura. Assim, a pesquisa contou com a análise detalhada de documentos referentes ao programa (materiais de divulgação de resultados, documentos da secretaria, contratos, registros da instituição parceira para a execução do programa etc.) e com a realização de entrevistas com duas gestoras que estiveram à frente do Paebes Alfa durante o período selecionado para análise, bem como com especialistas do Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF) que participaram da execução do programa (^{REZENDE, 2020}).

O Paebes Alfa na literatura educacional

A pesquisa na literatura nacional buscou confirmar a hipótese de que programas de avaliação da alfabetização³, embora viessem assumindo importância no cenário das políticas educacionais dos estados, não despertavam o interesse da pesquisa em educação no país. Para tanto, entre 2004 e 2017, foram consultados três periódicos importantes na área de educação: a) a revista Estudos em Avaliação Educacional (EAE), da Fundação Carlos Chagas (FCC), um periódico especializado em temas relacionados à avaliação educacional (sendo um dos mais importantes do país nessa temática - Qualis A2); b) a Revista Brasileira de Educação (RBE), selecionada em virtude de ser um periódico da Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd), importante veículo de divulgação das pesquisas educacionais, dos mais variados temas, no Brasil (Qualis A1); e c) a Revista Brasileira de Estudos Pedagógicos (RBPE), selecionada por ser publicada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), órgão responsável pela condução das avaliações nacionais (Qualis B1). Para a contabilização dos artigos, a pesquisa foi realizada da seguinte forma: possuir avaliação e/ou alfabetização como palavras componentes do título ou das palavras-chave (ou palavras que dão nomes a programas de avaliação, tais como Provinha Brasil, Avaliação Nacional da Alfabetização (ANA), Spaece Alfa, Paebes Alfa, Proalfa, etc), ou possuir conteúdo, no resumo, diretamente vinculado ao tema da avaliação da alfabetização.

Na EAE, dos 404 artigos, 12 eram dedicados à avaliação da alfabetização (2,9% do total). Destes, o Paebes Alfa é citado em apenas um deles (^{ROCHA; MARTINS, 2012}). O trabalho das autoras é a proposição de um corpus de escrita infantil, usando dados do Paebes Alfa das edições de 2010 e 2011. Faz-se uma breve referência ao programa no resumo, mas ele não é o objeto de estudo das autoras, apenas a fonte dos dados. Na RBE, dos 668 trabalhos, 4 eram sobre a avaliação da alfabetização (0,59% do total). Nenhum deles tratava do Paebes Alfa, 3 eram referentes à Provinha Brasil: (^{ESTEBAN, 2012}; ^{MORAIS, 2012}; ^{LEAL et al., 2017}). Na RBPE, dos 473 trabalhos, apenas 1 tratava do tema da avaliação da alfabetização (0,21% do total), mais uma vez, com foco na Provinha Brasil (^{FREITAG; ALMEIDA; ROSÁRIO, 2013}).

Assim, os artigos que tratavam da avaliação da alfabetização nos periódicos pesquisados versavam, especialmente, sobre a Provinha Brasil, havendo artigos também sobre o Sistema Permanente de Avaliação da Educação Básica do Ceará - Alfabetização (Spaece Alfa), o Programa Alfabetização na Idade Certa (Paic) e seu modelo de avaliação no Ceará, e sobre a construção de uma escala de proficiência para avaliar a alfabetização de jovens e adultos. Essas três revistas centrais para a divulgação de pesquisas educacionais no Brasil apresentam um quadro que ressalta a parca produção sobre avaliação da alfabetização no país, em um período que envolve o surgimento e o desenvolvimento dos principais programas de avaliação dessa etapa nos estados. Somando as três revistas, foram publicados 17 trabalhos sobre o tema (apenas 1 menciona o Paebes Alfa, sem tomá-lo como objeto de pesquisa), entre 1.545 artigos, o que corresponde a 1,1% do total.

Poderíamos pensar que pouco foi publicado nesses periódicos, mas não necessariamente produzido. Assim, a decisão foi por analisar também o Banco de Teses e Dissertações da Capes (consulta em julho de 2019), de modo a verificar se o Paebes Alfa era um objeto de interesse da pós-graduação no país. Em virtude das características da ferramenta de busca do banco da Capes, a pesquisa por Paebes Alfa, nesses termos, não foi possível, visto que a palavra alfa levava a um enorme retorno de trabalhados que usavam o termo alfabetização em seus títulos ou palavras-chaves. Por isso, a busca foi feita com o termo Paebes. Os retornos vindos dessa busca trariam trabalhos tanto relacionados ao Paebes quanto ao Paebes Alfa e a seleção destes últimos seria feita observando caso a caso.

Foram 10 trabalhos como resultados dessa busca, 4 deles relacionados, direta ou indiretamente, ao Paebes Alfa. Trata-se de uma produção tímida para um programa que existe há mais de uma década. Dos 4 trabalhos, 2 deles versam especificamente sobre o Paebes Alfa (^{CÔCO, 2014}; ^{SILVA, 2013}), 1 deles analisa o Paebes Alfa em conjunto com outros programas, ao passo que o outro estuda um tema específico a partir dos dados do Paebes Alfa, sem que o programa em si seja seu objeto principal de estudo. Este último trata-se da tese de ^{Lima (2016}) tem como tema central as desigualdades educacionais, mais especificamente a desigualdade de conhecimento entre os alunos. A autora lança mão dos dados do Paebes Alfa para propor um debate sobre as desigualdades educacionais no cenário nacional.

A tese de ^{Côco (2014}) tem como objeto de estudo o Paebes Alfa, dedicando-se à análise do programa no que diz respeito à produção de sentidos para essa avaliação e sua relação com as práticas de alfabetização nas turmas de 1º e 2º anos na rede municipal de Serra/ES. Trata-se de uma faceta importante do programa, qual seja, a forma como gera efeitos nas práticas de alfabetização em sala de aula, mas não aborda o programa como um todo, analisando outras de suas características. Seu interesse é nos efeitos em sala de aula e não no programa em si. A tese de ^{Silva (2013}) analisa os resultados de escrita ao final do 2º ano do ensino fundamental, tendo como referência o Paebes Alfa. O trabalho dedica-se a uma análise técnica da matriz de referência e das chaves de correção da avaliação de escrita, culminando com a proposição de uma nova chave de correção para os itens. Mais uma vez, não é o programa o objeto da pesquisa, mas os dados que ele fornece.

Já a dissertação de ^{Portela (2016}) dedica-se à análise das matrizes de referência de três sistemas de avaliação da alfabetização, incluindo o Paebes Alfa - os outros dois são Sistema de Avaliação Educacional de Pernambuco (Saepe) e Sistema Estadual de Avaliação da Aprendizagem Escolar (Seape). O objetivo da autora é comparar as matrizes de referências dos três programas com a matriz da Avaliação Nacional da Alfabetização (ANA), propondo, por fim, uma matriz unificada para as avaliações de matemática no 3º ano do ensino fundamental. Trata-se de um trabalho que analisa uma dimensão importante do Paebes Alfa, mas não é um estudo sobre o programa em si.

Dos outros seis trabalhos que retornaram da busca, 4 deles envolvem o Paebes (^{PEREIRA, 2014}; ^{OLIVEIRA, 2018}; ^{PAULA, 2018}; ^{OLIVEIRA JÚNIOR, 2013}) e não fazem qualquer menção ao Paebes Alfa (os outros 2 sequer falam de Paebes ou Paebes Alfa). Portanto, observando a literatura educacional consultada, o Paebes Alfa é praticamente invisível como objeto de pesquisa.

Os critérios selecionados para a análise do Paebes Alfa

A análise de políticas públicas, muitas vezes, lança mão da definição de tipologias. A partir da seleção de critérios, as políticas são categorizadas em diferentes tipos, permitindo investigações de diferentes naturezas (comparações entre os tipos, eficácia das políticas, efeitos colaterais, ajuste a determinados tipos de contexto político, etc.). Contudo, os tipos propostos pela pesquisa em políticas públicas podem ser muito genéricos, dependendo das políticas que se deseja analisar, tornando a tipologia inócua, pois políticas muito diferentes podem ser categorizadas como sendo de um mesmo tipo, olvidando diferenças fundamentais, como é o caso da tipologia clássica de Lowi (^{MAIA; GRANDO, 2016}) e da de ^{Deubel (2009}). Analisar os programas de avaliação da alfabetização selecionados exigia a seleção de critérios específicos, não encontrados na literatura, que permitissem uma compreensão mais detalhada de cada um deles, abrindo espaço para uma posterior análise comparativa. Diante disso, o caminho escolhido foi a seleção de 10 critérios para a análise das políticas de avaliação da alfabetização, encarnadas em programas estaduais. As justificativas e o detalhamento de cada critério encontram-se em ^{Rezende (2020}) e o quadro a seguir sumariza a descrição do que será analisado em cada um deles.

É importante ressaltar que esse não é um rol taxativo dos critérios que deveriam ser adotados para a realização de uma pesquisa dessa natureza, interessada em analisar, com maior detalhamento, um programa estadual de avaliação da alfabetização. A defesa é a de que tais critérios são importantes e fornecem uma visão bastante ampla de um programa de avaliação da alfabetização, mas outros critérios poderiam ser mobilizados. Como vimos, a literatura educacional é lacunosa no que diz respeito a pesquisas dessa natureza. Por isso, a propositura dos critérios aqui apresentados pode funcionar como ponto de partida para reformulações e ajustes para pesquisas que tenham interesse na análise e compreensão de programas de avalição da alfabetização. Na sequência do quadro, o Paebes Alfa é analisado a partir de cada um dos critérios.

FONTE: Elaboração do próprio autor.

QUADRO 1: CRITÉRIOS PARA UMA TIPOLOGIA DE POLÍTICAS DE AVALIAÇÃO DA ALFABETIZAÇÃO 

Critério 1: o Paebes Alfa, desde sua primeira edição, em 2008, avalia escolas das redes estadual e municipal de ensino. A partir da avaliação de 2º onda (realizada no fim do ano) de 2010, o programa passou a avaliar também as escolas da rede particular que desejassem participar. No âmbito das redes públicas, a avaliação é censitária e como o programa avalia as três séries do ciclo de alfabetização, isso significa que, a princípio, todos os alunos do ciclo são avaliados. No caso das redes municipais, sua participação ocorre por adesão. Assim, a rede não é obrigada a participar da avaliação, mas, participando, faz com que todas as escolas sejam avaliadas nas três séries. Desde sua segunda edição (2009), o Paebes Alfa contou com um número alto de municípios participantes (76), chegando a uma adesão total dos municípios (78) em 2016. Em relação à rede particular, a decisão de participação fica a cargo da escola. Como o programa prevê a avaliação de todos os alunos matriculados em todas as séries do ciclo de alfabetização nas redes públicas, além de facultar a participação das escolas particulares, podemos dizer que o Paebes Alfa possui amplo alcance (cobre todos os alunos do ciclo de alfabetização).

Critério 2: no que tange ao público-alvo, os resultados da avaliação do Paebes Alfa são entregues, prioritariamente, para os tomadores de decisão no âmbito das redes e escolas. Assim, o secretário de educação e sua equipe na secretaria, os superintendes regionais, os diretores e os professores são o público imediato da política, para quem os resultados são pensados e de quem se espera sua utilização. Isso pode ser percebido pelos materiais de divulgação dos resultados. Entretanto, embora sejam esses os destinatários imediatos do programa, podemos considerar que toda a sociedade, incluindo os pais dos alunos, a comunidade em torno da escola e os pesquisadores e interessados pelo tema, são destinatários mediatos, afinal, agregados no nível da escola, os resultados estão disponíveis para qualquer usuário do portal do programa. Os alunos e seus responsáveis já foram destinatários imediatos dos resultados da avaliação em algumas edições do programa, mas deixaram de receber materiais específicos. Eles podem acessar os resultados da escola por meio do portal, como qualquer usuário, e espera-se (esse é o esforço do processo de divulgação) que os resultados dos alunos sirvam como base para o planejamento do professor em sala de aula, especialmente, por meio da divulgação dos resultados produzidos com base na Teoria Clássica dos Testes TCT [para mais sobre a TCT, ver ^{Pasquali (2013})].

Critério 3: a implementação tem sido tratada como um elemento primordial na avaliação de políticas públicas. ^{Januzzi (2019)}, a partir de uma perspectiva sistêmica, propõe, inclusive, o redesenho do ciclo clássico de políticas, no qual a implementação figura como etapa quase final do processo, realocando, com objetivos mais realísticos, esta etapa para o centro do ciclo, visto que é nela que “os programas ‘vivem’ a maior parte do tempo e onde correções, aperfeiçoamentos ou inovações incrementais determinarão o sucesso ou o fracasso da intervenção pública” (^{JANUZZI, 2019}, p. 73). No mesmo sentido caminha ^{Draibe (2001}), ao ressaltar a importância da avaliação da implementação, em especial, em avaliações de processo. Para ela, as estratégias que envolveram a implementação não podem ser olvidadas, pois são fundamentais para “a correta identificação dos fatores de processo que operam ou como facilitadores ou como obstáculos à consecução do programa” (^{DRAIBE, 2001}, p. 29).

De todo modo, é difícil rastrear todas as forças e influências exercidas para a criação de uma política pública. Apesar disso, é possível identificar elementos que, no contexto de criação do Paebes Alfa, foram determinantes para a implementação do programa. De acordo com ^{Segatto (2011}), o principal deles foi a reforma administrativa do estado, com início em 2003. A secretaria de educação foi uma das primeiras a realizar uma reforma de grande monta no estado, baseada em uma cultura voltada para resultados (^{SEGATTO, 2011}, p. 72). A escolha, à época, de um secretário de educação com perfil mais técnico contribuiu para o desenvolvimento de uma cultura de resultados na secretaria, levando à criação de um sistema de avaliação (o Paebes, envolvendo sua aplicação na alfabetização, o Paebes Alfa) e, posteriormente, a uma política de accountability de alto impacto [^{Brooke (2016}) apresenta uma análise histórica da política de incentivos salariais na educação no estado do Espírito Santo], baseada em incentivos salariais, sob a responsabilidade da recém-criada Assessoria de Planejamento e Gestão (a própria criação da assessoria foi um passo importante para a criação do sistema de avaliação).

^{Segatto (2011}) ressalta, ainda, que a reforma na administração da educação no Espírito Santo foi inspirada pelos exemplos de outros estados, como São Paulo, Pernambuco, Ceará e Minas Gerais, os três últimos já com sistemas de avaliação próprios contemplando o ciclo de alfabetização, o que teria influenciado também a criação de um programa de avaliação da alfabetização no estado. ^{Côco (2014}), por sua vez, aponta o Termo de Compromisso Todos pela Educação como um fator crucial para a criação do Paebes Alfa, formalizando o compromisso dos estados em atingir as metas pactuadas e estabelecidas pelo Decreto nº 6.094/2007 (^{BRASIL, 2007}). Uma das metas do termo estabelecia a alfabetização das crianças até os oitos anos de idade, prevendo a aferição de resultados por exame periódico específico. Antes disso, em 2006, havia sido publicado o Plano de Desenvolvimento do Espírito Santo 2025, que estabeleceu, entre outros aspectos, a transparência dos resultados anuais de cada escola. É nesse contexto de a) reforma administrativa, b) da influência dos exemplos de outros estados e c) do Compromisso Todos pela Educação que o Paebes Alfa foi criado. Sua criação está ligada a uma resposta às exigências dessa nova forma de gerir a educação, fortemente ancorada em uma cultura de resultados.

Em relação ao modelo de implementação da política, o Paebes Alfa está mais próximo do top/down do que do modelo bottom-up. No entanto, é preciso relativizar o que essa expressão (top/down) significa. Na tradução literal, “de cima para baixo”, a expressão pode sugerir que a implementação da política ocorreu de modo puramente impositivo. A secretaria de educação foi, efetivamente, a grande condutora desse processo. Assim como ocorreu no âmbito de implementação do Sistema de Avaliação da Educação Básica (Saeb), no início dos anos 1990, não houve, para o Paebes Alfa, uma discussão ampla que envolvesse toda a rede do estado para discutir sobre o programa. Tomando o Saeb como sua principal referência, a criação de sistemas estaduais de avaliação educacional, incluindo o Paebes Alfa no Espírito Santo, não foi submetida ao crivo de professores e gestores escolares.

A elaboração e a condução da política partiram da secretaria de educação, o que pode ter sido um dos fatores de resistência inicial por parte de alguns atores escolares. Entretanto, mesmo que inicialmente não tenha existido essa participação massiva para a definição da política, o Paebes Alfa, ao longo de sua existência, buscou mecanismos de incorporação das ações desses atores para o desenvolvimento da política (por exemplo, até a edição de 2015, uma parte dos testes era composta, necessariamente, por itens elaborados pelos professores da rede, capacitados para tanto pelo CAEd/UFJF) (^{REZENDE, 2020}).

Critério 4: o desenho do Paebes Alfa envolve uma avaliação censitária de 1º, 2º e 3º anos, em leitura, escrita e matemática. Matemática começou a ser avaliada na edição de 2010, ao passo que leitura e escrita são avaliadas desde a primeira edição. Essa é uma diferença significativa do Paebes Alfa em relação a seus correlatos em outros estados, como Minas Gerais e Ceará, por exemplo (^{REZENDE, 2020}). A avaliação da escrita, inclusive, colocou o Paebes Alfa em evidência no cenário da avaliação da alfabetização no Brasil, devido ao pioneirismo da ação. Entre 2009 e 2015, o programa realizou avaliações de entrada (1ª onda) e saída (2ª onda) dos alunos em todas as edições. O caráter diagnóstico da 1ª onda somava-se ao caráter somativo da 2ª onda, fazendo com que o programa se tornasse uma notável fonte de informações sobre o desempenho dos alunos (graças à comparabilidade dos testes de entrada e saída, em virtude da Teoria da Resposta ao Item - TRI).

As matrizes de referência dos testes são documentos com caráter político. Isso quer dizer que a decisão sobre o quê do currículo será avaliado pertence à secretaria de educação. Apesar disso, o Paebes Alfa, assim como outros sistemas de avaliação estaduais, é conduzido em parceria com uma instituição de pesquisa de uma universidade pública, o CAEd/UFJF, especializado em avaliação e políticas públicas educacionais. Em entrevista concedida a ^{Rezende (2020}), os especialistas em elaboração de instrumentos do CAEd/UFJF afirmaram que o trabalho de elaboração das matrizes de referência é conjunto, feito em parceria com a secretaria, que decide o que pretende avaliar, ao passo que os especialistas do CAEd organizam a matriz no formato ajustado para servir como base da produção de itens e montagem de testes. A palavra final sobre a matriz elaborada, mesmo sobre o formato, é sempre da secretaria. Com as matrizes sofrendo poucas alterações ao longo dos anos e com a parceria já consolidada com o CAEd, essas validações tornaram-se menos frequentes nas últimas edições do Paebes Alfa.

Para leitura, o Paebes Alfa apresentou uma matriz única para todo o ciclo de alfabetização (envolvendo as três séries avaliadas) até a edição de 2011. A partir de 2012, houve um processo de especificação dos níveis referentes a cada descritor, acompanhado da definição de quais deles fariam parte dos testes específicos para cada série avaliada, formato mantido na edição de 2013. De 2014 a 2017, as matrizes foram produzidas para cada série avaliada (as três matrizes - de 1º, 2º e 3º anos - representam subconjuntos de um mesmo conjunto de descritores; as diferenças estão presentes nas classes dos itens e em suas dificuldades) e compostas por cinco tópicos, permanecendo sem alteração ao longo desse período: i) reconhecimento de convenções do sistema alfabético; ii) apropriação do sistema alfabético; iii) leitura: compreensão, análise e avaliação; iv) usos sociais da leitura e da escrita; e v) produção escrita.

No que diz respeito à escrita, a matriz de 2009 possuía dois descritores: escrever palavras e escrever frases/textos. A partir da edição de 2010, houve uma modificação em observância às diferenças de complexidade da escrita de frases e de textos, fazendo com que a matriz passasse a contar com três descritores (escrita de palavras, de frases e de textos), formato que permaneceu até 2017. Com uma matriz de escrita estável, a entrevista com dois especialistas em avaliação da escrita do CAEd (^{REZENDE, 2020}) revelou que a maior mudança nos testes de escrita do Paebes Alfa ocorreu na elaboração dos itens. A mudança na parceria da secretaria, do Centro de alfabetização, leitura e escrita da Universidade Federal de Minas Gerais (Ceale/UFMG) para o CAEd, deu mais autonomia e liberdade para os especialistas da UFJF pesquisarem a avaliação da escrita com fins de aprimoramento dos testes (^{REZENDE, 2020}, , p. 213), o que foi acompanhado, também, pela criação de uma equipe especializada em avaliação da escrita no CAEd.

A escolha das palavras e dos suportes imagéticos sofreu alterações: a ideia passou a ser não trabalhar mais com figuras, mas sim com imagens reais (fotografias), além da priorização do uso de imagens mais limpas, com menos informações secundárias, o que poderia desviar a atenção do aluno. Houve mudança também no comando dos itens, que passaram a ser mais diretivos e claros, e no processo de correção (os critérios de seleção dos corretores passaram a ser mais rigorosos). A longevidade e consolidação da avaliação da escrita fazem com que o Paebes Alfa seja considerado um programa de referência no que diz respeito a esse tema, antecipando muitas tendências na área.

Até a edição de 2012, as matrizes de referência de matemática do Paebes Alfa foram elaboradas em parceria com o Ceale. A partir de 2013, a elaboração das matrizes, itens e testes passou a ser feita em parceria com o CAEd, situação que se mantém ainda hoje, o que levou a uma reformulação das matrizes de matemática, a pedido da própria secretaria de educação. A principal mudança foi a redução dos descritores destinados à resolução e problemas com o uso das operações básicas. Até 2012, cada operação (soma, subtração, multiplicação e divisão) possuía um descritor na matriz. Esses 4 descritores foram reunidos em dois (adição e subtração; multiplicação e divisão), abrindo espaço para a inclusão de outras habilidades. Com um foco menos exacerbado no sistema de numeração, outras áreas ganharam mais destaque, como grandezas e medidas, por exemplo (ler as horas foi uma habilidade que ganhou espaço).

Ao longo da pesquisa (^{REZENDE, 2020}), foram entrevistadas 5 especialistas do CAEd em elaboração de instrumentos para a avaliação da alfabetização matemática, que afirmaram que, ao longo das edições do programa, os testes de matemática foram ficando mais fáceis para os alunos do 3º ano do ensino fundamental, visto que a matriz era a mesma para todo o ciclo de alfabetização. O que mudava nos testes era apenas a dificuldade dos itens. Com isso, em 2017, para que começasse a vigorar na edição de 2018, foram construídas matrizes próprias para cada série avaliada, de modo que os testes ficassem mais ajustados à população que os responderia.

A estabilidade do desenho do Paebes Alfa pode ser percebida também nos modelos de caderno de teste e no quantitativo de itens por caderno. Em matemática, o número de cadernos (8) e o número de itens por caderno (24) foram os mesmos ao longo de todo o período analisado. Em língua portuguesa, houve uma pequena mudança, entre 2010 e 2011, no número de cadernos (de 8 a 12, número que se manteve até 2017; foram 25 itens por caderno entre 2010 e 2017; em 2009, foram 24 itens por caderno). Os 4 padrões de desempenho também não foram alterados no período, tanto para leitura quanto para matemática: Abaixo do Básico, Básico, Proficiente e Avançado⁴.

Critério 5: entre 2009 e 2017, o sistema de divulgação do Paebes Alfa baseou-se em canais virtuais e físicos. No portal do programa (^{PAEBES, 2020}) (em conjunto com o Paebes), os resultados da avaliação estão disponíveis, para consulta aberta ao público, para todas as séries e disciplinas, até o nível da escola (os resultados por aluno são de acesso restrito à cada escola, por meio de login e senha), no caso das redes públicas. Os resultados das escolas particulares participantes são acessados somente por meio de login e senha, enviados especificamente pra cada uma das escolas, para que tenham acesso somente a seus próprios resultados. O portal disponibiliza também (a partir da edição de 2013) as coleções (boletins e revistas) de divulgação de resultados do Paebes Alfa. Essas coleções, produzidas a cada edição do programa, eram impressas e entregues às escolas, para que tivessem em mãos esse material. O objetivo é não apenas divulgar os resultados, mas fomentar seu uso como suporte para o planejamento na escola;algo que se tornou um dos elementos centrais da pesquisa em avaliação, a apropriação dos resultados (^{CALDERÓN, 2017}).

Além disso, no portal, há materiais de apoio disponíveis para qualquer usuário, desde o ano de 2009 (com exceção da edição de 2010), como materiais de suporte às oficinas de divulgação, vídeos de apropriação dos resultados e até mesmo itens dos testes. As coleções apresentaram, de 2013 a 2017, a mesma estrutura, com revistas voltadas para públicos específicos (para a edição de 2017, está disponível também um sumário executivo): i) Revista do Sistema, destinada aos secretários de educação e equipes da secretaria, com resultados agregados por superintendência de ensino, com enfoque na apropriação dos resultados para a tomada de decisão no nível da rede; o programa oferece uma revista para cada tipo de rede (estadual e municipais); ii) Revista do Gestor, destinada ao diretor, com o resultado de sua própria escola e com foco na apropriação dos resultados nesse nível; iii) Revista do Professor, destinada aos professores alfabetizadores, com vistas ao uso pedagógico dos resultados (o Paebes Alfa oferecia uma revista específica, com os resultados de língua portuguesa e matemática, para cada série avaliada - 1º, 2º e 3º anos). Além disso, durante todo o período analisado, o programa realizou oficinas presenciais de divulgação e apropriação dos resultados, ministradas pelos especialistas do CAEd, com um grupo de gestores e professores indicados anualmente pela secretaria de educação.

Critério 6: a concepção de alfabetização que deu base às avaliações do Paebes Alfa, durante todo o período, foi o “alfabetizar letrando”. A parceria inicial com o Ceale, para a elaboração das matrizes de referência, é um dos fatores que, possivelmente, levaram à adoção dessa concepção. Depois de estabelecida a parceria com o CAEd, a concepção se manteve. Magda Soares, uma das fundadoras do Ceale, é referência explícita em alguns dos materiais de divulgação de resultados do programa. A Revista do Professor para o Paebes Alfa 2017 apresenta como um novo indicador daquela edição perfis de alfabetização e letramento (^{ESPÍRITO SANTO, 2017}). As matrizes de referência revelam essa influência ao preverem sempre descritores relacionados à apropriação do sistema alfabético e ao reconhecimento de suas convenções (identificar direções da escrita, o número de sílabas de uma palavra, identificar sílabas canônicas e não-canônicas, entre outros). Esse é um dos possíveis motivos para a resistência de alguns pesquisadores em alfabetização [como ^{Gontijo ( 2014})] em relação à avaliação em larga escala [para mais, ver ^{Rezende (2020})].

Critério 7: o Paebes Alfa é um programa que compõe o sistema de avaliação do Espírito Santo, sendo diretamente associado ao Paebes (responsável pela avaliação das demais etapas). Embora estivesse associado a outros programas da secretaria de educação, como aqueles destinados à formação de professores, o Paebes Alfa não esteve ligado diretamente, no período analisado, a um programa representativo da política educacional do estado, como ocorreu em outros estados [como o Spaece Alfa e o Paic, no Ceará, e o Programa de Intervenção Pedagógica (PIP) e o Programa de Avaliação da Alfabetização (Proalfa), em Minas Gerais (^{REZENDE, 2020})]. No que diz respeito à geração da política de avaliação, seguindo a categorização de ^{Bonamino e Sousa (2012}), o Paebes Alfa pode ser entendido como pertencente à terceira geração, visto que seus resultados são usados como base para uma política de bonificação consolidada no estado existente desde 2010, o Bônus Desempenho [criado pela lei complementar nº 504/2009 (^{ESPÍRITO SANTO, 2009})]. Trata-se de um prêmio em dinheiro, sem vínculo com a remuneração mensal, concedido anualmente aos profissionais da educação, e calculado a partir de indicadores individuais (exercício das atividades na mesma unidade escolar por, pelo menos, 122 dias no ano e assiduidade) e coletivos (índice de desenvolvimento das escolas - IDE, que leva em conta os resultados do Paebes Alfa). Seu objetivo é funcionar como estímulo para a melhoria da qualidade da educação no estado, tendo como uma de suas bases os resultados da avaliação.

Critério 8: o Paebes Alfa faz parte de uma política de avaliação longeva. Desde 2008, o programa realizou avaliações anuais, ininterruptamente. O programa passou por alguns ajustes, como vimos, por exemplo, no desenho da avaliação, mas sem que houvesse mudanças de grande monta. Além de longevo, é um programa estável. Em entrevista para a pesquisa (^{REZENDE, 2020}), uma ex-subgerente de avaliação educacional da secretaria afirmou que um dos motivos que ajudavam a explicar a continuidade do Paebes Alfa era o fato das redes de ensino terem compreendido a proposta de avaliação da alfabetização, fazendo uso dos resultados em suas rotinas de trabalho nas escolas (^{REZENDE, 2020}, p. 237). Para a ex-assessora de planejamento e gestão da secretaria (^{REZENDE, 2020}), a longevidade era produto da continuidade da ideia, que atravessou diferentes gestões à frente da secretaria, de que a mensuração dos resultados da ação pedagógica ao longo do tempo é fundamental para o planejamento.

Critério 9: embora seja um programa conduzido pela secretaria estadual de educação, a maior parte dos alunos avaliados pelo Paebes Alfa estão matriculados nas redes municipais. A participação dos municípios no programa é feita por adesão ao formato proposto pelo estado. Como vimos, todos os municípios do estado participam, há alguns anos, do programa. Eles são estimulados a participar, por interesse do estado (em acompanhar a aprendizagem dos alunos que, futuramente, chegarão às escolas da rede estadual), mas não há mecanismos formais, como ocorre no Ceará, por exemplo (^{REZENDE, 2020}, p. 244-245), para compeli-los a integrar o programa (o mesmo ocorre com as escolas particulares que desejam participar). Os custos da avaliação são do estado, sem que os municípios arquem com qualquer despesa. O termo de cooperação não prevê repasse de recursos financeiros entre os entes, afirmando que a cooperação é técnica. O estado é responsável por capacitar um coordenador, responsável pela avaliação no município, e por garantir que todas as escolas participem da avaliação. Aos municípios, cabem a organização da avaliação em seus domínios, incluindo a nomeação de um técnico que seja um interlocutor com a secretaria estadual, e a designação dos aplicadores dos testes nas escolas.

Critério 10: por meio do portal da transparência (^{ESPÍRITO SANTO, 2019}) do governo do Espírito Santo e pela divulgação dos contratos estabelecidos com o CAEd, foi possível identificar os custos do estado com a avaliação educacional, comparando-os com os gastos totais da secretaria de educação, ao longo do período analisado [mais detalhes dessa análise podem ser encontrados em ^{Rezende (2020})]. Os gastos com avaliação dizem respeito ao sistema de avaliação como um todo, incluindo o Paebes (não foram detalhados os gastos específicos com o Paebes Alfa, em virtude dos contratos terem como objeto a avaliação conjunta de Paebes e Paebes Alfa). É importante ressaltar que os gastos totais da secretaria respondem pelos valores empenhados (valores do orçamento reservados para fazerem frente aos compromissos assumidos com credores e fornecedores). Da mesma forma, os gastos com a avaliação, obtidos por meio dos contratos celebrados com o CAEd, fazem referência à previsão do contrato, sem levar em conta eventuais supressões ou aditivos.

Entre 2009 e 2017, o Espírito Santo investiu R$ 43.910.151,68 em sua política de avaliação, ao passo que os gastos totais da secretaria de educação, para o mesmo período, foram de R$ 8.017.848.181,51. Considerando o período todo, os gastos com a política de avaliação respondem por 0,55% do total de despesas da secretaria. No ano em que esse percentual foi mais elevado, em 2016, ele respondeu por 0,89% do total. Perto da importância que os gestores atribuem ao programa, como veremos adiante, os gastos não parecerem ser tão vultuosos quanto a crítica à avaliação externa tende a considerar, fazendo supor que o dinheiro destinado à avaliação seria mais bem utilizado para resolver problemas mais importantes (^{BARBOSA; VIEIRA, 2013}, p. 429-430).

As duas entrevistadas da secretaria de educação do Espírito Santo (^{REZENDE, 2020}), que ocuparam posições importantes para a condução do Paebes Alfa ao longo do período analisado (gerência de avaliação educacional e assessoria de planejamento e gestão estratégica), afirmaram que: o programa assumiu um papel estratégico no estado, orientando ações importantes na secretaria, como a formação de professores; fortaleceu a cooperação entre o estado e os municípios, que aderiram ao programa em sua totalidade, em prol da melhoria da qualidade da educação; foi a principal ferramenta em um contexto de gestão de resultados, monitorando o alcance das metas dos planos nacional e estadual; seus resultados passaram a dialogar com gestores e professores, integrando o trabalho das escolas e fornecendo evidências para o planejamento; evidenciou uma melhoria da qualidade da educação ofertada. Em relação a essa melhoria, a referência são os próprios resultados do Paebes Alfa ao longo do tempo (^{REZENDE, 2020}).

O Paebes Alfa é, portanto, um programa de amplo alcance, avaliando, virtualmente, todos os alunos matriculados no ciclo de alfabetização do estado (as três séries das redes estadual e municipais) e ainda permitindo a participação das escolas particulares interessadas. Seu público-alvo é, prioritariamente, as equipes das secretarias de educação, superintendências, gestores escolares e professores, mas com acesso público aos dados referentes às escolas. O contexto de sua criação foi caracterizado pela reforma administrativa do estado, como foco em resultados, pelo Compromisso Todos pela Educação e pelos exemplos de reformas em outros estados (como Minas Gerais e Ceará), com implementação conduzida pela secretaria de educação.

Trata-se de uma avaliação censitária de 1º, 2º e 3º anos do ensino fundamental, em leitura, escrita e matemática (o que coloca o Paebes Alfa em posição de destaque quando comparado a outros programas de avaliação da alfabetização), que apresenta grande estabilidade em relação às matrizes, aos modelos de caderno de teste e aos padrões de desempenho. A divulgação de seus resultados baseia-se no portal do programa, com acesso ao público e disponibilização dos resultados por escola, além de uma coleção de materiais impressos, pensados para destinatários específicos (equipe da secretaria, gestão da escola e professores), disponíveis também no portal, e de oficinas presenciais de divulgação e apropriação de resultados.

A concepção de alfabetização que dá base ao programa é o alfabetizar letrando, com forte influência das ideias de Magda Soares (²⁰⁰⁴; ²⁰⁰⁷). O programa tem vínculo com outro programa de avaliação no estado, o Paebes, e com o Bônus Desempenho, uma política de bonificação que se baseia, entre outros critérios, nos resultados do Paebes Alfa, o que nos possibilita caracterizar o programa como pertencente à terceira geração de avaliações educacionais. É um programa longevo (realizado desde 2008) e contínuo (sem interrupções). A participação dos municípios ocorre por adesão, com todos os custos cobertos pelo estado, favorecendo um federalismo cooperativo entre os entes. A média de gastos com a avaliação no estado, para o período analisado, responde por 0,55% do total de gastos da secretaria de educação, o que nos leva a questionar a crítica de que os gastos da avaliação são vultuosos, em especial, quando consideramos a centralidade atribuída a ela pelos gestores estaduais.

Considerações finais

O presente artigo permite tecer considerações sobre o Paebes Alfa, o objeto específico da pesquisa aqui apresentada, mas também extrapolar a análise do programa, levando a considerações gerais sobre a pesquisa acerca da avaliação da alfabetização no país e da avaliação educacional de maneira geral. Os critérios adotados para a análise do Paebes Alfa não esgotam todas as características de um programa de avaliação da alfabetização. O rol poderia ser outro, com outras características sendo observadas, ou mesmo com desdobramentos acerca dessas características (por exemplo, em relação aos recursos, poderia ser investigada sua fonte, se há ou não parceria com órgãos internacionais, etc).

Apesar disso, mesmo que de maneira limitada, espera-se que a análise aqui apresentada seja capaz de estimular outras pesquisas interessadas em compreender de modo mais detido programas de avaliação da alfabetização no Brasil. Como vimos, o Paebes Alfa foi analisado por poucos trabalhos acadêmicos. Quando a análise teve lugar, ela se concentrou em aspectos específicos do programa, sem que uma visão mais geral do mesmo fosse produzida. Este trabalho não preenche completamente a lacuna dos estudos sobre os programas de avaliação da alfabetização no Brasil, mas busca lançar luz sobre alguns aspectos relevantes de um programa dessa natureza, o que pode ajudar a compreender sua importância no âmbito das políticas educacionais e a abrir espaço para estudos comparativos em relação a outros programas semelhantes. Os critérios selecionados podem servir como ponto de partida para outras pesquisas, oferecendo uma possibilidade de análise mais ajustada a políticas de avaliação, em especial, da alfabetização, esforço que não foi encontrado na literatura nacional sobre políticas públicas educacionais.

Em relação às considerações que extrapolam o próprio Paebes Alfa, chama atenção o descompasso entre o desinteresse da literatura educacional sobre os programas de avaliação da alfabetização e a importância assumida por eles no âmbito da política educacional estadual. Essa importância é atestada não apenas pela longevidade de programas dessa natureza, como é o caso do Paebes Alfa, mas também pela leitura dos gestores que estiveram à frente do programa (importância política, para a tomada de decisões da gestão) e dos especialistas de instituições de pesquisa que atuam em parceria com a secretaria de educação (importância técnica, com o programa sendo exemplo e base para a criação de novas iniciativas de mesma natureza em outros contextos). Nesse ponto, cabe sugerir que o descompasso observado pode ser fruto: i) do desinteresse da pesquisa educacional sobre a visão dos gestores à frente de políticas educacionais questionadas, como é o caso da avaliação educacional, em uma perspectiva que não seja a de desqualificar, de antemão, tanto a política quanto quem a conduz; ii) da própria resistência ao tema da avaliação educacional; iii) da ausência de uma avaliação nacional da alfabetização consolidada, tendo em vista a experiência recente e descontínua com a ANA. Todos esses elementos abrem espaço para um novo esforço de pesquisa, de modo a compreender melhor como cada um deles contribui para a quase invisibilidade de programas de avaliação da alfabetização na pesquisa nacional em educação.