INTRODUÇÃO

O presente artigo tem como objetivo principal apresentar os resultados de uma revisão sistemática sobre os impactos do Pacto Nacional pela Alfabetização na Idade Certa (PNAIC), instituído pela Portaria n^o 867, de 04 de julho de 2012, com foco na formação continuada, eixo central do Programa, destacando algumas dimensões do desenvolvimento de suas ações nesse âmbito. Há ainda dois objetivos específicos a serem destacados: a) construir uma tipologia e apresentar uma síntese dos estudos de impacto da formação continuada do PNAIC e; b) avaliar a qualidade da evidência científica sobre os estudos de impacto do PNAIC (^{GORARD; SEE; SIDDIQUI, 2017}).

Para esse estudo, foram analisadas publicações (dissertações, teses, artigos, trabalhos e pôsteres) produzidas entre 2013 e 2017; e as bases de dados consultadas foram: o Banco de Teses e Dissertações da CAPES (104 resultados elegíveis), o SciELO (Scientific Electronic Library Online, 6 resultados elegíveis, considerando todos os periódicos),¹ a ANPEd (Associação de Pós-Graduação em Educação, 7 resultados elegíveis, considerando todos os Grupos de Trabalho, nas edições nacionais de 2013, 2015 e 2017),² a revista eletrônica da Associação Brasileira de Alfabetização (ABAlf, com 4 resultados elegíveis) e a base ERIC (Institute of Education Sciences, nenhum resultado elegível). Dos 121 resultados elegíveis, apenas quatro estudos de impacto foram identificados. Entretanto, as 121 publicações sobre o Pacto foram analisadas, independentemente do tema e /ou qualidade. Neste trabalho os estudos de impacto são caracterizados como pesquisas que pretendem estimar se os resultados almejados em um programa ou política educacional foram alcançados (^{CANO, 2006}).

Os índices do analfabetismo escolar, e aqui se chama a atenção para o termo, são alarmantes, no Brasil. Fala-se do analfabetismo de crianças que, apesar de frequentarem a escola e serem promovidas, mostram-se incapazes de leitura e escrita autônomas ao final do ciclo de alfabetização (^{CASTRO, 2016}; ^{VELOSO et al., 2009}). Segundo o MEC, nos primeiros três anos do ensino fundamental, a criança deve adquirir as capacidades de leitura e escrita, dominando o sistema alfabético. Os dados mostram, entretanto, que, aos oito anos, milhares de crianças brasileiras já estão numa espécie de grupo de risco, expostas a dificuldades que poderão comprometer suas histórias de vida e escolar dali em diante (^{SOARES, 2017}).

Segundo os resultados da Avaliação Nacional da Alfabetização, mais de 50% das crianças apresentam níveis insuficientes em leitura e Matemática e outros 34%, no fim do ciclo de alfabetização, demonstram desempenho abaixo do esperado em escrita.

O Pacto Nacional pela Alfabetização na Idade Certa (PNAIC) nasce do reconhecimento deste importante desafio: garantir a plena alfabetização dos estudantes até o fim do terceiro ano do Ensino Fundamental, objetivo considerado bastante largo, tendo em vista que as crianças de grupos sociais mais abastados o cumprem antes dessa idade.

O Pacto, instituído pela Portaria 867, de 04 de julho de 2012, é definido como um compromisso formal e solidário assumido pelos entes federados (Governos Federal, Distrito Federal, estados e municípios). O PNAIC responde à Meta 5, do Plano Nacional da Educação, que define a obrigatoriedade da alfabetização até o final do 3º ano do Ensino Fundamental.

O PNAIC é considerado o maior programa de formação de professores já desenvolvido pelo Ministério da Educação (^{BRASIL, 2015b}), e mais de 90% das bolsas da ação orçamentária do Governo Federal foram dirigidos a ele e ao Pacto Nacional pelo Fortalecimento do Ensino Médio, em 2014 (^{BRASIL, 2015b}). De acordo com dados do Ministério da Educação, cerca de 8 milhões de crianças, matriculadas nos três primeiros anos do Ensino Fundamental da rede pública seriam beneficiadas com as ações do Programa. Pelos cálculos do Governo Federal, isso significava 400 mil turmas, de 108 mil escolas de todo o Brasil e um investimento inicial de R$ 2,7 bilhões.⁴

O eixo principal do Programa está assentado na oferta de cursos de formação continuada previstos, inicialmente, para 360 mil professores alfabetizadores, com tutoria permanente e auxílio de 18 mil orientadores de estudo capacitados por universidades públicas. O MEC também previu a distribuição de mais de 60 milhões de livros didáticos, além de jogos pedagógicos.

Diante do grande alcance do programa e dos custos elevados, é importante destacar que não foi possível identificar um esforço sistemático do governo federal ou mesmo das universidades em realizar um conjunto de estudos com desenho robusto sobre o impacto do PNAIC na alfabetização das crianças. São consideradas como avaliações robustas estudos com desenhos experimentais ou quase experimentais, que apresentam alta validade interna e externa (^{SHADISH; COOK; CAMPBELL, 2002}; ^{GORARD; SEE; SIDDIQUI, 2017}). O tema do analfabetismo é central no debate educacional e essa revisão sistemática pretende ajudar a identificar os potenciais efeitos da implementação do PNAIC em diferentes municípios brasileiros.

A finalidade de avaliar um programa social é determinar se o referido programa atingiu ou não os objetivos projetados. No caso do PNAIC, segundo a Portaria nº 826, de 7 de julho de 2017 - que dispõe, em seu Artigo 5º, sobre as ações, diretrizes gerais e a ação de formação - o Pacto tem como objetivos:

Considerando a gravidade do problema - o desempenho insuficiente dos alunos ao final do ciclo de alfabetização - e a magnitude do Pacto Nacional pela Alfabetização na Idade Certa, como estratégia para melhorar esses resultados, é que essa pesquisa se justifica, no sentido de buscar estudos que demonstrem os efeitos do programa, lançando luz sobre iniciativas futuras no que tange a políticas e programas educacionais.

Cabe destacar que o PNAIC é um programa que visa melhorar os índices de alfabetização no Brasil e, portanto, tem caráter equitativo. Os custos do programa, assim como seus impactos, deveriam ser de interesse público e foco central de avaliadores do campo da educação.

SOBRE O PNAIC

O Pacto é definido como um compromisso formal e solidário assumido pelos entes federados (Governos Federal, Distrito Federal, estados e municípios), desde 2012. O PNAIC responde à Meta 5, do Plano Nacional da Educação, que define a obrigatoriedade da alfabetização até o final do 3º ano do Ensino Fundamental. Entretanto, ele também está diretamente relacionado ao cumprimento da Meta 2, que estabelece a universalização do ensino fundamental de nove anos para a população de 6 a 14 anos. Afinal, se a alfabetização não se consolidar, o prosseguimento dos estudos estará severamente comprometido. Cabe aqui destacar que a adesão ao Pacto é voluntária, tanto dos estados, Distrito Federal e municípios, quanto dos professores alfabetizadores.

Considera-se que o Pacto teve origem em outros programas exitosos como o PAIC (Programa de Alfabetização na Idade Certa), desenvolvido pelo governo do Ceará, e o Pró-Letramento. O PNAIC é também marcado pela constituição, em 2004, da RENAFOR (Rede Nacional de Formação de Professores).

De acordo com o Caderno de Apresentação do PNAIC 2015 (^{BRASIL, 2015}), o debate sobre a formação de professores começa muito antes do Pacto. Em 2003, o MEC buscava uma nova orientação para a educação brasileira e novos eixos norteadores foram estabelecidos, a saber: formação de competências, como eixo nuclear, e a formação reflexiva, como eixo metodológico. Nesse contexto, a alfabetização assume lugar central no debate educacional acerca da melhoria da qualidade da educação pública. O Programa Toda Criança Aprendendo (TCA), lançado em 2003, tinha quatro linhas de ação prioritárias em suas matrizes de referência:

Implantar a Política Nacional de Valorização e Formação de Professores; ampliar o atendimento escolar, incluindo as crianças de seis anos no ensino fundamental; apoiar a construção de Sistemas Estaduais de Avaliação da Educação Básica; e instituir programas de apoio ao letramento (^{BRASIL, 2015a}, p. 14).

O referido programa foi extinto, mas as discussões em torno dele deram origem à Rede Nacional de Formação Continuada. A Rede tinha como base a participação das universidades, investimento público e a concepção de um pacto federativo na articulação das relações educacionais, com base na Constituição de 1988 e em seus Artigos 23 e 211, que “preconizam o Regime de Cooperação entre os entes federados e o Regime de Colaboração entre os sistemas de ensino” (^{BRASIL, 2015a}, p. 14).

Sobre o PAIC:

Com base em resultados de pesquisa que revelavam as insuficiências dos currículos dos cursos superiores para formar o(a) professor(a) alfabetizador(a) e a falta de conhecimento dos docentes para alfabetizar, o que se refletia em dificuldades dos alunos da educação básica na leitura, escrita e compreensão de textos, o Comitê Cearense para Eliminação do Analfabetismo Escolar, formado por diversas entidades da sociedade civil e por cinco universidades do Estado do Ceará, a SEDUC⁵/CE e o Conselho Estadual de Educação, em parceria com a União Nacional dos Dirigentes Municipais de Educação do Ceará (Undime-CE) e o UNICEF, criaram o PAIC, em 2005. Por meio dele, estabeleceu-se um pacto com os municípios interessados em superar os problemas de aprendizagem escolar. (^{GATTI; BARRETO; ANDRÉ, 2011}, p. 243).

O incentivo e a avaliação docentes junto a políticas de gerenciamento do sistema escolar, a melhor organização das rotinas escolares e o investimento na estrutura das escolas (como acervos das bibliotecas etc.), aliados a iniciativas de formação continuada dos professores - no que se refere aos aspectos de metodologia da alfabetização e de formação do professor-leitor, por exemplo - compunham o bojo do PAIC (^{GATTI; BARRETO; ANDRÉ, 2011}).

Entretanto, há uma diferença que merece relevo: o PAIC tinha como parceiros a UNICEF, APRECE, UNDIME-CE, APDM-CE, SECULT⁶ e o Fórum de Educação Infantil do Ceará, apoiados pela Secretaria Estadual de Educação. Já o PNAIC, possui as universidades públicas como peças-chave na construção e desenvolvimento de materiais para a formação de professores (^{ALMEIDA, 2016}).

Em relação ao Pró-Letramento, ^{Silva (2016}) afirma que, considerado um programa exitoso, é referência direta e inspiração ao PNAIC, diante dos resultados alcançados no IDEB e na Prova Brasil, de 2007 e 2009, que superaram as expectativas à época. Como os resultados das avaliações em larga escala vêm ganhando grande visibilidade, os dados por elas gerados têm sido decisivos na definição de políticas e programas sociais, pois esses resultados definem e configuram os problemas a serem enfrentados em educação, bem como as reformas a serem empreendidas.

O Pró-Letramento foi lançado em 2005 e era dirigido aos professores dos anos iniciais do Ensino Fundamental como parte integrante do Plano Nacional de Qualidade da Educação Básica, “sendo reeditado em 2007, constituindo as ações de formação de professores do Plano de Desenvolvimento da Educação” (^{SILVA, 2016}, p. 24). O objetivo principal do programa estava relacionado à elevação da qualidade do ensino e da aprendizagem em Matemática e Língua Portuguesa, a partir da oferta de suporte à ação pedagógica dos professores. “Para tanto, o programa buscou desenvolver uma cultura de formação continuada em rede, envolvendo universidades, secretarias de Educação e escolas públicas dos sistemas de ensino” (^{SILVA, 2016}, p. 24).

O PNAIC preserva, portanto, em seu desenho, a herança do funcionamento da formação em rede, mas ganha mais foco ao dirigir-se diretamente aos alfabetizadores, e maior capilaridade, tendo em vista sua abrangência diante do número de adesões de estados e municípios. Sendo assim, o Pacto Nacional pela Alfabetização na Idade Certa avança no sentido de formalizar procedimentos de colaboração entre os entes federados no que diz respeito a funções de instituições e profissionais e uso de verbas.

^{Constant (2017}, p. 10) define o PNAIC como uma “política híbrida”, que congrega experiências educacionais brasileiras de 1995 a 2014, com base, principalmente, na Constituição Brasileira de 1988 e na Lei de Diretrizes e Bases da Educação Nacional (LDB n^o 9394/96), em seu Artigo 87, inciso II, parágrafo único. Segundo a autora, além da Constituição e da LDB, o contexto do PNAIC é marcado por documentos norteadores, como: os do Fundo Nacional de Desenvolvimento da Educação (n^o 11.273, de 06 de fevereiro de 2006); do Plano de Desenvolvimento da Educação, Artigo 2º do Decreto n^o 6.094 de 2007; da Política Nacional de Formação de Profissionais do Magistério da Educação Básica e do Artigo 1º, parágrafo único e do artigo 2º do Decreto n^o 7.084, de 2010, referente ao Programa Nacional do Livro Didático.

Sobre o histórico do Pacto, ^{Silva (2016}, p. 24) destaca ainda que:

[...] prosseguindo com as propostas para o campo da educação e com a agenda reformista, no governo Dilma Rousseff (2010-2014) foram retomados programas implementados durante o governo Luis Inácio Lula da Silva (2003-2010) e criados outros, como o Programa Nacional de Acesso ao Ensino Técnico e Emprego - PRONATEC (2011) e o Pacto Nacional pela Alfabetização na Idade Certa - PNAIC.

^{Santos (2015}) amplia essa perspectiva ao sinalizar que, ao se considerar o Pacto, em uma perspectiva internacional, “veremos que ele também é parte das ações do Estado brasileiro para tentar cumprir um compromisso assumido no Acordo de Dacar (Senegal), assinado no ano de 2000” (^{SANTOS, 2015}, p. 31). Tal acordo previa a implementação de várias estratégias, com vistas a um plano de metas referente à expansão dos cuidados com a primeira infância, entre outros compromissos, a ser alcançado até 2015.

Inspirado em programas exitosos e comprometido com metas nacionais e internacionais, o PNAIC passou a compor a Política Nacional de Alfabetização, junto ao recém- lançado Programa Mais Alfabetização,⁷ o que sugere ainda se viver, no Brasil, a era das políticas de governo na qual se assiste ao zigue-zague⁸ (^{CUNHA, 1991}) de iniciativas que arrastam muitos investimentos dos cofres públicos, sem que se saiba ao certo seus efeitos. Esse se constitui em um dos grandes desafios desta pesquisa: apontar para a necessidade de estudos de impacto robustos, que auxiliem na tomada de decisão com vistas à melhoria da aprendizagem das crianças.

Segundo o Documento Orientador do PNAIC (^{BRASIL, 2017a}), a alfabetização é compreendida como chave para “garantir uma educação inclusiva, equitativa e de qualidade, e promover oportunidades de aprendizagem durante toda a vida para todos” (^{BRASIL, 2017a}, p. 3), objetivo que compõe o Marco de Ação da Agenda de Educação 2030, da qual o Brasil é signatário. Nesse sentido, o Governo Federal conclama, no Documento Orientador do PNAIC, “docentes, gestores e instituições formadoras a esse compromisso ético indispensável à construção de uma educação efetivamente democrática e socialmente justa” (^{BRASIL, 2017a}, p. 3).

Para atingir esses objetivos, as ações do PNAIC incluem um conjunto integrado de programas, materiais e referências curriculares e pedagógicas, recomendadas pelo Ministério da Educação (MEC), sendo que seu principal eixo de atuação é a formação continuada dos alfabetizadores. Essa formação é complementada por outros três eixos, a saber: Materiais Didáticos e Pedagógicos; Avaliações; Gestão.

A formação continuada de professores alfabetizadores é considerada como elemento central no PNAIC, conforme se pode observar:

Para o MEC, a formação continuada de professores como política nacional é componente essencial da profissionalização e da valorização docente, devendo integrar-se ao cotidiano da escola e pautar-se no respeito à experiência adquirida e no direito dos profissionais do magistério de buscarem atualização e aperfeiçoamento ao longo da vida. (^{BRASIL, 2016a}, p. 3).

A formação continuada dos professores alfabetizadores desenvolve-se a partir de um processo de formação entre pares, com base nos seguintes princípios:

Nessa dinâmica, cabe às universidades a preparação dos Formadores locais que, por sua vez, realizam a formação dos Orientadores de Estudo - os responsáveis pelos encontros com os alfabetizadores.

Em sua versão original, a proposta de formação continuada, iniciada em 2013, previa curso presencial de dois anos para os professores alfabetizadores, com carga horária de 120 horas anuais, com base no programa Pró-Letramento,⁹ cuja metodologia propunha estudos e atividades práticas. Entretanto, na Portaria n^o 1094, de 30 de setembro de 2016, no Artigo 2, ao descrever as atribuições das instituições formadoras, em seu inciso XIV, esta dispõe que os cursistas poderiam receber seus certificados ao concluírem a formação em serviço, incluindo na carga horária dessa formação:

[...] não somente momentos presenciais, mas atividades mediadas por tecnologias, tais como web conferência e minicursos on-line, e as que o professor desenvolver em sala de aula, a partir de sequências didáticas, metas e prazos acordados com os orientadores de estudos e os professores formadores. (^{BRASIL, 2016b}, p. 8)

A partir de 2016, a legislação passou a definir a ampliação da formação continuada que, além dos profissionais envolvidos inicialmente, incluiria agora os coordenadores pedagógicos¹⁰ das escolas participantes e a formação dos coordenadores estaduais, da Undime (União Nacional dos Dirigentes Municipais de Educação),¹¹ regionais e locais, participantes das ações de formação em serviço dos professores alfabetizadores e coordenadores pedagógicos.

Nesse sentido, o documento PNAIC em Ação 2016 confirma tal demanda:

A extensão da formação aos coordenadores pedagógicos responde a avaliações e demandas feitas ao MEC e é um reconhecimento da função desse profissional, eminentemente comprometida com os resultados de aprendizagem da escola e responsável, junto à direção, pela preparação de um clima organizacional motivador e propício ao convívio e à construção de conhecimento. (^{BRASIL, 2016a}, p. 7)

O PNAIC também garantia, até 2016, bolsas aos profissionais participantes da formação continuada, inclusive aos alfabetizadores, o que, para muitos funcionava, como um incentivo à adesão.

No quadro, a seguir, a configuração e as mudanças na estrutura do PNAIC.

Fonte: Elaboração própria dos autores.

QUADRO 1 Estrutura hierárquica do PNAIC 

Em 2017, haveria nova alteração no desenho do PNAIC. Duas funções foram incorporadas: a do Coordenador de Pesquisa e a do Pesquisador. Segundo o que é apresentado no Documento Orientador do PNAIC 2017 (^{BRASIL, 2017a}), cabe ao Coordenador de Pesquisa acompanhar e documentar aspectos referentes à implementação, gestão, controle e articulação entre os entes federados e, ao final do ciclo de formação, registrar o projeto de pesquisa em formato de relato de caso ou de artigo científico, contribuindo com informações, tendo em vista propostas de aperfeiçoamento da formação continuada e de consolidação da alfabetização das crianças (^{BRASIL, 2017a}).

Outra mudança significativa na estrutura da formação do PNAIC, em 2017, diz respeito à incorporação de profissionais da Educação Infantil e do Programa Novo Mais Educação (PNME),¹² conforme Artigo 17:

A formação continuada ofertada por instituições públicas de ensino superior ou centros de formação de professores regularmente instituídos pelas redes de ensino será ministrada aos responsáveis pela formação dos coordenadores pedagógicos da educação infantil e professores da pré-escola, coordenadores pedagógicos dos anos iniciais, professores alfabetizadores e, também, dos articuladores da escola e mediadores de aprendizagem, no âmbito do PNME. (^{BRASIL, 2016c})

Em 2017, as bolsas dos alfabetizadores foram suspensas e bolsas destinadas a outros atores do Programa, reduzidas.

A tabela, a seguir, resume os números da formação continuada do PNAIC, ao longo de seus cinco anos de existência.

Segundo o Documento Orientador do MEC (^{BRASIL, 2017a}), a principal inovação no Programa, em 2017, diz respeito a um maior direcionamento tanto na intencionalidade pedagógica das formações, quanto na atuação dos formadores, a partir da adoção de um modelo que pressupõe o fortalecimento da capacidade institucional local, “reforçando a importância de ter, na estrutura de formação e gestão, atores locais altamente comprometidos com os processos formativos e de monitoramento, avaliação e intervenção pedagógica” (^{BRASIL, 2017a}, p. 7).

O MÉTODO: A REVISÃO SISTEMÁTICA

Revisão Sistemática (RS) é um método científico de pesquisa que tem como objetivo reunir, de forma organizada, criteriosa e abrangente, toda a informação a respeito de um tema específico, no caso, a formação continuada do Pacto Nacional pela Alfabetização na Idade Certa, presente nas produções selecionadas. Para tanto, o método exige que se estabeleça um protocolo de ação detalhado, que permita que outros pesquisadores repliquem ou atualizem o estudo, seguindo os passos descritos (^{PETTICREW; ROBERTS, 2006}; ^{COSTA; ZOLTOWSKI, 2014}).

O método é útil para dar sentido a um grande volume de informações e revela-se como um meio eficaz para contribuir com as respostas às perguntas sobre o que funciona e o que não funciona. Trata-se de um método capaz de mapear áreas de incerteza, onde pouca ou nenhuma pesquisa abrangente tenha sido realizada e onde novos estudos são necessários (^{PETTICREW; ROBERTS, 2006}).

Segundo as orientações de ^{Petticrew e Roberts (2006}) e ^{Costa e Zoltowski (2014}), foram consideradas oito etapas básicas à realização de uma revisão sistemática de qualidade: 1- Delimitação da questão a ser pesquisada; 2- Escolha das fontes de dados; 3- Eleição das palavras-chave para a busca; 4- Busca e armazenamento dos resultados; 5- Seleção de artigos pelo resumo, de acordo com critérios de inclusão e exclusão pré-estabelecidos; 6- Extração dos dados dos artigos selecionados; 7- Avaliação dos artigos; 8- Síntese e interpretação dos dados.

O que o leitor pode esperar como resultado de uma revisão sistemática? Ora, “a revisão sistemática requer uma questão clara, critérios bem definidos e uma conclusão que forneça novas informações com base no conteúdo garimpado” (^{GOMES; CAMINHA, 2014}, p. 396). Portanto, revisões sistemáticas bem estruturadas poderão ser úteis para atualizar e construir referenciais para a atuação de profissionais e para a busca de questões originais relativas a um dado tema. No caso específico do PNAIC, apresenta-se a síntese das avaliações de impacto feitas sobre a formação continuada do Pacto e um panorama sobre a qualidade da evidência produzida nesses estudos.

A análise sobre a qualidade da evidência dos estudos é feita a partir de critérios claros para a avaliação dos trabalhos selecionados. A proposta é inspirada na metáfora da “peneira”, do livro publicado por ^{Gorard, Siddiqui e See (2017}). Isso é relevante em um contexto cada vez mais comum em que se observa a abundância de estudos sobre quase todos os temas no campo da educação (^{GATTI, 2002}; ^{ANDRÉ, 2005}). Objetivamente, a dificuldade de boa parte dos pesquisadores e gestores, hoje, não é ter acesso à informação, mas sim selecionar, em um universo crescente de estudos, aqueles que apresentam critérios mínimos de qualidade e que, portanto, devem ser considerados nas etapas subsequentes da pesquisa ou implementação/reformulação de políticas ou programas educacionais.

Cabe reforçar, no entanto, que os critérios apresentados nesse artigo para avaliar ou “peneirar” a qualidade dos estudos, não constituem uma proposta fechada. Trata-se de uma primeira aproximação de problema crescente que pesquisadores de diversas áreas enfrentam, a saber: a necessidade de discriminar a qualidade de diferentes estudos científicos que buscam responder questões de pesquisas iguais ou muito semelhantes. Não é razoável atribuir peso semelhante a estudos de impacto que possuem evidências científicas com qualidades distintas (^{GORARD; SIDDIQUI; SEE, 2017}).

A fim de realizar a investigação pretendida, a pesquisa contemplou várias etapas de análise das dissertações, teses e artigos selecionados, a saber:

Pesquisa nas bases de dados definidas (BTD da CAPES, SciELO, ANPEd, ABAlf, ERIC), o que resultou em 195 produções.

Análise das 195 produções reunidas nas cinco bases de dados pesquisadas, independentemente da temática abordada, a fim de verificar aquelas que estudavam o PNAIC e que tinham seus arquivos disponíveis nas bases escolhidas. Dessa etapa de filtragem, permaneceram 121 trabalhos.

Análise das 121 produções, a fim de identificar aquelas que versavam sobre a formação continuada. Foram identificados 52 estudos dentro da temática.

Análise dos 52 estudos sobre formação continuada, a fim de identificar os que estariam dentro do perfil de estudos de impacto. Foram identificados quatro estudos.

Síntese dos achados dos estudos de impacto sobre a formação continuada (4).

Retomada das 121 produções selecionadas, a fim de construir a tipologia de estudos.

As bases de dados foram estabelecidas, tendo em vista: 1) compor uma variedade de tipos de estudo, diminuindo o risco de viés de publicação;¹⁴ 2) a representatividade das instituições relacionadas ao tema de pesquisa. A pesquisa foi realizada em cinco bases de dados, todas eletrônicas, no recorte temporal que vai de 2013 a 2017. São elas:

No caso da pesquisa em educação, é bastante complexo conseguir realizar uma revisão sistemática a partir de estudos considerados padrão-ouro.¹⁵ Entretanto, isso não se constitui como motivo para abandonar o projeto de encaminhar uma revisão sistemática, ignorando as contribuições que ela representa. A inclusão de estudos qualitativos nas revisões sistemáticas representa um desafio contínuo, tanto que Cochrane e Campbell Collaborations,¹⁶ instituição especializada no assunto e referência para várias áreas do conhecimento, constituíram um grupo metodológico conjunto a fim de desenvolver métodos para revisão sistemática de pesquisa qualitativa (^{PETTICREW; ROBERTS, 2006}). Ainda segundo ^{Petticrew e Roberts (2006}), na ausência de evidências¹⁷ provenientes de estudos padrão-ouro, pode-se trabalhar com as melhores evidências disponíveis. Os autores destacam que, ao alinhar uma série de estudos tendenciosos, pode-se incorrer no risco bastante provável de gerar um resumo também tendencioso. Entretanto, considera-se que essa seja uma outra contribuição dessa pesquisa: demonstrar a lacuna existente relacionada aos estudos de impacto, que poderá ser ocupada por futuras pesquisas, a partir da constatação aqui apontada de que, apesar de investimentos vultosos serem feitos na área de educação, a formulação e implementação de programas ou políticas educacionais ocorre, em boa medida, sem o uso sistemático de evidências científicas. Em outras palavras, programas são descontinuados sem a realização de estudos avaliativos de impacto, o que impede que a comunidade acadêmica e os gestores aprendam sobre aquela experiência. Isso gera um vácuo no acúmulo de conhecimento sobre os efeitos dos novos programas. Não avaliar o impacto dos programas educacionais contribui para um cenário em que a descontinuidade dos programas é feita sem maiores consequências, uma vez que se sabe pouco ou nada sobre seus supostos efeitos. Há ainda a situação em que novos programas são propostos sem considerar as evidencias existentes no campo, o que diminui sua chance de sucesso.

A sociedade e o campo educacional perdem em ambos os casos: quando o programa não apresenta efeito ou quando apresenta, uma vez que a tomada de decisão sobre a ampliação, reformulação ou substituição do referido programa será sempre realizada sem o uso de evidências confiáveis sobre seus efeitos. O tema sobre a qualidade da educação no Brasil, aqui entendido como o direito das crianças e jovens de aprender, passa pela adoção de avaliações de impacto sistemáticas sobre as políticas e programas educacionais.

Na etapa de análise das produções, em que se buscava por estudos avaliativos de impacto - aqueles que apontassem conclusões a partir de dados objetivos, de testes aplicados aos alunos e/ou professores do ciclo de alfabetização, a fim de identificar possíveis diferenças (efeitos) entre o antes e o depois da intervenção, no caso, a formação continuada do PNAIC - os resultados podem ser observados na tabela a seguir.

Dos resultados finais (121 estudos), 52 tratavam da temática em questão (a formação continuada), mas foram encontradas apenas quatro pesquisas com características de estudos de impacto dentro do tema de interesse. A predominância é dos estudos sobre percepção de impacto, ou seja, pesquisas que coletam dados com diferentes atores (professores, alunos, responsáveis de alunos, diretores etc.), e relatam suas impressões sobre os possíveis efeitos dos programas. É feita aqui importante distinção: percepção sobre impacto não é evidência robusta sobre impacto. Há inúmeros estudos sobre percepção de impacto que reforçam os vieses cognitivos de atores envolvidos (por exemplo, professores, diretores, famílias ou pesquisadores) nos processos estudados (^{CANO, 2006}).

AMEAÇAS À VALIDADE DESSA PESQUISA

Julga-se fundamental apontar as ameaças à validade deste estudo, a fim de prevenir outros pesquisadores sobre riscos que poderão ser evitados em futuras pesquisas e cuidados ao considerar os resultados aqui apresentados.

Não foi possível contar com a participação de dois pesquisadores em todas as etapas da pesquisa, conforme recomendações técnicas do método (^{COSTA; ZOLTOWSKI, 2014}). Esse procedimento foi mantido na etapa inicial - definição das bases de dados e palavras-chave, pesquisa do primeiro grupo de trabalhos selecionados - em que se contou com a participação de bibliotecárias e membros do grupo de pesquisa a que pertence este estudo.

Quanto ao processo de inclusão e exclusão de arquivos, há algumas observações importantes. Considera-se como uma ameaça a possibilidade de terem sido deixados de fora trabalhos relevantes, sobretudo na base ANPEd, pelas dificuldades específicas de pesquisa nesse site, que carece de ferramenta de busca. Outras bases também poderão ser incluídas em estudos futuros.

Deve-se declarar também que alguns poucos trabalhos incluídos referem-se ao PNAIC de forma superficial, mas foram mantidos por apresentarem algum tipo de análise/avaliação que poderia contribuir para a tipologia dos estudos. Essa inclusão não colocaria em risco a revisão sistemática ou a qualidade de nossa pesquisa, que, pretendia-se, fosse o mais abrangente possível.

RESULTADOS DA PESQUISA: TIPOLOGIA DOS ESTUDOS

Um dos objetivos específicos dessa pesquisa foi construir uma tipologia dos trabalhos coletados. Grande parte das informações apresentadas nesta seção foi retirada dos resumos dos trabalhos. Entretanto, em vários momentos, foi necessário acessar as conclusões ou o texto na íntegra, pois as informações do resumo não eram suficientemente claras ou não estavam ali disponíveis todos os dados necessários.

A primeira tabela se refere às produções por base de dados. No caso da ANPEd, são mencionados os Grupos de Trabalho (GT) a que pertencem os estudos. No caso da base SciELO, informam-se as revistas em que os artigos foram publicados, assim como as mídias das demais bases (ABAlf e BTD da CAPES).

A maior parte dos trabalhos tem sido produzida no âmbito das universidades públicas, tendência que se repete em todas as bases. Isso se justifica pelo fato de haver um predomínio dos programas de mestrado e doutorado nessas universidades, enquanto na graduação, o quadro é invertido: há predomínio das universidades privadas sobre as públicas.

Na tabela a seguir, pode-se ver a distribuição por universidades públicas, privadas e comunitárias, por base de dados, de onde se originaram os 121 resultados considerados para a tipologia desta pesquisa.

A seguir, a distribuição por base de dados, de acordo com o grau acadêmico dos programas de pós-graduação.

O quadro, a seguir, demonstra os resultados do levantamento de temas por base de dados, que podem indicar lacunas a serem preenchidas com estudos futuros.

Na classificação quanto aos tipos de pesquisa, tentou-se respeitar as designações feitas pelos pesquisadores, aplicando a lista utilizada na tabela a seguir.

Como se pode observar, o predomínio é de pesquisas que analisam documentos e do tipo “estudo de caso”, quando são definidas de modo mais específico por seus autores. Se somadas as mistas às do tipo “outros”, tem-se mais de 50% do total de produções, o que sugere dificuldades dos pesquisadores em classificar suas produções e talvez a falta de um referencial mais objetivo para isso na área de educação.

Observe que, no caso de “revisão de literatura”, não se trata de haver apenas uma produção desse tipo no BTD da CAPES, mas há grande incidência de associação entre revisão de literatura e outros tipos de pesquisa.

Com base nas conclusões que compõem os resumos, são apresentadas as apreciações dos pesquisadores quanto à avaliação que fazem do Pacto. Em alguns dos trabalhos, foi necessário recorrer às conclusões no corpo do texto. Mesmo assim, em cerca de 28% das pesquisas, não foi possível identificar o posicionamento do autor. Nesses casos, entende-se que são apontados aspectos positivos e negativos, sem preponderância de uns sobre os outros e esses foram classificados como “não fica clara”.

A tabela a seguir apresenta os resultados da classificação feita dos estudos elencados para essa tipologia e os números a que se chegou, considerando a seguinte classificação: estudos de implementação - os que tentam esclarecer “em que medida o programa foi implementado de acordo com o plano original” (^{CANO, 2006}, p. 100); estudos de impacto - procuram averiguar se os efeitos almejados foram atingidos (^{CANO, 2006}); percepção de implementação e percepção de impacto, em ambos os casos, são coletadas impressões dos diferentes atores envolvidos, tendo em vista o processo e os resultados do programa, respectivamente.

Como se pode observar, enquanto cerca de 55% das pesquisas não são avaliativas, outros 40% são de percepção (implementação e impacto) e somente cerca de 4% são estudos de impacto. Esses resultados podem apontar lacunas a serem preenchidas no campo da pesquisa educacional. Chama a atenção também não ser encontrado nenhum estudo sobre avaliação de implementação. Idealmente, esses estudos deveriam ser realizados junto com a avaliação de impacto com o objetivo de ajudar nas interpretações sobre os efeitos estimados dos programas. Não é incomum observar programas com efeitos muito pequenos ou nulos que apresentaram sérios problemas na sua implementação. Nesse caso, a avaliação de implementação traz evidências muito úteis para ajudar na interpretação sobre os efeitos do programa.

Os dados apresentados na tabela anterior reforçam um cenário que merece ser interpretado com maior atenção pelos pesquisadores e gestores do campo da educação. Após cinco anos de implementação do PNAIC, maior programa voltado à formação de professores no Brasil, há um número muito limitado de estudos que tentaram estimar os possíveis efeitos do programa em diferentes dimensões. Os dados sugerem que não há na agenda de pesquisa educacional uma preocupação clara com os efeitos das políticas e/ou programas educacionais. Em outros contextos, conforme descrevem ^{Cano (2006}) e ^{Gorard (2013}), a avaliação de impacto de novos programas é uma exigência das agências de fomento e/ou governos.

EVIDÊNCIAS DOS ESTUDOS DE IMPACTO

Apresenta-se, a seguir, a segunda parte dos resultados da pesquisa, com a síntese da revisão sistemática sobre os estudos de impacto voltados à formação continuada, cumprindo o objetivo central estabelecido para este estudo.

As quatro pesquisas selecionadas pertencem à base do BTD da CAPES e foram desenvolvidas em universidades públicas, sendo que, duas delas são resultado de pesquisas realizadas em Mestrado Profissional e, outras duas, em Mestrado Acadêmico. As produções são oriundas das regiões Sudeste (BTD CAPES 5), Nordeste (BTD CAPES 14), Sul (BTD CAPES 45) e Centro-Oeste (BTD 38). Duas delas pertencem a Programas de Educação (BTD CAPES 45 e 38), a terceira está relacionada a um programa intitulado Docência para a Educação Básica, ligado à Faculdade de Ciências (BTD CAPES 05), enquanto a quarta pertence a um programa de Letras.

Os critérios utilizados para a avaliação das pesquisas foram:

A cada um dos itens foi atribuída uma nota de 0 a 1, com somatório máximo total de 5 pontos, sendo que o zero indica um estudo de baixa qualidade, enquanto o 5 representa um estudo de alta qualidade - alta validade interna e externa (^{CANO, 2006}; ^{GORARD, 2013}). Os itens para avaliar a qualidade dos estudos foram inspirados na “peneira” proposta por ^{Gorard, See e Siddiqui (2017}) para avaliar a qualidade da evidência de estudos de impacto. Os autores destacam que, ao ler um estudo avaliativo (e por que não qualquer estudo científico?), o aspecto mais relevante é discriminar a qualidade da evidência apresentada, ou o que eles chamam de confiabilidade (trustworthiness) do estudo. Em outras palavras: o quão convincentes são os achados apresentados? Os autores utilizam a metáfora de uma peneira que teria cinco pontos principais, que devem ser levados em consideração no momento da leitura e avaliação da qualidade dos estudos: a) desenho do estudo, b) escala do estudo, c) mortalidade amostral, d) qualidade dos dados coletados/analisados, e) outras ameaças ao estudo (^{GORARD; SEE; SIDDIQUI, 2017}).

Ainda sobre a questão da qualidade dos estudos, deve-se destacar que a originalidade da iniciativa dos quatro pesquisadores que estimaram o impacto do PNAIC é louvável, sobretudo diante do quadro observado quanto aos tipos de pesquisa. Entretanto, é, no mínimo, curioso observar que nenhum deles descreva claramente o desenho da pesquisa (no caso específico, todos quase-experimentais). Não é incomum em outras áreas de intervenção, como por exemplo, saúde pública, engenharia ou segurança pública, a descrição clara do desenho do estudo avaliativo e suas limitações/ameaças.

É importante esclarecer que nossa intenção, ao realizar a avaliação dos estudos, é a de debater sobre a importância de se estabelecerem critérios de análise das produções da área, contribuindo para um maior rigor no desenho da pesquisa avaliativa em Educação. Sabe-se que há certo grau de arbitrariedade no julgamento das produções (em especial, se há o objetivo de destacar uma nota final para a qualidade do estudo - ver ^{Gorard, See, e Siddiqui, 2017}), mas é um risco que se assume correr diante dos ganhos que essa reflexão pode representar para os pesquisadores.

Dos quatro estudos, dois estão voltados à análise de resultados de aprendizagem dos alunos do ciclo de alfabetização, o terceiro tem foco nos professores - mudança na prática dos professores que participaram das formações do PNAIC e, o último, propõe vincular a qualificação dos professores e o desempenho dos alunos. Dois se referem à área de Matemática e dois à área de Língua Portuguesa. Duas pesquisas declaram a aprovação das propostas pelos comitês de ética das suas cidades e outras duas não fazem menção a esse quesito.

Embora os quatro estudos selecionados para essa etapa da pesquisa possam ser descritos como estudos quase experimentais, de acordo com a classificação apontada por ^{Shadish, Cook e Campbell (2002}), mais uma vez, sinaliza-se que essa classificação foi realizada a partir de interpretação própria das produções. Os autores não descreveram suas pesquisas nessa perspectiva. Entretanto, é objetivo lançar luz sobre a importância desse tipo de estudo para a área educacional, sobretudo quando se trata da avaliação de políticas e programas públicos, que envolvem muitos recursos materiais e humanos e podem representar enormes ganhos ou grande desperdício de tempo e investimentos para a sociedade. Quando o risco envolve questões críticas como o analfabetismo escolar, isso fica ainda mais grave, pois várias gerações de estudantes poderão ficar comprometidas com programas ineficazes que não atingem os objetivos propostos.

Fonte: Elaboração própria dos autores.

QUADRO 2 Resumo da avaliação dos estudos de impacto da Formação Continuada do PNAIC 

No processo de análise das produções, foi possível observar que os dois pesquisadores que estudaram a área de Matemática apontam para a necessidade de uma formação continuada de cunho mais científico. Há indicações de que o Programa tratou os temas da matemática de forma superficial e dentro de um tempo exíguo de trabalho, incompatível com a complexidade dos conteúdos em questão.

Se tomada a questão da causalidade, por exemplo, somente um dos estudos (BTD CAPES 38) tentou, de forma mais clara, eliminar hipóteses alternativas aos resultados encontrados. Isso reforça a preocupação com a qualidade dos estudos que buscam estimar impactos no campo da educação e, de forma mais específica, sobre os possíveis efeitos no PNAIC.

Não houve, em nenhum dos estudos, alocação aleatória das amostras em grupos distintos (no caso grupo experimental e grupo controle), o que poderia aumentar sua validade interna, uma vez que esse procedimento permite construir grupos equivalentes em expectativa e, portanto, comparáveis (^{CANO, 2006}). Porém, em um dos estudos, a pesquisadora fez o pareamento das unidades (^{GIOMBELLI, 2016} - BTD CAPES 45), quando se divide a população em dois grupos cujas características sejam as mais similares possíveis (^{ELACQUA, 2015}). Embora não seja o ideal, essa estratégia demonstra uma maior compreensão da necessidade de realizar “comparações justas” com o objetivo de minimizar o risco de viés de seleção (^{VOGT; GARDNER; HAEFFELE, 2012}; ^{SHADISH; COOK; CAMPBELL, 2002}; ^{CANO, 2006}).

É importante sinalizar que os estudos identificados como BTD CAPES 05 e 14 (^{PEREIRA, 2016}; ^{SILVA, 2015}, respectivamente), utilizaram também intervenções elaboradas pelos pesquisadores. No primeiro caso (^{PEREIRA, 2016}), isso deve ser visto com mais atenção ainda, pois o pesquisador avalia os resultados da segunda observação com base no seu próprio teste, seguindo orientações que não estão previstas na fundamentação teórica do Pacto. Mesmo assim, o estudo foi incluído, considerando-se os resultados do primeiro teste, aplicado a alunos do 4º ano, que, esperava-se, tivessem domínio dos conteúdos indicados pelo pesquisador como adequados à etapa de escolarização em que se encontravam.

Outro aspecto que merece destaque é o que se refere às ameaças à validade interna e externa dos estudos. Esses aspectos são tratados de forma tangencial, com ressalvas para os estudos BTD CAPES 45 (^{GIOMBELLI, 2016}) e BTD CAPES 38 (^{ASSIS, 2016}), em que a questão é abordada de forma mais objetiva.

CONCLUSÕES

Esta é a primeira revisão sistemática sobre os efeitos da política de formação continuada de professores do Pacto Nacional pela Alfabetização na Idade Certa. As Revisões Sistemáticas representam, hoje, uma ferramenta importante, se considerarmos a grande quantidade de informações disponíveis sobre os mais variados temas. Mesmo dispondo de recursos tecnológicos avançados de busca, ainda assim, tem sido um desafio aos pesquisadores gerenciar uma gama tão extensa e diversificada de dados. Portanto, RS podem contribuir para a agilidade e a qualidade dos estudos de muitos outros pesquisadores. Trata-se de um método bastante trabalhoso - a estimativa é de que são necessários sete meses à realização de uma boa revisão sistemática, mas de baixo custo.

As contribuições das revisões sistemáticas se concretizam tanto pela apresentação dos dados compilados e organizados, como também e, principalmente, pela qualidade das evidências dos estudos selecionados. Nesse sentido, observamos que estamos diante de grandes desafios. Os resultados encontrados nos sugerem que temos uma agenda de pesquisa que ainda está distante do debate sobre o impacto dos programas e políticas educacionais, mesmo considerando os programas de maior orçamento e com temas centrais para o debate educacional.

A síntese dos estudos de impacto também nos sugere que temos muito a avançar em termos de desenhos avaliativos, tamanhos de amostras, publicação de resultados e redes de pesquisa. Em princípio, não identificamos nesses estudos, e nem nos demais, preocupação marcante com o compartilhamento de informações, padronização de dados, uso de tecnologia para gerenciar e divulgar resultados. Esse cenário dificulta a expansão dos bons programas (com efeitos positivos mensurados de forma adequada) ou a reformulação dos programas que foram identificados como pouco eficazes. Em um total de 121 estudos, encontramos apenas quatro estudos que estimaram os possíveis efeitos do PNAIC e nenhum estudo avaliativo de implementação.

A qualidade das evidências sugere que os estudos apresentam muitas ameaças à validade interna e externa. Em especial, destacamos a falta de grupo controle (apenas um estudo realizou técnicas de pareamento) ou mesmo de duas medidas que permitam analisar o antes e o depois da intervenção. Há ainda limitações referentes à escala dos estudos e, por vezes, observa-se a falta de informações relevantes, como, por exemplo, a mortalidade amostral ao longo do estudo. Todas essas limitações reforçam o cenário de desconhecimento sobre os efeitos do PNAIC na prática dos professores ou ainda na alfabetização das crianças. A maior parte dos estudos apresenta a percepção dos atores (em geral professores) sobre a implementação ou impacto do PNAIC.

É preciso reforçar que percepção de impacto não é o mesmo de um estudo que busca coletar medidas diretas sobre as práticas ou o desempenho dos alunos, para, depois, comparar o seu desenvolvimento. Os estudos sobre percepção de impacto apresentam muitas limitações e devem ser lidos com cautela por gestores e pesquisadores. Há sempre o risco de viés cognitivo dos atores pesquisados, por exemplo, professores que são contra determinado programa ou governo tendem a ter uma percepção negativa do programa. A percepção também é circunscrita, normalmente, à turma ou escola de atuação, o que dificulta uma análise comparativa com grupo experimental e grupo controle.

Basear-se em evidências científicas robustas e testes bem construídos parece ser um caminho mais seguro para a tomada de decisão dos gestores educacionais (^{ELACQUA, 2015}). Nesse sentido, se considerarmos os estudos aqui analisados, veremos que contribuem pouco para a tomada de decisão de gestores, e a pergunta sobre os efeitos do programa fica sem resposta. De acordo com os dados recebidos do MEC, foram mobilizados uma média de 250 mil professores alfabetizadores e gastos, com o PNAIC, mais de 2 bilhões e 300 milhões, em cinco anos de existência do Programa. A premência por entender os resultados obtidos se justifica.

Mesmo em países que já possuem tradição na busca por evidências robustas sobre a eficácia de programas, aponta-se para a necessidade urgente de estudos de impacto sobre políticas ou programas educacionais que apresentem alta validade interna e externa. Já há iniciativas em diversos países como, por exemplo, Inglaterra, Holanda e Austrália, que demandam a realização de estudos de impacto, com desenho experimental, no momento em que se aprova a implementação de um novo programa. Essa deveria ser uma exigência não apenas de pesquisadores do campo da educação, mas também de membros da sociedade civil, preocupados com a melhoria da educação pública, e dos agentes que financiam as pesquisas (^{GORARD; SEE; SIDDIQUI, 2017}).

Para ^{Elacqua (2015}), a cultura pedagógica exige dos profissionais um conhecimento amplo e profundo dos achados científicos que embasam a prática pedagógica e a capacidade de relacioná-los num todo coerente - seja para formular políticas no nível macro, seja para tomar decisões sobre ensino ou avaliação no nível micro.