Introdução

Entre as várias possibilidades de análise de políticas públicas pode-se tomar como parâmetro o seu ciclo e suas diferentes fases, quais sejam: agenda, formulação, implementação e avaliação (^{VIANA, 1996}; ^{SOUZA, 2006}; ^{HOWLETT; RAMESH; PEARL, 2013}; ^{SECCHI, 2014}).

No que se refere especificamente à fase de avaliação, existem diferentes tipos de avaliação de políticas públicas, a depender do momento em que é realizada e de seus objetivos. ^{Gertler et al. (2011)} ressaltam que há uma tendência mundial em focalizar os resultados de políticas e programas, já que cada vez mais é necessário prestar contas à sociedade e produzir mecanismos para a tomada de decisão política.

Entre os diferentes tipos de avaliação está a avaliação de impacto, foco deste artigo. Conforme Figueiredo e Figueiredo (1987, p. 111), a avaliação de impacto refere- se “[...] aos efeitos do programa sobre a população-alvo e tem, subjacente, a intenção de estabelecer uma relação de causalidade entre a política e as alterações nas condições sociais”. Com base nesse conceito, a avaliação de impacto tem uma relação direta com a chamada avaliação da efetividade (^{ARRETCHE, 1998}), já que busca identificar se o programa produziu efeitos esperados no público-alvo, e se é possível estabelecer relação de causalidade entre os efeitos e a política (^{BAKER, 2000}; ^{BONILLA, 2007}).

Existem importantes desafios às pesquisas de avaliação de impacto, já que é preciso demonstrar a relação de causalidade entre determinada política e seus efeitos, ou seja, se os resultados encontrados podem ser atribuídos a determinada política (^{ARRETCHE, 1998}). Em termos metodológicos, em geral, a literatura faz referência a desenhos de avaliação de impacto experimentais (com grupos de tratamento e de controle comparáveis) e quase-experimentais (com grupo de comparação antes ou depois, por exemplo). No entanto, a disputa entre métodos e abordagens, tão comum em várias áreas, também existe no âmbito da avaliação de impacto. Apesar das contribuições da abordagem experimental, pesquisadores vêm defendendo que não existe uma única abordagem para captar impactos; outros métodos e abordagens (quantitativas e qualitativas) podem ser utilizados nesse tipo de avaliação, de modo a potencializar as investigações (^{AMARAL, 2013}; ^{GERTLER et al., 2011}; ^{BAKER, 2000}).

Diante dessas considerações iniciais e transpondo o conceito de avaliação de impacto para a área da educação, concebe-se que uma política, programa ou ação educacional⁴ teve impacto quando houve uma relação causal entre tais políticas e os sistemas de ensino, produzindo efeitos nos seus diferentes âmbitos institucionais (órgãos/espaços educativos) e/ou sujeitos (gestores, professores, alunos, comunidade escolar em geral).

Com base nessa concepção, alguns questionamentos impulsionaram o presente estudo: quais políticas da educação básica têm sido alvo de pesquisas de avaliação de impacto? Quais as principais características das pesquisas de avaliação de impacto na educação básica? Quais os resultados observados nessas pesquisas de avaliação de impacto?

Considerando esses questionamentos, o presente artigo tem como objetivo analisar as pesquisas sobre avaliação de impacto na educação básica, com ênfase em seus objetivos, características e resultados. Para atingir esse objetivo, a presente pesquisa situa-se no campo das investigações que têm como finalidade captar o “estado do conhecimento”, já que pesquisas com esse foco têm como objetivo, entre outros, sistematizar determinado campo de conhecimento, seus principais resultados e temáticas dominantes (^{HADDAD, 2002}). O estado do conhecimento é impulsionado pelo desejo de conhecer o que já foi pesquisado ao mesmo tempo em que se identifica aquilo que ainda não foi investigado (^{FERREIRA, 2002}). Estudos que utilizam a metodologia do estado do conhecimento contribuem para a evolução da ciência (^{SOARES; MACIEL, 2000}). A análise das produções acadêmicas terá como referência o campo de análise de políticas públicas (MULLER; SUREL, 2002; ^{HOWLETT; RAMESH; PERL, 2013}; ^{SECCHI, 2014}; ^{SOUZA, 2006}).

O artigo está estruturado em quatro partes: primeiramente, apresentamos as pesquisas que serão analisadas neste artigo; na segunda parte, focalizamos as políticas que têm sido alvo de pesquisas de avaliação de impacto; na terceira, descrevemos as principais características dessas pesquisas; por último, sistematizamos alguns dos resultados das pesquisas de avaliação de impacto na educação básica.

Pesquisas de avaliação de impacto na educação básica

Para captar o estado do conhecimento da avaliação de impacto na educação básica, em 2016, foi realizado um levantamento das produções acadêmicas (teses e dissertações) no Banco de Teses da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), utilizando o descritor avaliação de impacto. Após a leitura dos títulos, dos resumos, dos objetivos e do acesso aos trabalhos na íntegra, foram selecionadas 18 pesquisas (Quadro 1) que desenvolviam análises de avaliação de impacto na área da educação básica, ou seja, que estabeleciam relações de causalidade entre políticas e seus resultados nos sujeitos/instituições da educação básica pública.

As 18 produções acadêmicas analisadas foram produzidas entre 2004 e 2015. No que se refere às áreas nas quais os trabalhos acadêmicos foram defendidos, encontramos estudos nas seguintes áreas: Economia (9), Educação (3), Administração Pública (2), Engenharia Elétrica (1), História Política (1), Avaliação (1) e Nutrição (1). Assim, apesar de serem pesquisas de avaliação de impacto na área da educação básica, apenas três trabalhos foram produzidos e defendidos nessa área, o que corresponde a 17% do total de trabalhos selecionados para análise. Os trabalhos foram produzidos em dez instituições diferentes, sendo cinco públicas e cinco privadas.

A maior parte dos estudos encontrados são Dissertações de Mestrado (quinze) e apenas três são Teses de Doutorado. Apenas as três Teses de Doutorado vinculam-se a Programas de Pós-Graduação na área de Educação. Já as quinze Dissertações de Mestrado vinculam-se às diferentes áreas relatadas.

Nesse estudo, interessa-nos identificar sobre quais políticas a Academia vem se debruçando, como tem feito a avaliação de impacto na educação básica e os resultados dessas pesquisas. Para a análise das investigações selecionadas, tomando-se como referência o campo de análise de políticas públicas (MULLER; SUREL, 2002; ^{HOWLETT; RAMESH; PERL, 2013}; ^{SECCHI, 2014}; ^{SOUZA, 2006}), serão considerados os seguintes elementos: a política em análise (dimensão da política, formulador da política, setor da política), a pesquisa realizada (abrangência da avaliação, fonte de informação utilizada) e os resultados encontrados (nível do impacto e tipo de impacto). Esse modelo de análise, além de servir como roteiro para o presente estudo, também poderá constituir- se em referencial para outros estudos.

Políticas, programas e ações que têm sido alvo de pesquisas de avaliação de impacto na educação básica

A análise dos trabalhos selecionados evidenciou grande diversidade de políticas, programas e ações que têm sido alvo de pesquisas de avaliação de impacto na educação básica. É possível classificar tais políticas a partir de três aspectos: em relação à dimensão da política; em relação ao seu formulador (Estado, Mercado e Terceiro Setor); em relação ao setor da política (educação ou áreas afins).

Assim, no que se refere à dimensão da política, esse estudo evidenciou que a maior parte das pesquisas de avaliação de impacto na educação básica pública teve como foco políticas mais amplas que atingem todo ou grande parte do sistema educativo, que aqui denominamos “política”.

No levantamento realizado, pesquisas com essa característica focalizaram as seguintes políticas: a municipalização do ensino fundamental, iniciada de forma mais contundente na década de 1990 (^{RAZO, 2004}; ^{D’ATRI, 2007}); o Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação (Fundeb), criado em 2006 (^{SILVA, 2014}); a pré-escola, parte da educação básica e que, a partir da Lei de Diretrizes e Bases da Educação Nacional, Lei nº 9.394/1996, passou a integrar os sistemas de ensino (^{PEREIRA, 2012}).

Além disso, foi possível verificar a preocupação de pesquisadores em avaliar o impacto de programas implementados nos últimos anos na educação básica, por exemplo: Programa Mais Educação, criado em 2007, pelo governo federal (^{PEREIRA, 2011}; ^{XERXENEVSKY, 2012}); Programa Letra e Vida, criado em 2003, no estado de São Paulo (^{BAUER, 2011}).

De maneira mais residual, o estudo também identificou a existência de pesquisa de avaliação de impacto na educação básica que teve como foco ações mais específicas no âmbito da sala de aula, a exemplo de um trabalho acadêmico, cujo objetivo foi verificar o impacto de uma aula/ida ao Museu nos aprendizados dos alunos relacionados à História do Brasil (^{MAIA, 2009}).

Quanto ao formulador da política é possível classificar as políticas que estão sendo alvo de pesquisas de avaliação de impacto na educação básica pública de três formas: formuladas pelo Estado, formuladas pelo mercado ou formuladas pelo Terceiro Setor. Nesse estudo, não identificamos nenhuma ação, alvo de pesquisas, formulada no âmbito do mercado, ou seja, por instituições privadas com fins econômicos.

No âmbito da formulação de políticas públicas, ^{Souza (2006, p. 26)} esclarece que essa etapa do ciclo de políticas "constitui-se no estágio em que os governos democráticos traduzem seus propósitos e plataformas eleitorais em programas e ações que produzirão resultados ou mudanças no mundo real". Apesar disso, sabe-se que além do Estado, diversas ações no campo da educação são formuladas e/ou implementadas por instituições privadas ou por organizações da sociedade civil, de forma articulada ou não ao Estado.

Das pesquisas analisadas, a maioria das políticas/programas/ações em foco (89%) foi formulada pelo Estado. No entanto, evidenciamos que não apenas programas e ações do Poder Público, ou vinculadas a ele, têm sido alvo de pesquisas de avaliação de impacto na educação básica; programas e ações formulados e implementados no âmbito do Terceiro Setor, a exemplo do Programa Jovem do Futuro, criado em 2007, pelo Instituto Unibanco (^{ROSA, 2015}), e de ações esportivas do Instituto Bola Pra Frente (^{SANTOS, 2008}), também têm chamado a atenção de pesquisadores, a fim de captar seus efeitos na educação básica pública.

No que se refere ao setor da política, pode-se classificá-lo da seguinte forma: política formulada no âmbito da educação e política formulada em áreas afins.

Nesse estudo, identificamos que a maioria das pesquisas tem interesse em analisar políticas formuladas no âmbito educacional, a exemplo de políticas do Ministério da Educação (^{RIBAS, 2008}). No entanto, também é possível depreender que não apenas políticas formuladas no âmbito do setor educacional estão sendo alvo do interesse dos pesquisadores; políticas formuladas em áreas afins, ou seja, que possuem interface com a educação, estão sendo focalizadas com o objetivo de identificar seus possíveis efeitos na educação básica. Isso pode ser evidenciado por meio da pesquisa de ^{Santarrosa (2011)} que estabeleceu relação causal entre Programas de Transferência Condicionada de Renda (Bolsa Família e Renda Mínima) e seus efeitos na educação básica.

Características das pesquisas de avaliação de impacto na educação básica

Têm-se como pressuposto que as políticas em análise podem ter muito mais efeitos do que aqueles que as pesquisas buscam evidenciar, ou seja, concebe-se que os pesquisadores fazem escolhas e elas não captam todos os efeitos possíveis das políticas. Por isso, cabe destacar algumas características das pesquisas que fizeram avaliação de impacto, em especial: abrangência da avaliação de impacto da política e a fonte utilizada para tal avaliação.

No que se refere à abrangência da avaliação do impacto da política é possível categorizar os estudos em: pesquisas de avaliação de impacto no âmbito macro e pesquisas de avaliação de impacto no âmbito micro.

Nesse trabalho, as pesquisas de avaliação de impacto no âmbito macro estão sendo definidas como aquelas que buscaram analisar o impacto de políticas de forma mais abrangente, ou seja, no âmbito dos sistemas de ensino, num determinado país, estado ou município. Por sua vez, as pesquisas de avaliação de impacto no âmbito micro podem ser definidas como aquelas que buscaram analisar o impacto de políticas em contextos mais restritos, ou seja, em escolas ou salas de aula.

Assim, a maior parte dos estudos (83%) pode ser classificada em pesquisas de avaliação de impacto no âmbito macro: sete pesquisas fizeram análises gerais do contexto brasileiro; uma pesquisa fez análise de alguns estados brasileiros; uma pesquisa analisou alguns municípios de diferentes regiões metropolitanas brasileiras; quatro fizeram análises de um estado em particular; duas fizeram análises de municípios específicos. Apenas 11% dos estudos em análise podem ser classificados como pesquisas de avaliação de impacto no âmbito micro: uma pesquisa que focalizou um bairro específico e outra que analisou, particularmente, uma turma de uma determinada escola. Por fim, identificamos uma pesquisa (6%) que fez um estudo misto: nos âmbitos macro (Secretaria Municipal de Educação) e micro (escola) (^{SCAFF, 2006}).

No que se refere às fontes de informações utilizadas nas pesquisas de avaliação de impacto na educação básica, pode-se classificá-las em: dados de avaliações em larga escala, dados de levantamentos estatístico-educacionais, dados de avaliações internas e outras fontes.

As avaliações em larga escala, alinhadas à tendência mundial de avaliações padronizadas, começaram a ser implementadas como políticas públicas no final do século XX (^{WERLE, 2011}). Nesse contexto, também foram sendo criadas e aprimoradas diferentes formas de levantamentos e bases de dados educacionais, o que vem repercutindo nas escolhas científico-metodológicas dos pesquisadores.

O estudo identificou que metade das pesquisas analisadas (50%) utiliza como parâmetro de análise dados provenientes de avaliações em larga escala (de forma exclusiva ou não). Foram utilizados dados das seguintes avaliações em larga escala: Prova Brasil, ou Avaliação Nacional do Rendimento Escolar (Anresc), criada em 2005; Sistema Permanente de Avaliação da Educação Básica do Ceará (SPAECE), criado em 1992; Programa de Avaliação da Rede Pública da Educação Básica (Proeb), de Minas Gerais, criado em 2000; Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP), criado em 1996; Prova São Paulo, do município de São Paulo, criada em 2007.

Além disso, uma das pesquisas analisadas utilizou como fonte o Índice de Desenvolvimento da Educação Básica (IDEB), criado em 2007, e que é formado por meio dos resultados do fluxo escolar e das médias de desempenho nas avaliações nacionais em larga escala: Avaliação Nacional da Educação Básica (Aneb) e Avaliação Nacional do Rendimento Escolar (Anresc), também conhecidas como SAEB e Prova Brasil, respectivamente (^{RIBEIRO, 2012}).

Algumas pesquisas também consideraram como fonte de informações, dados de levantamentos estatístico-educacionais: dados do Censo Escolar, captados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), a exemplo das pesquisas de ^{Razo (2004)} e D’Atri (2017); dados do Censo Muquiço realizado pelo Instituto Bola Pra Frente (^{SANTOS, 2008}).

Duas pesquisas utilizaram informações de avaliações internas, ou seja, de avaliações aplicadas no âmbito da escola, por professores, em turmas específicas, cujos dados serviram para avaliar em que medida o rendimento dos alunos estava ou não sendo impactado por determinado programa/ação (^{MAIA, 2009}; ^{ARANHA, 2014}).

Por fim, o trabalho de ^{Scaff (2006)} utilizou diferentes instrumentos de coleta de dados e fontes de informações, optando por uma abordagem qualitativa.

Impactos observados nas pesquisas de avaliação de impacto na educação básica

Os impactos das políticas na educação básica têm sido captados por meio da análise de seus efeitos na base do sistema educativo, do ponto de vista institucional (instituições de ensino) ou do ponto de vista dos sujeitos, em especial, alunos e professores. Assim, em termos de nível do impacto é possível classificar os estudos em: pesquisas que analisam impactos diretos e pesquisas que analisam impactos indiretos.

Os impactos diretos são aqueles nos quais a relação de causalidade entre política e foco de análise é direta. Das pesquisas analisadas nesse estudo, 56% optaram por verificar impacto direto. Nos estudos em análise, geralmente, a relação de causalidade estabelecida foi entre a política (X) e a proficiência de alunos em avaliações em larga escala (Y), a exemplo dos estudos de ^{Amorim (2012)} e ^{Pereira (2012)}. No entanto, algumas pesquisas debruçaram-se sobre outras relações, a exemplo de ^{Silva (2014)} que analisou o impacto do Fundeb na universalização da educação básica.

Os impactos indiretos são aqueles nos quais a relação de causalidade entre política e foco de análise é indireta. É o caso, por exemplo, de políticas que produzem alterações na gestão educacional, na organização do trabalho pedagógico, na formação e atuação dos profissionais da educação e nas condições sócio-econômicas dos alunos. Essas alterações, por sua vez, levariam à melhoria da aprendizagem dos alunos. Justamente por isso são chamados de indiretos. A pesquisa de ^{Bauer (2011)}, por exemplo, analisou o impacto do Programa Letra e Vida, destinado à formação de professores, na proficiência dos alunos.

É importante destacar que, apesar de certas pesquisas optarem por analisar efeitos de políticas nos sujeitos, a exemplo da proficiência dos alunos em certo conteúdo, nem sempre os objetivos da política em análise focalizavam diretamente esse aspecto. Muitas vezes, determinadas políticas na área da educação, embora tenham, em última instância, a finalidade de melhoria da qualidade da educação, entendida como melhoria do aprendizado dos alunos, possuem objetivos mais amplos e complexos. Dessa forma, a pesquisa de avaliação de impacto que utiliza dados de avaliação em larga escala é uma entre outras possíveis.

Conforme explicitamos no início deste artigo, as pesquisas de avaliação de impacto pretendem identificar, de forma geral, a relação de causalidade existente entre X (política) e Y (educação básica pública).

Nesse artigo, para fins de análise, pode-se classificar as pesquisas de avaliação de impacto na educação básica por meio de três tipos de impacto das políticas: impactos positivos, impactos negativos ou nulos. Com base nessa classificação, foram encontrados trabalhos acadêmicos que evidenciaram impactos positivos, impactos negativos, impactos nulos ou mesmo uma combinação de tipos de impactos de políticas na educação básica. Dadas as especificidades dos resultados, não é possível analisar os trabalhos apenas do ponto de vista quantitativo. É importante apresentar alguns dos impactos evidenciados pelos autores, assim como mostrar certas dificuldades na mensuração e determinação dos impactos de políticas na educação básica.

Duas pesquisas fizeram avaliação de impacto da municipalização na educação básica. ^{D’atri (2007)} avaliou o impacto da municipalização nas taxas de desempenho escolar (aprovação e reprovação). A autora concluiu que a municipalização tem impacto no desempenho, porém sua magnitude é pequena. Por sua vez, ^{Razo (2004, p. 95-96}, grifo nosso), ao investigar o impacto da política de municipalização na distorção idade- série de alunos do ensino fundamental em escolas públicas de quatro estados, concluiu que houve variação nos resultados entre as regiões brasileiras, mas de uma forma geral, os dados analisados indicam que a municipalização não impactou na qualidade do ensino. Conforme a autora, tal resultado, no entanto, não significa que o processo de municipalização não tenha trazido benefícios: “[...] a política de municipalização pode ter sido positiva sob outros aspectos, como, por exemplo, [...] um maior controle dos recursos públicos”.

Ao avaliar o impacto do Fundeb (2007 a 2011) na universalização da educação básica, ^{Silva (2014)} concluiu que houve pouca efetividade do Fundeb na universalização da educação básica. A autora faz importantes apontamentos sobre os limites para apreensão da relação de causalidade, exigida por esse tipo de avaliação.

A pesquisa de ^{Pereira (2012)} avaliou o impacto da pré-escola no desempenho escolar de alunos da quarta e da oitava séries em português e matemática. As conclusões do autor mostram que a pré-escola tem impacto positivo no desempenho escolar de alunos da quarta e da oitava série, em português e em matemática. Tal resultado sustenta a recomendação de ampliação de vagas na pré-escola, o que tem sido respaldado pela obrigatoriedade constitucional do ingresso na educação básica aos 4 anos de idade.

^{Amorim (2012)} teve como objetivo avaliar o impacto do incentivo dos pais e dos professores na prova de proficiência em português e matemática de alunos do ensino fundamental. O autor concluiu que há impacto positivo e defende que a motivação e o incentivo devem estar presentes na educação escolar, já que auxiliam na melhoria do desempenho dos estudantes.

Dois estudos em análise fizeram avaliação de impacto do Programa Mais Educação na educação básica, programa que promove atividades extracurriculares no contraturno escolar. ^{Pereira (2011)}, ao avaliar o impacto do Programa Mais Educação nas taxas de desempenho (aprovação e abandono) e nas notas de língua portuguesa e matemática (Brasil e Minas Gerais, respectivamente), afirma que o programa é efetivo no que se refere à redução da taxa de abandono, porém, não há evidências de que ele melhore o desempenho dos alunos. Xercenevsky (2012) optou por investigar o impacto do Programa Mais Educação na proficiência de matemática e língua portuguesa em escolas públicas do Rio Grande do Sul. Conforme a autora, o programa tem efeito positivo e significativo nas notas de português, porém, apresenta efeito negativo nas notas de matemática da quarta série.

Outros programas federais também foram alvo dos pesquisadores. ^{Ribas (2008, p. 48)} analisou o impacto de programas do governo federal na proficiência dos alunos em matemática e concluiu que o Programa Nacional de Tecnologia Educacional (Proinfo) e o Programa Nacional Biblioteca da Escola (PNBE) apresentaram impacto positivo na proficiência em matemática. Já o Programa de Formação de Professores em Exercício (Proformação), o Plano de Desenvolvimento da Escola (PDE), o Projeto Melhoria da Escola, Gestar e o Sistema Integrado de Informação Gerencial apresentaram impacto negativo. Segundo a autora, “[...] é preciso introduzir mudanças significativas no modelo de gestão da educação [...]”, implementando “[...] políticas públicas que impactem diretamente o cotidiano da escola, onde o aprendizado efetivamente acontece”.

Por sua vez, ^{Ribeiro (2012)} investigou o impacto dos Programas de Reestruturação Física e Aquisição de Equipamentos para a Rede Escolar, previsto no Plano de Ações Articuladas (PAR), na melhoria da qualidade da educação básica. O autor concluiu que não há evidências de que tais programas tenham impactado na qualidade da educação básica.

Algumas pesquisas fizeram análises considerando impactos em diferentes unidades da federação, de modo a captar diferenças entre os estados. A investigação de ^{Bresolin (2014, p. 65-66)} focalizou o impacto das políticas de bônus para servidores de escolas públicas nas práticas pedagógicas dos professores, no absenteísmo e na rotatividade dos professores e na interlocução com familiares para a garantia de frequência dos alunos. A pesquisa considerou as políticas dos seguintes estados: São Paulo, Pernambuco, Minas Gerais, Amazonas, Ceará, Espírito Santo, Rio de Janeiro e Goiás. Os resultados mostraram que as políticas de bônus geram algumas transformações, “[...] mas essas mudanças dependem de um conjunto de outras variáveis - como características pré-existentes nas redes de ensino, a série/ano em que os profissionais atuam, entre outras”. Diante dos resultados inconclusivos, permanece a questão: “[...] o estímulo financeiro [...] é suficiente para estimular mudanças nos [...] professores e diretores que proporcionem resultados [...] na melhora da aprendizagem dos alunos?”.

Ao avaliar o impacto do Programa Jovem do Futuro, do Instituto Unibanco, na proficiência e no fluxo escolar de alunos de escolas de regiões metropolitanas brasileiras, ^{Rosa (2015, p. 70)} concluiu que houve resultados positivos nas provas e no fluxo.

Outras pesquisas focalizaram suas análises em estados ou municípios específicos. A pesquisa de ^{Bauer (2011, p. 207}, grifo nosso) investigou o impacto do Programa Letra e Vida, destinado à formação de professores alfabetizadores do estado de São Paulo, no desempenho dos alunos de primeira série e nas concepções e práticas de alfabetização dos professores. Quanto ao desempenho dos alunos, a autora concluiu que os impactos foram contextuais, isto é, as análises devem articular-se “[...] a outras características do contexto das escolas”. Tal resultado mostra a relevância desse tipo de pesquisa e, o quanto possível, deve considerar as muitas variáveis que podem incidir no desempenho dos alunos nas avaliações padronizadas, assim como nos resultados da avaliação de impacto.

Já o foco do estudo de ^{Santarrosa (2011)} foi o impacto dos programas de transferência de renda na proficiência de alunos do ensino fundamental, no município de São Paulo. Segundo o autor, os programas de transferência condicionada de renda não impactaram na proficiência em matemática e os resultados mostraram impacto nulo na proficiência em português. De maneira muito sutil, existe um impacto positivo dos programas de transferência de renda, porém não é significativo.

A pesquisa de ^{Carneiro (2015)} objetivou avaliar o impacto do Prêmio Escola Nota Dez na proficiência de alunos na matemática e na língua portuguesa. O Prêmio é um programa de incentivo financeiro às escolas do Ceará. A investigação do autor concluiu que houve impacto positivo e significante do Prêmio nas escolas, embora tal impacto tenha sido evidenciado de forma mais clara em escolas com bom desempenho.

Ao avaliar o impacto dos Programas Monhangara e Fundo de Fortalecimento da Escola (Fundescola), financiados com recursos do Banco Mundial, e implementados no município de Dourados, estado de Mato Grosso do Sul, ^{Scaff (2006)} concluiu que houve alguns impactos dos Programas na gestão da Secretaria Municipal de Educação e na gestão da escola analisada. No que se refere especificamente ao Programa Fundescola, houve impactos positivos no planejamento educacional, na participação da comunidade na escola e nas condições de trabalho.

A investigação de ^{Aranha (2014)} objetivou avaliar o impacto do Programa de Recreação, Iniciação e Aperfeiçoamento (PRIA) da Prefeitura de Indaiatuba no rendimento escolar, nos parâmetros antropométricos, na qualidade de vida dos beneficiários e no orçamento público. A autora verificou que há impacto positivo apenas nos indicadores de rendimento escolar.

Dois estudos fizeram menção a programas implementados no Rio de Janeiro. Na pesquisa de ^{Santos (2008)}, a relação de causalidade estabelecida foi entre as atividades esportivas oferecidas pelo Instituto Bola Pra Frente e as taxas de evasão, de adesão e de egressos. A autora concluiu que houve menor taxa de abandono escolar em comparação com estudantes que não frequentaram o Instituto. Já a pesquisa de ^{Maia (2009)} buscou avaliar o impacto de uma aula-visita ao museu no aproveitamento escolar dos alunos no ensino médio de uma escola pública estadual do Rio de Janeiro. O autor concluiu que houve impacto positivo na melhoria do aproveitamento escolar na disciplina de história.

Ao analisar os impactos das pesquisas selecionadas é possível perceber que os resultados das avaliações de impacto podem trazer importantes contribuições às políticas, programas e ações que têm interface com a educação básica, ainda que os resultados, muitas vezes, sejam inconclusos e restritos. Ainda existem dificuldades em afirmar categoricamente os impactos de determinada política ou de estabelecer relações causais. Muitos pesquisadores, ao concluírem suas análises, advertem sobre os limites que ainda persistem nesse tipo de pesquisa. No entanto, essas advertências precisam ser vistas como argumentos para o investimento teórico e metodológico na área, ou seja, na busca de instrumentos e modelos analíticos que permitam que a Academia possa contribuir para a análise de políticas públicas e para o processo decisório de formulação, implementação e avaliação de políticas dirigidas à educação básica.

Considerações finais

O presente artigo analisou dezoito pesquisas acadêmicas produzidas entre 2004 e 2015 em diferentes instituições brasileiras, públicas e privadas, e que tiveram como foco a avaliação de impacto de políticas, programas e ações na educação básica pública.

Para esse estudo, fundamentando-se no campo de análise de políticas públicas, construiu-se um modelo de análise com foco em três aspectos: a política em análise (dimensão da política, formulador da política, setor da política), a pesquisa realizada (abrangência da avaliação, fonte de informação utilizada) e os resultados encontrados (nível do impacto e tipo de impacto). Esse modelo de análise auxiliou na compreensão dos objetivos, características e resultados das pesquisas selecionadas e poderá também servir de referencial a outros pesquisadores que estudam a temática.

O artigo permitiu evidenciar grande diversidade de políticas, programas e ações que têm sido alvo de pesquisas de avaliação de impacto. Por sua vez, a grande maioria das pesquisas acadêmicas analisadas apresenta características bastante abrangentes em termos de opções metodológicas, muitas delas fazendo uso de resultados de avaliação em larga escala, embora outras fontes de informação e instrumentos de coleta de dados também tenham sido utilizados.

Em termos de resultados, as pesquisas evidenciaram diferentes tipos de impactos das políticas, programas e ações na educação básica (positivos, negativos e nulos). É importante que as avaliações de impacto façam uso de diferentes métodos e abordagens, de modo a potencializar a investigação e seu desenho, além de captar variáveis ainda não consideradas.

Por fim, cabe destacar que ainda existem desafios à área de avaliação de impacto. Um desses desafios refere-se justamente à ampliação de estudos com esse enfoque, especificamente na área da educação.

É importante que as pesquisas de avaliação de impacto possam respaldar a formulação e a implementação de políticas, materializando contribuições da Academia aos policy-makers. À medida que mais estudos forem desenvolvidos, espera-se que novos enfoques metodológicos sejam criados, o que permitirá captar de forma mais efetiva os diferentes impactos de uma mesma política.