Este número temático tem como objetivo fomentar o debate acerca da avaliação de programas, trazendo diversas perspectivas teórico-metodológicas e experiências avaliativas que podem fornecer pistas para o desenvolvimento do campo, bem como para a discussão dos desafios para a consolidação e a ampliação desse tipo de avaliação no Brasil.

O conjunto dos textos selecionados contempla avaliações e análises que abarcam iniciativas governamentais voltadas para educação infantil, ensino fundamental e educação superior, bem como programas de formação de professores e de incentivo à pesquisa. Os artigos discutem aspectos inerentes às diferentes etapas de políticas e programas governamentais na área da educação, desde a análise de sua concepção e adequação para a resolução dos problemas sociais a que se referem até aspectos concernentes aos processos e resultados obtidos pelos programas.

Avaliar ações, projetos e programas públicos educacionais é uma atividade inerente ao processo de elaboração, implementação e acompanhamento de políticas e programas. Constitui ferramenta essencial à apreciação dos resultados obtidos, ao fomento e à retroalimentação do planejamento, à redefinição de rumos e ao aprimoramento de ações, estratégias e recursos. Apesar de sua importância, pouco esforço tem sido empenhado, no Brasil, na proposição de estudos sobre os conceitos, modelos e procedimentos inerentes à avaliação de projetos e programas, bem como na realização desse tipo de avaliação na educação.

Mesmo com o recente aumento de iniciativas avaliativas ensejadas pela perspectiva de accountability e pela introdução de princípios de eficiência, eficácia e efetividade para fundamentar a análise das etapas das políticas governamentais, pode-se dizer que se faz necessário aumentar o investimento no desenvolvimento de aportes teórico-metodológicos e na própria execução de avaliações de programas, projetos e ações da área educacional, cuja premência já havia sido ressaltada por Heraldo Vianna no início dos anos 2000:

Apesar desse relativo desenvolvimento, foi ignorado, por alguns segmentos, o fundamento teórico da avaliação; a subjacente teoria da avaliação em que se baseia a ação avaliativa, aspecto este que será ressaltado no presente trabalho. (^{VIANNA, 2005}, p. 45)

Naquele momento, o autor também notava uma ausência de definição adequada do escopo e significado da avaliação de programas em suas múltiplas dimensões, apontando uma confusão conceitual com outro tipo de avaliação, mais especificamente, a avaliação de desempenho. Pode-se acrescentar também, às preocupações do autor, um imbricamento entre avaliação de programas e avaliação em larga escala e entre avaliação de programas e análise de políticas.

A esse respeito, cabe esclarecer que análise de política e avaliação de programas não podem ser considerados sinônimos nem, tampouco, mutuamente excludentes, na medida em que a ação pública pode ser objeto de estudo em ambas vertentes (^{MEIRING, 2001}).

É evidente que não se desconsideram as inter-relações existentes entre a análise de políticas, que começa a se desenvolver a partir de meados do século XX na área de ciência política, e a moderna avaliação de programas, cuja história principia a partir da década de 1960. Ambas podem se aplicar a diversas etapas do Ciclo de Políticas, ainda que o escopo da análise de política seja mais amplo e não comprometa o analista com a necessidade de emitir um juízo de valor acerca do que está sendo avaliado. Como explica ^{Frey (2000}, p. 214), apoiado em ^{Windhoff-Héritier (1987}, p. 7), “a abordagem da policy analysis pretende analisar a inter-relação entre as instituições políticas, o processo político e os conteúdos de política com o arcabouço dos questionamentos tradicionais da ciência política.

Já a avaliação de programas é objeto de várias definições que ora a compreendem como uma investigação empírica acerca de uma ação, projeto ou programa, ora a relacionam ao uso rigoroso de metodologias científicas e aportes teóricos, numa acepção mais próxima à de pesquisa avaliativa. ^{Minayo (2005}, p. 23), por exemplo, define a avaliação de programas e projetos como o “conjunto de atividades técnico-científicas ou técnico-operacionais que buscam atribuir valor de eficiência, eficácia e efetividade a processos de intervenção em sua implantação, implementação e resultados”.

De todo modo, em seus primórdios, esse tipo de avaliação foi atrelado à preocupação de se responder a questões como: O programa concretiza seus objetivos? Quão adequada é essa realização? Se não está adequado, que aspectos podem/devem ser aprimorados? Nesse sentido, historicamente, esse tipo de avaliação contribui para o aprimoramento dos programas aos quais se refere, a partir de um ajuizamento de valor sobre a proposta, os processos, os custos, os resultados ou impactos.

No entanto, diversas abordagens avaliativas têm se constituído ao longo dos últimos anos, como ilustram os artigos a seguir que compõem esse número, muitas das quais questionam, inclusive, a necessidade de ajuizamento sobre o mérito e o valor dos programas, contribuindo aparentemente para o esmorecimento das fronteiras entre policy analisys e policy evaluation.

O artigo de Adriana Bauer, “Quão ‘bom’ é suficiente?” Definição de critérios avaliativos de valor e mérito”, trata de uma questão pouco discutida no país: valores e critérios de mérito subjacentes ao processo avaliativo de políticas e programas. A partir da análise de referenciais teóricos estadunidenses, produzidos em momento histórico no qual era necessário avançar na discussão sobre parâmetros de julgamento do mérito dos programas que considerassem outros aspectos para além da eficácia e da eficiência, a autora busca identificar que tipo de teorias de valoração estão presentes nos estudos avaliativos produzidos no Brasil, mostrando que essa discussão ainda é incipiente em território nacional.

Já o trabalho de Gabriela Thomazinho, “Efeitos do Bolsa Família nas desigualdades educacionais enfrentadas por seus beneficiários”, focaliza o Programa Bolsa Família, buscando verificar se ele tem efeitos na redução de desigualdades educacionais, no que se refere ao acesso, à igualdade de tratamento, associada à justiça distributiva e à garantia do aprendizado. De acordo com a autora, verifica-se que os principais efeitos estão relacionados à dimensão do acesso à educação.

Contribuição significativa para se pensar na aplicação da abordagem da avaliação orientada pela teoria, de Chen e Rossi, se encontra no artigo sobre o Programa Institucional de Bolsas de Iniciação à Docência (Pibid), de autoria de Fernanda Litvin Villas Bôas, Leila Chalub Martins e Joaquim José Soares Neto. No texto “Contribuições da Theory-Driven Evaluation para avaliação do Pibid”, os autores realizam uma análise com base nos princípios teórico-metodológicos postulados pela Theory-Driven Evaluation, contribuindo para o estabelecimento do modelo de ação e do modelo de mudança que subjazem ao desenho e às ações de implementação do programa e para o estabelecimento da teoria do programa, a partir da qual novas análises podem ser realizadas, quer desse programa, quer de outros programas de incentivo à docência ou de estágio curricular. O Pibid também é objeto de análise de Graciete Tozetto Goes e Mary Ângela Teixeira Brandalise, no artigo “Avaliação do Pibid por licenciados egressos: um estudo de caso”, mas com outra abordagem avaliativa, focada nos participantes. Elementos para o entendimento da importância da abordagem são fornecidos pelas autoras, que dialogam com diversos aportes teóricos do campo da avaliação de programas.

O texto “Avaliação de projetos e desenvolvimento do pensar avaliativo: relato de um percurso”, de Ana Carolina Vargas, Tereza Perez e Patricia Diaz, explora os usos formativos dos resultados de avaliações de programas fundamentadas em abordagens que têm, em seu bojo, pressupostos filosóficos construtivistas e que são comprometidas com a transformação social e com abordagens colaborativas. Exploram, assim, princípios avaliativos que têm sido considerados em avaliações realizadas pela Comunidade Educativa Cedac, exemplificando como estes se concretizaram na avaliação do Projeto Pequenos Leitores.

O artigo de Mariane C. Koslinski e Tiago Lisboa Bartholo, “Impacto dos espaços de desenvolvimento infantil no primeiro ano na pré-escola”, discorre sobre a criação dos Espaços de Desenvolvimento Infantil (EDIs), iniciativa da Secretaria Municipal de Educação do município do Rio de Janeiro, que reúne no mesmo ambiente a creche e a pré-escola. Os autores, com base em estudo longitudinal, avaliaram o impacto da ação no desenvolvimento de 2.700 crianças, de 46 escolas, concluindo que não há um efeito claro dos EDIs sobre o desenvolvimento das crianças em matemática e linguagem.

Também relacionado à educação infantil, o trabalho de Bruno Tovar Falciano, Maria Fernanda Rezende Nunes e Edson Cordeiro dos Santos, “Dez anos do Proinfância: efeitos de uma política pública de indução”, faz uma avaliação do Proinfância, um programa do governo federal de auxílio à construção de novos estabelecimentos de creche e pré-escola. Busca aferir os resultados das ações desse programa no estado no Rio de Janeiro. Os autores concluem que a creche foi a etapa mais beneficiada pelo programa e destacam o seu mérito na indução de um padrão mínimo de referência de qualidade. No entanto, afirmam que a expansão da rede de educação infantil, foi fruto de planos próprios de ampliação da oferta em muitos municípios, o que significa que o programa não foi determinante para o aumento de vagas em educação infantil.

Com foco na discussão de programa voltado ao ensino superior, Ana Maria Carneiro e Adriana Bin apresentam e discutem, no artigo “Avaliação continuada de programas de educação superior”, a avaliação do Programa de Formação Interdisciplinar Superior (ProFIS), da Universidade Estadual de Campinas (Unicamp), experiência que busca utilizar as informações produzidas pelo processo avaliativo, de forma contínua, para o aprimoramento do programa. Ao relatar essa experiência avaliativa, as autoras respaldam-se tanto em aportes teóricos da análise de políticas quanto em autores da avaliação de programas, para discutir os desafios da implementação de programas e de sua avaliação continuada, em uma perspectiva formativa, tendo como foco a análise da viabilidade do programa e dos resultados por ele produzidos.

Claudia Regina Baukat Silveira Moreira e Ângelo Ricardo de Souza analisaram, em “Democratização do acesso à educação superior em debate: avaliação do ProUni”, o Programa Universidade para Todos (ProUni), mediante a identificação dos perfis dos bolsistas beneficiados nos cursos de Pedagogia, Medicina e Direito, a partir dos microdados do questionário socioeducacional do Exame Nacional de Desempenho de Estudantes (Enade). Os autores verificaram que o programa é limitado em seu alcance, na medida em que há uma reprodução das desigualdades educacionais nos diferentes cursos.

O programa Ciência sem Fronteiras também foi alvo de avaliação em estudo realizado por André Luiz Mendes Athayde e Telma Regina da Costa Guimarães Barbosa, “Avaliação de programas governamentais: Ciência sem Fronteiras em foco”, que relevou algumas características do processo de realização dos estágios no exterior, a partir da vivência de 20 estudantes matriculados em Instituições Federais de Ensino Superior (IFES) de Montes Claros - MG.

Por fim, este número especial de Estudos em Avaliação Educacional traz em destaque uma entrevista com o pesquisador em avaliação de programas Chris Coryn, professor titular do Evaluation Center, da Western Michigan University, e diretor do Programa de Doutorado Interdisciplinar em Avaliação da instituição. Nessa entrevista, Dr. Coryn discute aspectos teórico-metodológicos concernentes à avaliação de programas. São destacados, ainda, os avanços já alcançados e os desafios atuais para o aprimoramento desse tipo de avaliação em contextos como o do Brasil, assim como aspectos presentes nas discussões mais recentes da literatura internacional sobre a temática.

Boa leitura!