Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
Avaliar ações, projetos e programas públicos educacionais é uma atividade inerente ao ciclo de políticas e constitui ferramenta essencial à apreciação dos resultados obtidos, ao fomento e à retroalimentação do planejamento, à redefinição de rumos e ao aprimoramento das ações, estratégias e recursos utilizados.
Dennis Palumbo (1998) identifica três formas de se fazerem estudos sobre políticas: a análise das políticas, a análise da implementação das políticas e a avaliação de programas. Para o autor, a análise de políticas “[…] geralmente acontece antes de se tomar as decisões sobre uma determinada política. Seu principal objetivo é encontrar a forma mais eficiente de maximizar as metas e os objetivos” (PALUMBO, 1998, p. 57-58). Já a implementação das políticas “[…] focaliza basicamente o processo pelo qual as políticas são traduzidas em programas e como eles são administrados e gerenciados”. Por fim, a avaliação de programas é “[…] basicamente uma atividade pós-decisória que visa determinar se um programa está alcançando suas metas, o que o programa está realizando” (PALUMBO, 1998, p. 57-58). Na prática, tais etapas são (ou deveriam ser) intercambiáveis, em um movimento cíclico e dialógico.
Os estudos sobre políticas e programas sociais e educacionais que se desenvolveram em âmbito internacional, a partir da década de 1940, concentravam-se na análise da política e das estratégias utilizadas para sua execução, ou seja, na sua implementação, geralmente com o objetivo de auxiliar as organizações governamentais a aprimorarem suas metas e maximizarem a ação da política. Tais estudos avaliativos eram utilizados no preparo de orçamentos para as agências governamentais que subsidiaram a implementação e continuidade da política. Ou seja, a ênfase recaía sobre a análise da exequibilidade da política e seu processo, não havendo, inicial- mente, uma forte preocupação com a avaliação da política em seu sentido mais estrito.
Posteriormente, a partir de meados da década de 1960, observa-se, no cenário internacional, maior desenvolvimento da avaliação de programas impulsionado pela promulgação da Lei Educacional de Defesa Nacional de 1958 (WORTHEN; SANDERS; FITZPATRICK, 2004),1 nos Estados Unidos, em resposta à necessidade de um ensino mais eficiente nas escolas e de desenvolvimento de programas nas áreas sociais e da saúde. A fim de equalizar as oportunidades para todos os cidadãos americanos, bandeira dos governos de John Kennedy e Lyndon Johnson, houve investimento maciço em programas sociais, calcado na crença liberal de que, ao investir em ações de combate aos diversos problemas sociais existentes seria possível superá-los e propiciar, assim, um melhor desenvolvimento da sociedade (DIAS SOBRINHO, 2002, p. 26). Nesse sentido, a avaliação da eficácia dessas políticas e programas, por meio da quantificação dos resultados obtidos, passou a ser foco de atenção dos governos devido à necessidade de conferir maior racionalidade aos investimentos e assegurar credibilidade aos projetos e transparência na gestão dos recursos, já que muitos bilhões de dólares estavam sendo destinados ao seu financiamento.
As experiências avaliativas internacionais iniciais mostraram a necessidade de desenvolvimento do campo da avaliação, principalmente no que se referia a aportes teórico-metodológicos. Esse movimento deu início ao desenvolvimento de diferentes abordagens filosóficas e metodológicas na área, com efetivos esforços para a construção de conhecimentos empíricos e conceituais que a subsidiassem. Contudo, apesar de começar a existir, com o passar dos anos, a preocupação dos técnicos e estudiosos com aspectos que ultrapassassem a mensuração de resultados obtidos pelos programas, observa-se que o foco da avaliação, nos anos 1960 e 1970, mantinha-se sobre os dados quantitativos.
No Brasil, observa-se que a produção mais sistematizada da pesquisa em avaliação começa a despontar, ainda que timidamente, a partir do final dos anos 1930, com a criação do Instituto Nacional de Estudos Pedagógicos Anísio Teixeira (Inep). Nos anos 1950 e 1960, sob a direção da Anísio Teixeira, o órgão foi responsável pelo desenvolvimento mais estável de pesquisas, surveys e encaminhamento de parte dos projetos educacionais que marcaram a tentativa de maior articulação entre a produção de informações com uma ação política mais direcionada (BONAMINO, 2002, p. 38-39). Esse período também foi marcado por um clima de otimismo, com o fim da ditadura getulista e a esperança de se democratizar o ensino no Brasil. Para Bonamino, esse ideário influenciou a pesquisa e a trajetória da avaliação no país, relacionando-a ao propósito de desenvolvimento do setor educacional.
No entanto, segundo Gouveia (1971), a formulação da política educacional e as práticas escolares continuavam passando ao largo das avaliações, revelando novamente uma dificuldade de estabelecimento de diálogo entre pesquisa, ensino e planejamento educacional, problemática ainda não totalmente resolvida na atualidade.
Essa desarticulação começou a se modificar a partir da década de 1970, quando as pressões sociais e o surgimento de novas tendências políticas apontaram a necessidade de que as decisões sobre as ações políticas em educação fossem mais racionalizadas, sendo que a avaliação dessas políticas passou a assumir importante papel, como expressa Maria Amélia Goldberg (1973apudSOUSA, 2005, p. 14) em sua análise da produção acadêmico-científica sobre avaliação no Brasil:
Na medida em que a unidade do processo de planejamento educacional é garantida pelo plano, testar a racionalidade daquele é procurar determinar a racionalidade das decisões que geraram o plano e das ações que ele produziu. A racionalidade nas decisões confere ao plano sua dimensão de eficácia enquanto a racionalidade na execução lhe confere a dimensão de eficiência. Eficácia e eficiência são duas dimensões absolutamente indispensáveis ao modelo de um programa educacional válido.
Assim, pode-se dizer que os estudos sobre políticas públicas se intensificaram e constituíram um campo de investigação específico entre o final da década de 1970 e início dos anos 1980 (FIGUEIREDO; FIGUEIREDO, 1986). Nesse período começaram a se desenvolver estudos no âmbito da avaliação de programas, cuja intencionalidade era subsidiar o replanejamento das ações a que se referiam. As ações governamentais passaram a ser mais avaliadas, até mesmo pelas próprias administrações que as propunham (BARRETTO; PINTO, 2001b).
Apesar dessas iniciativas que começaram a despontar, pode-se dizer que, mesmo nos anos finais do século XX, a avaliação de programas não era uma tendência fortemente arraigada em âmbito nacional.
Com base em dados de pesquisa realizada no início do século XXI, Barretto e Pinto (2001a) afirmam serem poucas as oportunidades de aprimoramento dos conhecimentos acerca da avaliação de programas. As autoras explicam esse fato pela lacuna na disseminação das propostas de avaliação realizadas e pela escassez, à época, de publicações destinadas à temática da avaliação de programas e políticas ou pesquisa de avaliação. De fato, antes da década de 1990, o Brasil contava apenas com duas revistas que tratavam de temáticas relativas à educação e medida no campo educacional: a revista Educação e Avaliação (com publicação de apenas dois números) e Educação e Seleção (editada de 1980 a 1989, vindo a ser substituída pela revista Estudos em Avaliação Educacional - EAE).2 Em sua perspectiva, a produção e a disseminação de conhecimento sobre a temática da avaliação de programas foram realizadas prioritariamente no meio acadêmico (notadamente em teses e dissertações) e por algumas agências especializadas, a pedido das próprias administrações públicas.
Com o passar dos anos, observa-se maior estruturação e adensamento de programas educacionais nos diversos âmbitos de administração pública, impulsionados pelo crescente gasto público em educação. Dados da Secretaria do Tesouro Nacional (BRASIL, 2018) confirmam a evolução ascendente de gastos com a educação no período de 2008 a 2018. Tal expansão pode explicar a maior demanda pela realização de propostas de avaliação e de monitoramento dos resultados alcançados.
No entanto, apesar desse cenário de ampliação e de os estudiosos apontarem para o maior desenvolvimento da avaliação de programas, não há consensos sobre alguns conceitos específicos da área, tampouco sobre os quadros de referência teórica da temática.
Pode-se afirmar, pois, que o maior desenvolvimento do campo em termos práticos não foi acompanhado, necessariamente, da evolução na produção de conhecimento no campo. Tal fato pode gerar dificuldades para o pesquisador que pretende dedicar-se a esse tipo de trabalho.
Também se observa uma dificuldade na definição adequada do escopo dos trabalhos que se autodenominam avaliação de programas. De fato, há diversos estudos que dialogam mais com a perspectiva de análise de políticas (policy analysis) do que com o conhecimento acerca da avaliação de programas (program evaluation), ainda que sejam anunciados como trabalhos avaliativos.
A esse respeito, cabe esclarecer que análise de política e avaliação de programas não podem ser consideradas sinônimos, tampouco mutuamente excludentes, na medida em que a ação pública pode ser objeto de estudo em ambas as vertentes (MEIRING, 2001).
Claro está que não se desconsideram os imbricamentos entre a análise de políticas, que começa a se desenvolver a partir de meados do século XX na área de ciência política, e a moderna avaliação de programas, cuja história principia a partir da década de 1960. Ambas podem se aplicar a diversas etapas do ciclo de políticas, ainda que o escopo da análise de política seja mais amplo e não comprometa o analista com a necessidade de emitir um juízo de valor acerca do que está sendo avaliado (BAUER; FERNANDES; GIMENES, 2019). Como sintetiza Frey (2000, p. 214), apoiado em Windhoff-Héritier (1987, p. 7), “[…] a abordagem da policy analysis pretende analisar a inter-relação entre as instituições políticas, o processo político e os conteúdos de política com o arcabouço dos questionamentos tradicionais da ciência política”.
Já a avaliação de programas é objeto de várias definições que ora a compreendem como investigação empírica acerca de uma ação, projeto ou programa, ora a relacionam ao uso rigoroso de metodologias científicas e aportes teóricos, numa acepção mais próxima à de pesquisa avaliativa. Minayo (2005, p. 23), por exemplo, define a avaliação de programas e projetos como o “[…] conjunto de atividades técnico-científicas ou técnico-operacionais que buscam atribuir valor de eficiência, eficácia e efetividade a processos de intervenção em sua implantação, implementação e resultados”.
De todo modo, em seus primórdios, esse tipo de avaliação foi atrelado à preocupação de se responderem questões como: o programa concretiza seus objetivos? Quão adequada é essa realização? Se não está adequado, que aspectos podem/devem ser aprimorados? Assim, historicamente, esse tipo de avaliação tem contribuído para o aprimoramento dos programas aos quais se refere, a partir de um ajuizamento de valor sobre a proposta, os processos, os custos, os resultados ou impactos. Como explica Vianna (2005, p. 53):
Avaliar está associado a julgamentos de valor e sobre isso parece haver razoável consenso, na medida em que é possível chegar a um consenso no campo da educação algumas indagações novamente se impõem [...]: qual o valor do programa? Qual o valor das informações coletadas? Ou, qual o valor dos objetivos do programa? Ao fazer uma avaliação de programa, o avaliador procura estabelecer, primeiramente, questões de mérito e, a seguir, apresentar os problemas que foram revelados no decorrer do processo de avaliação.
No entanto, diversas abordagens avaliativas têm se constituído ao longo dos últimos anos, e muitas questionam, até mesmo, a necessidade de ajuizamento sobre o mérito e o valor dos programas, contribuindo aparentemente para o esmorecimento das fronteiras entre policy analysis e policy evaluation.
Para Barreto e Pinto (2001b, p. 104), parte da dificuldade em delimitar os dois campos de estudo refere-se à não clareza de suas bases conceituais. Em suas palavras:
[...] há uma série de dificuldades conceituais para delimitar o campo de análise das políticas públicas, bem como o de sua avaliação propriamente dita, visto que os referentes teóricos que lhes servem de base ainda não estão fortemente consolidados.
Esse quadro não parece ter se alterado nos 20 anos que separam as reflexões das autoras supracitadas do momento atual. A discussão dos artigos sobre avaliação de programas e análise de políticas publicados na revista EAE no período de 1990 a 2019 é ilustrativa dessa afirmação.
Primeiramente, cabe destacar que a publicação de artigos sobre essas temáticas exemplifica o reconhecimento da revista EAE como um dos principais veículos de disseminação da produção em avaliação do país. A revista tem sido objeto de diversos estudos que procuraram, a partir de abordagens distintas, mapear e analisar a publicação em avaliação educacional nela publicada (BARRETTO; PINTO, 2001b; POLTRONIERI; CALDERÓN, 2012; SOUSA, 2005). As considerações traçadas pelas autoras deste artigo buscam dialogar com os principais resultados encontrados por Barretto e Pinto (2001a, 2001b) e Sousa (2005), que também consideraram a avaliação de programas em suas análises.
PROCEDIMENTOS METODOLÓGICOS
A revista EAE tem contribuído para a disseminação de estudos sobre a temática há mais de 30 anos, constituindo-se na revista mais longeva no campo da avaliação educacional no Brasil. Nesse período, publicou artigos sobre políticas de avalia- ção do rendimento escolar, trabalhos que se dedicaram à discussão da medida e de técnicas de pesquisa e análise de resultados de avaliações, reflexões sobre avaliação das aprendizagens, avaliação institucional e avaliação de políticas e programas educacionais diversos, o que justifica sua escolha como referência para as análises realizadas neste texto.
Assim, inicialmente, todos os artigos publicados na revista foram analisados e classificados de acordo com as temáticas que apareceram com mais frequência na trajetória da revista, elaborando-se, como produto desse trabalho, uma base de dados com informações sobre cada um dos manuscritos (informações catalográficas, título, resumo, palavras-chave, abordagem metodológica e classificação segundo a temática de avaliação abordada).
Para proceder ao estudo dos trabalhos que se dedicaram à análise de políticas e à avaliação de programas educacionais, consultou-se essa base de dados e realizou-se um processo de refinamento dessa seleção prévia mediante análise das palavras-chave e posterior leitura dos artigos, buscando identificar aqueles que estavam mais relacionados à avaliação de programas e à análise de políticas públicas.
A leitura dos artigos foi um processo decisivo para selecionar o material, uma vez que as abordagens teórico-metodológicas e mesmo sua temática poderiam qualificar o trabalho para ser enquadrado em diferentes subáreas da avaliação, como, por exemplo, a avaliação de programas ou a avaliação de rendimento dos estudantes. Após a leitura, foram identificados artigos cujas palavras-chave estavam relacionadas com a avaliação de programas, mas que eram, na realidade, análises de políticas, assim como foram encontrados estudos cujos títulos sugeriam ser de análise de políticas, mas eram avaliações de resultados ou diagnósticos de determinado fenômeno educacional, com base em dados censitários e obtidos por meio de avaliações (externas, institucionais ou de aprendizagem). Nesse sentido, além da leitura dos trabalhos, foi necessário proceder à definição conceitual de avaliação e de análise de políticas e programas, com objetivo de selecionar artigos que realmente se relacionassem à avaliação de programas ou à análise de políticas, apresentando uma metodologia ou um arcabouço conceitual que os aproximassem mais dessas áreas do que de outras utilizadas na classificação inicial para preparo da base de dados.
Os artigos selecionados a partir desse refinamento foram analisados tendo-se como orientação o arcabouço teórico-conceitual de cada um dos campos do conhecimento - análise de políticas e avaliação de programas - que fundamentou a leitura e a classificação desse material por tendências teórico-metodológicas. Destaca-se que nem sempre as perspectivas teórico-metodológicas estavam explícitas no trabalho, sendo deduzidas no processo de análise e fundamentadas mediante a utilização de referenciais teóricos de cada um dos campos.
Os trabalhos selecionados são discutidos nas seções a seguir, por área de conhecimento em que foram classificados.
ANÁLISE DE POLÍTICAS EDUCACIONAIS
Como dito anteriormente, as fronteiras entre a avaliação de programas e análise de políticas públicas são tênues e difíceis de serem demarcadas, não sendo incomum que ambas sejam tratadas como a mesma coisa, uma vez que “[…] se dedicam a compreender a configuração de políticas sociais” (BOSQUETTI, 2009, p. 2).
No entanto, há que se considerar que as distintas abordagens e metodologias para o estudo das políticas públicas e de programas, em particular, permitem distingui-las. Provavelmente, o principal aspecto que as diferencia é o fato de a avaliação produzir um juízo de valor ou o mérito do objeto avaliado e se fundamentar em métodos experimentais e quase-experimentais que visam a identificar relações de causalidade entre ações e resultados obtidos (BAUER; FERNANDES; GIMENES, 2019).
Se avaliar é emitir um julgamento sobre o valor das intervenções governamentais, mas também sobre o valor que o público-alvo atribui ao objeto avaliado, a análise ocupa-se, fundamentalmente: a) da concepção de estado e de políticas públicas que sustentam as ações governamentais e suas implicações para o processo decisório; b) dos arranjos institucionais e das relações de poder na formulação das políticas e programas; c) dos fundamentos legais, do desenho e dos processos de implementação das políticas. Nesse sentido, o exame da engenharia institucional e da estrutura de políticas e programas pertence à análise de políticas públicas, o que pressupõe a compreensão do quadro normativo e institucional que as conformam. Mais recentemente, o estudo dos “processos de implementação de políticas públicas” também tem sido foco de investigações, dado que a política não se limita à sua definição normativa e estrutura, mas à sua materialização, envolvendo as agências governamentais que a implantam e se relacionam diretamente com o público-alvo.
A produção em análise de políticas públicas veiculada pela EAE
Ainda que poucos, há artigos publicados na revista EAE que se aproximam mais da análise de políticas públicas do que da avaliação de programas, e isso ocorre devido à já mencionada intersecção entre as duas áreas de conhecimento. Assim como a análise de políticas, a avaliação de programas pertence à área das políticas públicas, constituindo etapa que avalia resultados e efeitos do programa (SARAVIA, 2006), com vistas a tomar decisões sobre seu futuro (JANNUZZI, 2011).
Destaca-se que a análise de políticas públicas, especialmente na educação, ainda é incipiente no Brasil (FARIA, 2005; TREVISAN; BELLEN, 2008), e que os poucos estudos que tratam da análise de políticas educacionais e dos processos de implementação não estabelecem limites claros entre estudos avaliativos e de análise de políticas.
Na revista EAE, os artigos identificados como de análise de políticas públicas foram publicados mais recentemente, desde o final da década de 1990. A análise dos dados permite perceber que o fluxo de publicação de artigos de análise de políticas é pequeno e esporádico, sendo publicados um artigo por ano (em 1997, 2005, 2006, 2007, 2011, 2015 e 2018) ou, no máximo, dois por ano (em 2009, 2012, 2013 e 2017). São 15 os artigos publicados que consistem em uma análise de política.
Tais artigos são oriundos de vários estados brasileiros e de um país estrangeiro, sendo os estudos provenientes das cidades de São Paulo, Campo Grande, Salvador, Ponta Grossa, Maringá, Rio de Janeiro, Natal, Brasília e Lisboa. As instituições às quais os autores estão vinculados são, em geral, universidades e instituições de pesquisa: Universidade Federal do Mato Grosso do Sul (UFMS), Universidade Esta- dual de Maringá (UEM), Universidade Federal da Bahia (UFBA), Universidade Estadual de Ponta Grossa (UEPG), Universidade de São Paulo (USP), FCC, Universidade do Estado do Rio Grande do Norte (UERN), Universidade do Estado do Rio de Janeiro (UERJ), Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), Universidade de Brasília (UnB) e Universidade de Lisboa. O Quadro 1 apresenta os trabalhos que originaram as análises que se seguem.
QUADRO 1 Artigos publicados na revista EAE considerados exemplos de análise de políticas
| AUTORES | TÍTULO | VOLUME | NÚMERO | ANO |
|---|---|---|---|---|
| MARTINS, Angela Maria | Educação e diretrizes de mudança: possibilidades e limites do Estado | --- | 15 | 1997 |
| FREITAS, Dirce Nei Teixeira de | A avaliação educacional como objeto de recomendações internacionais | 16 | 31 | 2005 |
| RODRIGUES, Gisele Soncini; LARA, Angela Mara de Barros | Avaliação das propostas do Banco Mundial para a educação infantil: influências e consequências nos países periféricos | 17 | 33 | 2006 |
| DANTAS, Lys Maria Vinhaes | Desvios na implementação da política de avaliação da aprendizagem e sua associação com as condições de trabalho na escola | 18 | 38 | 2007 |
| BARRETTO, Elba Siqueira de Sá | Perspectivas teóricas e metodológicas da pesquisa em política educacional na atualidade | 20 | 44 | 2009 |
| MARQUES, Cláudio de Albuquerque; AGUIAR, Rui Rodrigues; CAMPOS, Márcia Oliveira Cavalcante | Programa Alfabetização na Idade Certa: concepções, primeiros resultados e perspectivas | 20 | 43 | 2009 |
| AUTORES | TÍTULO | VOLUME | NÚMERO | ANO |
| BRANDALISE, Mary Ângela Teixeira; MARTINS, Clícia Bührer | Programa de avaliação institucional da educação básica do Paraná: da produção à implementação da política na escola | 22 | 50 | 2011 |
| LIMA, Aléssio Costa | Ciclo de avaliação da educação básica do Ceará: principais resultados | 23 | 53 | 2012 |
| GREGO, Sonia Maria Duarte | Reformas educacionais e avaliação: mecanismos de regulação na escola | 23 | 53 | 2012 |
| MARTINS, Angela Maria | O campo das políticas públicas de educação: uma revisão da literatura | 24 | 56 | 2013 |
| NUNES, Cely do Socorro Costa | Avaliação docente: monitoramento do trabalho dos professores em Portugal | 24 | 55 | 2013 |
| SANTOS, Jean Mac Cole Tavares | Ensino médio inovador: ressignificações de educação de qualidade em contextos locais | 26 | 62 | 2015 |
| VIEIRA, Maria Clarisse; REIS, Renato Hilário dos; SOBRAL, Julieta Borges Lemes | Uma análise das concepções que permeiam a formação profissional do Pronatec | 28 | 67 | 2017 |
| SOUZA, Donaldo Bello de | Avaliação organizacional de planos municipais de educação relativos ao PNE 2014-2024 | 28 | 69 | 2017 |
| MOTA, Maria Océlia | Implementação de políticas públicas educacionais na perspectiva dos agentes burocráticos | 29 | 72 | 2018 |
Fonte: Elaboração das autoras com base em dados da pesquisa.
A maior parte dos trabalhos aborda políticas e programas, principalmente de avaliação externa, para a educação básica de forma geral, sendo que outros tratam, mais especificamente, de avaliações de desempenho docente, de educação infantil e de programas para o ensino médio e técnico. Há dois textos de caráter mais teórico que discorrem sobre a produção acadêmica em políticas públicas educacionais (BARRETTO, 2009; MARTINS, 2013).
Todos os trabalhos empíricos publicados são de natureza qualitativa e têm um escopo mais restrito, focando a estrutura normativa de políticas ou programas específicos na área da educação, resultando no que Barretto (2009, p. 495) denominou pesquisas de abordagens do tipo “estudo de caso”, em contraposição às pesquisas que utilizam “[…] amostras estatisticamente representativas, mais claramente preocupadas com a abrangência dos processos e os efeitos dos fenômenos”. A autora atribui a essa característica da pesquisa no campo da análise das políticas educacionais a dificuldade em se desenvolverem investigações de grande porte, pelas condições financeiras e de infraestrutura das instituições de pesquisa, em sua maioria universitárias. De acordo com a autora:
Embora os estudos que costumam ser realizados possam contribuir para elucidar aspectos das políticas educacionais, a preferência pelas abordagens microssociais tem contribuído para diluir a atenção de questões relativas ao seu desenho institucional, cobertura e financiamento, cruciais para entender os condicionantes, o modo como funcionam e os resultados a que chegam [...] Do ponto de vista da fragmentação dos estudos de políticas de educação, acreditamos que ainda se sustentam as constatações a que chegaram Azevedo e Aguiar em 2001, visto que até hoje são raros os trabalhos que procuram sistematizar concepções educativas de determinadas correntes e tendências em âmbito nacional. Mais escassos ainda são aqueles que procuram relacionar resultados e políticas de âmbito geral. O mais comum é que a abordagem, seja ela no âmbito federal, estadual ou local, ocupe-se de grande variedade de objetos, sendo ainda tênue o esforço cumulativo capaz de adensar as temáticas exploradas. (BARRETTO, 2009, p. 495).
Sobre esse tema, Martins (2013, p. 291) afirma também que:
Tendo em vista a prevalência de estudos qualitativos - boa parte deles realizados como estudos de caso -, o uso de observações (participantes ou não), estudos etnográficos, pesquisa-ação, pesquisa-intervenção vêm sendo assumidos em parte das investigações, ao tempo em que os trabalhos indicam a análise de diretrizes legais e programas oficiais. Esse duplo movimento - análise de conteúdo e estudos de caso - resume o desenho da maior parte das investigações sobre políticas educacionais.
A principal abordagem é a top-down (SABATIER, 1986), na medida em que, dos 14 artigos, 11 focalizam as normas que estruturam o desenho de política e programa. A maioria dos estudos, nesse sentido, tem como foco o processo de formulação e apresenta uma abordagem sequencial, compreendendo a política como um conjunto de etapas distintas e orientadas por lógicas diferentes e debruçam-se sobre a lógica da atividade política, excluindo do processo de análise a prática administrativa.
Além disso, parcela significativa dos artigos de abordagem top-down realizou uma análise que busca compreender os princípios e as razões que levaram governos a adotar determinadas políticas, dedicando-se à “análise política” (ou avaliação política) de políticas e programas (BOSQUETTI, 2009; FIGUEIREDO; FIGUEIREDO, 1986). A análise política tem motivação moral com objetivo de contrapor os princípios e diretrizes de uma política ou programa a princípios de justiça, de política ou sociais. Dentre as razões morais que orientam os artigos publicados na EAE estão a preocupação com a desigualdade social e a austeridade econômica como princípio orientador da formulação das políticas sociais, em particular as educacionais. Assim sendo, cabe mencionar dois artigos que se sustentam em perspectivas críticas marxistas para analisar as ações governamentais, e dois cujo viés neoliberal expressa o tom da crítica às perspectivas de avaliação de governos e organismos internacionais.
Destaca-se, também, que há textos que não se sustentam em perspectivas teó- ricas de análise de políticas, apresentando um caráter mais descritivo, em que preponderam estudos com adensamento teórico e analítico limitados, elaborados sem aprofundamento nas condições históricas em que as políticas e programas são formulados e materializados em ações. Essas características vão ao encontro das conclusões de Souza (2003) e Barretto (2009) sobre a produção acadêmica no campo da análise das políticas públicas e da política educacional, respectivamente, que explicitam a fragilidade teórico-metodológica das investigações.
A adoção de referenciais teóricos de análise genéricos e a falta de aprofundamento nas condições sociais, econômicas e históricas de formulação e implementação das políticas produzem estudos que se sustentam em evidências empíricas, sem o adequado suporte de referenciais teóricos de análise. Esse fenômeno já tinha sido verificado por Barretto (2009, p. 496) na análise de produção acadêmica no campo das políticas educacionais:
Não obstante, ainda é encontrado grande número de estudos que se propõem a elucidar os pressupostos das políticas, recorrendo a referenciais muito genéricos de análise, que os pesquisadores procuram ancorar em algumas evidências empíricas, sem se aprofundar no exame das condições histórico-específicas em que as políticas se transformam em cursos de ação. O resultado é que se costuma inflacionar o poder explicativo dos pressupostos neoliberais no que diz respeito ao entendimento dos processos de globalização e de sua influência na formulação e implementação das políticas públicas, do mesmo modo que, em períodos anteriores, se costumava atribuir peso excessivo aos efeitos do imperialismo e ao caráter reprodutor da escola, recorrendo aos recortes aligeirados da teoria marxista apropriados pela área.
Na abordagem bottom-up, foram identificados dois artigos que utilizaram a análise de implementação de políticas, ambos na perspectiva da “burocracia em nível de rua”, para investigar programas de avaliação educacional de diferentes estados. Fundamentando-se em Lipsky (2010), os artigos identificam os agentes burocráticos responsáveis por implementar os programas educacionais, com propósito de compreender como esses se materializaram por meio da ação desses agentes e da relação que estabelecem com as instâncias superiores e com o público-alvo. De acordo com Lipsky (2010), o comportamento do agente que está na linha de frente das agências responsáveis por implementar as políticas públicas, os chamados “burocratas de rua”, é importante de ser considerado nos estudos de implementação, porque são eles que garantem o acesso aos programas governamentais (LIPSKY, 2010). Considerado por Hill e Hupe (2014) como o fundador da perspectiva bottom-up, Lipsky tem ganhado visibilidade no Brasil, na primeira década dos anos 2000, e tem se tornado a principal referência nos estudos de implementação de políticas.
O primeiro desses artigos foi publicado em 2007 e discorre sobre resultados de uma pesquisa que analisou a implementação da política de avaliação da aprendizagem em 163 escolas públicas urbanas situadas em 11 municípios da Bahia, no período 2002-2003. Nesse estudo, o autor não analisa a discricionariedade do burocrata de rua, mas as condições de trabalho que gerariam dificuldades para a implementação da política de avaliação (DANTAS, 2007).
Mota, em 2018, fundamentando-se na perspectiva de Lipsky (2010), apresentou uma análise do processo de implementação do Prêmio Escola Nota Dez (PENDez), programa realizado no estado do Ceará, abordando agentes de médio escalão (gerentes do Programa de Alfabetização na Idade Certa - Paic), diretores e coordenadores e professores de oito escolas parceiras da região do Cariri. Para realização do estudo, a autora adota o conceito de discricionariedade, buscando estabelecer relações entre o que é formalmente definido no programa e o que efetivamente se realiza no âmbito de escola, considerando valores e percepções dos sujeitos e as relações estabelecidas entre agentes implementadores e público-alvo.
Ainda que a maioria dos artigos mantenha a “leveza metodológica” e faça “[…] uso excessivo de narrativas pouco pautadas por modelos ou tipologias de políticas públicas” (SOUZA, 2003, p. 17), há artigos que têm uma perspectiva teórica definida, além dos dois de análise bottom-up já mencionados: um deles se encaixa em uma abordagem neoinstitucional e de estilos políticos; dois estudos, cuja perspectiva é a marxista; e dois que explicitam a abordagem sequencial fundamentada no ciclo de políticas, de Stephen Ball (1994).
A abordagem neoinstitucional atribui importância às condições institucionais na configuração das políticas, dada sua função estabilizadora para os sistemas político-administrativos. Martins (1997) adota tal abordagem para explicitar a importância do fator institucional na reestruturação de agências político-administrativas do setor educacional, somando a isso os estilos políticos e os padrões de comportamento de certos atores da burocracia que repercutem na qualidade de programas e projetos. A autora faz análise de programas do Governo do Estado de São Paulo para implementar mudanças na organização administrativa e pedagógica do sistema educacional, no período de 1984 a 1994.
Desenvolvida numa perspectiva pós-estruturalista, a abordagem de Stephen Ball (1994) e colaboradores (MAINARDES, 2006, 2018; MAINARDES; MARCONDES, 2009) é bastante utilizada na análise de políticas educacionais, por fazer contraposição entre a política proposta e a política efetivamente desenvolvida em âmbito micropolítico, sendo um referencial utilizado para análise de políticas públicas de difícil operacionalização. Os dois textos que utilizam o ciclo de políticas de Stephen Ball (1994) para explicitar o processo de criação da política (BRANDALISE; MARTINS, 2011; SANTOS, 2015), desde sua formulação até sua ressignificação nas escolas, exploram conceitualmente o referencial teórico para explicar os contextos da política abordados. No entanto, a perspectiva teórica oferece limites para análise dessas políticas. Isso ocorre porque a abordagem adotada é complexa e não oferece ferramentas para a construção de tipologias ou “[…] categorias que possam dar conta dos processos articulatórios que acompanham a definição das políticas ao longo do ciclo contínuo” (OLIVEIRA; LOPES, 2011, p. 26).
Por fim, no âmbito da perspectiva marxista, ambos os artigos analisam fontes documentais e problematizam a instituição das políticas educacionais, marcadas pelos contextos de reprodução e de transformação social, e seu reflexo nos processos educativos no interior da escola e no circuito social mais amplo, contribuindo tanto para o reforço de desigualdades quanto para a criação de espaços de emancipação. Greco (2012) analisou as reformas educacionais de 1971 até 1982 em uma perspectiva sócio-histórica, utilizando como fonte discursos e documentos oficiais relativos à avaliação do rendimento escolar. Vieira, Reis e Sobral (2017) analisaram concepções de educação e trabalho, tendo como fontes legislação e documentos referentes ao Programa Nacional de Acesso ao Ensino Técnico e Emprego (Pronatec). Por meio do exercício da dialética, apresentam aspectos das relações sociais e das políticas educacionais que permitem caracterizar o dualismo entre educação básica e educação profissional.
AVALIAÇÃO DE PROGRAMAS EDUCACIONAIS
Desde seu lançamento, em 1990, em continuidade à produção da Educação e Seleção (1980-1989), observa-se a intenção de se ampliar o escopo de temas veiculados pela EAE, com clara interface com a avaliação de programas educacionais, já definida em seu texto de Apresentação (ESTUDOS EM AVALIAÇÃO EDUCACIONAL, 1990, p. 3):
A nova revista continuará a apresentar artigos, estudos e pesquisas sobre o processo de seleção para a Universidade, mas ocupar-se-á, também, de problemas ligados à avaliação do rendimento escolar nos vários níveis de ensino, à avaliação de currículos, à avaliação de material didático, à avaliação de cursos, à avaliação de professores, à avaliação de instituições e, inclusive, à avaliação de sistemas, no contexto da educação brasileira.
Tal perspectiva se concretizou pela publicação, no período de 1991 a 2019, de 50 artigos que se anunciam como discussões sobre avaliação de programas, conforme se observa no Gráfico 1.3
A organização dos dados ilustra a pouca tradição brasileira na realização de avaliação de programas, o que tem sido discutido já há algum tempo pela literatura especializada (BARRETTO; PINTO, 2001a; BAUER, 2011; SOUSA, 2005; VIANNA, 2005), ao mesmo tempo que mostra seu recente crescimento, reconhecido por Ramos e Schabbach (2012). Essas últimas autoras, ao proporem um estado da arte da avaliação de políticas públicas, apontam para o aumento do interesse dos governos nas avaliações de programas no Brasil, com objetivo de acompanhar sua eficácia, efi- ciência e efetividade, bem como realizar accountability da gestão pública.
Diversos estudos têm apontado para o desenvolvimento da avaliação de programas em território nacional, notadamente desde a última década do século XX. No entanto, a análise quantitativa dos artigos publicados na EAE sugere que, na área educacional, ou essa produção não tem sido tão significativa (BAUER, 2011), ou não tem sido publicada em revistas acadêmicas pelos sujeitos e instituições que desenvolvem esse tipo de avaliação.
Fonte: Elaboração das autoras com base em dados da pesquisa.
GRÁFICO 1 Quantidade de artigos sobre a temática “avaliação de programas” publicados de 1991 a 2019
Barretto e Pinto (2001b, p. 42) também já haviam levantado uma explicação parecida para a pouca divulgação, em revistas científicas, de resultados de avaliações de programas governamentais em seu estado da arte sobre avaliação na educa- ção básica:
Embora a demanda de avaliação de programas pelo Poder Público tenha aumentado na última década, foram poucos os artigos que podem ser enquadrados nesse grupo, o que leva a supor que essa modalidade de estudo não chega facilmente ao grande público leitor. Investigações dessa natureza são tradicionalmente realizadas, sobretudo, por institutos de planejamento e/ou agências de pesquisa, por se constituírem, geralmente, em estudos onerosos e de grande porte. [...]. Esses estudos, via de regra, não são divulgados em artigos, ficando restritos a relatórios extensos, entregues aos órgãos que os requisitaram, pois nem sempre os gestores do setor público consideram interessante a divulgação de dados e resultados que podem comprometer a legitimidade de suas ações.
Ainda que as considerações das autoras sejam pertinentes, a virada do século trouxe consigo uma nova cultura ante a divulgação dos resultados de pesquisa. A Lei de Acesso à Informação Pública - Lei n. 12.527 - (BRASIL, 2011), por exemplo, aprovada dez anos após as considerações das autoras, regulamentou o direito à informação que já havia sido garantido pela Constituição Federal de 1988, repercutindo positivamente na publicidade que órgãos públicos dão às informações, inclusive aos relatórios e dados avaliativos produzidos no âmbito - e com financiamento - da administração pública.
Além disso, desde os anos 1990, percebe-se que os esforços do poder público, em seus diversos âmbitos (federal, estadual e municipal), têm sido direcionados para a proposição de propostas de avaliação em larga escala, entendidas como modelo de avaliação de programas educacionais. Publicações na EAE na década de 1990 e início dos anos 2000 exemplificam essa tendência (ANTUNES, 1994; ANTUNES; XAVIER; FREITAS, 1992; FILP et al., 1990; MANDEL; MALUF, 1994; VIANNA, 2000; VIANNA; ANTUNES; SOUZA, 1993; entre outras).
Esse movimento de sobreposição das avaliações em larga escala de desempenho dos estudantes e a avaliação de programas propriamente dita já havia sido apontado por Vianna (2005, 2014). O autor parte da constatação de que a reflexão sobre avaliação educacional tardou a se iniciar no Brasil, começando a se sistematizar a partir de meados dos anos 1960, com ênfase em aspectos da avaliação da aprendizagem. Para o autor, nesse movimento, a avaliação de programas não foi adequadamente definida, sendo, muitas vezes, confundida com a própria avaliação do desempenho, sendo necessário envidar esforços para a clarificação, conceitual e metodológica, da avaliação de programas, tarefa à qual Vianna dedica vários dos artigos que publicou na revista.
De fato, percebe-se, no escopo dos trabalhos sob análise, que diversos estudos avaliativos publicados na revista assumiram o modelo metodológico que incorporava a análise do contexto no qual a avaliação se daria seguida de breve discussão do programa que estava sendo avaliado e da análise dos resultados de rendimento dos estudantes após a implementação do programa, quer por meio de dados já existentes, quer por meio de provas aplicadas pelas equipes responsáveis pela pesquisa avaliativa, em geral dos componentes curriculares de língua portuguesa e de matemática. Exemplificam o exposto os trabalhos de Gatti (1994), Gatti, Vianna e Davis (1991), Neubauer, Davis e Espósito (1996), Silva (1991) e Silva e Davis (1993) que, por sua vez, tiveram como foco o Programa de Expansão e Melhoria do Ensino no Meio Rural do Nordeste Brasileiro (Edurural) e o Programa de Avaliação do Rendimento de Alunos de Escolas de 1º grau da Rede Pública, o Ciclo Básico de Alfabetização e o Jornada Única.
Também é possível supor que essa tendência de os autores identificarem análises de programas de avaliação em larga escala como avaliações de programas parte do entendimento de que, com base nos resultados de desempenho dos estudantes, seria possível avaliar o currículo a que foi submetido ou, ainda, os próprios programas implantados em determinada rede de ensino. De todo modo, a experiência de avaliação desses programas foi seminal para a consolidação de um know-how que permitiu a discussão e as primeiras propostas de avaliação de rendimento de estudantes em larga escala.
Sousa (2005) entende que, apesar de em um primeiro momento os estudos avaliativos aproximarem-se da subárea de avaliação de currículo, já no final da década de 1980 e início dos anos 1990 esses passaram a focar em programas educacionais e projetos que faziam parte de políticas educacionais da época, direcionando-se também para a avaliação dos sistemas de ensino (por meio do rendimento dos alunos). Nas palavras da autora:
O que se nota nos estudos e pesquisas realizados e divulgados a partir desta concepção de avaliação é tomar-se como foco para avaliação educacional o currículo escolar, concretizado em programas educacionais e não os alunos individualmente. São ilustrativos nessa direção os estudos divulgados em artigos e livros organizados por Maria Amélia Goldberg, em conjunto com Clarilza Sousa (1979, 1982)4 e com Maria Laura Franco (1980),5 no que se referem aos projetos de avaliação desenvolvidos, relativos a avaliações de inovações curriculares e programas de ensino. Os textos de divulgação acerca dos estudos desenvolvidos evidenciam rigor conceitual e metodológico, sendo as indicações, conclusões e recomendações amparadas pelo conjunto de informações trazidas pela avaliação. É clara a preocupação em se explicitar a abordagem ou modelo de avaliação assumido nessas produções. (SOUSA, 2005, p. 15).
Exemplos das avaliações de programas dessa fase são algumas das desenvolvidas em São Paulo, que tiveram como objeto programas propostos pelas secretarias de educação, como o Projeto Escolas-Padrão e o Bolsa-Escola do Distrito Federal (MONTEIRO, 2000). É possível supor que a emergência dessas iniciativas, em parte, está relacionada a uma maior aceitação por parte dos gestores desse tipo de informação, que, como visto anteriormente, costumavam receber com desconfiança os resultados obtidos pelas pesquisas que não eram incorporadas às decisões sobre ações governamentais.
Mas essa produção inicial de estudos avaliativos não se apresenta igualmente distribuída no território brasileiro, a considerar a localidade dos programas avaliados e de origem dos estudos.
A fim de identificar quais instituições eram mais voltadas à produção de conhecimento na área de avaliação de programas, procedeu-se à análise descritiva dos dados obtidos. Optou-se por identificar todas as instituições às quais os autores dos artigos publicados no período estavam afiliados à época da publicação do artigo. Em caso de trabalhos com mais de um autor, quando esses pertenciam à mesma instituição, essa foi contabilizada apenas uma vez; caso houvesse trabalhos interinstitucionais, as instituições envolvidas seriam consideradas. A produção da USP (n = 6) foi contabilizada inicialmente em separado, para destacar os diferentes institutos envolvidos (Tabela 1), mas foi somada para a discussão sobre a natureza jurídica de quem produziu artigos sobre avaliação de programas. Os resultados obtidos são destacados na Tabela 2.
TABELA 1 Distribuição dos trabalhos selecionados por etapa do ciclo de políticas e tipo de avaliação enfocado
| Etapa do ciclo de políticas | Tipos de avaliação | N | Referências* |
|---|---|---|---|
| Identificação de necessidades educacionais | Avaliação da necessidade do programa | 0 | --- |
| Definição da agenda | Avaliação diagnóstica | 2 | Silva e Davis (1993); Birman e Lopes (2013) |
| Avaliação de perfil do público-alvo | 1 | Costa et al. (2010) | |
| Formulação | Avaliação do desenho/da concepção do programa | 3 | Gatti, Vianna e Davis (1991); Bôas, Martins e Soares Neto (2019); Carneiro e Bin (2019) |
| Implementação | Avaliação da adequação dos insumos | 0 | --- |
| Avaliação dos processos | 6 | Silva (1991); Davis e Esposito (1992); Silva e Davis (1993); Vianna (2000); Birman e Lopes (2013); Moreira e Souza (2019) | |
| Estudos/painéis de monitoramento | 2 | Neubauer (1996); Fernandes (2014) | |
| Etapa do ciclo de políticas | Tipos de avaliação | N | Referências* |
| Avaliação | Avaliação dos resultados imediatos/ de satisfação do público-alvo | 10 | Silva e Davis (1993); Martins (2001); Souza e Carnielli (2003); Davis et al. (2008); Neubauer et al. (2010); Birman e Lopes (2013); Garcia e Jesus (2015); Goes e Brandalise (2019); Athayde e Barbosa (2019); Falciano, Nunes e Santos (2019) |
| Avaliação de efeitos/impactos | 16 | Neubauer, Davis e Espósito (1996); Costa (1999); Reis, Souza e Rose (2009); Bauer (2010, 2012); Pasian e Rose (2011); Barros et al. (2012); Pires (2013); Alves et al. (2016); Vilela et al. (2017); Koslinski, Ribeiro e Oliveira (2017); Santos et al. (2017); Kasmirski, Gusmão e Ribeiro (2017); Furtado e Soares (2018); Koslinski e Bartholo (2019); Thomazinho (2019) | |
| Meta-avaliação | 3 | Gatti, Vianna e Davis (1991); Gatti (1994); Vargas, Perez e Diaz (2019) |
Fonte: Elaboração das autoras com base em dados da pesquisa.
* Para consultar as referências completas dos trabalhos, ver Quadro A (Anexo).
TABELA 2 Afiliação institucional dos autores que publicaram artigos sobre avaliação de programas na revista EAE no período de 1990 a 2019
| INSTITUIÇÕES | N |
|---|---|
| Fundação Carlos Chagas (FCC) | 16 |
| Universidade Federal do Rio de Janeiro (UFRJ) | 4 |
| Faculdade de Educação da USP (Feusp), Pontifícia Universidade Católica de São Paulo (PUC-SP) | 3 |
| Instituto Brasileiro de Geografia e Estatística (IBGE)/Escola Nacional de Administração Pública (Enap), PUC-Rio, Secretaria da Educação do Estado de São Paulo (SEE/SP), Serviço Nacional de Aprendizagem Industrial (Senai), Universidade Católica de Brasília (UCB), Universidade do Estado do Rio de Janeiro (UERJ), Universidade Federal do Paraná (UFPR), Universidade Federal de São Carlos (UFSCar), UnB | 2 |
| Banco Interamericano de Desenvolvimento (BID), Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF), Comunidade Educativa Cedac (CE-Cedac), Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária (Cenpec), Fundação Bradesco, Instituto Coca-Cola | 1 |
| Universidade Estadual de Ponta Grossa (UEPG), Faculdade de Economia, Administração e Contabilidade da USP (FEA/USP), Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto da USP (FEA-RP/USP), Fundação Getúlio Vargas (FGV), Insper | 1 |
| Instituto de Estudos do Trabalho e Sociedade (IETS) | 1 |
| Oort Tecnologia, Instituto Protagonistés | 1 |
| Pontifícia Universidade Católica de Campinas (PUC-Campinas) | 1 |
| Secretaria de Assuntos Estratégicos (SAE)/Brasil, Secretaria Municipal de Educação/Diretoria de Orientação Técnica (SME/DOT), Secretaria de Estado de Educação de Minas Gerais (SEE/MG) | 1 |
| Universidade Federal da Bahia (UFBA), Universidade Federal de Juiz de Fora (UFJF), Universidade Federal de Minas Gerais (UFMG), Universidade Federal do Piauí (UFPI), Universidade Federal de São João del-Rei (UFSJ), Universidade Federal de Viçosa (UFV), Universidade Estadual de Campinas (Unicamp), Universidade Cidade de São Paulo (Unicid), Universidade Federal do Estado do Rio de Janeiro (Unirio), Universidade Estadual de Maringá (UEM), Faculdade de Filosofia, Letras e Ciências Humanas da USP (FFLCH/USP) | 1 |
| Total de autores | 73 |
Fonte: Elaboração das autoras com base em dados da pesquisa.
Observa-se a prevalência de artigos publicados por pesquisadores da FCC, instituição responsável pela publicação da revista EAE, e de autores afiliados a instituições da região Sudeste, notadamente São Paulo. Como instituição reconhecida na área da avaliação educacional, a FCC realizou diversas pesquisas avaliativas no período cujos resultados, usualmente, foram publicados na revista. Além disso, destaca-se o papel de Heraldo Marelim Vianna, pesquisador da instituição no período de 1970 a 2007, para a disseminação, no Brasil, de aspectos teórico-metodológicos da avaliação educacional discutidos no exterior.
Outro destaque é a produção por parte de pesquisadores da USP, tanto da Faculdade de Educação quanto de outros institutos, e da Universidade Federal do Rio de Janeiro (UFRJ). Essa produção reflete tanto o trabalho de professores e pesquisadores das universidades públicas quanto de pesquisas propostas por mestrandos e doutorandos na área de avaliação.
Com menos expressão, mas ainda marcando presença na disseminação de resultados e propostas de avaliação de programas, estão os trabalhos realizados no âmbito dos próprios órgãos públicos, como o IBGE e a Secretaria de Assuntos Estratégicos da Presidência da República, bem como das secretarias de educação, em geral versando sobre projetos e programas por essas implantados.
A divulgação de resultados de avaliações propostos por instituições privadas de direito público ou privado também aparece na produção publicada pela revista, conforme se observa no Gráfico 2.
O fato de muitas dessas avaliações estarem sendo realizadas por instituições privadas, muitas vezes associadas ao terceiro setor e não, necessariamente, ao meio acadêmico, reitera mudanças nas concepções acerca da disseminação dos estudos avaliativos em relação ao que havia sido apontado por Barretto e Pinto (2001b). O Gráfico 2 registra que dos 73 autores que publicaram artigos no período sob estudo, 36 pertencem a instituições privadas que divulgaram os resultados de seus estudos. Essa mudança observada em relação às análises da produção acadêmica anteriores pode estar alicerçada na crescente valorização da produção científica de pesquisadores, não apenas do meio acadêmico, e de profissionais em geral que se dedicam à produção de conhecimento via pesquisa educacional, também pode contribuir para a maior divulgação dos resultados, inaugurando um caminho diferente dos que haviam sido traçados nos resultados de pesquisa de Barretto e Pinto (2001b) e de Sousa (2005).
Fonte: Elaboração das autoras com base em dados da pesquisa.
GRÁFICO 2 Quantidade de artigos sobre a temática “avaliação de programas” publicados de 1991 a 2019, segundo a natureza jurídica da instituição dos autores
Aliás, nesse sentido, nota-se, também, que as universidades têm contribuído para a construção de conhecimento na área de avaliação de programas, visto que 37 autores têm esse tipo de filiação institucional, com destaque para as federais e estaduais, tendência que não havia sido apontada em análises anteriores sobre a produção acadêmica nessa área.
No entanto, ao mesmo tempo em que se observa a maior pluralidade quanto ao tipo de instituições que têm realizado e divulgado estudos avaliativos de programas e projetos, nota-se a concentração regional dessa produção: eminentemente produzidos em São Paulo, os estudos também são realizados por instituições em Brasília, Rio de Janeiro (cidade) e Belo Horizonte e Juiz de Fora. São pouquíssimos os estudos publicados pela EAE que provêm de instituições do Nordeste (apenas um estudo, produzido em Teresina) e do Sul do país (notadamente oriundos do Paraná, com um estudo em Curitiba, um em Maringá e um em Ponta Grossa).
Para aquilatar a qualidade dessa produção, optou-se por analisar sua contribuição para a construção e aprofundamento do conhecimento na área. Para isso, consideraram-se as etapas do ciclo de políticas que têm sido avaliadas e o rigor teórico-metodológico com o qual esses estudos têm sido realizados.
A Figura 1 expressa os tipos de avaliação que podem ser realizadas em cada etapa do ciclo de políticas.
Com base nessa organização, buscou-se identificar sobre quais etapas têm re- caído os interesses dos pesquisadores que se dedicam à avaliação de programas. Cabe destacar que os resultados obtidos foram produzidos a partir da análise das autoras, sendo que muitas vezes o próprio autor do texto não anuncia sobre qual etapa da política ou do programa recai sua análise.
Fonte: Elaboração das autoras com base em Jannuzzi (2014) e Palumbo (1998).
FIGURA 1 Tipos de avaliação possíveis em cada etapa do ciclo de política
Definidos os tipos de avaliação pertinentes a cada etapa do ciclo de políticas, de acordo com os autores estudados (JANNUZZI, 2014; PALUMBO, 1998), procedeu-se à análise dos artigos selecionados, buscando identificar sobre quais focos recai a atenção do autor/autores. Os resultados podem ser encontrados na Tabela 1.
Há, ainda, dentre os estudos selecionados, aqueles que não se caracterizam como nenhum dos tipos de avaliação referidos na Figura 1 e na Tabela 1, ou seja, não se relacionam propriamente às etapas do ciclo de políticas, mas discutem usos de resultados de avaliação de aprendizagem como subsídio às avaliações de programas (DEPRESBITERIS, 1997; ABRAMOWICZ, 1994), fazem análise da percepção dos beneficiários sobre um programa (MONTEIRO, 2000) ou discutem consequências de avaliações em larga escala sobre os agentes escolares (CARVALHO; MACEDO, 2010). Um estudo realizou revisão de literatura de estudos avaliativos sobre a implantação do Plano Nacional de Educação (PNE) a fim de subsidiar a discussão do PNE 2014-2024, ou seja, teve como foco a reflexão sobre resultados de avaliações sem se caracterizar como meta-avaliação (SOUZA, 2014).
Também fizeram parte da seleção artigos teórico-conceituais sobre avaliação de programas ou seu monitoramento (GATTI, 1994; ABRAMOWICZ, 1994; DEPRESBITERIS, 1997; VIANNA, 2005, 2014; JANNUZZI, 2014, 2016; BAUER, 2019; CARNEIRO; BIN, 2019; VARGAS; PEREZ; DIAZ, 2019), sobre discussão de instrumentos metodológicos para esse tipo de avaliação (DEPRESBITERIS, 2004; TAVARES, 2012; FERNANDES, 2014) ou sobre proposição de indicadores que podem ser utilizados em análises e avaliações de programas (SOUZA; GOUVEIA; SCHENEIDER, 2011; JANNUZZI, 2016).
Os dados da Tabela 1 permitem afirmar que têm prevalecido, dentre os estudos, aqueles voltados para os resultados imediatos ou para os impactos dos programas. Talvez impulsionados pela tendência de realização de estudos de impacto, com o uso de estudos randomizados aleatórios - os RCT (randomized controled trials) e/ou metodologias estatísticas (como o propensity score matching, defendida por muitos como o golden standard para as avaliações de impacto de programas), percebe-se que, principalmente na segunda década dos anos 2000, aparecem mais estudos que utilizam bases de dados e modelos estatísticos para realizar esse tipo de avaliação ou, ainda, fazem a abordagem de forma conceitual. No entanto, há trabalhos intitulados como avaliação de impacto ou efeito do programa que não têm se utilizado de abordagens metodológicas ou bases teóricas canônicas para realização desse tipo de avaliação. Ainda que não se defenda, neste artigo, que apenas as abordagens experimentais ou quase-experimentais possam orientar esses estudos, percebe-se que os estudos de impacto de base qualitativa são feitos a partir da observação de poucos casos, muitas vezes sem um delineamento claro que permita fazer afirmações sobre os “impactos” do programa sob análise.
Também se observa que as avaliações sobre os processos de implementação ou mesmo sobre o desenho dos próprios programas, mais comuns nos primórdios da revista (década de 1990 e início dos anos 2000), têm se tornado mais raras. Da mesma forma, desenhos avaliativos mais amplos, que contemplam diversas etapas do ciclo de política, como os ilustrados pelos trabalhos de Silva e Davis (1993) e, mais recentemente, de Birman e Lopes (2013), também não têm sido frequentemente divulgados pela revista.
Interessante notar, ainda, a existência de trabalhos de caráter meta-avaliativo. A análise desses trabalhos permite afirmar sua importância para o aprimoramento dos próprios processos avaliativos em curso no país, mas também a necessidade de se construírem referências teórico-metodológicas sobre a própria temática da meta-avaliação.
Enfim, a análise dos dados da Tabela 1 permite perceber que ainda há muito o que se explorar no campo da avaliação de programas. Abordagens mais sistêmicas, que não se debrucem apenas sobre o desenho ou os resultados, tal como proposto por Jannuzzi (2016), podem ser mais exploradas nos estudos, assim como avaliações que focam as necessidades da avaliação, no diagnóstico do público-alvo e na adequação dos insumos dos programas (análises de custo e de custo-benefício), ainda ausentes ou pouquíssimo exploradas pelos estudos avaliativos que vêm sendo realizados.
No que se refere às temáticas de interesse, observa-se que grande parte dos estudos se debruça sobre programas educacionais direcionados ao ensino fundamental, principalmente programas e ações atinentes à alfabetização e às séries iniciais, quer de propostas para o ensino regular, quer de recuperação de aprendizagens relativas à leitura e à escrita realizadas por programas de apoio. Muito provavelmente esse foco temático relaciona-se ao grande esforço empreendido na área educacional para universalizar o ensino fundamental e melhorar o quadro de evasão e repetência que se seguiu à promulgação da Constituição Federal de 1988. Os trabalhos de Silva (1991), Davis e Esposito (1992), Silva e Davis (1993), Reis, Souza e Rose (2009), Neubauer et al. (2010), Carvalho e Macedo (2010), Pasian e Rose (2011) e Kasmirski, Gusmão e Ribeiro (2017) ilustram essa perspectiva.
Outros artigos também tiveram como alvo programas que recaíram sobre o ensino fundamental, mas com outros focos, como o aprimoramento de condições materiais das escolas (COSTA, 1999), a construção de noções de tempo e espaço em uma proposta de intervenção curricular (MARTINS, 2001) ou de avaliação de valores (TAVARES, 2012), as propostas de reorganização do ensino fundamental (NEUBAUER; DAVIS; ESPOSITO, 1996; SANTOS et al., 2017) e de gestão (SOUZA; CARNIELLI, 2003) ou ações de apoio à frequência à escola (MONTEIRO, 2000). Também foram encontrados trabalhos cuja atenção recaiu sobre programas de formação de professores do ensino fundamental, como os de Bauer (2010, 2012) e Birman e Lopes (2013).
Reflexões sobre programas e ações que recaem sobre as etapas de educação infantil e ensino médio estiveram presentes, ainda que em menor número. Fernandes (2014), Koslinski e Bartholo (2019) e Falciano, Nunes e Santos (2019) dedicaram-se à discussão de programas e ações relativas à educação infantil, e Barros et al. (2012) ao ensino médio, com a análise do Projeto Jovem de Futuro. Discussões acerca de programas relativos à educação profissional e tecnológica (DEPRESBITERIS, 2004; JANNUZZI, 2016) também estiveram presentes, ainda que de forma episódica.
O ensino superior também apareceu com centralidade em alguns dos artigos de avaliação de programas publicados pela revista. Parte das preocupações mais recentes recaíram sobre o acompanhamento de ações afirmativas como as cotas para as universidades públicas (COSTA et al., 2010; GARCIA; JESUS, 2015; VILELA et al., 2017). Foram publicados, também, textos avaliativos sobre programas relativos à formação docente em nível superior, como o Programa Institucional de Bolsas de Iniciação Científica (Pibic) (BÔAS; MARTINS; SOARES NETO, 2019; GOES; BRANDALISE, 2019), o PEC-Municípios (DAVIS et al., 2008) ou programas mais amplos, como o Ciências sem Fronteiras (ATHAYDE; BARBOSA, 2019) ou o Programa Universidade Para Todos (Prouni) (MOREIRA; SOUZA, 2019).
Em termos de rigor conceitual e metodológico, a análise da produção aponta duas tendências distintas: estudos bem fundamentados teoricamente, com metodologia apropriada aos objetivos enfocados pela pesquisa, e estudos pouco fundamentados, muitas vezes com discussão teórica ou metodológica não aderente à questão ou aos objetivos de pesquisa ou com caráter mais informal, constituindo-se, nas palavras de Souza (2014), de avaliações lato sensu. Há, até mesmo, artigos que não dialogam com nenhum trabalho de avaliação de programas, que ficam totalmente ausentes de suas referências.
Em contrapartida, há trabalhos que contribuem para o aprimoramento da área por seu rigor teórico-metodológico, tornando-se referência para estudos futuros.
Tais achados são condizentes com as considerações que já haviam sido feitas por Barretto e Pinto (2001b) há cerca de 20 anos. Segundo as autoras, grande parte dos trabalhos não explicita a metodologia de avaliação utilizada nem o suporte teórico de análise, assumindo mais um caráter descritivo da política ou programa, a partir dos quais são tiradas conclusões acerca de sua eficiência e eficácia.
Essa lacuna provavelmente se deve à pouca tradição desse tipo de estudo. Mesmo que justificada, pode-se supor que a escassez de produções na área dificulta a construção de um quadro de referência para suas análises.
CONSIDERAÇÕES FINAIS
O estudo dos artigos publicados na revista Estudos em Avaliação Educacional, referentes à análise de políticas e à avaliação de programas, indica que, no percurso do periódico, no período de 1991 a 2019, produções das duas áreas de conhecimento foram veiculadas, sinalizando tanto uma progressiva articulação entre essas quanto a complexidade em distingui-las. Uma tendência clara observada nos trabalhos analisados foi a dificuldade, algumas vezes dos próprios autores, em distinguir avaliação de análise de políticas, sendo que alguns artigos autoqualificados avaliações aproximam-se mais da análise de políticas.
Apesar disso, o número de publicações relacionadas à análise de política, no total 15 estudos do gênero, é bem menor do que o de avaliação de programas, que totalizou 50 artigos nesse período. Ainda assim, o conjunto de textos publicados analisados como de avaliação de programas não é tão expressivo, considerando-se o intervalo de 28 anos, o que condiz com o fato de a avaliação de programas não ser uma tendência fortemente arraigada na área educacional, mesmo nos anos finais do século XX.
Dentre os trabalhos classificados como de análise de políticas, muitos focam, de acordo com a perspectiva up-down, a estrutura e o quadro normativo de políticas e programas, utilizando-se de procedimentos metodológicos descritivos e com poucos aportes teóricos embasando o estudo. Outra observação é que, no segundo decênio do século XXI, as análises de implementação de políticas aparecem no periódico, apresentando um quadro teórico-conceitual um pouco mais estruturado, assim como modelos de análise mais definidos do que as produções do início dos anos 2000. Mesmo assim, em geral os estudos têm um escopo mais limitado e um porte investigativo menor, com ênfase em pesquisas de natureza qualitativa e foco em um número de casos reduzido.
Nesses trabalhos, observam-se ainda algumas dificuldades relativas à falta de consenso sobre conceitos específicos e quadros de referência teórica que ofereçam suporte às investigações realizadas.
Com relação aos trabalhos considerados de avaliação de programas, a distribuição dos artigos publicados ao longo de 1991 e 2019 permite observar um crescimento significativo dessa produção a partir de 2012. Esse crescimento, no entanto, não foi acompanhado de um maior investimento no desenvolvimento teórico-metodológico da área, ainda que alguns trabalhos de maior fôlego teórico e metodológico comecem a despontar. De todo modo, predominam, nos artigos, as avaliações que utilizam abordagens qualitativas e que, como no caso dos artigos de análise de políticas, debruçam-se sobre alguns casos, com base nos quais são feitas afirmações sobre a efetividade dos programas.
Tendo em vista esse cenário, percebe-se que a área de educação ainda precisa investir tanto nas pesquisas que fazem análise de políticas quanto nas que propõem avaliação de programas, na construção de um referencial teórico-metodológico que lhes subsidiem e, principalmente, no diálogo com esses referenciais. O aprimoramento e a divulgação de um campo de conhecimento passam não somente pelo rigor teórico-metodológico, mas pela clareza dos autores sobre o tipo de trabalho que estão realizando, a fase da política na qual incidem suas preocupações e as formas mais adequadas de fazer investigações sobre políticas públicas, a fim de se obterem resultados confiáveis e generalizáveis a ponto de informar a reformulação e o aprimoramento dessas políticas, dentre outros aspectos.
A análise dos trabalhos realizada neste artigo permite afirmar que muito tem sido produzido nos últimos anos em termos de análise de políticas e avaliação de programas, restando o desafio de qualificar cada vez mais essa produção.
