1. Políticas públicas: relevância para a educação superior

Ao dar ênfase ao ciclo de uma política pública, ^{Frey (2000}) realça quatro etapas: percepção e definição de problemas; elaboração de programas e decisão; implementação; avaliação para a correção e aperfeiçoamento. Considerando que esta última fase é de interesse para o presente estudo, deve-se enfatizar o que significa avaliar uma política pública. Segundo ^{Andriola (1999}), a avaliação é uma atividade racional que tem a pretensão de obter informações científicas e úteis acerca do objeto analisado, com duplo propósito: permitir sua valoração e possibilitar seu aprimoramento. Assim, a avaliação deve compor obrigatoriamente o ciclo das políticas públicas, dada sua relevância para identificar as repercussões e os impactos destas (^{Araújo; Andriola; Coelho, 2018}).

Desde seus primórdios, na década de 1960, a avaliação de políticas púbicas sofreu mudanças, pois, inicialmente, se dava ênfase ao fornecimento de informações científicas, garantindo o feedback (^{Sousa; Andriola; Lima, 2016}). Na década de 1980, quando se buscou mais eficiência no uso dos recursos, focou-se na análise da alocação orçamentária (^{Faria, 2005}; ^{Souza, 2003}). A partir de 1990, o foco deslocou-se para o papel do Estado, atendendo a exigências de se verificar os resultados dos investimentos públicos (^{Trevisan; Bellen, 2008}).

Nos últimos anos, observou-se um movimento global para criar políticas nacionais de avaliação, com o fito de analisar a relevância, a eficácia, a eficiência e a efetividade de programas públicos (^{Andriola; Suliano, 2015}). Trata-se de um movimento cujo nascedouro remonta às ideias de Michael ^{Scriven (1969}) sobre meta-avaliação e accountability. Hodiernamente, focaliza-se a accountability numa perspectiva ampla, como atividade a serviço dos ideais democráticos, na qual administradores públicos têm o dever de buscar aquilo que Platão, Aristóteles e Cícero trataram como “o bem comum” (^{Rocha, 2011}). Portanto, accountability é uma perspectiva de transparência e de controle da coisa pública, por meio de sistemáticas de avaliação que geram informações relevantes acerca dos recursos empregados na execução dos programas e dos resultados das políticas públicas (^{Scriven, 1994}), expressando, assim, as noções de responsabilização, transparência e prestação de contas à sociedade (^{Andriola; Oliveira, 2015}).

Contudo, esse conceito surgiu abarcando aspectos mais amplos, pois accountability associava-se, também, às questões financeiras e contábeis, sendo inexorável aos estudos de políticas e programas subsidiados com recursos públicos (^{Afonso, 2009}). Trata-se de uma função de suma importância, especialmente quando o objeto de avaliação é uma política pública que demandou recursos financeiros públicos (^{Andriola, 2004}).

Portanto, é, sobretudo, esse último aspecto que justifica a presente pesquisa, cujo objetivo foi avaliar os impactos do Programa de Apoio a Planos de Expansão e Reestruturação das Universidades Federais (Reuni), no âmbito Universidade Federal do Ceará (UFC).

2. Avaliação de impactos

A avaliação de impactos surgiu com as teorizações do norte-americano Ralph Winfred Tyler, em 1930, baseadas na ideia de que os efeitos de uma ação intencional deveriam ser identificados, de modo a realçar a relevância desta e proporcionar prova empírica da relação de causalidade entre a ação e os seus efeitos (^{Tyler, 1949}). ^{Draibe (2001}) diferenciou os termos resultado, efeito e impacto: resultado é o produto direto e previamente estabelecido de uma ação; efeito é a influência oriunda da ação, que acabou por repercutir no meio; e impacto é o resultado de uma mudança de longo prazo atribuível à ação executada.

Assim, impacto é uma relação causal entre uma intervenção e seus resultados (^{Mohr, 1992}), o que se coaduna com as ideias de ^{Scriven (1994}), para quem a avaliação de impacto deve focar os resultados. ^{Bickman (2005}) pondera, no entanto, que as avaliações de impacto devem verificar em que grau as mudanças podem ser atribuídas a uma intervenção e não a outros fatores. O Glossary of Key Terms in Evaluation and Results Based Management, da Organização para Cooperação e Desenvolvimento Econômico (OCDE), define impacto como efeito de longo prazo produzido por uma intervenção, corroborando ^{Baker (2000}), que entende a avaliação de impacto como atividade para determinar se um programa teve os efeitos desejados sobre indivíduos, famílias ou instituições, e se são atribuíveis à ação.

2.1 Avaliação de impactos e causalidade

Para ^{Leeuw e Vaessen (2009}), o conhecimento sobre os efeitos produzidos por uma intervenção requer uma estimativa precisa do que ocorreria na ausência dela. ^{Baker (2000}) também defende que o cálculo do contrafactual deve compor a metodologia usada numa avaliação de impactos. A ^{OECD (2006}) destaca que o contrafactual é uma situação hipotética que prevaleceria para indivíduos, organizações ou grupos, na ausência de uma intervenção.

^{Leeuw e Vaessen (2009}) e ^{Bauer (2010}) indicam que vários fatores podem afetar os resultados, de modo que o diferencial da avaliação de impacto é ir além do factual, sendo necessário descobrir o valor agregado decorrente da intervenção. Assim, após resolver o “problema de atribuição”, é imprescindível tentar isolar e medir, com máxima precisão, o contributo particular de uma intervenção, estimando o que teria acontecido na ausência desta, ou seja, determinando o contrafactual, conforme ilustrado na Figura 1, a seguir.

Fonte: Elaboração própria baseada em ^{Leeuw e Vaessen (2009})

Figura 1 O modelo contrafactual de Leeuw e Vaessen 

A Figura 1 representa o que hipoteticamente aconteceria na ausência da intervenção, mediante a linha tracejada descontínua, que estabelece relação causal entre a e c, denotando, assim, o contrafactual. A linha tracejada contínua estabelece relação causal entre a e b, enfatizando o que de fato ocorreu após a intervenção (cenário factual). Assim, a ação (representada por a) pode ter o seu impacto averiguado pelo estabelecimento da diferença entre b e c, ou seja, pela diferença entre o factual e o contrafactual. No caso de a diferença ser favorável ao factual, conclui-se que houve valor agregado pela ação intencionalmente executada, implicando impacto positivo.

3. O Reuni como política pública

Consoante ^{Saviani (1999}), no Brasil, a ideia de propor planos educacionais remonta à década de 1930 e sua primeira manifestação explícita ocorreu em 1932, com o “Manifesto dos Pioneiros da Educação Nova”. Nesse documento previa-se a necessária unidade de objetivos e visões desenvolvimentistas, aliada ao espírito de continuidade, para se criar um sistema de organização educacional à altura das necessidades do País, naquela ocasião.

No caso específico do Plano Nacional da Educação (PNE), desenhado para o decênio 2001-2020, o plano é resultado da correlação das forças sociais gerais, voltadas à definição de políticas educacionais com foco numa determinada formação social, relevante para um determinado momento histórico-político (^{Neves et al., 1984}). Dessa perspectiva, percebe-se a complexa relação existente na época, que envolvia uma particular visão de Estado e as demandas de segmentos sociais organizados, voltadas à educação pública como garantia de um Estado atuante e zelador da democracia. Nesse cenário surgiu o Reuni, com o objetivo central de dotar as universidades federais das condições necessárias para ampliar o acesso e garantir a permanência de pelo menos 30% dos universitários de 18 a 24 anos de idade, conforme o PNE (Lei nº 10.172/2001). Ademais, o Reuni pretendeu induzir revisões na organização didático-pedagógica dos novos cursos, para ocasionar mudanças em dois indicadores de desempenho: a taxa de sucesso na graduação (TSG) e a ratio discentes de graduação/docentes (^{Rocha, 2018}).

Essa demanda social pela expansão de Instituições Federais de Ensino Superior (Ifes) e vagas de graduação, bem como pela melhoria da qualidade da oferta de cursos, exigiu a contratação de novos recursos humanos destinados às universidades federais que, em 2011, totalizou quase 69 mil docentes e 105 mil funcionários técnico-administrativos, com previsão orçamentária de quase R$ 23.6 bilhões (^{Lima; Machado, 2016}). Ademais, tornou-se necessário investir em políticas de inclusão e de assistência estudantil para garantir a democratização do acesso e a permanência do alunado, o que ocasionou, em 2011, o investimento de R$ 395 milhões direcionados ao Programa Nacional de Assistência Estudantil (Pnaes). O Reuni induziu, ainda, a criação de cursos de graduação noturnos, buscando atrair um novo perfil de alunado, que resultou em demandas diferenciadas e em adaptações diversificadas, principalmente no que tange às abordagens de ensino e aprendizado.

Portanto, o novo cenário da educação superior nas duas primeiras décadas do século 21 colocou as Ifes brasileiras em uma encruzilhada. Por um lado, são cada vez mais cobradas com relação à eficiência, à qualidade dos processos formativos, ao desenvolvimento da pesquisa e à produção de conhecimentos científicos que respondam aos desafios e aos problemas sociais, econômicos, políticos e culturais. Nessa direção, organismos supranacionais reclamam dos governos centrais de países em desenvolvimento maior eficiência na diminuição da pobreza e do analfabetismo, que se dá, sobretudo, com sólidos investimentos educacionais. Por outro lado, há pressões da sociedade por retornos visíveis em inovações que ocasionem melhorias na qualidade de vida da população em geral, pois as Ifes são financiadas pelo contribuinte (^{Marra; Melo, 2005}).

Desse modo, o Reuni foi idealizado como uma política pública com vistas a contribuir para o incremento de vagas e cursos, a democratização da permanência do alunado, a indução de novas formas de gestão acadêmica e de ensino, a inclusão social e a maior eficiência das Ifes. Não obstante, nem sempre tais objetivos foram efetivamente alcançados, conforme a seguir apresentado.

Com o intento de analisar os principais resultados proporcionados pelo Reuni, ^{Magalhães e Martins Real (2018}) ¹constataram que diversos estudos convergiram para o diagnóstico de que a referida política pública não alcançou as principais metas propostas, relacionadas aos três mais relevantes eixos: taxas de conclusão discente em cursos de graduação, reestruturação curricular e otimização da razão estudantes de graduação/docente. Contudo, informações decorrentes de pesquisas reforçam a ocorrência da ampliação das taxas de ingresso e a diversificação do perfil dos estudantes, incluindo-se aqueles oriundos de escolas públicas e em situação de vulnerabilidade socioeconômica (^{Ristoff, 2014}).

^{Magalhães e Martins Real (2018}) destacaram a inexistência de ações de assistência para garantir a permanência estudantil, bem como ações de gestão acadêmica para incrementar as taxas de aprovação e de diplomação. ^{Lugão, Abrantes e Brunozi Júnior (2015}) acentuaram que poderia haver resultados negativos, dada a ausência de planejamento institucional para se obter indicadores de desempenho tão elevados, como é o caso da taxa de conclusão de graduação, que deveria alcançar 90%. Asseveram os autores que o Reuni esteve mais direcionado à expansão de vagas na graduação do que à reestruturação acadêmico-curricular, pois não foram verificados avanços significativos nesse aspecto na ampla maioria das universidades federais brasileiras.

De fato, conforme ^{Trevizan e Novaes (2015}), a reestruturação acadêmico-curricular não foi implementada com a contundência necessária, diante da diversidade do alunado e das novas demandas sociais. Os autores ressaltaram, ainda, que:

A flexibilização das estruturas curriculares ocorreu através da redução do número de pré-requisitos, sendo mantidos somente os pré-requisitos considerados imprescindíveis ao bom rendimento escolar, redução de disciplinas obrigatórias e aumento do número de disciplinas optativas, bem como do uso das tecnologias educacionais, disponibilizando carga horária semipresencial nos cursos presenciais (^{Trevizan; Novaes, 2015}, p. 229).

Portanto, pelo visto, o Reuni não conseguiu solucionar um grave empecilho que se faz presente nas universidades federais: modelos curriculares que prezam pela hierarquização do conteúdo, pela pouca flexibilização e pela excessiva carga horária em sala de aula. As ações acadêmicas voltadas à reestruturação curricular parecem não ter surtido os efeitos ansiados e desejados pela comunidade universitária. Nos poucos casos em que tal ocorreu, foi de modo muito parcimonioso, precário e superficial (^{Trevizan; Novaes, 2015}).

No que tange aos efeitos do Reuni sobre o desempenho das universidades federais, ^{Moura e Passos (2015}) se debruçaram sobre os indicadores exigidos anualmente pelo Tribunal de Contas da União (TCU). As análises revelaram a qualidade de 53 universidades partícipes do estudo em dois aspectos: i) taxa de sucesso na graduação (TSG) - tão somente 13,2% (n = 7) alcançaram 90%, valor estipulado pelo Reuni; ii) razão aluno integral/professor - expressiva maioria das universidades (74,6% ou n = 39) alcançou o valor médio 12, com mínimo 9 e máximo 15, portanto, muito abaixo do valor idealizado, que era 18. ^{Moura e Passos (2015}) foram contundentes em suas interpretações: o Reuni fracassou, considerando-se os dois indicadores referidos.

^{Paula, Faroni e Baeta (2016}) analisaram dados secundários de 63 universidades federais brasileiras e atestaram que, no estado de Minas Gerais, nenhuma universidade havia alcançado o ratio 18 para o indicador aluno integral/professor. O valor médio encontrado no período analisado (2007 a 2014) foi 11,81, com máximo de 16,89 e mínimo de 5,16. Quanto à TSG, no período de 2007 a 2011 houve cinco universidades mineiras (7,94% do total) que alcançaram valores superiores ou equivalentes a 90%, honrando, assim, o valor idealizado pelo Reuni. Não obstante, no período de 2012 a 2014, a média aritmética simples do TSG alcançou o valor de 77,41%, abaixo do estipulado pelo Reuni. Portanto, os resultados de ^{Paula, Faroni e Baeta (2016}) corroboraram os achados de ^{Moura e Passos (2015}) e convergiram para a visão de que o Reuni fracassou, considerando-se os dois indicadores referidos.

^{Passos, Quaresma e Santos Dias (2017}) compararam os valores médios dos dois indicadores (TSG e ratio aluno integral/professor) num universo de 53 universidades federais. Conforme relataram, a relação média aluno integral/professor passou de 12 para 11,7, enquanto a TSG declinou de 65,99% para 50,32%. Assim, os autores concluíram que o Reuni não produziu os efeitos desejados sobre o desempenho das universidades. Apesar disso, ^{Araújo e Santos (2014}) demonstraram a extrema relevância do Reuni para o crescimento institucional, com o reconhecimento da comunidade interna e da equipe gestora, acerca dos impactos positivos quanto à democratização do ensino e à ampliação das vagas ofertadas à sociedade.

Diante das exposições sobre a relevância das políticas públicas voltadas à educação superior e da necessidade de garantir a avaliação delas, com o fito de prestar contas à sociedade (accountability), a presente pesquisa objetivou avaliar os impactos oriundos da implementação do Reuni na Universidade Federal do Ceará (UFC), identificando seus efeitos sobre quatro indicadores institucionais: i) titulação dos docentes; ii) acervo bibliográfico; iii) qualidade da graduação; e iv) qualidade da pós-graduação.

4. Metodologia e design do estudo

A pesquisa visou comparar a fase anterior ao Reuni (anos 2003 a 2008) com a fase posterior (anos 2010 a 2016), o que implicou uma investigação ex-post facto, de natureza descritiva, em consonância com ^{Leeuw e Vaessen (2009}) e ^{Cohen e Franco (2004}).

5. Resultados principais

Apresentar-se-ão resultados descritivos (tendência central e variabilidade) e inferenciais, decorrentes da comparação das variáveis consideradas, recorrendo-se ao teste denominado Análise de Variância (Anova), conforme ^{Kerlinger e Lee (2000}).

6. Conclusões

Os resultados obtidos, ao se contrastarem os períodos anterior e posterior ao Reuni, particularmente no que se refere aos impactos dessa política pública sobre alguns indicadores de desempenho institucional de uma Ifes, permitiram incrementar o conhecimento científico acerca da relevância da citada ação estatal. A pesquisa demonstrou a significância do Reuni para o ensino de graduação e de pós-graduação, bem como para o fomento de oportunidades de estudo à sociedade brasileira, por meio da oferta de novas vagas e cursos. Portanto, os achados fortalecem a posição dos educadores, gestores, estudiosos e pesquisadores defensores das políticas públicas voltadas à educação superior.

Destarte, com o fito de aprofundar-se na temática da avaliação de políticas públicas em educação, com foco específico sobre os impactos do Reuni, adicionalmente dividiu-se este tópico em dois conjuntos de análises e valorações. O primeiro incidirá sobre os impactos do Reuni na UFC, num olhar sobre o cenário micro, enquanto o segundo valorará a política pública em um panorama lato, como uma ação estatal destinada à educação superior, num cenário macro.