Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
A discussão sobre o emprego da avaliação como base para a tomada de decisões acerca de políticas e programas nos âmbitos público e privado remonta à própria emergência do campo da ciência política a partir de meados do século XX (WEISS, 1998; PARSONS, 2007; VEDUNG, 2010). Desde então, o debate sobre avaliação de políticas e programas tem evoluído consideravelmente, tanto em uma perspectiva mais conceitual - referente aos objetivos e ao posicionamento da avaliação nos processos políticos e sua relação com os processos decisórios - quanto em uma perspectiva mais prática, atrelada aos aspectos metodológicos, organizacionais e institucionais relacionados com sua implementação (CARLSON, 2011).
Apesar dessa evolução, muitos são os desafios que ainda persistem para que as experiências reais de avaliação sejam capazes de subsidiar sistematicamente as políticas e os programas, criando insumos para seu planejamento e melhoria contínua, para a prestação de contas e para o aprendizado organizacional (ALKIN; KING, 2016). A superação desses desafios está relacionada, entre outros aspectos, à construção de sistemas de avaliação completos, efetivos, eficientes e eficazes, que integrem distintas perspectivas temporais e distintos objetivos da avaliação. A concepção e implementação desses sistemas, aqui compreendidos como sistemas de avaliação continuada, certamente estão na fronteira dos estudos de avaliação (SANDERS, 2002).
O objetivo deste artigo é apresentar e discutir a experiência de avaliação continuada de um programa de educação superior de uma universidade estadual pública, sob a perspectiva da criação de um sistema de avaliação de um programa que forneça insumos para a tomada de decisões. Trata-se do Programa de Formação Interdisciplinar Superior da Universidade Estadual de Campinas (ProFIS-Unicamp), que é ao mesmo tempo uma ação afirmativa, um curso de educação geral e uma nova forma de acesso à universidade e aos cursos de graduação profissionais.
A avaliação do programa vem sendo conduzida por uma equipe de pesquisadores e alunos de graduação e pós-graduação da universidade, com apoio da Pró-Reitoria de Graduação desde o início de sua implementação em 2011. A avaliação inclui análise de viabilidade do programa, mensuração de seus resultados intermediários e finais, assim como o acompanhamento dos beneficiários em um estudo longitudinal. Além disso, pontualmente são realizadas análises comparativas com desenhos quase-experimentais.
A contribuição do trabalho é justamente a de trazer à tona as soluções encontradas a partir dessa experiência real de avaliação continuada, que vem sendo realizada há 8 anos. Assim, serão abordados não apenas o desenho a avaliação de forma concomitante à implantação do programa, mas também a produção e uso contínuo de dados como suporte ao planejamento.
Além desta introdução, o texto traz mais cinco seções. A segunda seção discute o conceito e a prática da avaliação continuada, enfatizando alguns aspectos relacionados à área de educação superior. A terceira seção faz uma breve apresentação do ProFIS e do contexto para a implementação integrada do programa e de sua avaliação. O sistema de avaliação continuada do ProFIS é apresentado na quarta seção, na qual também são discutidas as formas pelas quais os resultados da avaliação têm sido empregados para a gestão do programa. A quinta seção apresenta e discute os desafios da construção e manutenção do sistema de avaliação continuada do ProFIS. Por fim, são apresentadas algumas considerações finais sobre a experiência apresentada, assim como as limitações do artigo e a perspectiva de estudos futuros.
AVALIAÇÃO CONTINUADA: UMA PRÁTICA EM CONSTRUÇÃO
O conceito de avaliação continuada parte da ideia de que a avaliação integra o próprio objeto da avaliação, seja ele um programa ou uma política. Sob essa ótica, a avaliação deve apoiar tanto a formulação quanto a implementação de um determinado programa ou política e não apenas ser empregada para mensurar seus resultados e impactos após o término da intervenção. Essa perspectiva não é nova do ponto de vista conceitual, embora em termos práticos ainda esteja em construção.
A abordagem do ciclo de políticas, empregada nesse campo de estudos desde a década de 1950 e ainda bastante influente nos dias atuais, pode ser convencionalmente compreendida a partir de cinco estágios principais que descrevem a cronologia do processo político: definição da agenda (reconhecimento de um problema a ser equacionado); formulação da política ou programa; tomada de decisão; e implementação e avaliação (DYE, 1992; FREY, 2000; JANN; WEGRICH, 2007). Nessa concepção de viés mais prescritivo, a avaliação posiciona-se tanto na etapa de tomada de decisão, para apoiar a escolha entre distintas opções de políticas ou programas, quanto no final do ciclo, como forma de apoiar a mensuração da efetividade e eficiência das políticas ou programas (e os benefícios gerados). De acordo com os autores, apesar de essa abordagem contemplar, como a própria denominação sugere, uma perspectiva cíclica, que considera uma realimentação do estágio de definição da agenda a partir dos resultados da avaliação, trata-se ainda de um modelo simplificado quando observadas as condições reais do processo político, uma vez que são poucos os casos em que as decisões para interromper ou dar continuidade a uma intervenção passam por processos de avaliação.
Analisando a evolução das abordagens prescritivas e descritivas do processo político, outras críticas se colocam à abordagem do ciclo de políticas e também ao posicionamento e forma de condução da avaliação nesse contexto. Na tentativa de formalizar um método alternativo para a concepção e implementação de políticas sob uma perspectiva incremental, Lindblom (1959) enuncia algumas destas críticas: ausência de objetivos totalmente explícitos na política (assim como dos valores e preferências associadas) e impossibilidade de avaliação objetiva e abrangente de todas as alternativas possíveis. Nesse sentido, o autor discute essencialmente os limites de uma avaliação racional como subsídio para a tomada de decisão acerca das alternativas de políticas ou programas que podem ser empregadas para um dado problema (e não da avaliação que se espera que ocorra ao final do ciclo de políticas), aproximando-se fortemente da discussão de tomada de decisões no contexto organizacional e da racionalidade limitada de Simon desenvolvida no final da década de 1940 (SIMON, 1947).
Na tentativa de sintetizar os distintos modelos de formulação e análise de políticas públicas que vêm sendo empregados desde a emergência desse campo - indo além das abordagens do ciclo de políticas e do incrementalismo brevemente apresentados anteriormente -, Souza (2006) conclui que um dos elementos principais colocados pelos modelos para a compreensão das políticas públicas é justamente o envolvimento de vários atores e de vários níveis de decisão, sendo a avaliação compreendida como base para a tomada de decisões, parte inerente dos processos políticos.
Como bem colocam Jann e Wegrich (2007), muita embora a avaliação seja um elemento intrínseco na compreensão do processo político, ela também constitui uma área própria do conhecimento no espectro das ciências sociais, fortemente discutida desde a década de 1960. Nesse viés, Wollmann (2007) indica como a avaliação pode ser aplicada à totalidade do processo político a partir de distintas perspectivas temporais: avaliação ex-ante, que precede a tomada de decisão sobre as opções de políticas ou programas; a avaliação de meio termo (ongoing evaluation ou interim evaluation, como comumente designada na literatura), que ocorre durante o processo de implantação da política e para subsidiar ajustes nesse processo; e a avaliação ex-post, direcionada à identificação do grau de atingimento dos objetivos propostos na política ou programa (e metas associadas), assim como dos efeitos não esperados.
Além da classificação com base na perspectiva temporal, há outras importantes classificações utilizadas na avaliação de políticas e programas e que são fundamentais para a compreensão do conceito de avaliação continuada. A distinção entre avaliação formativa e somativa inicialmente proposta por Scriven (1967) é uma delas. Avaliação formativa é aquela orientada a suportar o desenvolvimento das atividades de uma dada política ou programa em suas fases iniciais ou nos momentos de readequação; avaliação somativa é aquela que serve de base para a tomada de decisões sobre a continuidade ou interrupção de uma política ou programa a partir da mensuração dos resultados e impactos finais de suas atividades (WEISS, 1998). Embora tal distinção seja importante em termos conceituais, como forma de compreender as motivações de uma dada avaliação, na prática, elas ocorrem muitas vezes de forma combinada ou simultânea.
Apesar de avanços evidentes na institucionalização da avaliação de políticas e programas no âmbito de distintos países na última década (WOLLMANN, 2007; CHOUINARD, 2013b), pode-se afirmar que ainda há um longo caminho para que essa prática torne-se sistemática e também para que haja uma efetiva integração entre as avaliações que ocorrem em distintas perspectivas temporais e/ou entre as avaliações formativas e somativas. Na realidade, o que se observa é a predominância de avaliações desenhadas apenas após o término da intervenção, quando surgem as necessidades de demonstrar os benefícios gerados e realizar prestação de contas (de forma bastante alinhada com a abordagem da Nova Gestão Pública - NGP1). Nesses casos, são evidentes tanto as dificuldades operacionais para conduzir os estudos de avaliação quanto aquelas relativas à própria utilização dos resultados gerados.
As dificuldades operacionais de posicionar as avaliações apenas ao final de um ciclo estão essencialmente relacionadas com a necessidade de reconstruir de forma ex-post os objetivos iniciais da política ou programa, assim como a “linha de base” do estudo, que se refere às condições existentes no momento preciso da implantação. Esses pontos são essenciais justamente porque uma avaliação precisa responder, entre outros aspectos, se a política ou programa atingiu os objetivos inicialmente desenhados, assim como mensurar a direção e a intensidade das transformações ocorridas desde uma situação inicial (momento t o do estudo) até o momento da avaliação. Muito embora seja possível identificar esses pontos anos após a implementação de uma política ou programa, não se trata de uma tarefa trivial, justamente porque os objetivos modificam-se (ou pelo menos a compreensão deles), e torna-se mais difícil obter as informações de entrada, pois dependem da reconstrução de uma situação passada. Esse afastamento do quadro referencial da política ou programa prejudica, via de regra, o desenho e a própria legitimidade da avaliação.
O posicionamento da avaliação ao final do ciclo também limita as possibilidades de desenhos quase-experimentais, que procuram comparar os beneficiários de uma política ou programa com outros grupos de controle a fim de checar se (e quanto) as mudanças observadas devem-se ao objeto avaliado (RAMOS, 2009). Se levantar os dados dos beneficiários diretos após o término da política já não é tarefa fácil, fazer o mesmo com eventuais grupos de controle é ainda mais desafiante.
O segundo tipo de limitação diz respeito à própria utilização dos resultados obtidos. Gerar informações ao final de um ciclo impede necessariamente a correção de rumos ao longo do processo, tendo um viés muito mais somativo do que formativo. Embora seja possível reorientar ações associadas com implantação e condução de uma política ou programa a qualquer momento, não é possível agir retroativamente, evitando resultados ou impactos indesejados.
O que se observa aqui são as lacunas relacionadas à interação entre a teoria e a prática avaliativa (CHOUINARD, 2013a): sob a ótica conceitual, a avaliação é tomada como parte da própria definição de uma política ou programa, de forma integrada ao processo decisório para proporcionar ganhos em termos de eficiência, eficácia e efetividade a todo e qualquer momento, ou seja, ela é vista como um processo de produção de conhecimento que fortalece a capacidade de planejamento e amplia a competência institucional para fazer previsões e para lidar com incerteza e complexidade inerente à implantação de políticas e programas e geração de resultados desejáveis (GARCIA, 2001); sob uma perspectiva prática, há inúmeros desafios metodológicos, organizacionais e institucionais para que a avaliação realmente ocorra dessa forma.
O que a ideia de avaliação continuada propõe é justamente a superação - pelo menos em parte - dessas lacunas pela construção e aplicação de um sistema de avaliação capaz de reproduzir a integração desejada com um processo contínuo de tomada de decisões (SANDERS, 2002). Assim, retoma-se o argumento anterior de que a perspectiva conceitual da avaliação continuada não é nova, embora sua implementação na prática seja ainda incipiente. As referências apresentadas a seguir mostram alguns exemplos de como essa ideia de avaliação continuada vem sendo tratada por distintos autores.
Cunningham e Nedeva (1999) usam o conceito de avaliação continuada ao propor o desenho de um sistema de monitoramento e avaliação para um mecanismo de incentivo à cooperação científica e tecnológica na Europa. De acordo com os autores, a ideia de um sistema de avaliação continuada deveria proporcionar, entre outros aspectos: uma base confiável de informações (anual e cumulativa) para ações corretivas; uma internalização do esforço de avaliação (sem descartar completamente a participação de avaliadores externos); maior uso dos resultados pelos usuários do mecanismo; uso menos intensivo de recursos financeiros e humanos para a condução da avaliação (quando em comparação com avaliações pontuais).
Horton e Mackay (2003) propõem um sistema de gestão e avaliação de programas de pesquisa agrícola, bastante aderente ao conceito de avaliação continuada em discussão. Na primeira etapa deste ciclo, a definição da agenda, a avaliação é empregada tendo em vista as necessidades - demandas e oportunidades para a pesquisa. Nas fases posteriores (de identificação, avaliação e seleção das alternativas), a atividade de avaliação é empregada para apoiar a priorização dos programas que devem ser implementados, assim como as propostas de projetos de pesquisa pertinentes ao programa criado. Na fase da implementação, a avaliação toma forma de um exercício de monitoramento, apoiando o acompanhamento das pesquisas em andamento. A partir do momento em que as pesquisas são concluídas, a avaliação se foca na mensuração da performance dos projetos, de seus resultados e, após alguns anos, de seus impactos. Durante todo o processo, a avaliação continuada permite a revisão da agenda, dos programas priorizados e de sua gestão, a partir da geração contínua de informações relevantes para os gestores. Os autores indicam, no entanto, as limitações das instituições de pesquisa agrícola para a adoção de modelos tão completos, assim como as consequências do emprego de avaliações para o aprendizado institucional.
Patton (2010) caminha em uma direção próxima à ideia de avaliação continuada ao propor o conceito e a prática da avaliação de desenvolvimento (ou developmental evaluation no termo cunhado pelo autor). A ideia do autor é pensar a avaliação como um processo de aprendizado, que gera dados e informações capazes de redesenhar continuamente os objetivos, metas e formas de condução de políticas, criando, a cada momento, novas questões para avaliação. Para o autor, enquanto uma avaliação formativa está preocupada em criar insumos para melhorar incrementalmente o processo de implantação de uma política, a avaliação de desenvolvimento está preocupada justamente na evolução do próprio objeto da avaliação. Segundo o autor, essa ideia não elimina as perspectivas da avaliação formativa e somativa, mas inclui uma nova perspectiva de avaliação mais adequada para sistemas complexos, caracterizados pela não linearidade, emergência, dinamismo, adaptação, incerteza e processos evolucionários, nos quais resultados não esperados são comuns. A proximidade com a ideia de avaliação continuada está justamente na possibilidade de redesenhar constantemente, por meio da avaliação, o objeto avaliado (política, programa, projeto), e, por consequência, redesenhar a própria avaliação.
Link e Vonortas (2013) também contribuem com essa ideia ao ilustrar a interconexão entre as distintas facetas da avaliação de políticas e o uso dos seus resultados na tomada de decisão. Para os autores, há necessárias ligações entre a perspectiva ex-ante para fins de priorização, a perspectiva interim tendo em vista o monitoramento do processo de implementação e a perspectiva ex-post de mensuração de resultados e impactos. De forma concomitante, essas três perspectivas contribuem para: mensuração de desempenho; prestação de contas e transparência; e comunicação das atividades e contribuições da política para tomadores de decisão e financiadores.
O que se depreende das ideias dos autores que contribuem com o assunto, acrescidas de perspectivas mais fundamentais do campo da avaliação de políticas e programas, é que um sistema de avaliação continuada deve trabalhar tanto a vertente de priorização e aperfeiçoamento contínuo dos processos de implantação de uma política ou programa (a partir de uma avaliação que ocorre antes e durante a implantação) quanto os aspectos de julgamento de mérito e validade sobre seus resultados e impactos (geralmente tendo como base os objetivos e metas inicialmente delineados) (SCRIVEN, 1967; FITZPATRICK; SANDERS; WORTHEN, 2004).
Trata-se, nesse sentido, da constituição de um sistema de monitoramento e avaliação (M&A) abrangente e efetivo, que combine a premissa de atribuição de valor da prática avaliativa com a prática contínua do monitoramento. Nesse sentido, a avaliação continuada se organiza a partir de uma sistemática de avaliações e decisões encadeadas que se iniciam no momento da definição de uma agenda política e a acompanham ao longo de toda a sua execução e, se pertinente, após seu término. Tem como foco, portanto, as perspectivas de geração de resultados e impactos futuros da política, seus processos de implantação e os resultados e impactos efetivamente gerados ao longo do tempo.
O Quadro 1 identifica os distintos propósitos da avaliação continuada em uma matriz que relaciona a perspectiva temporal de uma dada política - se é contínua ou delimitada temporalmente (ou seja, se ocorre por um período pré-determinado) - com os momentos de ocorrência da avaliação. Vale destacar, a partir do quadro, que a ideia de avaliação continuada é igualmente válida para políticas delimitadas temporalmente, uma vez que na maioria dos casos, os impactos da política continuam se manifestando após seu término e podem servir para o desenho de novas políticas sequenciais ou complementares (além, por óbvio, para prestar contas sobre os resultados obtidos com a iniciativa inicial).
Também é importante destacar a importância crescente, no âmbito da construção de sistemas de avaliação continuada, da mensuração dos impactos de longo prazo. Rogers (2012), ainda que tratando de um tipo particular de política (ciência e tecnologia), apresenta esse ponto como sendo uma forte tendência no contexto da avaliação, uma vez que amplia a possibilidade de conhecimento dos resultados da política e dos transbordamentos esperados e não esperados.
QUADRO 1 Objetivos da avaliação continuada a partir de distintas perspectivas temporais de avaliação e da política
| PERSPECTIVA TEMPORAL DA POLÍTICA | |||
| POLÍTICA DELIMITADA TEMPORALMENTE | POLÍTICA CONTÍNUA | ||
| Perspectiva temporal da avaliação | Antes da implantação da política | Apoio à definição da agenda política (escolha das políticas, de seus desenhos e iniciativas) | Apoio à definição da agenda política (escolha das políticas, de seus desenhos e iniciativas) |
| Durante a implantação da política | Apoio à implantação da política (condução da política para atingir os objetivos inicialmente desenhados) | Apoio à implantação da política (condução da política para atingir os objetivos inicialmente desenhados e redefinição contínua de seus objetivos) | |
| Após a implantação da política (curto e médio prazos) | Identificação dos resultados e impactos da política (para prestação de contas e para apoiar o desenho de novas políticas) | Identificação dos resultados e impactos da política (para prestação de contas e para a redefinição contínua dos objetivos da política) | |
| Após a implantação da política (longo prazo) | Identificação dos resultados e impactos da política (para apoiar o desenho de novas políticas) | Identificação dos resultados e impactos da política (para prestação de contas e para a redefinição contínua dos objetivos da política) | |
Fonte: elaboração das autoras.
O termo avaliação continuada tem sido utilizado no contexto da educação superior no sentido de avaliação formativa da aprendizagem do estudante (CAMARGO JÚNIOR; ALMEIDA JÚNIOR; CUGNASCA, 2015; WERNECK et al., 2010), em muitos casos associado ao uso de metodologias ativas de ensino-aprendizagem.
O sentido utilizado no presente artigo é semelhante a esse de processo de avaliação constante, voltado para auxiliar o planejamento. Ele também se aproxima do sentido usado por Gatti (2000) para avaliação institucional, empregado para a avaliação mais global de instituições de ensino superior, considerando sua estrutura, dinâmica interna e relações comunitárias. Essa foi a base para criação da política de avaliação institucional do Conselho Estadual de Educação de São Paulo para as instituições de ensino superior do estado, que contempla um primeiro momento de autoavaliação, seguido por uma avaliação externa. A Unicamp implementou esse tipo de avaliação em 1990 e vem realizando exercícios regulares a cada cinco anos (UNICAMP, 2014), sendo que o ProFIS é parte desse processo, como será mostrado adiante.
Ainda no contexto da educação superior, vale ressaltar que o Brasil conta com o Sistema Nacional de Avaliação da Educação Superior (Sinaes), formado por três eixos principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes. O Sinaes é estruturado para avaliar os aspectos referentes a esses giram em torno desses três eixos (o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo docente e as instalações). Para isso, possui uma série de instrumentos complementares: autoavaliação, avaliação externa, Exame Nacional de Desempenho de Estudantes (Enade), avaliação dos cursos de graduação e instrumentos de informação como o censo e o cadastro. Esse tipo de avaliação, compreendida como avaliação sistêmica, serve como pano de fundo para a experiência de avaliação continuada que será descrita no presente artigo.
Entretanto, a partir dos resultados de avaliação contratada pelo Ministério da Educação e realizada pela Organização para a Cooperação e Desenvolvimento Econômico (OECD, 2018), constatou-se que se trata de uma avaliação muito cara em relação aos benefícios que entrega, de forma que precisa ser repensada. Há muita ênfase na avaliação dos cursos (quando esta deveria estar mais na avaliação qualitativa das instituições) e há um arranjo institucional que indica conflitos de interesse entre as responsabilidades do Ministério da Educação, que ao mesmo tempo mantém e administra a rede federal de universidades, regula o setor privado e avalia os dois sistemas. Mais importante, o Sinaes não é capaz de responder as questões mais relevantes aos diferentes atores da sociedade - para os estudantes e famílias, a qualidade dos cursos em que estão entrando e oportunidades de emprego; para os empregadores, a qualidade dos profissionais que estão saindo dos cursos; para os governos, a eficiência e eficácia de seus investimentos em educação superior; e para as próprias instituições, os elementos para que sejam estimuladas e possam melhorar seu desempenho (SCHWARTZMAN, 2018).
Apresentada a discussão sobre o papel da avaliação no ciclo de políticas e da ideia da avaliação continuada, seguimos com a descrição de uma experiência real de avaliação continuada do ProFIS. Como apresentado na introdução deste artigo, a metodologia de avaliação foi desenhada no início da implementação do programa e tem incluído atividades em seus vários estágios, com foco tanto no formato de condução do programa como em seus resultados e impactos sobre os beneficiários.
PROFIS: IMPLEMENTAÇÃO E AVALIAÇÃO
O ProFIS é um curso sequencial de complementação de estudos oferecido em período integral em quatro semestres, com disciplinas obrigatórias e eletivas oferecidas por várias unidades da universidade, com 120 vagas anuais.2 Os cursos sequenciais foram instituídos no art. 44, §1º, da Lei n. 9.394/96 de Diretrizes e Bases da Educação Nacional, nos seguintes termos: “a educação superior abrangerá cursos sequenciais por campo de saber, de diferentes níveis de abrangência, abertos a candidatos que atendam aos requisitos das instituições de ensino” (BRASIL, 1996). Foram criados com vistas a diversificar as oportunidades de ensino superior no país, com a oferta de cursos mais curtos e com maior flexibilidade. O ProFIS é um curso sequencial de complementação de estudos com destinação coletiva. Esse tipo de curso não possui obrigatoriedade de autorização e reconhecimento e fornece um certificado. A definição da carga horária, sem limite mínimo estabelecido pelo Ministério da Educação, e a emissão do certificado são feitas pela instituição que o oferta.
O curso foi criado em 2010, com ingresso da primeira turma em 2011, e introduziu pelo menos seis novidades para a universidade. A primeira é a proposta de formação geral de caráter interdisciplinar que proporcione uma base ampla nas principais áreas do conhecimento. Essa é uma tendência bastante forte em âmbito mundial na área de educação superior (CASTRO; COLPAS, 2018; PEREIRA, 2010; LATTUCA, 2007) e que em alguma medida recupera as ideias que estavam na origem da própria constituição da Unicamp (SILVA, 1989).
A segunda novidade é a ação afirmativa de trazer para a universidade os melhores alunos da rede pública da cidade onde a universidade está localizada, a partir de uma seleção com base nas melhores notas no Exame Nacional do Ensino Médio (Enem)3 por escola, até o limite de dois alunos por escola.4 Os alunos interessados se inscrevem para concorrer a uma vaga no programa quando estão no terceiro ano do ensino médio.
Segundo Heringer (2011; 2014), as políticas de ação afirmativa no acesso e permanência ao ensino superior, implementadas no Brasil desde 2002, inserem-se nas políticas de inclusão que têm por objetivo prover acesso ao ensino superior às pessoas que pertencem a grupos reconhecidamente em situação histórica de desvantagem. Como apontam Daflon, Feres Júnior e Campos (2013), as políticas de ação afirmativa em universidades públicas estão distribuídas por todo o território nacional de maneira bastante homogênea. As principais ações afirmativas de acesso ao ensino superior são:
sistema de reservas de vagas (cotas) que seguem vários critérios, como alunos de escola pública; indígenas; negros; remanescentes de quilombolas; portadores de necessidades especiais; filhos de policiais civis, militares, bombeiros militares e de inspetores de segurança e administração penitenciária mortos em razão do serviço; e demais minorias étnicas;5
adição de pontuação (bônus) na nota do vestibular para alunos de escola pública, famílias hipossuficientes (carentes) e minorias étnicas;
Programa Universidade para Todos (ProUni), que concede bolsas de estudo integrais ou parciais, para cursos de graduação ou sequenciais de formação específica, em instituições de ensino superior privadas, aos egressos do ensino médio público, ou privado com bolsas integrais, e renda familiar per capita de até três salários mínimos.
A modalidade mais praticada, segundo Daflon, Feres Júnior e Campos (2013), é a que beneficia alunos oriundos da escola pública. A característica de ação afirmativa do ProFIS surgiu da confluência de alguns fatores. O primeiro foi o paradoxo de a universidade ser uma instituição pública, ter o ensino gratuito, mas ter um público reduzido de estudantes oriundos de escolas públicas em comparação com o percentual de matrículas no ensino médio da rede pública. Embora não seja uma característica apenas da Unicamp, esse paradoxo já tinha motivado outras iniciativas importantes na universidade, como a criação dos cursos noturnos e, principalmente, o Programa de Bonificação A. No entanto, era preciso ir além para lidar com uma das limitações do Programa A, que foi desenhado para equilibrar a demanda e o acesso dos alunos da escola pública à universidade, ou seja, equilibrar o percentual de inscritos e matriculados oriundos da escola pública. Apesar da repercussão desse programa como forma de acesso que simultaneamente utiliza critérios sociais e de mérito acadêmico para admitir alunos na Unicamp, buscava-se outra alternativa complementar para lidar com o fenômeno da autoexclusão, com base em estudos internos da universidade que revelavam que grande parcela da população formalmente habilitada para o ingresso no ensino superior não considerava, em seus horizontes de perspectivas, estudar em uma universidade como a Unicamp. Esses alunos não seriam atingidos pelo Programa A ou por outras medidas por não chegarem sequer a participar do processo do vestibular. Por isso, era necessária uma proposta proativa que não se baseasse no vestibular e que conseguisse atrair estudantes de grande potencial.
Essa proposta foi inspirada no Top Ten Percent Plan, do Estado do Texas, nos Estados Unidos (DAUGHERTY; MARTORELL; MCFARLIN, 2014). Esse programa surgiu como alternativa à proibição de ações afirmativas por questões legais ou judiciais em vários estados, incluindo o Texas. O sistema criado reservava vagas nas universidades do estado para os 10% mais bem colocados em cada escola de ensino médio, sem processo seletivo adicional.6 O objetivo era atrair alunos que se autoexcluíam dos processos de seleção em razão da grande desigualdade socioeconômica existente. Em situações de grande desigualdade socioeconômica, a desigualdade de oportunidades educacionais tem uma característica geográfica. Como as escolas públicas se distribuem pelo território, acabam representando a distribuição geográfica dessa desigualdade.
A solução elaborada para o ProFIS foi selecionar os estudantes com base em dois critérios, como exposto anteriormente. O primeiro seria o desempenho no Enem, de acordo com a média das cinco notas desse exame7, e o segundo critério seria a limitação de dois alunos por escola da cidade de Campinas, que tem 96 escolas que podem oferecer ensino médio. Desta forma, seria possível montar uma turma de 120 ingressantes, com boa representação das escolas da cidade, sem o risco de selecionar um grande número de alunos das melhores escolas, como as escolas técnicas.
A terceira novidade do programa é justamente o novo processo seletivo que dispensa o vestibular, reservando vagas para alunos das escolas públicas da cidade, com a novidade de primeiro ingressar na universidade para ingressar em um curso de graduação depois de um processo de apoio à escolha da carreira. São oferecidas atualmente para os alunos do ProFIS 162 vagas em praticamente todos os cursos da universidade, com exceção do curso de música, modalidade instrumento.
O ProFIS não possui um quadro docente exclusivo, sendo composto por professores das unidades de ensino da universidade e por profissionais do Serviço de Apoio ao Estudante (SAE), que ministram uma disciplina que tem como objetivo auxiliar os alunos na escolha profissional, no desenvolvimento do autoconhecimento (valores, interesses e habilidades) e na ampliação da informação sobre as carreiras (grade curricular e atuação profissional), considerando os cursos oferecidos pela universidade. Essa disciplina, associada a outras características do curso, traz a quarta novidade que é o apoio à escolha da carreira. A quinta inovação é a atividade de iniciação científica que ocorre associada às duas disciplinas, sob orientação de pesquisadores e professores.
A atividade de iniciação científica é oferecida aos alunos do ProFIS no terceiro e no quarto semestres, como parte das disciplinas obrigatórias de Introdução à Prática de Ciências e Artes I e II. A proposta dessas disciplinas é que o aluno, sob orientação de um professor da Unicamp de qualquer área do conhecimento, seja inserido no cotidiano do processo criativo e/ou no processo de pesquisa em um laboratório ou de atividade de arte, desenvolvendo um projeto de iniciação científica.
A sexta inovação - de particular interesse para este artigo - é exatamente o sistema de avaliação continuada estabelecido para acompanhar a implementação do programa desde o seu início, assim como os seus resultados e impactos ao longo do tempo. Esse sistema soma-se aos mecanismos tradicionais de avaliação da universidade em vários níveis: a) avaliação de disciplinas e de iniciativas específicas das unidades de ensino; b) avaliação dos cursos pelos alunos (prevista no calendário da universidade); c) avaliação institucional quinquenal.
O projeto pedagógico do ProFIS já previa também que fosse realizada uma avaliação sobre a viabilidade do programa, dado que ele foi implementado como projeto piloto. Após aprovação do programa no Conselho Universitário em 2010, o Núcleo de Estudos de Políticas Públicas (NEPP) da Unicamp se ofereceu à Pró-Reitoria de Graduação (PRG) para coordenar e conduzir uma avaliação continuada do programa, mais abrangente do que o previsto inicialmente. A PRG aceitou e também proveu recursos financeiros e humanos para as atividades da avaliação.
Assim, o desenho e a implementação do sistema de avaliação e de seu modelo de gestão aconteceram juntamente com a implementação do programa. O modelo de gestão da avaliação conta com:
uma equipe executora no NEPP, formada por pesquisadoras do NEPP, estagiários e bolsistas de graduação do SAE e alunos de pós-graduação;
um Comitê de Orientação, formado por um especialista em educação geral, um representante da PRG e a coordenação do ProFIS;
pesquisadores e professores colaboradores.
O Comitê de Orientação tem a função de legitimar o processo de avaliação e torná-lo útil, dado que, por um lado, processos avaliativos só adquirem possibilidade de impacto se considerados valiosos para a comunidade de referência e, por outro lado, a sustentação de qualquer processo de avaliação depende, sobretudo, do retorno construtivo dos seus resultados (GATTI, 2000).
O programa iniciou em 2018 seu oitavo ano de funcionamento, tendo ocorrido até o momento o ingresso de oito turmas, a formatura de seis turmas e a formatura dos primeiros alunos nos cursos de graduação. O programa não é mais considerado piloto e discute-se no momento a possibilidade de sua expansão, por indicação do Conselho Universitário, quando da aprovação das novas formas de ingresso na universidade.8 A próxima seção apresenta um detalhamento das iniciativas do sistema de avaliação e uma discussão de como seus resultados têm sido utilizados na prática.
O SISTEMA DE AVALIAÇÃO CONTINUADA DO PROFIS
O sistema de avaliação continuada do ProFIS possui três objetivos principais: a) avaliar a implementação e viabilidade do ProFIS como programa de formação geral para a universidade; b) avaliar a alternativa de acesso à universidade, tanto no aspecto do processo de seleção quanto da promoção de equidade; c) avaliar o impacto do ProFIS na formação e trajetória profissional do aluno.
O desenho da metodologia contempla dois estudos complementares: a avaliação da implementação do programa e o estudo longitudinal dos beneficiários, empregando grupos de comparação.
Avaliação de viabilidade do ProFIS
O primeiro estudo pretende avaliar a viabilidade do programa enquanto proposta de educação geral e a efetividade de seu processo seletivo na inclusão social, que é o primeiro objetivo da avaliação. Ele envolve a coordenação, professores e alunos do ProFIS, bem como outros gestores da PRG e outras instâncias da administração. Sua duração inicial ocorreu entre 2011 e 2014, compreendido como ciclo mínimo entre o início e conclusão da primeira turma. Entretanto, a avaliação da implementação poderá ser prorrogada se houver uma expansão do programa (em termos de número de vagas e envolvimento de municípios com outros campi da universidade), tema em discussão atualmente no âmbito da universidade. Trata-se, sob a ótica das abordagens de avaliação de programas, de uma perspectiva mais formativa.
Foram empregados como instrumentos de coleta de dados primários nessa parte da avaliação: 49 entrevistas com professores do ProFIS; questionário sobre a atividade de iniciação científica com professores orientadores,9 8 questionários aos alunos (do ProFIS e dos grupos de comparação); e 17 entrevistas com coordenação e demais gestores do programa. Também foram levantados dados secundários sobre disciplinas, professores, alunos de pós-graduação do programa de estágio docente e de graduação do programa de apoio didático que atuam no programa, infraestrutura, bolsas e auxílios.
O principal produto dessa parte da avaliação foi o relatório de viabilidade produzido e apresentado ao Comitê de Orientação em 2014. É interessante citar, a título de exemplo, duas recomendações feitas pelo relatório que contribuíram para a gestão do programa.
O relatório apontou a necessidade de se avançar na proposta interdisciplinar do curso, dado que sua composição foi diagnosticada muito mais como multidisciplinar do que interdisciplinar, o que certamente significa um avanço em termos de educação geral, especialmente quando comparado com o excesso de especialização do ensino superior brasileiro (CASTRO, 2011). O avanço na proposta de interdisciplinaridade, presente no nome do programa, representa um grande desafio devido ao formato em que o ProFIS foi montado (com disciplinas oferecidas pelas diferentes unidades e sem um corpo próprio de docentes) e pela tradição disciplinar da Unicamp. Uma vez que o programa encontra-se totalmente implementado, foi sugerido que era hora de avançar no planejamento pedagógico do curso, o que vem ocorrendo por meio da reorganização da grade curricular e de iniciativas de docentes de usarem materiais comuns em suas disciplinas.
Outra sugestão também relacionada ao currículo foi a de diminuir a carga horária do curso, dado que o formato de curso sequencial de complementação de estudos não possui uma carga horária mínima e sua certificação é feita pela instituição de oferecimento. Essa sugestão também surgiu da constatação de que o currículo denso com carga horária considerada excessiva, que dificulta tanto a atividade de iniciação científica quanto a dedicação ao estudo individual ou em grupo, era o principal ponto de insatisfação dos alunos e um dos motivos de evasão. Esse ponto foi alterado no catálogo de 2019.
Vale ressaltar que diversas apresentações de resultados em várias câmaras e reuniões da universidade foram realizadas como produtos intermediários desse estudo de avaliação, além de publicações científicas (POLYDORO; CARNEIRO, 2016; PEREIRA; CARNEIRO; GONÇALVES, 2013; 2015; ANDRADE et al., 2012, 2013; CARNEIRO, ANDRADE; GONÇALVES, 2012; CARNEIRO et al., 2015, 2017, 2018).
O projeto de avaliação continuada tornou-se uma referência para se conhecer o ProFIS. A equipe é regularmente solicitada a produzir informações e análises sobre o programa por vários atores, a começar pela coordenação do curso, administração central da universidade, alunos, stakeholders externos, além da mídia. O projeto contribui também com as avaliações institucionais do ProFIS, seja nos dias de avaliação de curso, seja na avaliação quinquenal.
Avaliação de resultados e impactos do ProFIS
O segundo grande estudo da avaliação é o estudo longitudinal, que tem por objetivo acompanhar as trajetórias acadêmicas e profissionais dos alunos com um viés de avaliação somativa, que ocorre durante e após a implantação do programa. As fontes e mecanismos de obtenção de dados dessa vertente da avaliação incluem questionários (no momento da inscrição, da matrícula, e em alguns anos de acompanhamento) e dados secundários (registros acadêmicos, buscas na internet e redes sociais). São produzidas algumas análises de forma contínua, mas estão previstos exercícios de avaliações de impacto em períodos-chave, como após a conclusão do curso de graduação subsequente ao ProFIS e quando da inserção profissional.
A escolha do método quase-experimental para a avaliação de impactos do ProFIS se deu porque a escolha dos beneficiários tem um claro viés de seleção - os melhores alunos de cada escola pública da cidade utilizando-se a nota do Enem no ano da conclusão do ensino médio. O viés de seleção também inclui a autosseleção, pois o beneficiário precisa se inscrever no processo seletivo. Ou seja, o candidato tem de conhecer o programa, ter se inscrito no Enem e acreditar que é um dos melhores alunos da sua escola e que tem chances de ser selecionado para um programa em uma das melhores universidades do país. Nesses casos, quem decide participar será diferente de quem decide não participar, o que inviabiliza a montagem de grupos de comparação com outros alunos das escolas públicas que não se inscreveram no programa.
As análises contínuas acompanham os alunos de todas as turmas do programa. Para isso, foram idealizados dois grupos de comparação. O primeiro foi o dos inscritos no ProFIS que não ingressaram no curso. Sua composição buscou reconstruir a distribuição geográfica de vagas pelas escolas da cidade, incluindo todos os candidatos convocados. Depois foi feita uma checagem para tentar alcançar a mesma distribuição por escola (pelo menos 1 ou 2 candidatos) usando as próximas maiores notas no Enem. A utilização desse grupo serviria para avaliar o impacto do curso de educação geral e do curso de graduação feitos na Unicamp.
O segundo grupo foi formado por alunos ingressantes na Unicamp por meio do vestibular, nos mesmos anos em que os alunos do ProFIS ingressaram e que cursaram todo o ensino médio em escola pública. Além disso, foram observadas variáveis socioeconômicas como idade, escolaridade dos pais, localização da escola de ensino médio, entre outras. A seleção foi feita por meio de pareamento por score de propensão, o que permite utilizar um número grande de variáveis. Esse grupo visa a apoiar a avaliação do impacto do curso de formação geral.
A Tabela 1 apresenta o número de indivíduos envolvidos nessa etapa da avaliação, sendo “Turma ProFIS” a forma de identificação dos grupos de tratamento, “Grupo Inscritos” a identificação do primeiro grupo de comparação e “Grupo Vestibular” a identificação do segundo grupo de comparação. Apresenta também a taxa de atrito, ou seja, de perda de membros no acompanhamento da coorte entre 2011 e 2015 por declaração expressa (indivíduos que solicitaram não mais participar do estudo).
TABELA 1 Composição dos grupos e coortes envolvidos na avaliação em 2015 e taxa de atrito
| GRUPOS E COORTES | N. MEMBROS ORIGINAL | N. MEMBROS 2015 | TAXA DE ATRITO |
| Turma ProFIS 2011 | 120 | 120 | 0% |
| Turma ProFIS 2012 | 120 | 120 | 0% |
| Turma ProFIS 2013 | 120 | 120 | 0% |
| Grupo Inscritos 2011 | 157 | 155 | 1% |
| Grupo Inscritos 2012 | 161 | 149 | 7% |
| Grupo Inscritos 2013 | 148 | 146 | 1% |
| Grupo Vestibular 2011 | 201 | 195 | 3% |
| Grupo Vestibular 2012 | 240 | 228 | 5% |
| Grupo Vestibular 2013 | 240 | 226 | 6% |
| Total | 1.507 | 1.459 |
Fonte: Elaboração das autoras.
Inicialmente, o projeto de avaliação aplicou questionários anuais de acompanhamento com os alunos das três primeiras turmas e seus respectivos grupos de comparação. O questionário possui cinco partes relacionadas com identificação do respondente, período do ProFIS, período de graduação, mundo do trabalho e participação social. A cada ano o respondente percorre um fluxo diferente no questionário de acordo com o momento atual de sua trajetória (no ProFIS, no curso de graduação, trabalhando, etc.). Ao longo do tempo houve uma queda nas taxas de respostas ao questionário anual, como pode ser observado na Tabela 2 em relação aos questionários de acompanhamento anuais aplicados entre 2011 e 2014 (não houve questionário em 2015 e 2016).
Essa queda pode ser explicada por pelo menos quatro fatores: a) ao longo do tempo, os sujeitos sentem-se menos motivados a responder, dado que já responderam uma vez, viram o tamanho do questionário e têm dificuldades para perceber a relevância da sua resposta; b) com a entrada das novas coortes, a equipe tem de empreender um esforço maior de reforço dos convites por e-mail, telefone e redes sociais e há comparativamente menos tempo para a cobrança de cada indivíduo; c) ao longo do tempo, os contatos disponíveis tendem a se desatualizar; e d) como notado por Sax, Gilmartin e Bryant (2003), há uma tendência geral de queda nas taxas de respostas a surveys on-line em decorrência da proliferação de spams e também ao próprio crescimento de uso de surveys para avaliar estudantes e para outros fins. Esse quadro motivou o projeto a experimentar coletar dados sobre a situação de estudos e trabalho em mídias sociais e outras plataformas on-line, o que foi bastante positivo para manter o acompanhamento dos sujeitos da avaliação e diminuir o atrito. Entretanto, mesmo com o uso dessas outras fontes, não foi possível coletar informações a contento do grupo de comparação dos inscritos no ProFIS e as avaliações de impacto têm sido realizadas apenas com alunos que ingressaram pelo vestibular.
TABELA 2 Taxas de respostas aos questionários anuais de acompanhamento, 2011-2014 segundo grupo e coorte
| GRUPOS E COORTES | 2011 | 2012 | 2013 | 2014 |
| Turma ProFIS 2011 | 83 | 74 | 61 | 45 |
| Turma ProFIS 2012 | -- | 76 | 65 | 53 |
| Turma ProFIS 2013 | -- | -- | 73 | 61 |
| Grupo Inscritos 2011 | -- | 35 | 30 | 17 |
| Grupo Inscritos 2012 | -- | 45 | 35 | 17 |
| Grupo Inscritos 2013 | -- | -- | 47 | 18 |
| Grupo Vestibular 2011 | -- | 47 | 34 | 30 |
| Grupo Vestibular 2012 | -- | 31 | 37 | 22 |
| Grupo Vestibular 2013 | -- | -- | -- | 19 |
Fonte: Elaboração das autoras.
A título de exemplo de como os resultados da avaliação têm contribuído para a gestão do programa, é possível citar o acompanhamento da permanência e conclusão no ProFIS e posteriormente na graduação. A primeira turma teve uma taxa de evasão de curso de 49% (59 de 120 alunos não concluíram o programa), o que gerou alertas e também algumas críticas ao programa. O projeto de avaliação continuada, contudo, buscou, por um lado, relativizar a excepcionalidade da taxa de evasão da primeira turma em relação às demais (média de 35%) e aos outros cursos da mesma universidade, cujo cálculo recente usando metodologia do Inep para fluxo de cursos mostrou uma taxa média de 30% em quatro anos e 37% em seis anos (BRASIL, 2017). Por outro lado, o estudo buscou apontar os motivos de evasão e recomendações para aperfeiçoamento do programa nesse aspecto.
Outro exemplo concreto dos desdobramentos dos resultados da avaliação foi o aumento de vagas reservadas nos cursos de graduação da Unicamp para os alunos concluintes do ProFIS. Como explicado anteriormente, uma das novidades da iniciativa é a dispensa do vestibular, uma vez que o aluno concluinte do ProFIS pode escolher o curso de graduação que deseja fazer na Unicamp. A possibilidade de o aluno ingressar no curso escolhido depende do número de vagas oferecido pelo referido curso e do número de concluintes interessados. O fato é que esse número de vagas passou de 120 em 2011 para 163 em 2018, valor que corresponde a 5% das 3.290 vagas que os cursos da Unicamp destinaram ao vestibular e às outras formas de ingresso em 2018. A expansão do número de vagas reservadas aos concluintes do ProFIS decorre da divulgação de seus resultados positivos, em especial relacionados ao desempenho dos alunos do ProFIS em sua trajetória acadêmica durante a graduação. Destaca-se que esse é um desdobramento bastante positivo do ProFIS, pois aumenta as opções para os concluintes ingressarem nos cursos de seu interesse.
DISCUSSÃO
A seção anterior apresentou o sistema de avaliação continuada do ProFIS e de que forma ele tem contribuído para a tomada de decisões no contexto da gestão do programa. No entanto, apesar dos resultados positivos relacionados ao uso dos resultados da avaliação evidenciados até o momento, há também desafios da avaliação continuada que emergem da experiência do ProFIS. Esta seção discute oito desafios metodológicos, tecnológicos e organizacionais, continuando a discussão iniciada em Carneiro, Andrade e Telles (2012).
Em relação aos desafios metodológicos, destaca-se a criação de uma metodologia confiável, com uma delimitação adequada do que deve ser avaliado, sem o risco de ter instrumentos de coleta demasiado extensos, mas que também consigam acompanhar a mudança de objetivos do programa a ser avaliado.
Nesse sentido, em relação ao Questionário Anual de Acompanhamento (QAA), principal instrumento de coleta de resultados e impactos aplicado entre 2011 e 2014 e retomado em 2017, tem sido um desafio lidar com o trade-off de ter um instrumento ao mesmo tempo abrangente, mas fácil e rápido de responder, pois deve ser respondido pelos beneficiários e membros dos grupos de comparação de forma periódica. Como dito, o questionário já contém todos os indicadores relativos à implementação, resultados e impactos do ProFIS, sendo que a cada ano o respondente percorre um fluxo diferente no questionário de acordo com o momento atual de sua trajetória. Entretanto, acabou se tornando um questionário muito longo e, às vezes, demasiadamente detalhado. A solução encontrada foi definir um número menor de indicadores, revisando e diminuindo o QAA, e criar módulos para temas específicos a serem aplicados em outra base temporal.
O segundo desafio, também metodológico, é até quando incluir novas coortes na avaliação e até quando estendê-las, tendo em vista os objetivos da avaliação continuada e das perspectivas temporais do programa apresentados no Quadro 1. O ProFIS encontra-se em seu oitavo ano e, ao que tudo indica, deve ser não só mantido como programa especial da universidade, mas também expandido.
O terceiro desafio nessa mesma linha metodológica é o de trabalhar a perspectiva de avaliação ex-ante, que foi incluída recentemente no sistema de avaliação, analisando continuamente alternativas para a expansão e mudanças do programa. A coordenação do projeto participa do grupo de trabalho que está elaborando a proposta de expansão do programa e tem produzido subsídios em relação às implicações das alternativas discutidas.
O quarto desafio, desta vez tecnológico, trata da constituição de um sistema de informação que permita a fácil integração de dados de várias fontes de informação da universidade com os dados primários coletados por meio dos questionários e entrevistas. Isso significa não apenas a criação do sistema, mas também a constituição de um protocolo: a) de solicitação de dados das várias instâncias da universidade; b) de organização, armazenamento, tratamento e análise dos dados; c) de garantia do sigilo das informações individuais. Esse sistema encontra-se em fase de montagem, e o apoio da alta direção da universidade juntamente com a legitimidade do processo da avaliação têm sido fundamentais. A questão do sigilo é bastante delicada, pois o sistema possui dados muito sensíveis e na equipe de avaliação há alunos de graduação, colegas dos alunos do ProFIS e de membros dos grupos de comparação que são alunos da Unicamp.
O quinto desafio, organizacional, é assegurar que a avaliação acontecerá em uma base programada e com recursos adequados, o que, por um lado, significa a institucionalização da avaliação, por outro, implica o estabelecimento de um processo de avaliação que não seja muito caro ou que demande uma equipe muito grande, para não correr o risco da avaliação ficar maior que o objeto avaliado. Significa também o estabelecimento de uma rotina de atividades anuais para realizar os dois estudos, mas que seja ágil também para fornecer resultados para os gestores, modulando a avaliação para o timing da gestão.
O sexto desafio, também organizacional, é manter uma equipe interna capacitada, que conte com o eventual apoio de colaboradores externos. Isso é particularmente desafiante porque parte das rotinas é conduzida por alunos de graduação, e há uma grande rotatividade, seja pela duração das bolsas seja pelo aparecimento de outras oportunidades.
Complementarmente, o sétimo desafio é manter a participação dos stakeholders e gestores na avaliação, bem como desenvolver nos gestores a habilidade de compreender os resultados da avaliação continuada para que os levem em conta na condução da política pública. Esse é um desafio semelhante ao apontado por Horton e Mackay (2003) em relação às limitações das instituições de pesquisa agrícola para a adoção de modelos tão completos, assim como as consequências do emprego de avaliações para o aprendizado institucional.
Por fim, o oitavo e último desafio é o de manter a separação explícita e necessária entre o projeto de avaliação e o programa avaliado. Conforme discutido por Weiss (1998), existem vantagens e desvantagens relacionadas à condução de avaliação por equipes internas ou externas ao programa, principalmente nos aspectos de acesso a informações e minimização de vieses. No caso do ProFIS, apesar de haver uma equipe externa de avaliação, formada por pesquisadores do NEPP e colaboradores, há um envolvimento do pessoal da gestão do programa, justamente no sentido de criar um fluxo desejado orientado ao uso dos resultados da avaliação. Essa configuração gera um risco importante a ser evitado, que é o da avaliação perder a perspectiva crítica e tornar-se apenas uma instância de legitimação do programa. Essa ocorrência pode levar a um esvaziamento do próprio propósito original da avaliação.
Esse último desafio encontra respaldo na discussão de Patton (2010), uma vez que o objeto avaliado e a avaliação necessariamente evoluem com o tempo, aumentando suas conexões. Garantir essa realimentação, sem perder de vista os limites entre o programa e sua avaliação e ao mesmo tempo avançar metodologicamente na avaliação para incorporar mudanças (novos indicadores, novas formas de coleta de dados, novas formas de análise entre outros aspectos), é uma tarefa essencial.
CONSIDERAÇÕES FINAIS
O presente artigo apresentou e discutiu a experiência de avaliação do ProFIS sob a perspectiva da criação de insumos para a gestão do programa. Entende-se que a grande inovação da experiência apresentada refere-se à implantação de uma avaliação continuada. Embora entendida como essencial do ponto de vista conceitual, por integrar a avaliação em todo o processo político, apoiando tanto a formulação quanto a implementação de uma determinada política ou programa, tal prática é ainda incomum no âmbito da gestão de políticas públicas no Brasil e também na área de educação.
A análise da avaliação do ProFIS apresentada no texto traz contribuições de duas naturezas. A primeira refere-se à compreensão de como construir um sistema de avaliação continuada, por meio de um desenho metodológico específico que envolveu dois estudos principais. A segunda trata da operacionalização de tal sistema, evidenciando tanto a geração de insumos de forma contínua para a tomada de decisões quanto os desafios que vêm sendo enfrentados para que essa integração entre avaliação e tomada de decisões continue ocorrendo.
Nesse sentido, e adaptando-se o Quadro 1 especificamente para o caso do ProFIS (Quadro 2), entende-se que o sistema de avaliação do ProFIS tem de fato contribuído com a criação de uma base confiável de informações sobre sua gestão e desempenho, assim como com o uso dessas informações para aprendizado, ações corretivas, melhorias e possível expansão do programa, conforme destacado por Cunningham e Nedeva (1999), Patton (2010) e Link e Vonortas (2013) ao discutir as potencialidades e benefícios de uma avaliação continuada. Ademais, a experiência apresentada representa um nítido esforço de internalização do esforço de avaliação, com economias de escala associadas (em comparação com avaliações pontuais), assim como um importante mecanismo de prestação de contas no âmbito da Unicamp.
QUADRO 2 Contribuições da avaliação continuada do ProFIS
| PERSPECTIVA TEMPORAL DO PROFIS | |||
| PROFIS (2011-2014) | PROFIS (2015-ATUAL) | ||
| Perspectiva temporal da avaliação | Antes da implantação da política | Não houve contribuição da avaliação para a definição do desenho do ProFIS e para a decisão pela sua implementação. | Pode-se compreender o relatório de viabilidade do ProFIS, produzido em 2014, como um insumo para orientar a continuidade do programa a partir de 2015. Esse e os demais resultados da avaliação também estão sendo empregados para a discussão sobre a expansão do programa para os próximos anos. |
| Durante a implantação da política | A avaliação do ProFIS permitiu uma visão sobre as principais contribuições e limitações do programa no período inicial, gerando insumos para a gestão do programa. | A avaliação do ProFIS tem permitido uma visão sobre as principais contribuições e limitações do programa no período inicial, gerando insumos para a gestão do programa. | |
| Após a implantação da política (curto e médio prazos) | A avaliação do ProFIS tem permitido um acompanhamento das trajetórias acadêmica e profissional dos alunos egressos a partir do final de 2012, criando insumos para a gestão do programa. | A avaliação do ProFIS tem permitido um acompanhamento das trajetórias acadêmica e profissional dos alunos egressos a partir do final de 2016, criando insumos para a gestão do programa. | |
| Após a implantação da política (longo prazo) | Não se aplica. | Não se aplica. | |
Fonte: elaboração das autoras.
A inserção das informações do ProFIS e de sua avaliação no quadro analítico proposto na segunda seção permite resumir as contribuições da experiência apresentada em diferentes momentos. Optou-se por separar o período do ProFIS em dois, uma primeira fase considerada piloto, entre 2011 e 2014, e uma fase posterior, a partir de 2015. Embora seja uma única iniciativa, é possível compreender a fase piloto como um momento de delimitação temporal, e a fase que se inicia em 2015 como uma política contínua, uma vez que não há perspectivas para seu encerramento.
É possível, portanto, afirmar que o Projeto de Avaliação Continuada do ProFIS de fato tem contribuído desde seu início com a gestão do programa no sentido de apontar resultados relevantes do programa em termos de inclusão social, que ajudaram a torná-lo conhecido no ambiente da universidade, fator importante para legitimar o programa. Também teve um papel relevante na sua divulgação externa. A avaliação procurou apoiar a transição entre coordenações do ProFIS e a transição entre administrações da universidade. O sistema de avaliação também apoiou a discussão e aperfeiçoamento da iniciação científica e sobre a necessidade de avançar no desenvolvimento da formação interdisciplinar, entre outros pontos. A perspectiva é que esse processo de avaliação participativo continue a apoiar a consolidação do modelo do ProFIS no futuro, em alinhamento com as perspectivas da administração central, da coordenação do programa e das diferentes unidades envolvidas.
Cabe, por fim, refletir sobre a necessidade de evolução da avaliação, tendo em vista o enfrentamento dos desafios enunciados na seção anterior. Nesse sentido, a avaliação modifica a política, que por sua vez modifica a avaliação, que mais uma vez modifica a política e assim por diante, em um ciclo virtuoso que justifica o conceito e a prática de avaliação continuada. Dessa forma, não só a continuidade da avaliação mas sobretudo da análise dessa experiência de avaliação, como realizada no presente artigo, mostra-se necessária.
Complementarmente, vale destacar a principal limitação do estudo, que é a apresentação de um único caso de avaliação continuada, impedindo comparações entre diferentes iniciativas. Entende-se que estudos futuros podem avançar nesse ponto, buscando outras experiências similares, preferencialmente no campo da educação, para discutir suas similaridades e diferenças, assim como pontos fortes e fracos.
Ressalta-se, entretanto, que as características do programa avaliado e do contexto para sua implementação refletem condições bem particulares, que influenciam fortemente no desenho e na implementação da própria avaliação, assim como no uso de seus resultados. Nesse sentido, embora comparações sejam válidas, não se pode perder de vista os aspectos organizacionais e institucionais que permeiam o exercício da avaliação.
