SciELO - Scientific Electronic Library Online

 
vol.30 número73DEMOCRATIZAÇÃO DO ACESSO À EDUCAÇÃO SUPERIOR EM DEBATE: AVALIAÇÃO DO PROUNI*DEZ ANOS DO PROINFÂNCIA: EFEITOS DE UMA POLÍTICA PÚBLICA DE INDUÇÃO índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Estudos em Avaliação Educacional

versão impressa ISSN 0103-6831versão On-line ISSN 1984-932X

Est. Aval. Educ. vol.30 no.73 São Paulo jan./abr 2019  Epub 16-Jul-2019

https://doi.org/10.18222/eae.v30i73.5724 

ARTIGOS

AVALIAÇÃO DE PROGRAMAS GOVERNAMENTAIS: CIÊNCIA SEM FRONTEIRAS EM FOCO

EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES: ENFOQUE EN CIÊNCIA SEM FRONTEIRAS

EVALUATION OF GOVERNMENTAL PROGRAMS: CIÊNCIA SEM FRONTEIRAS IN FOCUS

ANDRÉ LUIZ MENDES ATHAYDEI 
http://orcid.org/0000-0002-2109-2130

TELMA REGINA DA COSTA GUIMARÃES BARBOSAII 
http://orcid.org/0000-0003-2621-0746

IUniversidade Federal de Minas Gerais (UFMG), Campus Montes Claros-MG, Brasil; andreluizathayde@outlook.com

IIUniversidade Federal de Viçosa (UFV), Viçosa-MG, Brasil; telmarcgbarbosa@gmail.com


RESUMO

Este artigo trata da avaliação de um expressivo programa do governo federal: Ciência sem Fronteiras. A avaliação de políticas e programas públicos tem sido apontada pela literatura como capaz de subsidiar a formulação de intervenções governamentais e o controle de sua execução. Essa experiência recente de internacionalização do ensino superior no Brasil, manifestada pelo referido programa, apesar de apresentar benefícios potenciais, também aponta deficiências que precisam ser solucionadas. Os resultados deste estudo, que não podem, obviamente, ser generalizados para todas as bolsas já distribuídas no Brasil, mostraram processos bem-sucedidos do Programa Ciência sem Fronteiras, assim como algumas falhas pontuais. Mesmo apresentando limitantes típicos de estudos de abordagem qualitativa, como o reduzido grau de reprodutibilidade, a presente pesquisa estimula a reflexão com respeito aos programas públicos de internacionalização do ensino superior no Brasil e o aprofundamento do tema.

PALAVRAS-CHAVE: AVALIAÇÃO DE PROGRAMAS; POLÍTICAS PÚBLICAS; PROGRAMA GOVERNAMENTAL; CIÊNCIA SEM FRONTEIRAS

RESUMEN

Este artículo trata de la evaluación de un expresivo programa del gobierno federal: Ciência sem Fronteiras. La evaluación de políticas y programas públicos ha sido señalada por la literatura como capaz de subsidiar la formulación de intervenciones gubernamentales y el control de su ejecución. Dicha reciente experiencia de internacionalización de la educación superior en Brasil, manifestada por el mencionado programa, a pesar de presentar beneficios potenciales también pone de manifiesto deficiencias que deben solucionarse. Los resultados de este estudio, que por supuesto no se pueden generalizar para todas las becas ya distribuidas en Brasil, mostraron procesos exitosos del Programa Ciência sem Fronteiras, así como algunas fallas puntuales. Aunque presenten limitaciones típicas de estudios de abordaje cualitativo, como el reducido grado de reproductibilidad, la presente investigación estimula la reflexión en lo que se refiere a los programas públicos de internacionalización de la educación superior en Brasil y la profundización del tema.

PALABRAS CLAVE: EVALUACIÓN DE PROGRAMAS; POLÍTICAS PÚBLICAS; PROGRAMA GUBERNAMENTAL; CIÊNCIA SEM FRONTEIRAS

ABSTRACT

This paper deals with an important program of the Brazilian federal government. The evaluation of public policies and programs has been identified in the literature as capable of developing governmental interventions and controlling their implementation. This recent experience of the internationalization of higher education in Brazil, demonstrated by the program described herein, despite presenting potential benefits, also points out deficiencies that need to be resolved. The results of this study, which obviously cannot be generalized to all benefits already distributed in Brazil, have shown the successful processes, as well as occasional failures, of the Programa Ciência sem Fronteiras [Science without Borders Program]. Although presenting typical limitations of qualitative studies, such as the reduced degree of reproducibility, this study stimulates the reflection and need for further studies on internationalization of higher education public programs in Brazil.

KEYWORDS: PROGRAM EVALUATION; PUBLIC POLICIES; GOVERNMENTAL PROGRAMS; CIÊNCIA SEM FRONTEIRAS

INTRODUÇÃO

As universidades desempenham papel central na construção do conhecimento, constituindo a base do desenvolvimento da pesquisa que sustenta a sociedade (SHIN; TEICHLER, 2014). Mesmo que o cenário universitário seja heterogêneo, com instituições de ensino superior (IES) de tamanhos e vocações diferentes, um interesse comum se destaca: a internacionalização da educação superior, manifestada recentemente no Brasil por meio de eventos como o Programa Ciência sem Fronteiras (CsF), entre outras ações.

Ciência sem Fronteiras foi um programa instituído pelo Decreto n. 7.642 (BRASIL, 2011), que buscou promover a consolidação, a expansão e a internacionalização da ciência e tecnologia, da inovação e da competitividade brasileira por meio do intercâmbio e da mobilidade internacional. A iniciativa foi fruto de esforço conjunto do Ministério da Ciência, Tecnologia e Inovação (MCTI) e do Ministério da Educação (MEC), por meio de suas respectivas instituições de fomento - Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) -, e Secretarias de Ensino Superior e de Ensino Tecnológico do MEC. Lançado em 2011, o projeto previu a distribuição de 101 mil bolsas até o final de 2015 para promover intercâmbio, de forma que alunos de graduação e pós-graduação fizessem estágio no exterior, com a finalidade de manter contato com sistemas educacionais competitivos em relação à tecnologia e à inovação.

Até agosto de 2015, 92.880 bolsas já haviam sido distribuídas, nos níveis de graduação (93%) e pós-graduação (6%),1 tendo como principais destinos IES dos Estados Unidos e Europa, representando um investimento de recursos governamentais de cerca de R$ 6,4 bilhões.2 Entretanto, em setembro de 2015, diante da falta de recursos financeiros, o governo federal decidiu congelar a oferta de novas bolsas. Segundo a equipe econômica do governo federal à época, o orçamento para o próximo ano seria suficiente apenas para a manutenção de estudantes que já estavam no exterior. Após o encerramento do programa, as cifras de investimento público chegaram a R$ 13,2 bilhões entre 2011 e 2016 (MANÇOS; COELHO, 2017).

O Programa CsF, com a oferta de bolsas de mobilidade no exterior para estudantes e docentes (mais de 101 mil bolsas concedidas), potencialmente contribuiu para a internacionalização de parte das IES no Brasil. A visibilidade internacional obtida, espera-se, poderá ser aproveitada para se construir parcerias que contribuam para o processo de internacionalização de cada instituição, levando em conta seus objetivos e vocações. É importante reconhecer que tanto as grandes IES brasileiras - em que a pesquisa atua como motor de desenvolvimento e nas quais o processo de internacionalização já está mais desenvolvido - quanto as IES menores e mais voltadas para a formação de pessoas podem se beneficiar das oportunidades proporcionadas pela internacionalização (FREIRE JÚNIOR, 2015).

DESENVOLVIMENTO

Problema de Pesquisa e Objetivos

A experiência recente de internacionalização do ensino superior no Brasil por meio do Programa CsF, apesar de apresentar benefícios potenciais, também aponta deficiências que precisam ser solucionadas, relacionadas, por exemplo, à falta de proficiência em língua estrangeira dos estudantes brasileiros e a questões infraestruturais. Por exemplo, o processo de internacionalização de uma universidade pública e outra privada no sudeste do Brasil foi analisado por Finardi e Ortiz (2014), chegando-se à conclusão de que o maior impeditivo para a internacionalização do ensino superior nas duas universidades estudadas foi a baixa proficiência em inglês pelos alunos, o que dificultou a mobilidade acadêmica para o exterior.

Ademais, em 2011, quando o governo federal lançou o programa, a falta de estrutura adequada para tratar da mobilidade de estudantes - uma das principais atividades do processo de internacionalização das IES - expôs uma grande lacuna ainda existente no país. Poucas instituições contavam com uma seção ou divisão internacional estabelecida e com dotação orçamentária e recursos humanos bem capacitados para desenvolver suas atividades. Muitas instituições tiveram de se adequar rapidamente e criar um setor de relações internacionais, tanto para operar as atividades associadas ao Programa CsF quanto para acolher as inúmeras delegações de IES estrangeiras que passaram a vir cada vez mais ao Brasil, em busca de parcerias e de alunos. Desse modo, pode-se dizer que esse programa, ao mesmo tempo que foi um grande catalisador, também ressaltou o problema da falta de estrutura para a internacionalização da educação superior no Brasil (FREIRE JÚNIOR, 2015).

Mesmo que o CsF tenha sido um programa de notável referência dentro das políticas públicas recentes de internacionalização do ensino superior no Brasil, e embora tenha envolvido elevados investimentos financeiros por parte do governo federal, ainda é um programa que permanece pouco explorado na literatura e pouco avaliado na prática por instituições oficiais do governo. Essa lacuna, relacionada em especial à perspectiva de avaliação dos resultados do Programa CsF, já foi salientada por estudos recentes, a exemplo de Almeida (2017) e Manços e Coelho (2017). Ao realizar um diagnóstico multidimensional do programa, Cruz (2018) constatou que o CsF repete a praxe brasileira de colocar ideias em prática antes de criar indicadores precisos que possibilitem a avaliação criteriosa quantitativa e qualitativa da ação. Sendo assim, com a falta de indicadores antes da implementação do Programa, não se estabeleceu um sistema de coleta de dados que possibilitasse nutrir futuros indicadores. Por exemplo, ainda não foi possível levantar dados de evasão e sucesso ou insucesso nas disciplinas cursadas pelos estudantes no exterior.

A principal avaliação do referido programa foi realizada pelo Senado Federal em 2015, um estudo quantitativo segundo o qual o programa foi avaliado sob a ótica de seus beneficiários em relação a aspectos como a qualidade de ensino das instituições estrangeiras, a possibilidade de transferência de conhecimento adquirido, o processo seletivo e mecanismos de acompanhamento e controle do programa (BRASIL, 2015a). Nesse sentido, diante de uma lacuna teórica e prática identificada, o presente estudo buscou avaliar o Programa CsF de forma quantitativa e qualitativa, estudando de forma pormenorizada seus processos, bem como os impactos gerados na vida profissional e acadêmica dos estudantes que participaram do programa, provenientes das Instituições Federais de Ensino Superior (IFES) localizadas em Montes Claros - MG.

A escolha das IFES de Montes Claros - MG - como escopo da pesquisa se deu, entre outras razões de acessibilidade, em virtude de as mesmas apresentarem quase a totalidade de seus cursos de graduação e pós-graduação pertencentes às áreas consideradas prioritárias pelo Programa CsF. Com cerca de 400 mil habitantes, a cidade de Montes Claros se transformou, nos últimos anos, em um importante polo universitário, atraindo estudantes de várias partes do país. Treze instituições de ensino superior particulares, os campi da Universidade Federal de Minas Gerais (UFMG), do Instituto Federal do Norte de Minas Gerais (IFNMG) e da Universidade Estadual de Montes Claros (Unimontes) oferecem 50 cursos de graduação, além de cursos de mestrado e doutorado, onde estudam 30 mil universitários.3

Nesse contexto, a pesquisa teve por objetivo geral avaliar qualitativa e quantitativamente os processos pós-seleção do Programa CsF na perspectiva dos agraciados com a bolsa, provenientes da UFMG e do IFNMG. Os objetivos específicos foram descrever a experiência dos agraciados pela bolsa do programa e identificar pontos positivos e negativos do mesmo no âmbito de sua implementação.

A importância da realização desta pesquisa esteve atrelada, primeiramente, aos benefícios advindos da avaliação de políticas públicas e programas governamentais, um instrumento que aperfeiçoa o processo de tomada de decisão e a alocação apropriada de recursos (ALA-HARJA; HELGASON, 2000). Adicionalmente, a avaliação permite a tomada de decisão com mais informações, gerando maior eficiência dos gastos públicos por meio da identificação de pontos positivos e negativos que nortearão a continuidade ou descontinuidade da política ou programa analisado (CUNHA, 2006). A avaliação de políticas e programas públicos gera efetividade - identificação dos impactos esperados e não esperados por meio da implementação dos programas - e permite entender o porquê de alguns resultados terem sido obtidos e outros não, gerando aprendizagem organizacional das instituições públicas sobre suas atividades e transparência na gestão de gastos públicos (SILVA, 1999).

Além disso, é necessário ressaltar que a importância desta pesquisa esteve atrelada ao fato de que foram pouquíssimos até então os estudos que avaliaram especificamente o Programa CsF, número baixo que talvez possa ser justificado por ser este um programa relativamente recente. A recenticidade da implementação do programa também foi (e ainda é) um fator limitante, uma vez que muitas investigações e suas descobertas científicas podem demorar vários anos para serem conduzidas a bom termo e publicadas (MANÇOS; COELHO, 2017). O princípio norteador deste estudo foi, portanto, agir como estímulo para que o Programa CsF seja examinado, incentivando outras modalidades de avaliação posteriores. Cabe salientar que o momento foi propício para que o referido programa fosse avaliado, principalmente pela atual conjuntura econômica do país que leva o governo federal a estudar muito bem a decisão entre retomar ou não a oferta de bolsas do programa mediante ajustes. Caso o governo opte futuramente pela retomada do CsF, os resultados desta pesquisa, apesar de não poderem ser generalizados a todas as bolsas já distribuídas no Brasil, poderão sugerir pontos positivos do programa, bem como pontos a melhorar, subsidiando adequações no mesmo ou a criação de novos programas de mobilidade acadêmica.

Em suma, o intuito do presente artigo não é pôr fim a qualquer outra discussão a respeito do assunto, mas estimular a reflexão sobre a assertividade de programas governamentais, principalmente daqueles que envolvem aportes financeiros de elevada magnitude, como foi o caso do Programa CsF.

Por fim, é importante ressaltar que a avaliação proposta neste estudo focou na obtenção do parecer crítico dos estudantes, por serem estes os que mais intimamente tiveram contato com os processos do programa. A experiência do intercâmbio é o produto-fim dos esforços de planejamento, e é por meio da realização do intercâmbio que se espera obter os resultados positivos para os bolsistas, para as instituições envolvidas e para o país fomentador como um todo. Entendemos que essa análise é basilar para que outras formas de avaliação sejam exploradas na literatura e por órgãos de controle, perpassando outros pontos de vista, como o do governo, de instituições de ensino de destino e de origem, assim como a utilização de análises financeiras de custo-benefício e de cumprimento de metas previamente estabelecidas. Arretche (2009) destaca a importância de a avaliação de políticas públicas e programas governamentais ser realizada por indivíduos independentes (caso dos estudantes bolsistas), isto é, por aqueles que não são encarregados da execução das referidas políticas ou programas. Isso, segundo a autora, evita o esforço no sentido de minimizar os fracassos dos mesmos. Indivíduos ou instituições independentes, portanto, têm melhores condições de responder à questão da relação entre políticas, seus processos e resultados. Ademais, salienta-se que a principal avaliação do referido programa feita até então (BRASIL, 2015a) também utilizou como base o ponto de vista dos beneficiários.

A grande contribuição objetivada pelo presente artigo é a de complementar e aprofundar pesquisas de maior escopo, a exemplo da avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a) e pela Capes e CNPq (BRASIL, 2015b). Portanto, por meio de um estudo de caso que mesclará dados quantitativos e qualitativos, abordar-se-ão processos não contemplados por estudos de maior robustez, bem como se aprofundarão alguns quesitos que também foram trabalhados em outras pesquisas. O próprio CNPq, ao avaliar o Programa CsF (BRASIL, 2015b), salientou que a agência possui uma quantidade enorme de informações concernentes ao programa e que precisam ser trabalhadas por terceiros. Para tanto, é necessário o apoio externo, inclusive da academia. Nessa ótica, o presente artigo visa, em conjunto com outros esforços da academia, a contribuir de certa forma para a discussão de um programa governamental de tamanha importância.

A seguir, será exposta a fundamentação teórica da pesquisa, seguida dos resultados e da conclusão.

Fundamentação Teórica

A avaliação não apenas mensura quantitativamente os resultados de ações governamentais, mas também apresenta aspectos qualitativos - as duas dimensões são foco deste estudo -, já que julga o valor das intervenções do governo através de avaliadores internos ou externos. O crescente interesse dos governos no que diz respeito à avaliação de suas ações está ligado a questões de efetividade, eficiência e desempenho da gestão pública (CUNHA, 2006).

Existem diferentes motivações para se realizar a avaliação de políticas e programas governamentais. A primeira possível motivação se refere à informação e, nesse caso, as principais perguntas levantadas são: como as políticas e programas públicos funcionam? Quais efeitos eles geram? Como é possível melhorá-los? Outra possível motivação é a busca por alocação orçamentária mais racional e, assim, as principais perguntas a serem respondidas são: quais programas devem ser descontinuados tendo em vista seus resultados negativos? Como fazer com que os programas atinjam mais resultados com o mesmo montante? (DERLIEN, 2001). Nessa ótica, Ala-Harja e Helgason (2000) ressaltam que a avaliação de programas constitui-se em um instrumento que permite a otimização do processo de tomada de decisões e a alocação adequada de recursos.

A avaliação é um exame sistemático e objetivo de um projeto ou programa, já finalizado ou em execução, envolvendo questões como desempenho, processos, implementação e resultados, através dos quais será possível determinar sua eficiência, efetividade e sustentabilidade. Sendo assim, o objetivo maior da avaliação é direcionar os tomadores de decisão no que diz respeito à continuidade de certo programa ou à sua interrupção (COSTA; CASTANHAR, 2003).

Para o Government Accountability Office (GAO) (GENERAL ACCOUNTING OFFICE, 1998), agência que trabalha para o Congresso dos Estados Unidos, a avaliação de programas é um estudo sistemático, realizado continuamente ou para um fim específico, objetivando analisar como um programa está funcionando quanto ao alcance de seus respectivos objetivos.

De acordo com o Glossary of key terms in evaluation and results-based management da Organisation for Economic Co-operation and Development (OECD, 2002), a avaliação precisa fornecer informações com crédito e utilidade, isto é, permitir o aprendizado no processo de tomada de decisões. Nesse sentido, a avaliação determina o valor ou significância de uma ação, política ou programa governamental.

Existem formas diversas de se classificar a avaliação de políticas ou programas públicos. Ela pode ser classificada, conforme Cotta (2001), levando-se em consideração o tempo em que é realizada (antes, durante ou depois de a política ou programa público ser implementado), a posição do avaliador quanto ao objeto foco da avaliação (interna, externa, mista ou participante) e do ponto de vista do objeto avaliado (metas, processos e impactos).

Concernente ao tempo em que a avaliação é realizada, tem-se a avaliação feita antes (ex ante) da implementação da política ou programa, a qual se refere à análise de custo-benefício do programa, isto é, ao seu retorno econômico sobre investimentos (LOBO, 1998). Esse tipo de avaliação procura medir a viabilidade do programa a ser implementado e é geralmente utilizado por órgãos financiadores de projetos (LUBAMBO; ARAÚJO, 2003). Entretanto, não se pode restringir essa avaliação à análise da viabilidade econômico-financeira, pois ela também envolve a viabilidade política e institucional, assim como as expectativas geradas pelos beneficiários do programa público.

A avaliação também pode ser intermediária, conhecida como formativa, ou seja, aquela realizada durante a implementação de um programa e que objetiva auxiliar na otimização da gestão e consequente desenvolvimento do programa. Essa tipologia, portanto, foca na gestão e no funcionamento do programa (ALA-HARJA; HELGASON, 2000) e objetiva analisar as etapas e mecanismos do programa, articulando meios e fins, isto é, verificando a compatibilidade ou incompatibilidade entre eles. Portanto, é uma tipologia que dá atenção especial aos processos e mecanismos de execução do programa, constituindo-se basicamente em um instrumento que diagnostica suas possíveis falhas, visando ao aperfeiçoamento (SILVA, 1999).

A avaliação também pode ser feita posteriormente à implementação do programa e, nesse caso, é conhecida como ex post ou somativa. Lobo (1998) e Ala-Harja e Helgason (2000) explicam que esse tipo de avaliação lida com os impactos e eficácia do programa, isto é, com o seu julgamento geral. Para Silva (1999), essa avaliação foca nos resultados do programa, isto é, em que medida eles foram atingidos, além da distinção entre resultados esperados e não esperados. É a tipologia de avaliação que verifica se os resultados obtidos junto à população-alvo - beneficiários - estão de acordo ao que foi proposto.

Além das três tipologias supracitadas, ainda pode ser adicionado o monitoramento, que, de forma resumida, é o processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que corrige ou confirma as ações monitoradas (GARCIA, 2001). É salutar mencionar que não se pode monitorar o que não pode ser medido, ou seja, os indicadores são instrumentos de fundamental importância para a exequibilidade do monitoramento.

No que tange à posição do avaliador diante do objeto avaliado, para Cohen e Franco (2004) e Cotta (1998), a avaliação pode ser classificada como externa (executada por indivíduos de fora da organização responsável pelo programa), interna (que se origina do interior da organização responsável pelo programa), mista (que entrecruza as tipologias externa e interna) e participativa (realizada por beneficiários do programa que participam de variadas fases (planejamento, execução e avaliação).

Quanto ao ponto de vista do objeto avaliado, Garcia (2001), Carvalho (2003) e Costa e Castanhar (2003) apresentam três modalidades de análise de políticas públicas: avaliação de metas (mensura ex post o grau de êxito que o programa alcança, ou seja, analisam-se os resultados mais imediatos que decorrem do programa, por exemplo, número de pessoas assistidas); avaliação de processos (detecta defeitos na elaboração de procedimentos, acompanha e avalia os procedimentos de implantação do programa, bem como identifica os obstáculos para tal, o que gera informações para sua reprogramação, sendo realizada durante o desenvolvimento do programa); e avaliação de impacto (foca nos efeitos gerados sobre aqueles que se beneficiam do programa). Nesse último caso, é interessante observar que não basta apenas detectar a ocorrência de uma mudança; também é necessário estabelecer a relação causa-efeito entre as ações do programa e essa mudança gerada.

A literatura de avaliação de políticas públicas também faz distinção em termos de sua efetividade, eficácia e eficiência (ARRETCHE, 2009). A avaliação da efetividade de uma política ou programa público diz respeito ao exame da relação entre a implementação do programa e os impactos dela resultantes. A avaliação da efetividade de uma política pública está intimamente ligada ao seu sucesso ou fracasso em relação à efetiva mudança nas condições prévias dos indivíduos atingidos pelo programa sob avaliação. Quando se trata de avaliação de efetividade de uma política ou programa público, o principal obstáculo não é diferenciar produtos de resultados, mas comprovar que os resultados estão causalmente relacionados aos produtos gerados por um determinado programa ou política pública. Essa é a razão pela qual é raro encontrar estudos confiáveis que meçam a efetividade de programas. Isso se deve, portanto, à dificuldade de isolar a análise de determinada política pública da interferência de quaisquer outras variáveis intervenientes, isto é, à dificuldade de estabelecer uma relação de causalidade (FIGUEIREDO; FIGUEIREDO, 1986).

Já a avaliação da eficácia consiste em realizar um comparativo entre os objetivos explícitos da política ou programa público e os seus resultados, por exemplo, verificar as metas propostas pelo programa e as metas que realmente foram alcançadas. Esse tipo de avaliação é mais comum por ser mais factível e menos custoso; entretanto, apresenta o desafio de se obterem informações confiáveis.

Por sua vez, a avaliação da eficiência trata da relação entre o esforço empregado na implementação de um programa ou política pública e os resultados obtidos. Um dos fatores que justificam a avaliação da eficiência é a escassez de recursos públicos, que, consequentemente, exige maior racionalização de gastos. Além disso, é importante destacar que a eficiência é um objetivo democrático, já que o governo, ao dispor de recursos públicos e implementar programas e políticas públicas, está usando um dinheiro que não é seu (FIGUEIREDO; FIGUEIREDO, 1986).

Sander (1995) delineia quatro construções conceituais de gestão da educação: a) administração eficiente (critério da eficiência); b) administração eficaz (critério da eficácia); c) administração efetiva (critério da efetividade); e d) administração relevante (critério da relevância). Nessa vertente, Cruz (2018) avaliou o Programa CsF, abarcando essas quatro dimensões (paradigma multidimensional). O Programa CsF também foi avaliado pelo Senado Federal de acordo com o ponto de vista de 14.627 estudantes que participaram da pesquisa (BRASIL, 2015a), bem como pela Capes e pelo CNPq (BRASIL, 2015b). Os resultados dessas avaliações e de outros estudos sobre o programa (CASTRO et al., 2012; AVEIRO, 2014; OLIVEIRA, 2015; MANÇOS; COELHO, 2017; CRUZ, 2018) serão expostos na apresentação e discussão dos resultados, de forma entrecruzada com os dados empíricos da presente pesquisa.

Apresentada a fundamentação teórica que respalda a avaliação de políticas públicas e programas governamentais, passemos à exposição dos procedimentos metodológicos adotados neste estudo.

Procedimentos metodológicos

A presente pesquisa envolveu dados provenientes de duas IES: a UFMG - Campus Montes Claros - e o IFNMG - Campus Montes Claros. Isso permite maior abrangência dos resultados, ultrapassando os limites de unicidade de dados obtidos em um único objeto de estudo (YIN, 2005).

A abordagem qualitativa foi escolhida para este estudo, pois possibilita a identificação, descrição, compreensão e disseminação de processos de aprendizagem, que em alguns casos solucionam até problemas de implementação não previstos pelos formuladores de políticas (PIRES; LOPES; SILVA, 2010). Também foi possível a caracterização quantitativa (estatística descritiva) das respostas dos estudantes, seguindo-se, nesse caso, os moldes da avaliação realizada pelo Senado Federal em 2015, mesmo que o presente estudo tenha tido um escopo reduzido de ex-bolsistas respondentes. No tocante aos procedimentos técnicos, a pesquisa se qualificou como um levantamento, pois envolveu a interrogação direta das pessoas cujo comportamento se deseja conhecer (GIL, 2007), nesse caso os contemplados com a bolsa do Programa CsF.

A população do estudo foi constituída por todos os alunos regularmente matriculados nas IFES da cidade de Montes Claros - MG - que participaram do Programa CsF e retornaram às respectivas instituições de origem. Teve-se como intento incluir no estudo todos os indivíduos que compunham a população ou universo de interesse da pesquisa (total de 20 alunos), não se aplicando, assim, critérios de amostragem. Cabe ressaltar que, diferentemente da principal avaliação do programa realizada pelo Senado Federal (BRASIL, 2015a), que se baseou no ponto de vista de estudantes que já haviam retornado ao Brasil e também de bolsistas que ainda estavam no exterior (aplicação eletrônica de questionário), a população de interesse da presente pesquisa se limitou aos discentes que já haviam retornado à instituição de origem (aplicação assistida de questionário).

O instrumento de coleta de dados foi um questionário estruturado misto, composto por perguntas fechadas (análise quantitativa) e abertas (análise qualitativa), o qual ofereceu a oportunidade de descrição aprofundada do contexto do Programa CsF pelos estudantes. O referido instrumento de coleta foi aprovado no dia 12 de abril de 2016 pelo Comitê de Ética em Pesquisa com Seres Humanos (CEP) da Universidade Federal de Viçosa (UFV), por meio do Parecer Consubstanciado n. 53951715.9.0000.5153. Os nomes e contatos dos estudantes que participaram do programa e retornaram à instituição de origem foram obtidos pelas secretarias de graduação das respectivas IES. Aplicou-se o questionário de forma assistida, o que permitiu ao pesquisador esclarecer alguns itens do mesmo aos respondentes quando necessário, além de ter evitado a possibilidade de o questionário ser respondido por pessoas não adequadas, risco característico da aplicação não assistida. Os estudantes foram identificados aleatoriamente como “respondentes” a fim de preservar o anonimato.

A metodologia de avaliação de política ou programa público, escolhida para esta pesquisa, do ponto de vista do tempo em que se executou, foi a abordagem ex post ou somativa, haja vista que, para os respondentes, suas bolsas já haviam sido implementadas e findadas e os mesmos já haviam retornado às suas IFES de origem. Quanto à posição do avaliador, adotou-se a perspectiva da avaliação externa, uma vez que, apesar de terem participado do programa, os respondentes não fizeram parte da organização e do planejamento do mesmo. Quanto ao ponto de vista do objeto, esta pesquisa avaliou processos pós-seleção dos bolsistas do programa.

A técnica de análise dos dados provenientes das questões abertas do questionário foi a análise de conteúdo, uma análise clássica e prática de materiais textuais que trabalha com palavras ou expressões significativas encontradas nos textos e que objetiva ultrapassar as incertezas e enriquecer a leitura dos textos e dados coletados (MEDEIROS; LOPES, 2012). Seguiram-se três etapas: 1) a pré-análise, que consistiu em uma leitura flutuante do conteúdo das respostas abertas dos bolsistas; 2) a exploração do material, buscando similaridades entre as respostas e a categorização das mesmas; e 3) o tratamento dos resultados, envolvendo a interpretação destes. Já as questões fechadas do questionário foram analisadas por meio da estatística descritiva. Também é importante esclarecer que, na apresentação dos resultados, não há correspondência entre a identificação por números dos respondentes nos quadros. Por exemplo, o respondente “1” em um quadro não corresponde ao respondente “1” em outro.

Na seção a seguir, os resultados serão apresentados e far-se-á a discussão por meio do entrecruzamento dos mesmos com a teoria, com os objetivos do Programa CsF e com as principais avaliações já feitas até então sobre o mesmo, com o propósito de fomentar reflexões e aprofundar o tema.

Apresentação e discussão dos resultados

Descrição dos respondentes

Obteve-se sucesso no contato com todos os 20 indivíduos da população de interesse da pesquisa, composta por 70% mulheres e 30% homens, percentuais esses que se contrapuseram aos dados do sítio eletrônico oficial do Programa, que aponta para a maioria de bolsistas homens (56%) e aos dados da avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a), que também apontou para a maioria de bolsistas homens (59%). Ademais, de início, destacou-se a língua inglesa como língua oficial do país de destino para 12 dos 20 respondentes (60%), sendo que esse percentual foi confirmado pelas informações do sítio eletrônico oficial do Programa, que evidenciam os Estados Unidos e outros países de língua inglesa como principais países de destino dos intercambistas do programa.

É interessante também observar, nessa fase inicial de caracterização dos respondentes, que, das universidades de destino dos mesmos, apenas uma (University of Michigan) está dentro das 30 melhores universidades do mundo (PATI, 2015). Esse dado se contrapõe à informação do sítio eletrônico oficial do Programa, o qual salienta que os bolsistas têm como instituições de destino os principais centros educacionais do mundo em relação à tecnologia e à inovação.

Ainda no tocante ao perfil dos respondentes da presente pesquisa, o mesmo se mostrou compatível com o perfil dos participantes da avaliação feita pelo Senado Federal (BRASIL, 2015a) quanto a algumas características, sendo que ambos os grupos tiveram como principais destinos os Estados Unidos e a Europa e a maioria tinha até 25 anos de idade. Todos os respondentes deste estudo realizaram graduação sanduíche, dado que se mostrou compatível com a maioria de estudantes (77%), que também realizou essa modalidade de intercâmbio (BRASIL, 2015a). Os respondentes cursavam a graduação em Engenharia de Alimentos (9), Agronomia (3), Engenharia Agrícola e Ambiental (3), Engenharia Florestal (3) e Engenharia Química (2), sendo todos esses cursos de áreas consideradas como prioritárias pelo Programa CsF.

Avaliação de processos do Programa CsF

Processo de recepção na IES de destino

Identificou-se que o grau de satisfação dos alunos quanto ao processo de recepção na IES no país de destino foi um ponto positivo do Programa CsF, evidenciado pelo somatório de 75% para as respostas “satisfeito” e “muito satisfeito”. Esse resultado está em consonância com a avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a), segundo a qual 87% dos respondentes consideraram a recepção na instituição estrangeira ótima ou boa. Objetivando aprofundar ainda mais esse grau de satisfação, os alunos foram solicitados no estudo a responder de forma discursiva sobre o aspecto mais e o menos positivo no acolhimento pela instituição receptora, algo não contemplado pela avaliação do Senado Federal.

Concernente ao aspecto mais positivo, 75% das respostas realçaram: pessoal bem informado e preparado para receber os alunos; disponibilidade imediata para atendimento; eventos voltados especificamente para a recepção de intercambistas; e paciência e receptividade dos funcionários. Ademais, 20% das respostas evidenciaram a ótima infraestrutura da IES receptora para esse acolhimento.

Relativamente ao aspecto menos positivo, 79% das respostas frisaram falhas de comunicação durante a recepção dos alunos, algumas delas relacionadas à falta de proficiência adequada em língua estrangeira. Expõem-se no Quadro 1 as respostas de alguns estudantes quanto ao aspecto menos positivo do acolhimento. As respostas são apresentadas na íntegra para melhor transmitir a opinião dos mesmos sobre sua respectiva experiência.

QUADRO 1 Respostas individuais quanto ao aspecto menos positivo do acolhimento 

RESPONDENTE DESCRIÇÃO
1 “Apesar do meu nível atual em alemão, a dificuldade linguística era muito forte na época.”
2 “Não entendimento da língua de imediato.”
3 “Ausência de um funcionário da universidade que falasse português no momento da recepção.”
4 “Domínio razoável do inglês por parte dos húngaros.”
5 “Falhas na comunicação durante eventos da recepção.”

Fonte: Dados da pesquisa

Dentre as respostas transcritas no quadro, chama atenção a perspectiva do estudante 3, que sentiu falta de um funcionário da IES receptora que falasse português no momento do acolhimento. Ora, pode-se refletir que, se o referido estudante teve o seu intercâmbio internacional aprovado pela gestão do Programa CsF, tem-se como pressuposto que o seu domínio da língua estrangeira estivesse em um nível mínimo, compatível ao menos para o contato inicial durante a recepção, mesmo que um curso de língua estrangeira tivesse sido planejado no país de destino antes do início das atividades acadêmicas - prática comumente utilizada pela gestão do Programa CsF para mitigar a falta de proficiência em língua estrangeira dos estudantes brasileiros e possibilitar a distribuição de um número maior de bolsas.

Processo de repasse do subsídio financeiro

O subsídio financeiro concedido ao estudante durante a realização do intercâmbio foi considerado pelos respondentes um ponto muito positivo no Programa CsF, salientado pelo somatório de 100% para as respostas “suficiente” e “bastante suficiente”. Conclui-se, portanto, que, no tocante aos valores disponibilizados, os mesmos são adequados para a manutenção do discente no exterior.

É importante destacar que a pontualidade quanto ao depósito dos valores devidos também foi considerada um aspecto positivo em relação ao subsídio financeiro, destacada por 77% dos respondentes da avaliação do programa realizada pelo Senado Federal (BRASIL, 2015a).

Os dados empíricos do presente estudo para esse quesito foram confirmados pela avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a), segundo a qual a maioria (62%) dos estudantes considerou que os recursos financeiros da bolsa foram suficientes para a sua manutenção no exterior.

Processo de avaliação de proficiência em língua estrangeira

Identificou-se, através desta pesquisa, que quase a totalidade dos respondentes realizou teste de proficiência em língua estrangeira antes de ser aprovado no Programa CsF (95%), sendo apenas um que não o fez (5%). A chamada da qual esse último estudante participou foi um caso de reopção em que o referido aluno optou inicialmente por realizar o intercâmbio em Portugal pela sua inabilidade em línguas estrangeiras; entretanto, devido ao elevado número de estudantes interessados nesse destino, superior à capacidade de alocação em universidades portuguesas, uma nova chamada foi aberta para que o aluno escolhesse outro país de destino dentre algumas opções oferecidas pelo programa. Para esse caso específico, o estudante escolheu os Estados Unidos como novo país de destino e teve o seu intercâmbio aprovado sem realizar um teste de proficiência em inglês anteriormente à sua partida. Fica evidente aqui uma falha no processo de seleção de candidatos no Programa CsF, mas que se apresenta neste estudo como um caso pontual, sendo necessárias outras pesquisas de maior escopo para se caracterizar como um item de maior preocupação.

Processo de comunicação para atendimento às necessidades no país de destino

O nível de proficiência em língua estrangeira por parte dos intercambistas para atendimento às necessidades no país de destino, dentro e fora da universidade, foi considerado um ponto negativo do programa, evidenciado pelo somatório de 65% das respostas “insuficiente” e “bastante insuficiente”.

Uma reflexão maior ainda pode ser aceita: percebe-se que, a despeito de quase a totalidade dos intercambistas ter realizado teste de proficiência em língua estrangeira antes de sua aprovação no programa, e apesar de alguns terem realizado curso de idioma por curto período no país de destino antes do início das atividades acadêmicas, o nível de proficiência ficou aquém do necessário para o bom atendimento das demandas no país de destino, dentro e fora da IES receptora.

Detalhando as dificuldades quanto à proficiência em língua estrangeira, algo não contemplado pela principal avaliação do programa (BRASIL, 2015a), os respondentes apontaram que houve maior dificuldade com a escuta/entendimento (50%), fala (45%) e escrita (25%). Salienta-se que a subárea “leitura” não foi apontada por nenhum estudante como maior dificuldade, fato que pode estar relacionado, conforme depoimento dos respondentes, à prática já consolidada nas duas IFES de origem, em que professores trabalham em sala de aula com os alunos a leitura de artigos em língua estrangeira, principalmente em inglês.

Ademais, nota-se que as principais dificuldades quanto à língua estrangeira por subárea (oralidade e escrita), apontadas nesta pesquisa, são confirmadas pela iniciativa do próprio governo federal pelo Programa Idioma sem Fronteiras (IsF), estabelecido após o Programa CsF. O Programa IsF, criado em 2012, conta com núcleos em universidades federais para ofertar cursos presenciais de inglês, entre outros idiomas. Os cursos visam a enfatizar o desenvolvimento da comunicação oral e escrita (grifo nosso), o conhecimento de culturas acadêmicas em países onde se usa a língua inglesa no ensino superior e a interação aluno-aluno e professor-aluno.

Processo de repasse de informações aos estudantes durante o intercâmbio

As informações repassadas aos estudantes pelos órgãos interessados (IES de origem, IES receptora e instituições coordenadoras do programa), antes e durante o intercâmbio, foram um ponto muito positivo no Programa CsF, salientado pelo somatório de 75% para as respostas “suficientes” e “bastante suficientes”. Entrecruzando as respostas, percebe-se que, apesar dos problemas iniciais na comunicação durante o acolhimento, decorrentes da falta de proficiência em língua estrangeira por parte dos intercambistas, essa deficiência não impactou negativamente e de forma expressiva a compreensão das informações e instruções repassadas aos estudantes durante o intercâmbio para fins mais operacionais, quando provindas das instituições estrangeiras.

Processo de contato com a IES no exterior após o retorno

Verificou-se, por meio deste estudo, que os intercambistas do Programa CsF, em sua maioria (85%), não perderam o contato com a IES de destino após o seu retorno ao Brasil, o que pode ser considerado inicialmente um impacto positivo do programa. Esse resultado se mostrou compatível com a avaliação do referido programa realizada pelo Senado Federal (BRASIL, 2015a), segundo a qual 67% dos ex-bolsistas declararam que ainda mantêm contatos no exterior. Entretanto, objetivando aprofundar o entendimento acerca da natureza desse vínculo, algo não detalhado na pesquisa do Senado Federal, os alunos participantes do presente estudo e que responderam que ainda mantêm contato com a IES estrangeira foram questionados quanto ao motivo desse contato.

Analisando-se alguns dos objetivos do Programa CsF e os confrontando com as respostas para essa questão, algumas reflexões se tornam possíveis. Primeiramente, o Programa CsF tem como objetivo aumentar a presença de pesquisadores e estudantes de vários níveis em instituições de excelência no exterior e conclui-se que esse objetivo pode ser considerado alcançado obviamente pela simples execução do intercâmbio. Porém, levando-se em consideração outro objetivo do programa, a saber, a sustentabilidade da presença de pesquisadores nas instituições de excelência no exterior, nota-se que a pesquisa acadêmica (15%) e o contato profissional (30%) não foram expressivos como motivo para a manutenção de contato do estudante do Programa CsF com a IES receptora após o retorno ao Brasil. Pelo contrário, ganhou destaque o motivo “amizade” (80%), revelando que a manutenção de contato com a IES de destino está mais relacionada à dimensão pessoal do que profissional e acadêmica.

Os dados supracitados precisam ser considerados cuidadosamente. Eles podem nos levar a pensar, se analisados isolada e superficialmente, que os esforços para o envio de bolsistas ao exterior não geram impacto duradouro ao país fomentador. Espera-se, é claro, que os benefícios advindos de um programa que envolva o investimento financeiro de elevada magnitude não se restrinjam à esfera pessoal, tampouco se limitem ao tempo que o estudante passou no exterior.

Aprofundando ainda mais a reflexão sobre a manutenção de contato dos estudantes após retorno ao Brasil, verificou-se que três deles não mantiveram nenhum contato com alunos/professores da IES estrangeira após o retorno ao Brasil, e não se pode deixar de mencionar que todos eles tiveram como país de destino a Itália, cada um em uma universidade distinta. Os referidos estudantes foram questionados a esclarecer o motivo da ausência de contato, e suas respostas são expostas na íntegra no Quadro 2 para melhor transmitir a opinião dos mesmos sobre sua respectiva experiência:

QUADRO 2 Respostas individuais quanto ao motivo da ausência de contato com a IES estrangeira após o retorno ao Brasil 

RESPONDENTES DESCRIÇÃO
1 “O contato já foi difícil lá, então, torna-se mais difícil manter após o retorno.”
2 “Eles não demonstram interesse em fazer e manter contato.”
3 “Durante o intercâmbio não tive um contato muito próximo com alunos/professores.”

Fonte: Dados da pesquisa.

As respostas transcritas no quadro apontam para uma falha pontual do Programa CsF no tocante à comunicação entre alunos e professores especificamente da Itália, o que pode influenciar o impacto do programa na vida acadêmica e profissional dos estudantes. Essas respostas nos levam ao seguinte questionamento: como um programa de mobilidade acadêmica pode cumprir seus objetivos e gerar consequências positivas para os estudantes e para o país como um todo se os principais envolvidos nesse processo (discentes e docentes) não tiveram um contato próximo durante o intercâmbio ou até mesmo não mostraram interesse no contato, como as respostas expostas escancaram? Não coube neste trabalho investigar detalhada e cientificamente as dificuldades de contato entre os alunos e professores italianos em específico e os intercambistas brasileiros; entretanto, as salientamos aqui como oportunidade de investigação em futuros estudos.

Apesar de os dados empíricos do presente estudo terem identificado que a manutenção do contato dos ex-bolsistas com as instituições estrangeiras se voltou primordialmente para a dimensão pessoal, os resultados de outras pesquisas, a exemplo da realizada por Manços e Coelho (2017), contrapuseram esses dados, mostrando evidências de correlação positiva entre os investimentos em bolsas de mobilidade acadêmica internacional e os níveis de colaboração científica internacional.

Outros aspectos relevantes

Principais dificuldades enfrentadas pelos bolsistas durante o intercâmbio

É importante destacar que, nesse item do questionário, permitiu-se ao respondente assinalar mais de uma resposta. Dentre as principais dificuldades encontradas durante a realização do intercâmbio, ressaltaram-se as dificuldades linguísticas e de adaptação à metodologia de ensino e pesquisa da IES de destino. Primeiramente, é pertinente notar que as dificuldades linguísticas, relatadas por 50% dos respondentes, nesse item extrapolam o momento específico de acolhimento dos estudantes e ganham destaque como obstáculo para o bom desenvolvimento das atividades durante a realização do intercâmbio como um todo.

Segundo, no que diz respeito à dificuldade de adaptação à metodologia de ensino e pesquisa na IES receptora, relatada por 50% dos respondentes nesta pesquisa, também confirmada por outros estudos de maior escopo, pode-se apontar para uma necessidade de melhoria no Programa CsF e/ou demais programas de mobilidade do governo. De fato, estudos de maior abrangência, a exemplo da avaliação do Programa CsF realizada pelo Senado Federal com 14.627 estudantes (BRASIL, 2015a), demonstraram que problemas de adaptação foram o principal motivo que levou os estudantes a pensar em desistir do intercâmbio. Quando da oferta de novas bolsas, como sugestão, o programa de mobilidade poderia avaliar melhor, anteriormente ao início do intercâmbio, a compatibilidade de grade curricular entre a IES de origem e a receptora, bem como expor aos intercambistas os diferentes métodos de ensino e pesquisa aos quais se submeteriam durante o seu intercâmbio. Essa exposição poderia se dar mediante a realização de treinamentos com os estudantes intercambistas antes de iniciarem as atividades acadêmicas, apresentando detalhadamente a metodologia aplicada na IES de destino, assim como suas respectivas formas de avaliação.

Dos respondentes, 30% adicionaram outros obstáculos que variaram entre dificuldade em encontrar moradia, mau relacionamento entre intercambistas e professores da IES receptora, difícil adaptação ao clima e preconceito com estudante mulher latina.

Realização de trabalho remunerado pelo bolsista durante o intercâmbio

Verificou-se que quase a totalidade dos respondentes não desempenhou trabalho remunerado durante o intercâmbio (95%), sendo apenas um que o fez (5%), trabalhando no restaurante da universidade de destino. O estudante destacou que não teve dificuldades de conciliar o trabalho de meio expediente com as atividades acadêmicas do intercâmbio em outro turno.

É importante mencionar que os editais do Programa CsF permitiam ao estudante o trabalho em meio período, apenas dentro da IES receptora e somente após o 2º semestre acadêmico. Ademais, a presente seção (realização de trabalho remunerado pelo bolsista) não foi contemplada na principal avaliação do Programa CsF realizada até então (BRASIL, 2015a). Essa informação foi considerada como relevante pelos autores do presente estudo, uma vez que se hipotetizou que o desempenho de trabalho remunerado poderia ter sido considerado um empecilho para o bom andamento das atividades acadêmicas, o que acabou não sendo constatado.

Avaliação dos bolsistas quanto ao impacto do Programa CsF

O impacto do Programa CsF na vida pessoal e profissional dos respondentes foi um ponto positivo de destaque, evidenciado pelo somatório de 100% para as respostas “impacto positivo” e “impacto muito positivo”. Os respondentes também foram solicitados a assinalar alguns aspectos que foram melhorados de forma significativa em decorrência do intercâmbio pelo Programa CsF, sendo permitida a marcação de mais de uma alternativa nesse item do questionário.

Verificou-se que a totalidade dos estudantes considerou que o Programa CsF contribuiu de forma significativa para que pudessem alargar seus conhecimentos culturais. O aprimoramento da língua estrangeira, por sua vez, foi apontado por 95% dos respondentes como um aspecto que foi melhorado substancialmente através do intercâmbio pelo Programa CsF. Neste ponto, é importante uma reflexão: apesar de grande parte dos respondentes (65%) ter considerado o seu nível de proficiência ou “insuficiente” ou “bastante insuficiente” para atendimento das necessidades no exterior, representando uma dificuldade encontrada durante o intercâmbio para 50% dos respondentes, o Programa CsF gerou um impacto muito positivo nos estudantes no que diz respeito ao aprimoramento da língua estrangeira. É salutar que se destaque também que esse impacto positivo fortalece um dos objetivos do Programa CsF, exposto em seu sítio eletrônico oficial, a saber: promover a inserção internacional das instituições brasileiras, que passa, é claro, pela comunicação em língua estrangeira. No tocante ao aprimoramento da língua estrangeira, os resultados do presente estudo se mostraram compatíveis com os da avaliação realizada pelo Senado Federal (BRASIL, 2015a), segundo a qual 58% dos participantes afirmaram que, após o período de intercâmbio acadêmico, ganharam fluência na língua do país onde estudaram.

Quanto ao impacto geral do Programa CsF na vida dos alunos, os resultados para esse quesito também estão em consonância com a avaliação que os bolsistas fizeram acerca do programa na pesquisa desenvolvida pelo Senado Federal (BRASIL, 2015a), segundo a qual 92% dos entrevistados declararam estar satisfeitos ou muitos satisfeitos com o programa. Ademais, 66% dos bolsistas e 60% dos ex-bolsistas demonstraram que tiveram como principal objetivo, ao participar do programa, aprofundar conhecimentos na sua área de atuação.

Significado da experiência internacional para o estudante

Os estudantes foram convidados a expor, de forma discursiva, o que a experiência internacional vivida significou para eles. Após aplicação da técnica qualitativa de Análise de Conteúdo, foi possível categorizar as três respostas mais comuns, expostas no Quadro 3, e também trabalhá-las de forma quantitativa.

QUADRO 3 Categorização dos significados da experiência internacional 

CATEGORIA TOTAL DE RESPOSTAS IDENTIFICAÇÃO DOS RESPONDENTES
1 - Reconhecimento do crescimento profissional ou acadêmico. 11 (55%) 1; 3; 5; 6; 7; 8; 9; 10; 13; 15; 19.
2 - Reconhecimento da melhoria do domínio da língua estrangeira. 8 (40%) 2; 3; 4; 5; 10; 12; 18; 19.
3 - Expressão de vontade de retornar ao exterior. 3 (15%) 1; 2; 17.

Fonte: Dados da pesquisa.

Apesar de este estudo ter apontado que a pesquisa acadêmica e o contato profissional não foram expressivos como motivo da manutenção de contato dos estudantes do Programa CsF com as IES receptoras após o retorno ao Brasil, a Categoria 1 indica que ao menos o crescimento profissional e acadêmico foi reconhecido por eles. Ademais, as Categorias 2 e 3 reforçam dois dos objetivos centrais do Programa CsF, expostos no seu sítio eletrônico, a saber: investir na formação de pessoal altamente qualificado nas competências e habilidades necessárias para o avanço da sociedade do conhecimento e aumentar a presença de pesquisadores e estudantes de vários níveis em instituições de excelência no exterior. O cumprimento desses dois objetivos poderá ser fortalecido, passando, é claro, pela utilização da língua estrangeira (Categoria 2), e através do retorno do estudante ao exterior (Categoria 3).

Concernente ao retorno do estudante ao exterior (Categoria 3), a avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a) apontou algo muito interessante e positivo. Apesar de os estudantes demonstrarem desejo de retornar ao exterior para o desenvolvimento de pesquisas, a maioria (53%) ressalta o interesse de seguir a carreira profissional no Brasil e não no exterior. Esse dado nos permite refletir que, a princípio, esses discentes utilizarão o conhecimento adquirido no exterior para benefício de suas atividades no Brasil, país fomentador da internacionalização e inovação no caso do Programa CsF.

Algo não abordado no presente estudo, mas que também fez parte do escopo da avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a), diz respeito à transferência de conhecimento. Segundo a referida avaliação, 68% dos ex-bolsistas afirmaram ter tido a oportunidade de repassar os conhecimentos adquiridos a colegas e professores. Adicionalmente, a maioria (59%) relatou que, após ingressar no Programa CsF, passou a dedicar-se mais aos estudos, e 57% dos estudantes declararam que o seu interesse por pesquisa aumentou em função do Programa CsF, o que pode ser considerado um impacto positivo na vida acadêmica dos bolsistas.

Sugestões de melhoria para o Programa CsF na perspectiva dos estudantes

Ao final do questionário, após uma sequência lógica de questões, os estudantes foram convidados a expor, de forma discursiva, as melhorias que poderiam ser implementadas no Programa CsF. Após aplicação da técnica qualitativa de Análise de Conteúdo, foi possível categorizar as cinco respostas mais comuns relativas às sugestões de melhoria, expostas no Quadro 4, também trabalhadas quantitativamente.

QUADRO 4 Categorização das sugestões de melhoria no Programa CsF 

CATEGORIA TOTAL DE RESPOSTAS IDENTIFICAÇÃO DOS RESPONDENTES
1 - Melhoria no monitoramento do desempenho dos alunos na IES receptora. 7 (35%) 1; 2; 3; 4; 5; 6; 7.
2 - Melhoria na seleção dos candidatos. 4 (20%) 1; 4; 6; 20.
3 - Melhoria quanto ao nível de proficiência em língua estrangeira dos intercambistas. 4 (20%) 1; 6; 7; 11.
4 - Melhoria na interação entre IES de origem, IES receptora, instituições coordenadoras do programa e governo. 4 (20%) 4; 8; 19; 20.
5 - Melhoria na adaptação aos métodos/dinâmicas da IES estrangeira. 3 (15%) 7; 11; 16.

Fonte: Dados da pesquisa.

No tocante à Categoria 1 (necessidade de melhoria no monitoramento do desempenho dos alunos), é possível entrecruzar os dados empíricos do presente estudo com os resultados da avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a). Conforme esta última avaliação, apesar da exigência de entrega final de relatório técnico-científico após a conclusão do intercâmbio, apenas 33% dos ex-bolsistas indicaram ter recebido orientação adequada para cumprir tal exigência. A maioria afirma não ter sido orientada adequadamente (55%) e apenas 64% dos ex-bolsistas acabaram encaminhando tal relatório à Capes ou CNPq. Infere-se, portanto, que os dados empíricos obtidos no presente estudo e os do Senado Federal se complementam nesse quesito, uma vez que aquele identificou primordialmente a necessidade de monitoramento dos alunos durante o intercâmbio, e este salientou a necessidade de avaliação após o retorno do estudante ao Brasil.

Ainda sobre a Categoria 1, Cruz (2018) verificou que, em geral, as instituições estrangeiras são informadas sobre quando o aluno brasileiro viaja e quando ele retorna e recebem comprovantes de matrículas, mas não sabem ao certo quantas e quais disciplinas ele está fazendo e nem sempre opinam sobre sua pertinência antes de as realizarem, o que facilitaria o aproveitamento de créditos. Nota-se, assim, um déficit na estruturação pedagógica, pois a universidade não dispõe de muito controle sobre a atividade acadêmica do estudante no exterior. Além disso, observa-se que, quando as instituições são mais participativas no processo de sugestão de disciplinas e análise prévia da pertinência, elas tendem a ficar mais satisfeitas com o programa, e o desempenho dos alunos no exterior e no retorno tende a ser melhor.

No que diz respeito à Categoria 2 (necessidade de melhoria na seleção dos alunos), os dados do presente estudo foram confirmados pela avaliação do Senado Federal (BRASIL, 2015a), segundo a qual uma parcela significativa dos respondentes (43%) considerou o processo seletivo regular, ruim ou péssimo.

A Categoria 3 (melhoria quanto ao nível de proficiência em língua estrangeira dos intercambistas) parece ressaltar uma deficiência que foi rapidamente identificada pelo governo federal em 2012 com a criação do Programa IsF, no intuito de preparar melhor os alunos brasileiros para intercâmbios como os oferecidos pelo Ciência sem Fronteiras.

Concernente à Categoria 4 (necessidade de melhoria na interação entre as instituições envolvidas), apesar de ter sido considerada por alguns respondentes como um processo que precisa ser otimizado, a avaliação do Programa CsF realizada pelo Senado Federal (BRASIL, 2015a) apontou que a maioria dos estudantes (66%) conseguiu entrar em contato facilmente com a Capes/CNPq quando precisou tirar alguma dúvida ou resolver questões burocráticas e também que a maioria (84%) destacou que a resposta recebida atendeu à sua necessidade. Fica aqui uma oportunidade para que pesquisas futuras abordem com maior profundidade especificamente quais deficiências quanto à interação entre as instituições envolvidas no programa podem ocorrer, como foi apontado pelo presente estudo.

Por fim, a Categoria 5 (melhoria na adaptação aos métodos/dinâmicas da IES estrangeira) foi claramente confirmada por estudos de maior abrangência como a avaliação do Programa CsF realizada pelo Senado Federal com 14.627 estudantes (BRASIL, 2015a), demonstrando que problemas de adaptação foram o principal motivo que levou os estudantes a pensar em desistir do intercâmbio.

Para além da exposição e discussão dos números referentes ao Programa CsF, a Capes e o CNPq apresentaram uma avaliação do referido programa em 2015 durante a 67ª Reunião Anual da Sociedade Brasileira para o Progresso da Ciência (SPBC), realizada na Universidade Federal de São Carlos (UFSCar). Entre os resultados positivos e imediatos do Programa CsF, ganhou destaque o Programa IsF, criado e coordenado pelo Ministério da Educação com o intuito de fortalecer o aprendizado de idiomas. O Programa CsF, portanto, atuou como um fomentador da política de línguas, que até à época não existia. Ademais, a avaliação da Capes ressaltou que o Programa CsF contribuiu positivamente para as relações diplomáticas entre o Brasil e diversos países, além de a internacionalização do ensino superior ter entrado na pauta do governo federal e ter despertado a necessidade de tratá-la de forma estratégica.

CONSIDERAÇÕES FINAIS

Os resultados deste estudo, que não podem, obviamente, ser generalizados para todas as bolsas já distribuídas no Brasil, mostraram processos bem-sucedidos, bem como jogaram luz em algumas falhas pontuais do Programa CsF, programa esse considerado uma iniciativa audaciosa no contexto de políticas públicas de internacionalização da ciência. Balanceados, esses achados não podem indicar, por si só, a sugestão de retomada do Programa CsF ou de seu encerramento definitivo por motivo alheio a possíveis dificuldades de financiamento pelo governo federal. Todavia, o propósito norteador do estudo foi atingido, haja vista que se permitiu refletir profundamente sobre os processos do Programa CsF por meio do ponto de vista de quem viveu a execução do mesmo mais de perto, assim como foi possível levantar algumas sugestões de melhoria que podem se estender a outras iniciativas de internacionalização do ensino superior no Brasil, por exemplo, o monitoramento mais eficiente do desempenho dos alunos durante o intercâmbio, o aperfeiçoamento da comunicação entre a IES de origem, a IES de destino, instituições gestoras do Programa e governo, entre outras.

Outros estudos acerca do Programa CsF, a exemplo do desenvolvido por Manços e Coelho (2017), concluíram que o programa foi positivo no sentido de aumentar a visibilidade internacional da educação superior brasileira e inserir as universidades e outras instituições brasileiras em programas de cooperação internacional no âmbito da pesquisa, apesar de o custo previsto de R$3 bilhões para implementação ter sido extrapolado em mais de três vezes, gerando dúvidas sobre a qualidade do gasto público (eficiência do processo) e críticas quanto à eficácia do programa. Nesse sentido, baseando-se nos dados empíricos deste estudo e de outras avaliações acadêmicas e governamentais sobre o referido programa, recomendamos que o Brasil dê continuidade à política pública de internacionalização e mobilidade acadêmica internacional, aperfeiçoando outras iniciativas, a exemplo do Programa Institucional de Internacionalização (Capes PrInt), que foi lançado em 2017 com o objetivo de incentivar a internacionalização de instituições de ensino superior e institutos de pesquisa no Brasil, como forma de incrementar o impacto da produção acadêmica e científica realizada no âmbito dos programas de pós-graduação.

O presente estudo atingiu seu objetivo principal, na medida em que complementou e aprofundou estudos de maior robustez e abrangência, a exemplo da avaliação do Senado Federal (BRASIL, 2015a) e da Capes/CNPq (BRASIL, 2015b). A pesquisa discutiu alguns processos que não foram abordados em avaliações anteriores, a exemplo da realização de trabalho remunerado pelo bolsista durante o intercâmbio - o que poderia ser considerado um empecilho para o bom andamento das atividades acadêmicas -, bem como um entendimento mais profundo das principais dificuldades dos alunos quanto à proficiência em língua estrangeira. Ademais, alguns processos já contemplados por avaliações anteriores, como a manutenção de contato dos estudantes com a instituição estrangeira após seu retorno ao Brasil, foram aprofundados. No caso da manutenção de contato do estudante com a instituição estrangeira, a presente pesquisa detalhou as razões por trás do contato, chegando à conclusão de que nem sempre o referido contato se dá com intuitos acadêmicos e profissionais; de fato, no presente estudo de caso, em sua maioria os contatos se caracterizam por uma dimensão pessoal, relacionada a vínculos de amizade estabelecidos durante a estadia no exterior. Esses e outros achados aqui discutidos constituíram um convite para a continuidade da reflexão acerca dos reais impactos do Programa CsF para as universidades brasileiras e para o país como um todo, bem como uma maneira de se fomentar a discussão a respeito de oportunidades de melhoria neste e em outros programas de internacionalização do ensino superior, o que geraria aprendizagem governamental.

Espera-se que a fundamentação teórica deste artigo, entrecruzada com seus dados empíricos e com os objetivos do Programa CsF, tenha estimulado a reflexão acerca das políticas públicas de internacionalização do ensino superior no Brasil, cujas deficiências infraestruturais e relativas à proficiência em língua estrangeira ainda precisam ser mitigadas. Apesar de alguns indicadores benéficos apresentados por esta pesquisa e por outros estudos aqui abordados, devido à implementação recente desse programa, tem-se claro que ainda não é possível alcançar de forma sistêmica uma noção clara dos seus resultados e impactos. Ademais, mesmo que haja resultados concretos já no curto prazo, ainda não há estudos que demonstrem se os mesmos são significativos ou não.

O principal intuito foi fomentar a prática da avaliação de programas governamentais, já que esta contribui sobremaneira para a elevação da eficácia, eficiência e efetividade das ações do governo. Como agenda de pesquisa, sugere-se a realização de avaliações do Programa CsF sob a perspectiva de outros agentes internos e externos ao programa - como docentes das IES de origem e destino, representantes do governo, dentre outros -, assim como pesquisas de maior escopo institucional e geográfico. Conforme detectado por Cruz (2018), ainda não foi possível levantar dados de evasão e sucesso ou insucesso nas disciplinas cursadas pelos alunos no exterior, o que também constitui uma oportunidade de estudos. Além da sugestão de pesquisas que podem ser realizadas, recomenda-se que futuros programas de mobilidade acadêmica implementem um sistema efetivo de contrapartidas aos alunos enviados, no intuito de se multiplicarem os efeitos positivos, fomentando-se a transferência de conhecimento. Encerra-se esta pesquisa, portanto, esperando ter contribuído para que outras discussões possam dela derivar.

REFERÊNCIAS

ALA-HARJA, M.; HELGASON, S. Em direção às melhores práticas de avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-60, out./dez. 2000. [ Links ]

ALMEIDA, P. H. O compartilhamento do conhecimento entre pesquisadores nacionais e internacionais do Programa Ciência sem Fronteiras. Curitiba: Universidade Federal do Paraná, 2017. [ Links ]

ARRETCHE, M. T. S. Tendências no estudo sobre avaliação. In: RICO, E. M. (org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 2009. p. 29-40. [ Links ]

AVEIRO, T. M. M. O programa Ciência sem Fronteiras como ferramenta de acesso à mobilidade internacional. Tear: Revista de Educação, Ciência e Tecnologia, Canoas, v. 3, n. 2, 2014. [ Links ]

BRASIL. Decreto n. 7.642, de 13 de dezembro de 2011. Institui o Programa Ciência sem Fronteiras. 2011.Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/decreto/d7642.htm. Acesso em: 13 set. 2018. [ Links ]

BRASIL. Senado Federal. Secretaria de Transparência. Coordenação de Controle Social. Serviço de Pesquisa DataSenado. Avaliação do Programa Ciência sem Fronteiras. Brasília: Senado Federal, 2015a. 138 p. [ Links ]

BRASIL. Ministério da Educação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Capes e CNPq apresentam avaliação preliminar do Ciência sem Fronteiras. Brasília, 2015b. Disponível em: http://capes.gov.br/sala-de-imprensa/noticias/7583-capes-e-cnpq-apresentam-avaliacao-preliminar-do-ciencia-sem-fronteiras. Acesso em: 10.set.2018. [ Links ]

CARVALHO, S. N. de. Avaliação de programas sociais: balanço das experiências e contribuição para o debate. São Paulo em Perspectiva, São Paulo, v. 17, n. 3-4, p. 185-197, 2003. [ Links ]

CASTRO, C. M. et al. Cem mil bolsistas no exterior. Interesse Nacional, Rio de Janeiro, v. 2, n. 17, p. 25-36, abr./jun. 2012. [ Links ]

COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis: Vozes, 2004. [ Links ]

COSTA, F. L. da; CASTANHAR, J. C. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969-992, set./out. 2003. [ Links ]

COTTA, T. C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e de impacto. Revista do Serviço Público, Brasília, v. 49, n. 2, p. 103-124, abr./jun. 1998. [ Links ]

COTTA, T. C. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (Saeb). Revista do Serviço Público, Brasília, v. 52, n. 4, p. 89-111, out. 2001. [ Links ]

CRUZ, V. X. de A. Programa Ciência sem Fronteiras: uma avaliação da política pública de internacionalização do ensino superior sob a perspectiva do paradigma multidimensional. 2018. 209 f. Dissertação (Mestrado) - Mestrado Profissional em Administração Pública em Rede Nacional, Faculdade de Ciências e Tecnologia, Universidade Federal de Goiás, Goiânia-GO, 2018. Disponível em: https://repositorio.bc.ufg.br/tede/handle/tede/6543. Acesso em: 13 set. 2018. [ Links ]

CUNHA, C. G. S. Avaliação de políticas públicas e programas governamentais: tendências recentes e experiências no Brasil. Porto Alegre: Secretaria de Planejamento do Rio Grande do Sul, 2006. [ Links ]

DERLIEN, H-U. Una comparación internacional en la evaluación de las políticas públicas. Revista do Serviço Público, Brasília, v. 52, n. 1, p. 105-124, jan. 2001. [ Links ]

FIGUEIREDO, M. F.; FIGUEIREDO, A. M. C. Avaliação política e avaliação de políticas: um quadro de referência teórica. São Paulo: Idesp, 1986. [ Links ]

FINARDI, K.; ORTIZ, R. A. Globalization, internationalization and education: what is the connection?. In: INTCESS14- International Conference on Education and Social Sciences, 2014, Istambul. Proceedings of INTCESS14- International Conference on Education and Social Sciences. Istambul: Ocerint., v. 1. p. 45-53, 2014. [ Links ]

FREIRE JÚNIOR, J. C. Internacionalização de instituições de ensino superior no Brasil. Revista Unespciência, São Paulo, n. 62, n.p., abr. 2015. [ Links ]

GARCIA, R. C. Subsídios para organizar avaliações da ação governamental. Planejamento e Políticas Públicas, Brasília, n. 23, p. 7-70, jan./jun. 2001. [ Links ]

GENERAL ACCOUNTING OFFICE. The results act: an evaluator’s guide to assessing agency annual performance plans. Washington: GAO/GGD, 1998. [ Links ]

GIL, A. C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 2007. [ Links ]

LUBAMBO, C. W.; ARAÚJO, M. L. C. de. Avaliação de programas sociais: virtualidades técnicas e virtualidades democráticas. Recife: Fundação Joaquim Nabuco, 2003. [ Links ]

LOBO, T. Avaliação de processos e impactos em programas sociais: algumas questões para reflexão. In: RICO, E. M. (org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 75-84. [ Links ]

MANÇOS, G. de R.; COELHO, F. de S. Internacionalização da ciência brasileira: subsídios para avaliação do Programa Ciência sem Fronteiras. Revista Brasileira de Políticas Públicas e Internacionais, João Pessoa, v. 2, n. 2, p. 52-82, dez. 2017. [ Links ]

MEDEIROS, F. S.; LOPES, C. V. M. Uso de questionários nos trabalhos de conclusão de curso da licenciatura em química: uma discussão metodológica. Porto Alegre: UFRGS, 2012. [ Links ]

ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Glossary of key terms in evaluation and results-based management. 2002. Disponível em: https://www.oecd.org/dac/2754804.pdf. Acesso em 13 set. 2016. [ Links ]

OLIVEIRA, J. S. A internacionalização da educação superior nas relações internacionais do Brasil: o caso do Programa Ciência sem Fronteiras. Brasília: Universidade de Brasília. 2015. [ Links ]

PATI, Camila. As 30 melhores universidades do mundo em 2015. Revista Exame, Editora Abril, Edição de 15 de setembro de 2015. Disponível em: http://exame.abril.com.br/carreira/as-30-melhores-universidades-do-mundo-em-2015/. Acesso em: 23 out. 2016. [ Links ]

PIRES, R. R. C.; LOPEZ, F. G.; SILVA, F. de S. e. Métodos qualitativos de avaliação e suas contribuições para o aprimoramento de políticas públicas. In: CARDOSO JUNIOR, José Celso (coord.). Brasil em desenvolvimento: Estado, planejamento e políticas públicas. Brasília: Ipea, 2010. p. 661-688. (Brasil: O Estado de uma Nação, v. 3). [ Links ]

SANDER, B. Administração da educação e relevância cultural. In: SANDER, B. Gestão da educação na América Latina: construção e reconstrução do conhecimento. Campinas: Autores Associados, 1995. [ Links ]

SHIN, J. C.; TEICHLER, U. The future of the post-massified university at the crossroads: restructuring systems and functions. Heidelberg: Springer, 2014. [ Links ]

SILVA, P. L. B. (coord.). Modelo de avaliação de programas sociais prioritários: relatório final. Programa de Apoio à Gestão Social no Brasil. Campinas: NEPP-Unicamp, 1999. [ Links ]

YIN, Robert K. Estudo de caso: planejamento e métodos. 3. ed. Porto Alegre: Bookman, 2005. [ Links ]

1Segundo o Painel de Controle do Programa Ciência sem Fronteiras, 1% é rotulado como “Outros” e faz referência a bolsas de “Tecnólogos” e bolsas de “Desenvolvimento Tecnológico”. Disponível em: http://www.cienciasemfronteiras.gov.br/web/csf/painel-de-controle. Acesso em: 19 ago. 2015.

2Disponível em: http://educacao.estadao.com.br/noticias/geral,governo-suspende-abertura-de-vagas-no-ciencia-sem-fronteiras-neste-ano,1767249. Acesso em: 29 set. 2015.

3Disponível em: http://www.montesclaros.mg.gov.br/. Acesso em: 11 dez. 2015.

Recebido: 28 de Junho de 2018; Aceito: 15 de Outubro de 2018

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons