INTRODUÇÃO
Segundo Massi e Queiroz (2015, p. 7), a iniciação científica (IC) é definida como “o desenvolvimento de um projeto de pesquisa elaborado e realizado sob orientação de um docente da universidade, executado com ou sem bolsa para os alunos”. Partindo do conceito da palavra “iniciação”, as autoras propõem definir alternativamente a IC como o “processo no qual é fornecido o conjunto de conhecimentos indispensáveis para iniciar o jovem nos ritos, técnicas e tradições da ciência” (MASSI; QUEIROZ, 2010, p. 174).
Os estudos, em geral, apontam para o êxito do Programa Institucional de Bolsas de Iniciação Científica (Pibic). Para Massi e Queiroz (2010), as pesquisas realizadas demonstram os efeitos positivos da IC no desenvolvimento pessoal do aluno em áreas como desempenho na graduação, transição e sucesso na pós-graduação, socialização, autonomia, responsabilidade e maturidade, bem como os resultados positivos para as universidades, por meio do fortalecimento da pesquisa nas instituições.
Não obstante a disseminação da IC e seu êxito em estabelecer uma ponte entre a graduação e a pós-graduação, alguns autores ressaltam a pequena quantidade de estudos realizados sobre essa temática no país (MASSI; QUEIROZ, 2015). Apesar do crescimento recente do número de pesquisas, verificado por Nogueira e Canaan (2009) e Canaan (2012), os autores têm indicado a necessidade de diversificação dos procedimentos metodológicos na área, tendo em vista a “notável semelhança entre as questões de pesquisa e as metodologias adotadas para coleta e análise dos dados em vários trabalhos” (MASSI; QUEIROZ, 2010, p. 193). Os trabalhos, em geral, têm-se focado em questionários e entrevistas com alunos bolsistas de IC, ex-bolsistas e professores orientadores.
Poucos estudos possuem como proposta uma abordagem quantitativa de inferência estatística, para além da estatística descritiva. De fato, os únicos trabalhos levantados que se propõem a esse tipo de análise foram os de Canaan e Nogueira (2015) e do Centro de Gestão e Estudos Estratégicos - CGEE (2017). Interpretando as bolsas de IC como bem educacional escasso, Canaan e Nogueira (2015) analisam, por meio do modelo de regressão logística, quais aspectos da herança cultural dos alunos favorecem o acesso às bolsas.
Já o estudo do CGEE (2017) busca avaliar, a partir do pareamento por escore de propensão combinado com técnicas de regressão logística e de mínimos quadrados ordinários, quais os impactos da participação no Pibic em diferentes aspectos profissionais dos alunos graduados, como a atuação na pós-graduação, inserção no mercado de trabalho e remuneração, embora o estudo não explore a relação antecedente entre IC e o sucesso ainda durante a graduação.
O presente estudo busca, portanto, contribuir com a literatura acerca da IC a partir da abordagem quantitativa pouco explorada, investigando o impacto das bolsas de IC sobre o desempenho acadêmico dos alunos bolsistas, por meio da técnica de pareamento por escore de propensão. Para tanto, considera-se a nota de componente específico dos alunos concluintes no Exame Nacional de Desempenho dos Estudantes (Enade) de 2015 a 2017, contemplando assim 65 cursos de graduação em licenciatura e bacharelado presenciais, ofertados em 150 instituições de ensino superior federais e estaduais. Além da análise global, envolvendo todos os alunos, as avaliações são realizadas também de acordo com as oito grandes áreas do conhecimento definidas pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).
Complementar à avaliação principal, que considera alunos bolsistas de IC como grupo de tratamento e alunos que não receberam nenhum tipo de bolsa durante a graduação como grupo de controle, uma análise adicional é conduzida, estabelecendo como novo grupo de controle alunos bolsistas de outras modalidades além da IC, no sentido de buscar a obtenção de robustez nos resultados e a possibilidade de separação dos efeitos financeiros da bolsa sobre os impactos do programa de IC.
Quanto ao método empregado, o pareamento por escore de propensão tem sido utilizado na literatura para avaliar o impacto de diferentes políticas voltadas para o ensino superior, por meio da avaliação de desempenho no Enade, como o Programa Universidade para Todos (Prouni) (LÉPINE, 2016; DUTRA, 2016), Ciência sem Fronteiras (CONCEIÇÃO; FRANÇA; JACINTO, 2016) e as políticas de cotas (PEREIRA; BITTENCOURT; SILVA JUNIOR, 2013), o que justifica sua escolha como ferramenta de análise na presente pesquisa.
Este estudo divide-se em quatro seções, além desta introdução. A seguir, apresenta-se o histórico, os objetivos e os resultados do Programa Institucional de Bolsas de Iniciação Científica. Posteriormente, é abordada a metodologia, mostrando o problema do viés de autosseleção subjacente ao estudo das avaliações de impacto, juntamente com a proposta do pareamento por escore de propensão para lidar com este viés, além de detalhes a respeito do tratamento dos dados empregado no trabalho. Os resultados obtidos são analisados para o caso geral e desagregados segundo as grandes áreas do conhecimento. Também são comparados os resultados com os da análise complementar, relativa ao segundo grupo de controle. Por fim, apresentam-se as considerações finais do estudo.
HISTÓRICO E OBJETIVOS DA INICIAÇÃO CIENTÍFICA NO BRASIL
A pesquisa desenvolvida em universidades com o auxílio de estudantes de graduação já existia de forma incipiente no Brasil desde a década de 1940 (BARIANI, 1998). Um importante marco no desenvolvimento dessas atividades foi a criação do CNPq, em 1951, estabelecendo a IC enquanto objeto de política nacional, que passou a ser organizada, promovida e financiada pelo governo a partir de 1963 (MASSI; QUEIROZ, 2010; 2015).
Em 1968 ocorreu a Reforma Universitária, que teve, entre suas consequências, a consolidação e a ampliação dessas atividades, a partir do reconhecimento da indissociabilidade do ensino-pesquisa na educação superior (MARTINS, 2009; MALDONADO, 1998).
A evolução do número de bolsas de IC ofertadas no país no período de 1976 a 2015 pode ser observada no Gráfico 1. Em 1976 havia apenas 845 bolsas no país e, até meados dos anos 1980, esse número apresentou crescimento modesto, passando para 1.600 bolsas em 1985. Porém, na segunda metade dessa década, houve um aumento mais expressivo, atingindo 7.548 bolsas em 1990. Destaca-se nesse período a criação, pelo CNPq, em 1988, do Programa Institucional de Bolsas de Iniciação Científica, um instrumento de fomento à IC, a partir do qual as bolsas passaram a ser concedidas diretamente às instituições de ensino superior e aos institutos de pesquisa, que se tornaram responsáveis pelo seu gerenciamento e concessão (MASSI; QUEIROZ, 2010).
Graças ao Pibic, a primeira metade da década de 1990 foi um período de forte expansão na concessão de bolsas de IC, com um crescimento de 149%, alcançando 18.790 bolsas em 1995. Essa fase foi considerada por Martins e Martins (1999) como o “período da IC”. Ademais, para Marcuschi (1996), o Pibic representa a novidade mais importante do ensino superior dessa época.
No período seguinte, observou-se estagnação no número de bolsas de IC, não superando 20 mil bolsas até 2005. Todavia, verifica-se novamente um crescimento contínuo das bolsas de iniciação científica de 2003 até 2011, quando se atingiu o maior nível nos anos analisados, com 28.580 bolsas concedidas. Porém, no final do período, o total de bolsas voltou a decrescer, somando 27.717 em 2015. Outros números ajudam a confirmar a importância assumida pela IC na esfera governamental. Segundo dados do CNPq (s.d.), 30% do total de bolsas disponibilizadas pela instituição no país foi destinado à IC em 2015. Já em termos monetários, as bolsas de IC correspondem a 10% do valor total investido em bolsas no mesmo ano.
O sucesso do Pibic levou as fundações estaduais de amparo à pesquisa a adotarem programas similares de incentivo à iniciação científica, como são os casos da Fundação de Amparo à Pesquisa do Estado de Minas Gerais (Fapemig), de Minas Gerais, da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), de São Paulo, e da Fundação Araucária, do Paraná (NOGUEIRA; CANAAN, 2009).
Atualmente, as normas e o funcionamento da IC e do Pibic são regidos por meio da Resolução Normativa n. 17/2006 (RN-017/2006), do CNPq. Segundo a resolução, a finalidade da IC é “despertar vocação científica e incentivar talentos potenciais entre estudantes de graduação universitária, mediante participação em projeto de pesquisa, orientados por pesquisador qualificado” (CNPQ, 2006, não paginado).
Ainda segundo a RN-017/2006 (CNPQ, 2006), o Pibic possui três objetivos gerais: contribuir para a formação de recursos humanos para a pesquisa; contribuir para a formação científica de recursos humanos que se dedicarão a qualquer atividade profissional; e contribuir para reduzir o tempo médio de permanência dos alunos na pós-graduação.
Diferentes estudos, predominantemente qualitativos, vêm atestando a importância e o sucesso do Programa em atingir seus objetivos. Para Marcuschi (1996), a IC representa a possibilidade de colocar o aluno em contato desde cedo com a pesquisa e, dessa forma, engajá-lo. A IC permite a ampliação da experiência acadêmica de jovens alunos, proporcionando a eles mais chances de seguirem carreiras que envolvam a pesquisa (CGEE, 2017).
Segundo o estudo de Aragón, Martins e Velloso (1999), um bolsista Pibic possuía 6 vezes mais chances de ingressar no mestrado comparado aos não bolsistas. Além disso, o prazo médio de transição entre a graduação e o ingresso no mestrado era de 1,2 ano para ex-bolsistas e de 6,8 anos entre os não bolsistas. Cabrero (2007) constatou que, entre os alunos participantes do Pibic na Universidade Federal de São Carlos (UFSCar), 51% haviam se titulado mestres ou doutores. Estimativas mais recentes realizadas pelo CGEE (2017) mostram que os ex-alunos Pibic da Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp) têm 2,2 vezes mais chances de completarem o mestrado, enquanto a chance de concluir o doutorado é 1,5 vez maior.
Participantes da IC apresentam melhor rendimento na graduação (BREGLIA, 2002; PIRES, 2002; BRIDI, 2004) e menor tendência à evasão (VILLAS BOAS, 2003; AGUIAR, 1997). Costa et al. (1999) e Mazzafera e Suguimoto (2016) constataram também que, uma vez na pós-graduação, alunos que participaram da iniciação científica produzem mais trabalhos científicos do que seus pares.
Pesquisas revelam ainda o desenvolvimento pessoal adquirido com a experiência da IC, relacionado ao desenvolvimento do pensamento crítico, autonomia, responsabilidade e maturidade (CABRERO, 2007; CALAZANS, 1999).
Um questionário aplicado pelo CNPq aos participantes do Pibic no período 2013-2014, abordando os benefícios trazidos pela iniciação científica, revela que as experiências vivenciadas pelos alunos são, de modo geral, bastante satisfatórias. Enquanto apenas 1,5% dos respondentes consideraram que a IC não contribuiu para a sua formação, 75,3% afirmaram que a IC despertou seu interesse pela pesquisa e 78,1% mencionaram que o programa aprofundou seus conhecimentos na área estudada. Ainda neste questionário, 68% dos bolsistas indicaram que pretendem cursar a pós-graduação.
Por fim, Massi e Queiroz (2015) destacam também a importância da existência de um programa institucional de IC de alcance nacional, configurando-se um diferencial brasileiro, uma vez que, na maior parte dos países americanos e europeus, tal atividade está atrelada à iniciativa individual dos docentes.
METODOLOGIA
Avaliação de impacto
O maior desafio no estudo das avaliações de impacto é encontrar o contrafactual - determinar o que ocorreria com o beneficiário do programa avaliado caso o programa não tivesse ocorrido. No presente estudo, trata-se de determinar o resultado no Enade dos alunos bolsistas de IC, caso eles optassem por não participar da iniciação científica. Devido à ausência de dados reais que pudessem mostrar, simultaneamente, o desempenho dos mesmos alunos com e sem a bolsa de IC, torna-se necessário criar um grupo de comparação similar ao grupo dos tratados, denominação atribuída aos indivíduos beneficiados pelo programa (KHANDKER; KOOLWAL; SAMAD, 2009).
Os questionários do Enade nas provas de 2015 a 2017, nos quais se baseia a presente pesquisa, perguntam aos alunos somente se eles foram beneficiados com bolsas de IC durante a graduação, não havendo informações a respeito da realização da IC sem o recebimento de bolsa. Dessa forma, diante da limitação dos dados disponíveis, uma análise semelhante não pode ser feita em relação a alunos de IC não bolsistas.
Considerando D i uma variável binária que atribui valor 1 ao i-ésimo indivíduo caso ele seja beneficiário do programa, a variável de resultado é definida por Y i (D i ). O efeito do tratamento sobre o indivíduo i é dado então pela equação (1):
Surge assim o problema, pois, para cada indivíduo, apenas um dos possíveis resultados é observado, impossibilitando a estimativa de τ i (o efeito do tratamento) para cada indivíduo. As avaliações devem se concentrar, então, nos efeitos médios do tratamento sobre a população (CALIENDO; KOPEINIG, 2008).
Tomando a população como objeto de análise, o parâmetro τ pode ser calculado de duas formas distintas, que são diferenciadas pelo enfoque recebido entre os grupos populacionais avaliados. A primeira delas é definida como efeito médio do tratamento ou average treatment effect (ATE):
O ATE é calculado como a esperança da diferença da variável de resultado antes e após o tratamento. De acordo com Caliendo e Kopeinig (2008), este parâmetro mostra o valor esperado do resultado, caso os indivíduos da população recebessem o tratamento aleatoriamente. No contexto deste trabalho, a equação (2) mostra qual seria a melhoria esperada por um aluno na prova do Enade que recebeu aleatoriamente uma bolsa de iniciação científica durante a graduação.
A segunda maneira de se calcular τ tem como foco somente a parcela da população beneficiada pelo programa, recebendo o nome de efeito médio do tratamento sobre os tratados ou average treatment effect on treated (ATT). O ATT é calculado como a diferença dos valores esperados de Y(0) e Y(1) entre os indivíduos que, de fato, receberam o tratamento, como mostra a equação (3). O ATT corresponde, então, ao efeito esperado da IC para os alunos contemplados com a bolsa.
Considerando que a RN-017/2006 estabelece como finalidade da IC “despertar vocação científica e incentivar talentos potenciais entre estudantes de graduação universitária”, enquanto o manual do usuário Pibic (1998) define a IC como “um instrumento que permite introduzir os estudantes de graduação, potencialmente mais promissores, na pesquisa científica”, fica claro que as bolsas de IC não são distribuídas aleatoriamente, mas possuem um público-alvo definido, de tal modo que o parâmetro de interesse no restante do estudo será o ATT.
Nesse caso, portanto, o contrafactual, não observado, é o segundo termo do lado direito da equação (3). Utilizando, como alternativa, o valor observado do resultado dos não tratados E [Y(0) | D=0], tem-se:
O parâmetro ATT será corretamente identificado somente se o segundo termo do lado direito na equação (4), denominado viés de autosseleção, igualar-se a zero. Faz-se necessário, portanto, estabelecer duas hipóteses para solucionar o problema do viés de autosseleção (CALIENDO; KOPEINIG, 2008).
A hipótese 1 − independência condicional: [Y(0), Y(1)] ? T | X, onde ? denota independência − afirma que, dado um conjunto de covariadas X, não afetadas pelo tratamento, a distribuição dos resultados potenciais de tratados e não tratados é independente do tratamento. Essa hipótese assume que, controlando as características observáveis dos indivíduos, qualquer diferença verificada nos resultados pode ser atribuída à participação no programa (LI; PALMA; XU, 2017). Embora não seja uma hipótese diretamente testável, a existência de um banco de dados completo contribui para a sua sustentação, ao permitir o controle de um grande número de variáveis que podem afetar a participação no programa (KHANDKER; KOOLWAL; SAMAD, 2009).
Uma hipótese mais fraca, suficiente para o cálculo do efeito médio sobre os tratados, estabelece que, dado o conjunto de covariadas, apenas o resultado potencial do grupo dos não tratados deve ser independente da variável de tratamento: Y(0) ? T | X.
A hipótese 2 − suporte comum ou sobreposição: 0 < P(D =1 | X) < 1 − garante que indivíduos com as mesmas características observáveis tenham, simultaneamente, probabilidade positiva de participar e não participar do programa, garantindo a existência de observações comparáveis a todos os indivíduos (HECKMAN; LALONDE; SMITH, 1999). Novamente, para o cálculo da ATT, pode-se assumir a hipótese da sobreposição fraca: P(D =1 | X) < 1.
Pareamento por escore de propensão
Rosenbaum e Rubin (1983) mostram que, satisfazendo as hipóteses de independência condicional e sobreposição, tratados e não tratados com características semelhantes podem ser pareados por meio da probabilidade de pertencer ao grupo de tratamento (escore de propensão, P(X)). Assim, o ATT é calculado por meio da diferença média da comparação dos resultados entre os indivíduos tratados e não tratados, como mostra a equação (5). Esta técnica é conhecida como pareamento por escore de propensão ou propensity score matching (PSM).
Para a execução do PSM, deve-se primeiramente calcular o escore de propensão de cada indivíduo. Para tanto, pode-se recorrer às técnicas econométricas tradicionais de resposta binária, como os modelos logit ou probit. Devem ser incluídas no modelo tanto variáveis que influenciem a participação no programa quanto a variável de resultado (KHANDKER; KOOLWAL; SAMAD, 2009).
O próximo passo envolve selecionar o método de pareamento a ser utilizado. Os algoritmos de pareamento diferenciam-se em relação não somente à forma como é definida a vizinhança de comparação dos tratados, mas também aos pesos que devem ser atribuídos a cada um desses vizinhos (CALIENDO; KOPEINIG, 2018).
O algoritmo de pareamento mais objetivo é o de Nearest Neighbour matching (NN). Nele, cada indivíduo do grupo de tratamento é comparado ao indivíduo do grupo de controle com o escore de propensão mais próximo. Uma variação desse algoritmo consiste em comparar o indivíduo tratado com os n indivíduos com os escores de propensão mais próximos do grupo de controle. No presente trabalho, considera-se o Nearest Neighbour com n = 1 e n = 5. Nesses casos, os erros-padrão do ATT serão calculados por meio de bootstrap, com 200 replicações.
Outros algoritmos adotados no trabalho são o radius matching, em que os indivíduos do grupo de tratamento são comparados com todos os indivíduos do grupo de controle cuja proximidade do escore de propensão esteja dentro de um valor predefinido, neste trabalho com uma tolerância de 0,05; e o kernel matching, que cria, para cada indivíduo tratado, um contrafactual que engloba todo o grupo de tratamento, ponderando-o segundo uma função de kernel. Considerando a maior demanda computacional exigida por esses métodos e o grande número de alunos avaliados, o bootstrap é substituído pela aproximação de erros-padrão proposta por Lechner (2001). Salienta-se que Lechner (2002) encontra poucas diferenças entre essas aproximações e os erros-padrão calculados via bootstrap.
Tratamento dos dados
Utilizam-se neste estudo os microdados do Enade de 2015, 2016 e 2017. Considerando-se que as provas para cada curso são aplicadas trienalmente, o estudo engloba todos os cursos de graduação do tipo bacharelado e licenciatura atualmente avaliados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Nessas três avaliações, a prova não foi aplicada aos alunos ingressantes. Consequentemente, apenas alunos concluintes fazem parte da amostra do estudo.
Os cursos de formação de tecnólogo não são avaliados. Também não são consideradas as instituições de ensino superior municipais e privadas, bem como cursos de graduação a distância, devido à baixa oferta de bolsas de IC nessas modalidades. São avaliados, portanto, cursos presenciais de instituições públicas federais e estaduais.
Foram descartados os dados de alunos com provas em branco ou com nota zero nas provas de formação geral ou de conhecimentos específicos, evitando assim a comparação de alunos cujo esforço na prova foi muito baixo. Também foram desconsiderados os dados de alunos que não responderam a todas as questões necessárias dos questionários socioeconômico e de percepção da prova. Por fim, excluíram-se os dados das instituições em que nenhum dos alunos considerados foram beneficiados com bolsas de iniciação científica.
O grupo de tratamento é formado pelos alunos concluintes que, durante a graduação, foram beneficiados com bolsas de IC. Esta informação é obtida por meio do questionário socioeconômico aplicado aos estudantes. Infelizmente, não é possível identificar no grupo de tratamento alunos que tenham feito iniciação científica sem o recebimento das bolsas.
São estabelecidos dois grupos de controle. No primeiro, consideram-se os alunos concluintes das instituições federais e estaduais de ensino superior que não receberam nenhum tipo de bolsa acadêmica durante a graduação. O segundo grupo de controle é formado por alunos que, ao longo da graduação, foram beneficiados com bolsas acadêmicas de outras modalidades além da IC (extensão, monitoria/tutoria e programa de educação tutorial - PET), possibilitando, dessa forma, testar a robustez do método empregado e a desvinculação da bolsa de IC sobre o impacto da iniciação científica, como argumentado por Pires (2015).
A variável de resultado refere-se à nota de componente específico obtida pelo aluno concluinte na prova do Enade. A descrição detalhada das variáveis de controle empregadas é apresentada no Quadro 1. Já as variáveis binárias de referência, omitidas do modelo, são: Sudeste; pais com, no máximo, ensino fundamental I completo; alunos que moram sozinhos ou em outros tipos de moradia; renda familiar de até 1,5 salário mínimo; alunos que não trabalham; e curso da área de exatas e da terra.
Para que diferentes cursos pudessem ser avaliados conjuntamente, as notas dos alunos foram padronizadas, de tal forma que os resultados são avaliados em termos do número de desvios-padrão em relação aos demais alunos do mesmo curso. A avaliação de impacto das bolsas de IC sobre os bolsistas (ATT) é feita por meio do PSM, utilizando os algoritmos de pareamento discutidos anteriormente. Todos os cálculos do trabalho foram realizados com o software Stata 15.
VARIÁVEL | DESCRIÇÃO |
---|---|
Nota de CE | Nota do componente específico do aluno no Enade padronizada |
Nota de FG | Nota de formação geral do aluno no Enade padronizada |
Idade | Idade do aluno no ano de realização da prova |
Federal | Variável binária igual a 1 se o aluno estudou em uma instituição federal |
Norte | Variável binária igual a 1 se o curso é na região Norte |
Nordeste | Variável binária igual a 1 se o curso é na região Nordeste |
Sul | Variável binária igual a 1 se o curso é na região Sul |
Centro-Oeste | Variável binária igual a 1 se o curso é na região Centro-Oeste |
Mulher | Variável binária igual a 1 se é do sexo feminino |
Achou fácil | Variável binária igual a 1 se achou a prova fácil/muito fácil |
Minoria étnica | Variável binária igual a 1 se o aluno se declara negro, pardo ou indígena |
Pais ens. 9º fund. | Variável binária igual a 1 se nenhum dos pais tem além do ens. fund. II |
Pais ens. méd. | Variável binária igual a 1 se nenhum dos pais tem além do ensino médio |
Pais ens. sup. | Variável binária igual a 1 se ao menos um dos pais tem ensino superior |
Mora com pais | Variável binária igual a 1 se o aluno mora com os pais e/ou parentes |
Mora com cônjuge | Variável binária igual a 1 se o aluno mora com o cônjuge e/ou filho(s) |
1,5 a 3 SM | Variável binária igual a 1 se a renda familiar do aluno está entre 1,5 e 3 SM |
3 a 4,5 SM | Variável binária igual a 1 se a renda familiar do aluno está entre 3 e 4,5 SM |
4,5 a 6 SM | Variável binária igual a 1 se a renda familiar do aluno está entre 4,5 e 6 SM |
6 a 10 SM | Variável binária igual a 1 se a renda familiar do aluno está entre 6 e 10 SM |
10 a 30 SM | Variável binária igual a 1 se a renda familiar do aluno está entre 10 e 30 SM |
Mais de 30 SM | Variável binária igual a 1 se a renda familiar do aluno é superior a 30 SM |
Trab. menos 40h | Variável binária igual a 1 se o aluno trabalha menos de 40 horas semanais |
Trab. mais 40h | Variável binária igual a 1 se o aluno trabalha 40 horas semanais ou mais |
Pol. afirmativas | Variável binária igual a 1 se o aluno ingressou via políticas de ação afirmativa ou inclusão social |
Ens. med. pub. | Variável binária igual a 1 se estudou o ensino médio em escola pública |
Leu 6 livros | Variável binária igual a 1 se leu seis ou mais livros no ano |
Estuda mais de 8h | Variável binária igual a 1 se o aluno se dedicou mais de 8h semanais aos estudos |
Boa relação prof.-aluno | Em uma escala crescente de 1 até 6, o aluno respondeu 5 ou 6 quanto às relações professor--aluno ao longo do curso |
Domínio do prof. | Em uma escala crescente de 1 até 6, o aluno respondeu 5 ou 6 quanto ao domínio dos professores do curso |
Boa infraestrutura | Em uma escala crescente de 1 até 6, o aluno respondeu 5 ou 6 quanto à infraestrutura das salas de aula da instituição |
Biológicas | Variável binária igual a 1 se o curso é na área de biológicas |
Engenharias | Variável binária igual a 1 se o curso é na área de engenharias |
Saúde | Variável binária igual a 1 se o curso é na área de saúde |
Agrárias | Variável binária igual a 1 se o curso é na área de agrárias |
Sociais aplicadas | Variável binária igual a 1 se o curso é na área de sociais aplicadas |
Humanas | Variável binária igual a 1 se o curso é na área de humanas |
Ling., letras e artes | Variável binária igual a 1 se o curso é na área de linguística, letras e artes |
Fonte: Elaboração dos autores a partir de dados do Inep (BRASIL, 2016, 2017, 2018).
RESULTADOS
Análise preliminar
No total, são avaliados 129.450 alunos de 65 cursos diferentes nos anos de 2015 a 2017, ofertados em 150 instituições, sendo 46 estaduais e 104 federais, selecionadas de acordo com os critérios definidos na seção anterior. Do total de alunos, 30,2% foram contemplados com uma bolsa de IC durante a graduação. A divisão dos alunos em tratados e não tratados, segundo a área de conhecimento avaliada, é apresentada na Tabela 1. A lista completa dos cursos avaliados encontra-se no Apêndice.
ÁREA DE CONHECIMENTO | TOTAL | BOLSISTAS DE IC | % BOLSISTAS DE IC | |
---|---|---|---|---|
SIM | NÃO | |||
Exatas e da terra | 11.489 | 4.904 | 6.585 | 42,7 |
Biológicas | 6.111 | 3.278 | 2.833 | 53,6 |
Engenharias | 21.009 | 8.496 | 12.513 | 40,4 |
Saúde | 15.120 | 5.989 | 9.131 | 39,6 |
Agrárias | 11.400 | 5.729 | 5.671 | 50,3 |
Sociais aplicadas | 32.236 | 3.540 | 28.696 | 11,0 |
Humanas | 23.604 | 5.368 | 18.236 | 22,7 |
Linguística, letras e artes | 8.481 | 1.829 | 6.652 | 21,6 |
TOTAL | 129.450 | 39.133 | 90.317 | 30,2 |
Fonte: Elaboração dos autores a partir de dados do Inep (BRASIL, 2016, 2017, 2018).
Nota: A coluna “Não” refere-se tanto aos alunos que fizeram IC sem bolsa quanto aos alunos que não fizeram IC ao longo da graduação.
Observa-se, em termos relativos, uma proporção bem maior de bolsistas nas áreas biológicas e agrárias, com percentuais acima de 50%, enquanto a proporção de bolsistas na área de ciências sociais aplicadas é de apenas 11%. Porém, os dados não revelam o tempo médio de permanência com a bolsa por parte dos alunos, nem a quantidade de alunos que participaram de projetos de IC sem bolsa, que, consequentemente, fazem parte do grupo dos não tratados.
Comparando o desempenho médio de alunos que foram bolsistas de IC com os não bolsistas, verifica-se resultado superior dos bolsistas. A nota média padronizada do grupo de tratamento é 0,27, enquanto a do grupo de controle corresponde a -0,12; além da média, o resultado entre alunos bolsistas é superior ao longo de toda a distribuição das notas, como se verifica no Gráfico 2.
No entanto, além das notas, as características pessoais de tratados e não tratados divergem substancialmente. Todas as variáveis levantadas são estatisticamente diferentes entre os grupos de tratamento e controle de acordo com o teste t para comparar médias, sendo que apenas duas delas não apresentaram diferenças significativas ao nível de 1%. Os detalhes da estatística descritiva e o resultado desses testes encontram-se no Apêndice.
Alunos bolsistas de IC, por exemplo, apresentam nota média de formação geral 0,26 desvios-padrão superior em relação aos não bolsistas, têm probabilidade 10% menor de terem frequentado o ensino médio em escolas públicas e estão mais concentrados nas universidades do Sul e do Sudeste do país. Alunos bolsistas têm ainda média de idade quase três anos menor, possuem probabilidade aproximadamente 9% menor de pertencerem a minorias étnicas e registram chance 10% maior de possuir ao menos um dos pais com ensino superior completo.
Levando em conta essas diferenças e o seu potencial de influenciar o desempenho dos alunos no Enade, a comparação direta das notas médias entre tratados e não tratados é impossibilitada, devido à forte sugestão da existência do viés de autosseleção, sendo necessário, portanto, o uso de métodos que sejam capazes de atenuar tais diferenças, como o pareamento por escores de propensão.
Pareamento
Para validar a aplicação do PSM, é necessário que sejam satisfeitas as hipóteses de independência condicional e de sobreposição. A primeira pode ser justificada pela qualidade do banco de dados utilizado, que conta com mais de 120.000 alunos e inclui uma vasta gama de características destes, que incluem a nota de formação geral, considerada uma proxy do conhecimento prévio do aluno (LÉPINE, 2016), idade, sexo, etnia, região geográfica, renda, trabalho, educação dos pais, moradia, hábitos de estudo, participação em políticas afirmativas, percepção sobre a prova e sobre a instituição de ensino e a área de estudo.
A validade da hipótese de sobreposição fraca, por sua vez, pode ser atestada por meio do Gráfico 3, na situação anterior ao pareamento. Os escores de propensão estimados a partir do modelo probit para o recebimento das bolsas de IC para tratados e não tratados é sempre inferior à unidade (P(D =1 | X) < 1), garantindo a existência de observações comparáveis entre os grupos.
Destaca-se que o modelo probit apresentou, em geral, parâmetros significativos ao nível de 1%. As únicas variáveis não significativas ao nível mínimo de 5% foram as faixas de renda de 1,5 a 4,5 e de 6 a 10 salários mínimos, além da variável binária indicando se o aluno acredita que seus professores possuíam domínio sobre o conteúdo lecionado. Dessa forma, o modelo se mostra capaz de considerar uma série de fatores relevantes na determinação da participação do aluno em projetos de IC. O resultado completo do modelo probit é apresentado no Apêndice.
A partir dos escores de propensão, alunos bolsistas são comparados com os não bolsistas mais próximos, em termos de probabilidade de participação no grupo de tratamento. A qualidade do pareamento realizado é apresentada no Gráfico 3, na situação posterior ao tratamento, que mostra a probabilidade de participação dos programas de IC de alunos bolsistas e seus pares. A distribuição de probabilidade é praticamente idêntica entre os grupos de tratamento e controle.
A qualidade do pareamento é atestada também por meio do Gráfico 4, que mostra a redução do viés padronizado das variáveis antes e após o pareamento, sugerida por Rosenbaum e Rubin (1985). O viés padronizado é definido como a diferença da média amostral entre os grupos de tratamento e controle, ponderados pela raiz quadrada da média das variâncias dos dois grupos. Após o pareamento, o viés padronizado de todas as variáveis encontra-se abaixo do limite de 5% sugerido por Caliendo e Kopeinig (2008).
As evidências demonstradas, portanto, justificam o uso do pareamento por escores de propensão como forma de obter estimativas não enviesadas dos impactos da IC sobre seus alunos bolsistas.
Efeito médio do tratamento sobre os tratados (ATT)
As estimativas para o ATT são apresentadas na Tabela 2, segundo os algoritmos de pareamento NN(1), NN(5), radius e kernel. Para os resultados desagregados por áreas, os escores de propensão foram calculados incluindo variáveis binárias para os cursos, substituindo as variáveis relativas às áreas do conhecimento. Para fins de comparação, também são apresentados resultados obtidos por meio do modelo de regressão linear, cuja variável independente é a nota do aluno no Enade, e utilizam-se as mesmas covariadas do modelo probit, além de uma variável binária indicando recebimento da bolsa de IC. As estimativas dos erros-padrão estão em parênteses.
A análise global mostra resultados bastante robustos em relação ao método de pareamento utilizado: o efeito das bolsas de IC sobre os bolsistas na prova do Enade é estimado entre 0,2388 e 0,2476 desvios-padrão, sendo todas as estimativas significativas ao nível de significância de 1%. Mesmo o parâmetro calculado por meio dos mínimos quadrados ordinários apresenta um resultado semelhante aos demais.
Quando desagregados por grandes áreas, eles ainda apresentam robustez. As estimativas de todos os parâmetros mantêm a significância estatística. Em geral, a área em que a iniciação científica apresentou o menor impacto foi a de biológicas, cujo valor mínimo correspondeu a 0,2141 desvios-padrão, a partir do pareamento de Nearest Neighbour, seguida da área de linguística, letras e artes. Já as áreas com maiores impactos foram as de ciências agrárias e ciências exatas e da terra, com parâmetros atingindo máximas superiores a 0,3 desvios-padrão.
Uma forma alternativa de avaliar a robustez do impacto da bolsa de IC é compará-la com o efeito de outras bolsas acadêmicas ofertadas durante a graduação. Dessa forma, pode-se inferir se a iniciação científica é de fato um exercício efetivo e diferenciado de engajamento acadêmico ou se seu efeito é semelhante a outras formas de atividades universitárias extraclasse, considerando que a participação nessas atividades, independentemente da modalidade, gera efeitos positivos sobre o desempenho dos alunos.
ÁREA | NN(1) | NN(5) | RADIUS | KERNEL | OLS | ||||||
---|---|---|---|---|---|---|---|---|---|---|---|
Global | 0,2405 | * | 0,2388 | * | 0,2476 | * | 0,2471 | * | 0,2309 | * | |
(0,0093) | (0,0075) | (0,007) | (0,007) | (0,006) | |||||||
Exatas e da terra | 0,3084 | * | 0,2960 | * | 0,2786 | * | 0,2789 | * | 0,2514 | * | |
(0,0347) | (0,0246) | (0,0243) | (0,0243) | (0,0184) | |||||||
Biológicas | 0,2141 | * | 0,2204 | * | 0,2346 | * | 0,2330 | * | 0,2360 | * | |
(0,0369) | (0,0354) | (0,0303) | (0,0303) | (0,0242) | |||||||
Engenharias | 0,2548 | * | 0,2685 | * | 0,2679 | * | 0,2680 | * | 0,2579 | * | |
(0,0229) | (0,0183) | (0,0156) | (0,0156) | (0,0134) | |||||||
Saúde | 0,2921 | * | 0,2799 | * | 0,2865 | * | 0,2858 | * | 0,2797 | * | |
(0,0268) | (0,0211) | (0,0183) | (0,0184) | (0,0162) | |||||||
Agrárias | 0,3041 | * | 0,2752 | * | 0,2930 | * | 0,2923 | * | 0,2865 | * | |
(0,0272) | (0,0239) | (0,0202) | (0,0202) | (0,0174) | |||||||
Sociais aplicadas | 0,2617 | * | 0,2540 | * | 0,2641 | * | 0,2627 | * | 0,2489 | * | |
(0,0304) | (0,0213) | (0,0189) | (0,019) | (0,0163) | |||||||
Humanas | 0,2901 | * | 0,2837 | * | 0,2824 | * | 0,2820 | * | 0,2751 | * | |
(0,0248) | (0,0204) | (0,0182) | (0,0183) | (0,0147) | |||||||
Ling., letras e artes | 0,2718 | * | 0,2342 | * | 0,2398 | * | 0,2376 | * | 0,2408 | * | |
(0,0418) | (0,0329) | (0,0294) | (0,0294) | (0,0236) |
Fonte: Elaboração dos autores a partir de dados do Inep (BRASIL, 2016, 2017, 2018).
Nota: *p<0,01. As estimativas dos erros-padrão estão em parênteses.
Cria-se, portanto, um novo grupo de controle, composto por alunos bolsistas de projetos de extensão, de monitoria/tutoria e bolsistas PET. O desempenho desses bolsistas é então comparado ao dos bolsistas de IC, por meio de um novo modelo de pareamento por escore de propensão. Os resultados desse exercício são apresentados na Tabela 3, com erros-padrão entre parênteses. Novamente, foram utilizados diferentes métodos de pareamento, e os resultados foram desagregados segundo áreas do conhecimento.
O resultado global mostra que a iniciação científica de fato traz benefícios acadêmicos aos alunos participantes, mesmo quando comparada com outras formas de atividades extraclasse. Todas as estimativas são significativas e robustas quanto à amplitude do efeito, variando entre 0,0626 e 0,0677 desvios-padrão. Apesar do efeito positivo, nota-se que o impacto é bastante reduzido quando comparado ao grupo de controle anterior, independentemente do algoritmo de pareamento.
ÁREA DE CONHECIMENTO | NN(1) | NN(5) | RADIUS | KERNEL | OLS | ||||||
---|---|---|---|---|---|---|---|---|---|---|---|
Global | 0,0644 | * | 0,0626 | * | 0,0677 | * | 0,0671 | * | 0,0594 | * | |
(0,0103) | (0,0088) | (0,0076) | (0,0076) | (0,0067) | |||||||
Exatas e da terra | 0,0386 | 0,0691 | * | 0,0788 | * | 0,0783 | * | 0,0634 | * | ||
(0,0334) | (0,024) | (0,0243) | (0,0244) | (0,0199) | |||||||
Biológicas | 0,0552 | 0,0319 | 0,0378 | 0,0373 | 0,0339 | ||||||
(0,0421) | (0,0325) | (0,0311) | (0,0312) | (0,0266) | |||||||
Engenharias | 0,0426 | *** | 0,0649 | * | 0,0710 | * | 0,0706 | * | 0,0619 | * | |
(0,0242) | (0,0201) | (0,018) | (0,0181) | (0,0158) | |||||||
Saúde | 0,0578 | ** | 0,0634 | * | 0,0661 | * | 0,0661 | * | 0,0646 | * | |
(0,0247) | (0,0204) | (0,018) | (0,018) | (0,0163) | |||||||
Agrárias | 0,0894 | * | 0,1079 | * | 0,1112 | * | 0,1109 | * | 0,0973 | * | |
(0,0312) | (0,0239) | (0,0214) | (0,0214) | (0,0193) | |||||||
Sociais aplicadas | 0,0462 | 0,0508 | ** | 0,0644 | * | 0,0640 | * | 0,0658 | * | ||
(0,0333) | (0,0241) | (0,0223) | (0,0223) | (0,0193) | |||||||
Humanas | 0,0704 | * | 0,0706 | * | 0,0724 | * | 0,0718 | * | 0,0683 | * | |
(0,0267) | (0,0235) | (0,0195) | (0,0196) | (0,0167) | |||||||
Ling., letras e artes | 0,0051 | 0,0326 | 0,0459 | 0,0459 | 0,0396 | ||||||
(0,0466) | (0,037) | (0,0318) | (0,0318) | (0,0267) |
Fonte: Elaboração dos autores a partir de dados do Inep (BRASIL, 2016, 2017, 2018).
Nota: *p<0,01; **p<0,05; ***p<0,1. As estimativas dos erros-padrão estão em parênteses.
Analisando os resultados desagregados, observa-se para a maior parte das áreas avaliadas que as bolsas de iniciação científica possuem, de fato, um efeito positivo superior às demais modalidades de bolsas, ainda que este efeito seja inferior ao verificado com o grupo de controle dos não bolsistas. As áreas de biológicas e linguística, letras e artes foram as únicas que não apresentaram diferenças estatisticamente significativas de desempenho entre bolsistas IC e os demais bolsistas em todos os métodos de pareamento empregados, justamente as áreas de menor impacto na análise anterior.
Assim, os resultados em geral sugerem que, independentemente do método de pareamento e do grupo de controle utilizado, a IC gera ganhos acadêmicos para os alunos contemplados com bolsas, endossando, a partir de uma nova abordagem quantitativa, os prognósticos de trabalhos anteriores que tratam da questão a partir de uma metodologia predominantemente teórica e descritiva (PIRES, 2002; CABERLON, 2003; AGUIAR, 1997).
Outro importante resultado deste trabalho, derivado da constatação de que as bolsas de IC possuem impacto superior às demais bolsas acadêmicas, é a possibilidade de separação do efeito da bolsa de IC sobre o programa de IC. Como destaca Pires (2015), é possível desvincular a IC da bolsa de IC. Enquanto a IC representa um instrumento básico de formação, as bolsas de IC correspondem a instrumentos de incentivo individual aos melhores alunos (CNPq, 1998). Sendo assim, “a IC é uma atividade bem mais ampla que a sua pura e simples realização mediante o pagamento de uma bolsa” (MARCUSCHI, 1996, p. 6). Dessa forma, os impactos das bolsas de IC podem ocorrer a partir de duas vias distintas: a atividade da IC em si e os incentivos financeiros oferecidos pelas bolsas de IC.
Portanto, a superioridade do efeito das bolsas de IC, quando comparadas com outras bolsas acadêmicas, que também oferecem incentivos financeiros a seus participantes, é um indicativo de que a iniciação científica, enquanto atividade de pesquisa, constitui um instrumento de incentivo acadêmico, independente das possíveis vantagens financeiras atreladas a ela. Esses resultados reforçam os argumentos de Velloso (2001), Bridi e Pereira (2004) e Pires (2002), que consideram ser pequena a proporção de alunos que dependem financeiramente das bolsas de iniciação científica.
CONSIDERAÇÕES FINAIS
Este trabalho buscou avaliar o impacto das bolsas de IC sobre o desempenho acadêmico dos alunos concluintes de diferentes cursos de graduação, a partir de uma abordagem quantitativa, pouco empregada em estudos na área, dominada por análises baseadas em questionários e entrevistas.
Para determinar o contrafactual dos alunos bolsistas, utilizou-se o método do pareamento por escores de propensão, que busca encontrar as observações comparativamente mais próximas aos alunos que receberam bolsa durante a graduação. A comparação de resultados tem como base o desempenho dos alunos na prova de componente específico do Enade dos anos 2015 a 2017. Tal comparação é realizada a partir de diferentes grupos de controle, formados por alunos de graduação não bolsistas e por alunos bolsistas de outras modalidades acadêmicas.
Os resultados deste estudo atestam, em grande medida, as conjecturas de trabalhos anteriores a respeito da eficácia da iniciação científica em promover a educação superior. Independentemente dos algoritmos de pareamento envolvidos e da área de estudo avaliada, alunos bolsistas de IC apresentaram resultados estatisticamente superiores na prova do Enade em relação a alunos não bolsistas, indicando assim a robustez dos resultados encontrados.
Quando os alunos bolsistas de IC são comparados com alunos bolsistas de outras modalidades, os resultados, em geral, ainda demonstram a superioridade das notas dos alunos de IC, embora a dimensão dessa diferença seja reduzida. As exceções desses resultados são as áreas de biológicas e linguística, letras e artes, nas quais as diferenças de desempenho, embora positivas, não são estatisticamente significativas. A importância desses resultados reside na possibilidade de desagregar os impactos do programa de iniciação científica dos incentivos financeiros atrelados a ele.
Dessa forma, o presente estudo reforça, a partir de uma nova abordagem, o argumento generalizado encontrado na literatura acerca da necessidade de manutenção e expansão dos programas de incentivo à iniciação científica, tendo em vista os impactos positivos apresentados por eles em relação à formação acadêmica dos estudantes contemplados.
A limitação deste trabalho consiste na impossibilidade de comparação direta entre alunos bolsistas da IC e alunos participantes da IC não contemplados com a bolsa. Assim, embora este estudo tenha demonstrado, por meio do segundo grupo de controle, que o desempenho apresentado pelos bolsistas não se deve exclusivamente à ajuda financeira recebida, não foi viável mensurar a dimensão na qual esse apoio financeiro também possa impactar os bolsistas. Diante de uma possível melhoria na qualidade e disponibilização dos dados, trabalhos futuros podem investigar essa lacuna deixada em aberto no estudo.