Avaliação de impacto

O maior desafio no estudo das avaliações de impacto é encontrar o contrafactual - determinar o que ocorreria com o beneficiário do programa avaliado caso o programa não tivesse ocorrido. No presente estudo, trata-se de determinar o resultado no Enade dos alunos bolsistas de IC, caso eles optassem por não participar da iniciação científica. Devido à ausência de dados reais que pudessem mostrar, simultaneamente, o desempenho dos mesmos alunos com e sem a bolsa de IC, torna-se necessário criar um grupo de comparação similar ao grupo dos tratados, denominação atribuída aos indivíduos beneficiados pelo programa (^{KHANDKER; KOOLWAL; SAMAD, 2009}).

Os questionários do Enade nas provas de 2015 a 2017, nos quais se baseia a presente pesquisa, perguntam aos alunos somente se eles foram beneficiados com bolsas de IC durante a graduação, não havendo informações a respeito da realização da IC sem o recebimento de bolsa. Dessa forma, diante da limitação dos dados disponíveis, uma análise semelhante não pode ser feita em relação a alunos de IC não bolsistas.

Considerando D _i uma variável binária que atribui valor 1 ao i-ésimo indivíduo caso ele seja beneficiário do programa, a variável de resultado é definida por Y _i (D _i ). O efeito do tratamento sobre o indivíduo i é dado então pela equação (1):

Surge assim o problema, pois, para cada indivíduo, apenas um dos possíveis resultados é observado, impossibilitando a estimativa de τ _i (o efeito do tratamento) para cada indivíduo. As avaliações devem se concentrar, então, nos efeitos médios do tratamento sobre a população (^{CALIENDO; KOPEINIG, 2008}).

Tomando a população como objeto de análise, o parâmetro τ pode ser calculado de duas formas distintas, que são diferenciadas pelo enfoque recebido entre os grupos populacionais avaliados. A primeira delas é definida como efeito médio do tratamento ou average treatment effect (ATE):

O ATE é calculado como a esperança da diferença da variável de resultado antes e após o tratamento. De acordo com ^{Caliendo e Kopeinig (2008}), este parâmetro mostra o valor esperado do resultado, caso os indivíduos da população recebessem o tratamento aleatoriamente. No contexto deste trabalho, a equação (2) mostra qual seria a melhoria esperada por um aluno na prova do Enade que recebeu aleatoriamente uma bolsa de iniciação científica durante a graduação.

A segunda maneira de se calcular τ tem como foco somente a parcela da população beneficiada pelo programa, recebendo o nome de efeito médio do tratamento sobre os tratados ou average treatment effect on treated (ATT). O ATT é calculado como a diferença dos valores esperados de Y(0) e Y(1) entre os indivíduos que, de fato, receberam o tratamento, como mostra a equação (3). O ATT corresponde, então, ao efeito esperado da IC para os alunos contemplados com a bolsa.

Considerando que a RN-017/2006 estabelece como finalidade da IC “despertar vocação científica e incentivar talentos potenciais entre estudantes de graduação universitária”, enquanto o manual do usuário Pibic (1998) define a IC como “um instrumento que permite introduzir os estudantes de graduação, potencialmente mais promissores, na pesquisa científica”, fica claro que as bolsas de IC não são distribuídas aleatoriamente, mas possuem um público-alvo definido, de tal modo que o parâmetro de interesse no restante do estudo será o ATT.

Nesse caso, portanto, o contrafactual, não observado, é o segundo termo do lado direito da equação (3). Utilizando, como alternativa, o valor observado do resultado dos não tratados E [Y(0) | D=0], tem-se:

O parâmetro ATT será corretamente identificado somente se o segundo termo do lado direito na equação (4), denominado viés de autosseleção, igualar-se a zero. Faz-se necessário, portanto, estabelecer duas hipóteses para solucionar o problema do viés de autosseleção (^{CALIENDO; KOPEINIG, 2008}).

A hipótese 1 − independência condicional: [Y(0), Y(1)] ? T | X, onde ? denota independência − afirma que, dado um conjunto de covariadas X, não afetadas pelo tratamento, a distribuição dos resultados potenciais de tratados e não tratados é independente do tratamento. Essa hipótese assume que, controlando as características observáveis dos indivíduos, qualquer diferença verificada nos resultados pode ser atribuída à participação no programa (^{LI; PALMA; XU, 2017}). Embora não seja uma hipótese diretamente testável, a existência de um banco de dados completo contribui para a sua sustentação, ao permitir o controle de um grande número de variáveis que podem afetar a participação no programa (^{KHANDKER; KOOLWAL; SAMAD, 2009}).

Uma hipótese mais fraca, suficiente para o cálculo do efeito médio sobre os tratados, estabelece que, dado o conjunto de covariadas, apenas o resultado potencial do grupo dos não tratados deve ser independente da variável de tratamento: Y(0) ? T | X.

A hipótese 2 − suporte comum ou sobreposição: 0 < P(D =1 | X) < 1 − garante que indivíduos com as mesmas características observáveis tenham, simultaneamente, probabilidade positiva de participar e não participar do programa, garantindo a existência de observações comparáveis a todos os indivíduos (^{HECKMAN; LALONDE; SMITH, 1999}). Novamente, para o cálculo da ATT, pode-se assumir a hipótese da sobreposição fraca: P(D =1 | X) < 1.

Pareamento por escore de propensão

^{Rosenbaum e Rubin (1983}) mostram que, satisfazendo as hipóteses de independência condicional e sobreposição, tratados e não tratados com características semelhantes podem ser pareados por meio da probabilidade de pertencer ao grupo de tratamento (escore de propensão, P(X)). Assim, o ATT é calculado por meio da diferença média da comparação dos resultados entre os indivíduos tratados e não tratados, como mostra a equação (5). Esta técnica é conhecida como pareamento por escore de propensão ou propensity score matching (PSM).

Para a execução do PSM, deve-se primeiramente calcular o escore de propensão de cada indivíduo. Para tanto, pode-se recorrer às técnicas econométricas tradicionais de resposta binária, como os modelos logit ou probit. Devem ser incluídas no modelo tanto variáveis que influenciem a participação no programa quanto a variável de resultado (^{KHANDKER; KOOLWAL; SAMAD, 2009}).

O próximo passo envolve selecionar o método de pareamento a ser utilizado. Os algoritmos de pareamento diferenciam-se em relação não somente à forma como é definida a vizinhança de comparação dos tratados, mas também aos pesos que devem ser atribuídos a cada um desses vizinhos (CALIENDO; KOPEINIG, 2018).

O algoritmo de pareamento mais objetivo é o de Nearest Neighbour matching (NN). Nele, cada indivíduo do grupo de tratamento é comparado ao indivíduo do grupo de controle com o escore de propensão mais próximo. Uma variação desse algoritmo consiste em comparar o indivíduo tratado com os n indivíduos com os escores de propensão mais próximos do grupo de controle. No presente trabalho, considera-se o Nearest Neighbour com n = 1 e n = 5. Nesses casos, os erros-padrão do ATT serão calculados por meio de bootstrap, com 200 replicações.

Outros algoritmos adotados no trabalho são o radius matching, em que os indivíduos do grupo de tratamento são comparados com todos os indivíduos do grupo de controle cuja proximidade do escore de propensão esteja dentro de um valor predefinido, neste trabalho com uma tolerância de 0,05; e o kernel matching, que cria, para cada indivíduo tratado, um contrafactual que engloba todo o grupo de tratamento, ponderando-o segundo uma função de kernel. Considerando a maior demanda computacional exigida por esses métodos e o grande número de alunos avaliados, o bootstrap é substituído pela aproximação de erros-padrão proposta por ^{Lechner (2001}). Salienta-se que Lechner (2002) encontra poucas diferenças entre essas aproximações e os erros-padrão calculados via bootstrap.

Tratamento dos dados

Utilizam-se neste estudo os microdados do Enade de 2015, 2016 e 2017. Considerando-se que as provas para cada curso são aplicadas trienalmente, o estudo engloba todos os cursos de graduação do tipo bacharelado e licenciatura atualmente avaliados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Nessas três avaliações, a prova não foi aplicada aos alunos ingressantes. Consequentemente, apenas alunos concluintes fazem parte da amostra do estudo.

Os cursos de formação de tecnólogo não são avaliados. Também não são consideradas as instituições de ensino superior municipais e privadas, bem como cursos de graduação a distância, devido à baixa oferta de bolsas de IC nessas modalidades. São avaliados, portanto, cursos presenciais de instituições públicas federais e estaduais.

Foram descartados os dados de alunos com provas em branco ou com nota zero nas provas de formação geral ou de conhecimentos específicos, evitando assim a comparação de alunos cujo esforço na prova foi muito baixo. Também foram desconsiderados os dados de alunos que não responderam a todas as questões necessárias dos questionários socioeconômico e de percepção da prova. Por fim, excluíram-se os dados das instituições em que nenhum dos alunos considerados foram beneficiados com bolsas de iniciação científica.

O grupo de tratamento é formado pelos alunos concluintes que, durante a graduação, foram beneficiados com bolsas de IC. Esta informação é obtida por meio do questionário socioeconômico aplicado aos estudantes. Infelizmente, não é possível identificar no grupo de tratamento alunos que tenham feito iniciação científica sem o recebimento das bolsas.

São estabelecidos dois grupos de controle. No primeiro, consideram-se os alunos concluintes das instituições federais e estaduais de ensino superior que não receberam nenhum tipo de bolsa acadêmica durante a graduação. O segundo grupo de controle é formado por alunos que, ao longo da graduação, foram beneficiados com bolsas acadêmicas de outras modalidades além da IC (extensão, monitoria/tutoria e programa de educação tutorial - PET), possibilitando, dessa forma, testar a robustez do método empregado e a desvinculação da bolsa de IC sobre o impacto da iniciação científica, como argumentado por ^{Pires (2015}).

A variável de resultado refere-se à nota de componente específico obtida pelo aluno concluinte na prova do Enade. A descrição detalhada das variáveis de controle empregadas é apresentada no Quadro 1. Já as variáveis binárias de referência, omitidas do modelo, são: Sudeste; pais com, no máximo, ensino fundamental I completo; alunos que moram sozinhos ou em outros tipos de moradia; renda familiar de até 1,5 salário mínimo; alunos que não trabalham; e curso da área de exatas e da terra.

Para que diferentes cursos pudessem ser avaliados conjuntamente, as notas dos alunos foram padronizadas, de tal forma que os resultados são avaliados em termos do número de desvios-padrão em relação aos demais alunos do mesmo curso. A avaliação de impacto das bolsas de IC sobre os bolsistas (ATT) é feita por meio do PSM, utilizando os algoritmos de pareamento discutidos anteriormente. Todos os cálculos do trabalho foram realizados com o software Stata 15.

Análise preliminar

No total, são avaliados 129.450 alunos de 65 cursos diferentes nos anos de 2015 a 2017, ofertados em 150 instituições, sendo 46 estaduais e 104 federais, selecionadas de acordo com os critérios definidos na seção anterior. Do total de alunos, 30,2% foram contemplados com uma bolsa de IC durante a graduação. A divisão dos alunos em tratados e não tratados, segundo a área de conhecimento avaliada, é apresentada na Tabela 1. A lista completa dos cursos avaliados encontra-se no Apêndice.

Observa-se, em termos relativos, uma proporção bem maior de bolsistas nas áreas biológicas e agrárias, com percentuais acima de 50%, enquanto a proporção de bolsistas na área de ciências sociais aplicadas é de apenas 11%. Porém, os dados não revelam o tempo médio de permanência com a bolsa por parte dos alunos, nem a quantidade de alunos que participaram de projetos de IC sem bolsa, que, consequentemente, fazem parte do grupo dos não tratados.

Comparando o desempenho médio de alunos que foram bolsistas de IC com os não bolsistas, verifica-se resultado superior dos bolsistas. A nota média padronizada do grupo de tratamento é 0,27, enquanto a do grupo de controle corresponde a -0,12; além da média, o resultado entre alunos bolsistas é superior ao longo de toda a distribuição das notas, como se verifica no Gráfico 2.

Fonte: Elaboração dos autores a partir de dados do Inep (BRASIL, 2016, 2017, 2018).

GRÁFICO 2 − Distribuição das notas do Enade de 2015 a 2017, tratados e não tratados 

No entanto, além das notas, as características pessoais de tratados e não tratados divergem substancialmente. Todas as variáveis levantadas são estatisticamente diferentes entre os grupos de tratamento e controle de acordo com o teste t para comparar médias, sendo que apenas duas delas não apresentaram diferenças significativas ao nível de 1%. Os detalhes da estatística descritiva e o resultado desses testes encontram-se no Apêndice.

Alunos bolsistas de IC, por exemplo, apresentam nota média de formação geral 0,26 desvios-padrão superior em relação aos não bolsistas, têm probabilidade 10% menor de terem frequentado o ensino médio em escolas públicas e estão mais concentrados nas universidades do Sul e do Sudeste do país. Alunos bolsistas têm ainda média de idade quase três anos menor, possuem probabilidade aproximadamente 9% menor de pertencerem a minorias étnicas e registram chance 10% maior de possuir ao menos um dos pais com ensino superior completo.

Levando em conta essas diferenças e o seu potencial de influenciar o desempenho dos alunos no Enade, a comparação direta das notas médias entre tratados e não tratados é impossibilitada, devido à forte sugestão da existência do viés de autosseleção, sendo necessário, portanto, o uso de métodos que sejam capazes de atenuar tais diferenças, como o pareamento por escores de propensão.

Pareamento

Para validar a aplicação do PSM, é necessário que sejam satisfeitas as hipóteses de independência condicional e de sobreposição. A primeira pode ser justificada pela qualidade do banco de dados utilizado, que conta com mais de 120.000 alunos e inclui uma vasta gama de características destes, que incluem a nota de formação geral, considerada uma proxy do conhecimento prévio do aluno (^{LÉPINE, 2016}), idade, sexo, etnia, região geográfica, renda, trabalho, educação dos pais, moradia, hábitos de estudo, participação em políticas afirmativas, percepção sobre a prova e sobre a instituição de ensino e a área de estudo.

A validade da hipótese de sobreposição fraca, por sua vez, pode ser atestada por meio do Gráfico 3, na situação anterior ao pareamento. Os escores de propensão estimados a partir do modelo probit para o recebimento das bolsas de IC para tratados e não tratados é sempre inferior à unidade (P(D =1 | X) < 1), garantindo a existência de observações comparáveis entre os grupos.

Fonte: Elaboração dos autores a partir de dados do Inep (BRASIL, 2016, 2017, 2018).

GRÁFICO 3 − Escore de propensão, bolsistas e não bolsistas, pareados e não pareados, Enade de 2015 a 2017 

Destaca-se que o modelo probit apresentou, em geral, parâmetros significativos ao nível de 1%. As únicas variáveis não significativas ao nível mínimo de 5% foram as faixas de renda de 1,5 a 4,5 e de 6 a 10 salários mínimos, além da variável binária indicando se o aluno acredita que seus professores possuíam domínio sobre o conteúdo lecionado. Dessa forma, o modelo se mostra capaz de considerar uma série de fatores relevantes na determinação da participação do aluno em projetos de IC. O resultado completo do modelo probit é apresentado no Apêndice.

A partir dos escores de propensão, alunos bolsistas são comparados com os não bolsistas mais próximos, em termos de probabilidade de participação no grupo de tratamento. A qualidade do pareamento realizado é apresentada no Gráfico 3, na situação posterior ao tratamento, que mostra a probabilidade de participação dos programas de IC de alunos bolsistas e seus pares. A distribuição de probabilidade é praticamente idêntica entre os grupos de tratamento e controle.

Fonte: Elaboração dos autores a partir de dados do Inep (BRASIL, 2016, 2017, 2018).

GRÁFICO 4 − Viés padronizado antes e após pareamento, Enade de 2015 a 2017 

A qualidade do pareamento é atestada também por meio do Gráfico 4, que mostra a redução do viés padronizado das variáveis antes e após o pareamento, sugerida por ^{Rosenbaum e Rubin (1985}). O viés padronizado é definido como a diferença da média amostral entre os grupos de tratamento e controle, ponderados pela raiz quadrada da média das variâncias dos dois grupos. Após o pareamento, o viés padronizado de todas as variáveis encontra-se abaixo do limite de 5% sugerido por ^{Caliendo e Kopeinig (2008}).

As evidências demonstradas, portanto, justificam o uso do pareamento por escores de propensão como forma de obter estimativas não enviesadas dos impactos da IC sobre seus alunos bolsistas.

Efeito médio do tratamento sobre os tratados (ATT)

As estimativas para o ATT são apresentadas na Tabela 2, segundo os algoritmos de pareamento NN(1), NN(5), radius e kernel. Para os resultados desagregados por áreas, os escores de propensão foram calculados incluindo variáveis binárias para os cursos, substituindo as variáveis relativas às áreas do conhecimento. Para fins de comparação, também são apresentados resultados obtidos por meio do modelo de regressão linear, cuja variável independente é a nota do aluno no Enade, e utilizam-se as mesmas covariadas do modelo probit, além de uma variável binária indicando recebimento da bolsa de IC. As estimativas dos erros-padrão estão em parênteses.

A análise global mostra resultados bastante robustos em relação ao método de pareamento utilizado: o efeito das bolsas de IC sobre os bolsistas na prova do Enade é estimado entre 0,2388 e 0,2476 desvios-padrão, sendo todas as estimativas significativas ao nível de significância de 1%. Mesmo o parâmetro calculado por meio dos mínimos quadrados ordinários apresenta um resultado semelhante aos demais.

Quando desagregados por grandes áreas, eles ainda apresentam robustez. As estimativas de todos os parâmetros mantêm a significância estatística. Em geral, a área em que a iniciação científica apresentou o menor impacto foi a de biológicas, cujo valor mínimo correspondeu a 0,2141 desvios-padrão, a partir do pareamento de Nearest Neighbour, seguida da área de linguística, letras e artes. Já as áreas com maiores impactos foram as de ciências agrárias e ciências exatas e da terra, com parâmetros atingindo máximas superiores a 0,3 desvios-padrão.

Uma forma alternativa de avaliar a robustez do impacto da bolsa de IC é compará-la com o efeito de outras bolsas acadêmicas ofertadas durante a graduação. Dessa forma, pode-se inferir se a iniciação científica é de fato um exercício efetivo e diferenciado de engajamento acadêmico ou se seu efeito é semelhante a outras formas de atividades universitárias extraclasse, considerando que a participação nessas atividades, independentemente da modalidade, gera efeitos positivos sobre o desempenho dos alunos.

Cria-se, portanto, um novo grupo de controle, composto por alunos bolsistas de projetos de extensão, de monitoria/tutoria e bolsistas PET. O desempenho desses bolsistas é então comparado ao dos bolsistas de IC, por meio de um novo modelo de pareamento por escore de propensão. Os resultados desse exercício são apresentados na Tabela 3, com erros-padrão entre parênteses. Novamente, foram utilizados diferentes métodos de pareamento, e os resultados foram desagregados segundo áreas do conhecimento.

O resultado global mostra que a iniciação científica de fato traz benefícios acadêmicos aos alunos participantes, mesmo quando comparada com outras formas de atividades extraclasse. Todas as estimativas são significativas e robustas quanto à amplitude do efeito, variando entre 0,0626 e 0,0677 desvios-padrão. Apesar do efeito positivo, nota-se que o impacto é bastante reduzido quando comparado ao grupo de controle anterior, independentemente do algoritmo de pareamento.

Analisando os resultados desagregados, observa-se para a maior parte das áreas avaliadas que as bolsas de iniciação científica possuem, de fato, um efeito positivo superior às demais modalidades de bolsas, ainda que este efeito seja inferior ao verificado com o grupo de controle dos não bolsistas. As áreas de biológicas e linguística, letras e artes foram as únicas que não apresentaram diferenças estatisticamente significativas de desempenho entre bolsistas IC e os demais bolsistas em todos os métodos de pareamento empregados, justamente as áreas de menor impacto na análise anterior.

Assim, os resultados em geral sugerem que, independentemente do método de pareamento e do grupo de controle utilizado, a IC gera ganhos acadêmicos para os alunos contemplados com bolsas, endossando, a partir de uma nova abordagem quantitativa, os prognósticos de trabalhos anteriores que tratam da questão a partir de uma metodologia predominantemente teórica e descritiva (^{PIRES, 2002}; ^{CABERLON, 2003}; ^{AGUIAR, 1997}).

Outro importante resultado deste trabalho, derivado da constatação de que as bolsas de IC possuem impacto superior às demais bolsas acadêmicas, é a possibilidade de separação do efeito da bolsa de IC sobre o programa de IC. Como destaca ^{Pires (2015}), é possível desvincular a IC da bolsa de IC. Enquanto a IC representa um instrumento básico de formação, as bolsas de IC correspondem a instrumentos de incentivo individual aos melhores alunos (CNPq, 1998). Sendo assim, “a IC é uma atividade bem mais ampla que a sua pura e simples realização mediante o pagamento de uma bolsa” (^{MARCUSCHI, 1996}, p. 6). Dessa forma, os impactos das bolsas de IC podem ocorrer a partir de duas vias distintas: a atividade da IC em si e os incentivos financeiros oferecidos pelas bolsas de IC.

Portanto, a superioridade do efeito das bolsas de IC, quando comparadas com outras bolsas acadêmicas, que também oferecem incentivos financeiros a seus participantes, é um indicativo de que a iniciação científica, enquanto atividade de pesquisa, constitui um instrumento de incentivo acadêmico, independente das possíveis vantagens financeiras atreladas a ela. Esses resultados reforçam os argumentos de ^{Velloso (2001}), ^{Bridi e Pereira (2004}) e ^{Pires (2002}), que consideram ser pequena a proporção de alunos que dependem financeiramente das bolsas de iniciação científica.