1 Introdução

O enfrentamento à extrema pobreza foi, nas duas últimas décadas, a principal agenda dos governos brasileiros. Em resposta ao levantamento do ^{IBGE (2010}) - que identificou cerca de 16 milhões de brasileiros vivendo abaixo da linha da pobreza, mesmo após anos de investimento em ações e programas sociais, especialmente o programa de transferência de renda condicionada, o Bolsa Família - o governo federal implementou, em 2011, o Plano Brasil Sem Miséria (PBSM) que teve como meta a erradicação da miséria em 4 anos (^{BRASIL, 2011}; ^{CAMPELLO; MELLO, 2014}).

O Plano foi coordenado pelo então Ministério do Desenvolvimento Social e Combate à Fome (MDS) e articulou e integrou políticas, programas e ações sociais. Dentre suas diretrizes destaca-se “a articulação de ações de garantia de renda com ações voltadas à melhoria das condições de vida da população extremamente pobre, de forma a considerar a multidimensionalidade da situação da pobreza” (^{PAES-SOUSA, 2013}; ^{PAES-SOUSA; VAITSMAN, 2014}).

A partir desta perspectiva, no campo da saúde, um dos pontos mais sensíveis para as pessoas que vivem em condições de negligência, a Fundação Oswaldo Cruz (Fiocruz), em parceria com o MDS e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), implementou um programa de indução à pesquisa em saúde relacionado à extrema pobreza, no período de 2012 a 2018, que contou com participação de 16 cursos de doutorado da Fiocruz.

O referido programa de indução à pesquisa teve como objetivo a geração de conhecimentos em saúde para mitigação dos problemas relacionados à extrema pobreza. Após o período de indução e apoio às pesquisas, os produtos foram apresentados em forma de teses, artigos científicos, produções técnicas e educacionais. Era preciso avaliar seus resultados e verificar se os objetivos esperados foram alcançados.

Para isso, foi realizada uma pesquisa avaliativa que teve três motivações/justificativas: a primeira, de cunho social, por abordar a questão da extrema pobreza e discutir a possibilidade de contribuição concreta por parte da academia para o enfrentamento da miséria; a segunda, de cunho acadêmico, se baseou na relevância do objeto de estudo, que carregava com si a responsabilidade de ser uma das primeiras iniciativas de aproximação entre academia e políticas sociais, sob fomento da CAPES; e a terceira, de cunho profissional atrelado ao compromisso institucional das autoras, de apresentar evidências sobre os resultados desta iniciativa, que estava diretamente relacionada à missão institucional da Fiocruz, de contribuir com a diminuição das desigualdades sociais.

A pesquisa teve início com um estudo de avaliabilidade, publicado em 2021, que foi desenvolvido para construção e validação do modelo lógico do programa de indução e identificação das perguntas avaliativas dos stakeholders das três instituições envolvidas. Os resultados deste estudo indicaram que o programa era passível de avaliação e orientaram a decisão pela matriz e indicadores disponíveis no documento intitulado Making an Impact: A preferred Framework and Indicators to Measure Returns on Investment in Health Research (^{CAHS, 2009}), aqui denominada Matriz CAHS, pois a principal questão avaliativa identificada foi se o investimento público neste programa indução à pesquisa em saúde retornou aos extremamente pobres e a sociedade de forma geral.

A escolha pela Matriz CAHS deve-se ao fato de que a mesma congrega diferentes abordagens metodológicas em um modelo de fácil compreensão e utilização, além de compreender um amplo menu de indicadores elaborado para contemplar as diversas necessidades avaliativas de diferentes programas, assim como abordagens quantitativas e qualitativas, se constituindo como um modelo prático, robusto, objetivo e, especialmente, aplicável.

Poucos estudos tratam da metodologia canadense de mensuração do retorno do investimento em pesquisa em saúde, a referida metodologia é citada em quatro artigos de revisão: ^{Greenhalgh et al. (2016}); ^{Holmes et al. (2012}); ^{Penfield et al., (2014}); ^{Banzi et al., (2011}), e em dois estudos internacionais e em estudo um nacional: ^{Graham et al. (2012}); ^{Adam (2012}); ^{Tuesta (2015}), respectivamente, nos quais a Matriz foi aplicada, o que muito contribuiu para a adaptação aqui apresentada.

Atributos como amplitude, profundidade e flexibilidade da Matriz CAHS demonstraram a coerência em utilizá-la para avaliação do referido programa de indução à pesquisa em saúde. Diversos aspectos reforçaram a viabilidade da aplicação ao contexto brasileiro e à intervenção estudada, como por exemplo, as similaridades entre: i) o princípio comum dos sistemas canadense e brasileiro, especialmente no que esse refere à universalidade da atenção primária em saúde; ii) similaridade entre as perspectivas do modelo de determinação social da saúde canadense e brasileiro, que consideram desde aspectos individuais até o contexto sociocultural, econômico e ambiental; e iii) semelhança entre a estruturação da pesquisa em saúde canadense e brasileira, sendo a primeira organizada em: pesquisa biomédica básica, pesquisa clínica aplicada, pesquisa de serviços de saúde e políticas, e pesquisa em população e saúde pública; e a segunda, organizada em: pesquisa básica, pesquisa aplicada e pesquisa em saúde pública e saúde coletiva.

As convergências entre a Política Nacional de Ciência, Tecnologia e Inovação em Saúde brasileira e os referenciais teórico-metodológicos que subsidiaram o desenvolvimento da Matriz CAHS, como a premissa de que a pesquisa em saúde é constituída por conhecimentos, tecnologias e inovações, cuja aplicação pode resultar em melhorias na saúde da população, também orientaram a decisão.

Por fim, o ineditismo do programa de indução também foi considerado no processo decisório da escolha metodológica, uma vez que a Matriz CAHS pode ser considerada como um instrumento de aprendizagem, o que corrobora com um dos principais objetivos da avaliação, aprender com esse processo de aproximação entre a academia às políticas sociais, por meio da indução de pesquisa em saúde.

Este artigo tem o objetivo de apresentar as contribuições e a adaptação da Matriz CAHS realizadas para avaliar o programa de indução Fiocruz-CAPES-Brasil Sem Miséria e se justifica pela crescente demanda por avaliações sobre o retorno de investimentos públicos em pesquisa.

Métodos

A Matriz CAHS foi desenvolvida para ser utilizada como um roteiro de acompanhamento dos impactos de pesquisa em saúde em cinco dimensões avaliativas: 1) Avanço do Conhecimento; 2) Capacitação, aqui denominada Formação de Recursos Humanos; 3) Tomada de Decisão baseada em informação; 4) Impactos na Saúde; e 5) Impactos Socioeconômicos.

A partir dos critérios estabelecidos pela Academia Canadense de Ciências da Saúde, como validade, relevância, disponibilidade e custo dos dados, tempo de coleta e atribuição dos dados às pesquisas induzidas pelo programa é que se propôs a adaptação e as contribuições a Matriz, aqui apresentadas.

Em relação às dimensões avaliativas, três das cinco previstas na Matriz CAHS foram utilizadas na avaliação, a saber:

A decisão do investimento em três dimensões foi fundamentada em função do escopo do programa de indução estudado, tempo decorrido pós-indução, tempo para desenvolvimento e conclusão da avaliação, assim como a viabilidade da coleta de dados.

As duas últimas dimensões, impactos na saúde e impactos socioeconômicos foram excluídas da avaliação, pois além de apresentarem o problema de atribuição acentuado, ou seja, dificuldade em atribuir uma relação causa-efeito, exigiria acompanhamento das mudanças durante um período maior de tempo.

Outra adaptação necessária pelos motivos supracitados, foi em relação às etapas finais da Matriz CAHS, as etapas de “adoção” e “resultados finais” foram suprimidas. Dessa forma, a adaptação proposta neste estudo foi representada de duas formas: a primeira, por meio de um quadro síntese (Quadro 1) e a segunda por meio do modelo lógico (Figura 1)

Figura 1 Modelo Lógico da Adaptação da Matriz CAHS ao Programa de Indução à Pesquisa em Saúde: Fiocruz-CAPES-Brasil Sem Miséria 

Para definição do conjunto de indicadores do menu proposto pela Matriz CAHS, foram utilizados os diagramas dos quatro pilares da pesquisa em saúde: pesquisa biomédica, pesquisa clínica aplicada, pesquisa em serviços de saúde e população e pesquisa em saúde pública e ainda na pesquisa transversal, de forma a identificar onde indicadores ou métricas para esses efeitos deveriam ser concentrados.

As orientações da CAHS foram norteadoras do processo, especialmente os alertas quanto ao uso inadequado da Matriz, como a busca por, apenas, resultados positivos e a dupla contagem dos resultados e efeitos das pesquisas.

O conjunto de categorias, subcategorias e indicadores foram classificados em:

Da mesma forma, adaptou-se ao contexto da pesquisa os níveis que a Matriz busca descrever: individual, institucional, regional/estadual, nacional e internacional. Neste estudo os níveis definidos foram, apenas, os níveis individual e institucional, por se tratar de um estudo de caso (^{YIN, 2001}).

Resultados e discussão

Os resultados apresentados a seguir foram organizados pelas dimensões avaliativas que compuseram o estudo. O Quadro 2 sintetiza as categorias e os indicadores, os Quadros 3, 4 e 5 apresentam de forma detalhada a descrição dos indicadores, a fonte de dados e suas limitações e a forma que os dados foram analisados.

A seguir são apresentadas as fontes de dados, assim como a proposta de análise dos mesmos, propostos para essa adaptação:

Reconhecemos que há fortes críticas ao próprio sistema de avaliação da produção científica dos programas de pós-graduação (^{GABARDO; HACHEM; HAMADA, 2018}; ^{SILVA, 2009}), contudo esse é o parâmetro vigente ao qual a academia está submetida.

Reconhecemos que há limitações importantes ao uso dos dados desta plataforma, especialmente a não atualização dos dados pelos pesquisadores e a fidedignidade dos dados, uma vez que o preenchimento é autodeclarado.

Este instrumento foi testado e validado por 3 alunos, de 3 programas de pós-graduação diferentes, as contribuições foram acatadas e o questionário disponibilizado, sem possibilidade de identificação do respondente, em atendimento à solicitação dos egressos que validaram o questionário e apontaram, que sem identificação, as respostas seriam mais fidedignas.

A análise de dados, por meio da triangulação, de acordo com ^{Minayo (2005}), em uma primeira dimensão é utilizada para avaliação aplicada a programas, projetos e afins, o que vem ao encontro do estudo apresentado.

A teses foram analisadas por meio da abordagem de análise textual-discursiva de ^{Moraes e Galiazzi (2016}), que fundamentam a análise nos estudos do campo Fenomenologia e propõem um “movimento interpretativo de caráter hermenêutico”, a referida análise opera com significados construídos a partir de um conjunto de textos.

Todo esse esforço, motivado por compromisso social, acadêmico e institucional, revela o grau de investimento e detalhamento para a construção de metodologias, escolhas de indicadores e critérios, fontes de dados e tipos de análise que sejam capazes de mensuram o retorno do investimento público em pesquisa em saúde aliada às políticas sociais.

Esse tipo de estudo se propõe a contribuir para que outros programas e/ou ações de investimento em pesquisa sejam realizados e avaliados, na perspectiva de aprendizagem e contínua melhoria, evidenciando que é possível dar respostas e construir soluções para a realidade de um país como o Brasil, um dos mais desiguais do mundo, que pouco valoriza a ciência e acumula um lamentável histórico de mal-uso de recursos públicos.

Considerações

Este artigo apresentou o esforço de adaptar a Matriz de mensuração do retorno de investimento em pesquisa em saúde da Academia Canadense de Ciências da Saúde, para aplicá-la ao programa de indução à pesquisa, fruto da cooperação tripartite entre Fiocruz, CAPES e MDS.

Foram definidas três dimensões avaliativas: Avanço do Conhecimento, Formação de Recursos Humanos e Tomada de Decisão baseada em informação/evidência e seus respectivos indicadores, a partir de critérios claros e objetivos. O principal investimento desta adaptação foi na dimensão Formação de Recursos Humanos, uma vez que a Matriz canadense não foi projetada para avaliação de programas de formação de pesquisadores, como é o caso das pós-graduações que participaram desta indução.

Nesta dimensão foi incluída a categoria “formativa” com indicadores de processo seleção, formação e produção acadêmica e técnica. Neste sentido, este artigo é uma proposta metodológica, com caráter inovador, que se propõe a identificar e descrever os resultados do programa de indução, a partir da triangulação de dados, para responder se o programa alcançou ou não os resultados esperados.

Dessa forma, espera-se que outras pesquisas avaliativas possam fazer uso deste trabalho em programas com escopo semelhante.

Por fim, ressalta-se a relevância deste estudo como contribuição à crescente demanda da academia e da sociedade civil por avaliação do investimento de recursos públicos em pesquisa.