Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
Introdução1
A discussão sobre rigor científico vem ganhando espaço cada vez maior na academia, e a abordagem do tema vem permeando a produção científica, especialmente nas duas últimas décadas (Casadevall; Fang, 2016; Kupferschmidt, 2018; Sarafoglou et al., 2022). Tradicionalmente mais atrelada à pesquisa quantitativa, a discussão vem se ampliando também no âmbito da pesquisa qualitativa (Johnson; Adkins; Chauvin, 2020; Juroš, 2011; Patias; Hohendorff, 2019; Rolfe, 2006). Nesse contexto, a pesquisa nas Ciências Humanas e Sociais (CHS), embora se utilize do método quantitativo para explicar e, também, descrever seus fenômenos, vêm aprofundando esse importante debate sobre a confiabilidade e a validade dos resultados de estudos de natureza qualitativa.
Sobre a pesquisa qualitativa rigorosa, há perspectivas diversas, com grande variedade de pontos de vista sobre rigor no processo de concepção e desenvolvimento da pesquisa (Darawsheh, 2014; Denzin; Lincoln, 2005; Flick, 2009; Kirk; Miller, 1986; Meyrick, 2006; Saldana, 2011). Nesse contexto e dentre as perspectivas prevalentes sobre rigor e a própria qualidade da pesquisa qualitativa, inclui-se uma espécie de transposição de princípios norteadores da pesquisa quantitativa para o âmbito da pesquisa qualitativa (Flick, 2009; Leung, 2015; Rolfe, 2006), com confrontos epistemológicos que se exacerbam no tocante à pesquisa nas ciências naturais e em CHS.
Essa tentativa de transposição é longe de trivial, uma vez que há ontologias e epistemologias diversas, assim como objetos de estudo distintos (Flick, 2009; Leung, 2015; Minayo, 1994; Rolfe, 2006). Leung (2015, p. 326, tradução própria) descreve que, na “[...] pesquisa quantitativa, a confiabilidade refere-se à replicabilidade exata dos processos e dos resultados. Em pesquisas qualitativas com diversos paradigmas, tal definição de confiabilidade é desafiadora e epistemologicamente contra-intuitiva”. Flick (2009) discute a aplicação de critérios clássicos de pesquisa social empírica, influenciados pelo positivismo, na pesquisa quantitativa, em especial confiabilidade, validade e objetividade. Flick (2009) relata que foi a partir de meados da década 1980 que critérios alternativos para a avaliação da pesquisa qualitativa ganharam espaço - o autor cita a fidedignidade, a credibilidade e a transferibilidade, dentre os que são sugeridos por Lincoln e Guba (1985).
Em “Competing paradigms in qualitative research” (Guba; Lincoln, 1994), um dos capítulos de livro mais citados sobre paradigmas e critérios relacionados à concepção e à avaliação da pesquisa qualitativa, os referidos autores abordam desafios de, por exemplo, conceber a pesquisa qualitativa com base em paradigmas distintos. Em uma perspectiva positivista e pós-positivista, o objetivo da investigação científica seria explicar e até mesmo prever ou controlar um dado fenômeno. Em uma perspectiva construtivista, o objetivo seria mais voltado a entender e reconstruir realidades, sendo o consenso (se atingido) na interpretação dos dados aberto a novas interpretações. Essas interpretações adicionais podem coexistir ou, pelo menos, não conflitarem a todo o tempo (Guba; Lincoln, 1994) ainda que discordantes, se levados em consideração, por exemplo, fatores culturais, sociais e/ou políticos, que influenciem essas interpretações concorrentes. O fato é que a transferência de critérios clássicos de cientificidade para estudos de cunho qualitativo levanta questões controversas (Aliyu et al., 2014). Para Law (2004), quando se fala em rigor no campo metodológico, a ideia é da obtenção mais robusta possível da representação da realidade:
[...] mais frequentemente a “conversa de método” da ciência social [...] conota algo bastante diferente - que é uma versão particular de rigor. Essa é a ideia de que é importante obter a melhor e tecnicamente mais robusta explicação possível da realidade, em que a realidade [...] [seria] um conjunto bastante determinado de entidades e processos detectáveis. O mundo é assim: um conjunto de processos possivelmente detectáveis (Law, 2004, p. 9, tradução própria).
Davies e Dodd (2002) discutem a inadequação da aplicação do conceito de rigor na perspectiva da pesquisa quantitativa ao contexto qualitativo. Os mesmos autores sugerem um conceito de rigor que atenda às necessidades da pesquisa qualitativa de forma mais adequada. Incorporando uma noção de ética, Davis e Dodd (2002) desenvolvem um conjunto de termos em torno dos quais argumentam que a pesquisa qualitativa pode falar significativamente sobre rigor: atenção, empatia, cuidado, sensibilidade, respeito, reflexão, consciência, engajamento, conscientização e abertura. Bradshaw e Stratford (2010) destacam que o design cuidadoso e o rigor são cruciais para a confiabilidade de qualquer pesquisa. Segundo esses autores, uma pesquisa mal concebida resulta em uma pesquisa mal executada e em descobertas que não resistem ao escrutínio.
Para Palaganas et al. (2017), entretanto, os desafios relativos à condução da pesquisa qualitativa vão muito além de questões voltadas ao desenho do estudo e questões sobre estratégias de validade, por exemplo. Para os autores, a reflexividade é um fator crucial para esse tipo de pesquisa - nesse sentido, a noção de pesquisa rigorosa não seria independente da reflexividade ao longo do processo de pesquisa. De acordo com Palaganas et al. (2017. p. 432, tradução própria), “[...] o conceito de reflexividade desafia a suposição de que haveria uma posição privilegiada em que o pesquisador pode estudar a realidade social de forma objetiva, ou seja, independente dela e por meio de uma ‘value-free inquiry’”.
Rigor, critérios e reflexividade na pesquisa qualitativa
Jootun, McGhee e Marland (2009) dão destaque ao conceito de reflexividade como procedimento associado ao rigor na condução da pesquisa qualitativa. Para Guillemin e Gillan (2004), a reflexividade é um dos conceitos que se torna central no desenvolvimento de pesquisas qualitativas e é capaz de garantir análise, questionamento e a possibilidade de reposicionamento quanto à prática da vida social, estando intimamente ligada às práticas éticas de pesquisa (Palaganas et al., 2017), independentes dos comitês de ética e pareceres.
Darawsheh (2014) realizou uma pesquisa para determinar como a reflexividade pode ser empregada como estratégia para garantir o rigor, revisando 13 narrativas do diário reflexivo do autor em pesquisa qualitativa. A mesma autora esclarece que, embora a literatura reconheça a reflexividade como uma estratégia associada a rigor, a adoção da reflexividade como estratégia direcionada à promoção de rigor e qualidade na pesquisa qualitativa é explicitada em poucos estudos. Contudo, usar a reflexividade como uma estratégia de promoção de rigor é também fonte de disputas na literatura, havendo uma lacuna importante sobre seu próprio sentido e de que forma conferiria credibilidade aos estudos (Darawsheh, 2014). Sobre esse aspecto, Rolfe (2006) põe em questão a suposição amplamente aceita de um único paradigma de pesquisa qualitativa e expõe as implicações dessa posição para julgamentos sobre a qualidade da pesquisa. Rolfe (2006, p. 304, tradução própria) divide a literatura sobre esse assunto em três posições:
[...] os escritores que desejam que a pesquisa qualitativa seja julgada de acordo com os mesmos critérios da pesquisa quantitativa; aqueles que acreditam que é necessário um conjunto diferente de critérios; e aqueles que questionam a adequação de qualquer critério predeterminado para julgar a pesquisa qualitativa.
Para Rolfe (2006, p. 304, tradução própria), “[...] das três posições, a segunda parece ter gerado mais debates, e uma série de diferentes estruturas e diretrizes para julgar a qualidade da pesquisa qualitativa foram elaboradas nos últimos anos”. O referido autor apresenta perspectivas nada consensuais sobre como se configura uma pesquisa qualitativa rigorosa. Ao citar Morse et al. (2002), Rolfe (2006) ressalta uma certa aspiração de muitos pesquisadores que atuam no campo da pesquisa qualitativa de atingir graus de certeza típicos da pesquisa quantitativa. Para Koch e Harrington (1998), a natureza dos problemas de interesse na pesquisa qualitativa é, fundamentalmente, diferente daqueles na pesquisa quantitativa e demanda criteriologia e terminologia próprias para descrever diferentes fenômenos e conceitos. É compondo esse cenário de embates teóricos e conceituais que a literatura registra críticas recorrentes sobre critérios de avaliação e interpretação da pesquisa qualitativa; os métodos usados; a validade dos estudos; a confiabilidade dos resultados e a capacidade de generalização, se for o caso, dessa abordagem de pesquisa.
A abordagem qualitativa - critérios próprios e expectativas sobre qualidade
Para Chueke e Lima (2012), a abordagem qualitativa permite ao pesquisador associar métodos para assegurar a compreensão em profundidade do fenômeno. De acordo com os referidos autores, a multiplicidade de métodos pode ocasionar problemas de qualidade nas pesquisas qualitativas devido ao seu uso inadequado. Chueke e Lima (2012, p. 66) citam Vieira (2004) quando argumentam que “[...] para que os resultados de uma pesquisa qualitativa sejam confiáveis torna-se necessária a descrição exaustiva da forma como os dados foram coletados, tabulados e analisados”.
Nessa perspectiva sobre a pesquisa qualitativa, há várias “tipologias de validade” (Creswell; Miller, 2000, p. 124, tradução própria), sendo a validade interna uma das questões que se associam à confiabilidade, no sentido de indicar se há uma correspondência entre os resultados e a realidade. Nesse sentido, “[...] o pesquisador poderá contar com a técnica de triangulação de diferentes pontos de vista, com a validação dos resultados por parte dos sujeitos pesquisados ou com a explicitação de explicações rivais” (Chueke; Lima, 2012, p. 67). Outro quesito associado à confiabilidade do estudo qualitativo se dá a partir dos esforços do pesquisador no sentido se posicionar consistentemente em relação às escolhas metodológicas.
Sobre a validade externa e a transferibilidade, em outras palavras, como tais conclusões poderão ser transferidas para outro contexto - generalização, Chueke e Lima (2012) acreditam que é a riqueza na descrição dos processos metodológicos adotados que garantirá a replicação do estudo por outro pesquisador em outros contextos. Citando Mattos (2006), Chueke e Lima (2012) explicam que autores da escola interpretativista, que incluem Denzin e Lincoln (2005), têm reservas sobre tais critérios. Eles adotariam alguns alternativos, discutidos por Flick (2009), como a credibilidade e a transferibilidade. “A generalização objetiva ou indutiva é substituída pela generalização analítica, na qual o próprio leitor é responsável por generalizar, se isso é mesmo possível” (Chueke; Lima, 2012, p. 67). Para Galeffi (2009, p. 44), “[o] rigor da pesquisa qualitativa diz respeito à qualidade de rigor do pesquisador e nada tem a ver com uma exteriorização metodológica de passos e regras de como conduzir uma investigação científica consistente”.
No Brasil, há uma diversidade de abordagens e apropriações de métodos para gerar e interpretar dados qualitativos (Higa; Rodrigues, 2020), destacando-se em pesquisas em campos distintos das Ciências Sociais, como a Medicina, a Epidemiologia, a Saúde Coletiva, a Enfermagem etc. Um exemplo dessa apropriação para além dos domínios das CHS se expressa nos congressos organizados pela Associação Brasileira de Saúde Coletiva (Abrasco) e em cursos na área de Saúde Pública oferecidos pela Fundação Oswaldo Cruz (Fiocruz). Em várias das apropriações, a ideia de validação da pesquisa qualitativa por meio da combinação com a quantitativa (Östlund et al., 2011) também está longe de consenso. Nesses termos, torna-se relevante explorar e tentar compreender como se dão as apropriações metodológicas da pesquisa qualitativa em trabalhos desenvolvidos por acadêmicos no Brasil, no âmbito da pós-graduação, onde se concentra boa parte da produção científica do país (Hafiz; Bueno, 2022).
Uma das principais questões motivadoras desta pesquisa foi como a preocupação com o rigor científico vinha sendo expressa em teses e dissertações que se basearam em pesquisa qualitativa ou utilizaram métodos qualitativos para a coleta de dados entre 2008 e 2018 (ano de início do estudo). Objetivamos oferecer um panorama sobre o problema - especificamente, explorar menções, explicitações associadas a preocupações com rigor no relato da pesquisa, incluindo a descrição de critérios para validação e confiabilidade. Para essa exploração sobre rigor, embora o foco seja “rigor metodológico”, buscou-se uma concepção de rigor um pouco mais ampla (Leung, 2015), considerando os relatos da pesquisa nessas produções acadêmicas e com foco em determinadas seções, como será descrito.
A hipótese levantada sobre esse questionamento foi que a explicitação de preocupações relacionadas ao rigor da pesquisa seria tímida nessas produções, não havendo um padrão, refletindo a falta de consenso na literatura sobre os critérios que confeririam rigor à pesquisa qualitativa.
Descrição metodológica
Nesta seção, discorre-se sobre abordagem da análise e o corpus.
Nota introdutória
A abordagem metodológica adotada neste estudo se desenvolveu a partir de uma pesquisa documental, cujo tratamento analítico foi realizado por meio de análise de conteúdo. Como descrito por Krippendorff (2004, p. 18, tradução própria):
A análise de conteúdo é uma técnica de pesquisa para fazer inferências replicáveis e válidas de textos (ou outro material significativo) para os contextos de seu uso. Como técnica, a análise de conteúdo envolve procedimentos especializados. É learnable e desvinculada da autoridade pessoal do pesquisador.
Para Bauer (2002, p. 203):
A análise de conteúdo é uma construção social. Como qualquer construção viável, ela leva em consideração alguma realidade, neste caso o corpus de texto, e ela deve ser julgada pelo seu resultado. Este resultado, contudo, não é o único fundamento para se fazer uma avaliação. Na pesquisa, o resultado vai dizer se a análise apresenta produções de interesse e que resistam a um minucioso exame [...].
O corpus textual de análise (teses e dissertações) constitui-se de dados considerados brutos, considerando não ter sofrido tratamento analítico para os fins desta pesquisa. Como descreve Krippendorff (2004, p. 29-30, tradução própria), os componentes conceituais são os seguintes:
Um corpus textual, os dados de que dispõe o pesquisador para iniciar um esforço analítico; a questão de pesquisa que o pesquisador busca responder examinando o corpus; um contexto da escolha do pesquisador dentro do qual dará sentido ao corpus; um construto analítico que operacionaliza o que o pesquisador sabe sobre o contexto; inferências que se destinam a responder à questão de pesquisa, que constituem a realização básica da análise de conteúdo; validação das evidências, que é a justificativa última da análise de conteúdo.
Muito embora a pesquisa documental possa ser confundida com a pesquisa bibliográfica, ou até se sobrepor a ela, a utilização do material como fonte primária de informações, como relatórios, por exemplo, se aproxima mais da pesquisa documental (Sá-Silva; Almeida; Guindani, 2009). Neste estudo, as teses e as dissertações que compõem o corpus textual receberam tratamento analítico, com determinação de unidades de análise.
Amostra que compõe o corpus textual
A amostra compreende teses e dissertações depositadas na base do diretório Biblioteca Digital Brasileira de Teses e Dissertações (BDTD), do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT). A BDTD “[...] integra os sistemas de informação de teses e dissertações existentes nas instituições de ensino e pesquisa do Brasil, e estimula o registro e a publicação de teses e dissertações em meio eletrônico” (IBICT, 2020). Foi realizada uma busca na base BDTD pela primeira autora, em 7 de julho de 2018, com o descritor “pesquisa qualitativa” e “2008-2018”. Foram selecionadas 473 teses e dissertações, nesse intervalo. Foram adotados os seguintes critérios de exclusão: “acesso restrito”, “site do arquivo indisponível” e “arquivos duplicados”.
Foram excluídos da análise 48 documentos. A amostra preliminar foi de 425 documentos2 (n=425). A classificação inicial foi feita em duas etapas. Na primeira etapa, foi atribuído um número de referência à cada documento; foram destacados o título e a metodologia constante do título, do assunto e do resumo; o nível [mestrado/doutorado]; o ano de defesa; a instituição; o status da universidade [pública/privada]; a unidade da instituição; o programa de pós-graduação da unidade; a categoria de conhecimento (Ciências Agrárias; Ciências Biomédicas; Ciências Humanas e Sociais; Ciências Sociais Aplicadas; Engenharias; Exatas e da Terra; Letras e Artes); o endereço eletrônico de acesso na Internet de cada documento; o nível de acesso [aberto; restrito]; a categoria de exclusão.
Com as informações planilhadas, os documentos foram classificados da seguinte forma: a) em relação ao título: documentos com “pesquisa qualitativa” no título; documentos com “pesquisa qualitativa” associada a “outra metodologia” no título; documentos “sem metodologia” mencionada no título; b) em relação à ficha catalográfica: documentos com “pesquisa qualitativa” associada a “outra metodologia” e documentos sem “metodologia” na ficha catalográfica; c) em relação ao resumo: documentos com “pesquisa qualitativa” e documentos sem “pesquisa qualitativa” no resumo. Apesar de a busca ter sido feita a partir do “título”, da “ficha catalográfica” e do “resumo”, a análise dos documentos se deu sobre as seções “Resumo”, “Metodologia”, “Considerações finais e/ou Conclusões” e “Limitações do estudo” (quando havia). Essas seções se tornaram as unidades de análise para o estudo, embora os resultados e a discussão tenham sido consultados para uma visão mais ampla sobre a abordagem dos trabalhos.
A análise das seções foi orientada por um roteiro básico de perguntas, a partir das quais foram criadas algumas categorias para registro em uma planilha Excel. As perguntas foram elaboradas com base em preocupações indicadas por vários autores que abordam questões sobre rigor e validação na pesquisa qualitativa (Denzin; Lincoln, 2005; Guba; Lincoln, 1994; Moreira, 2018; Östlund et al., 2011). As perguntas norteadoras básicas foram as seguintes (algumas dessas perguntas, eventualmente, foram aplicadas a uma ou mais seções dos trabalhos, dependendo da organização interna do documento):
Seção “Metodologia”:
✓ Qual/quais métodos de coleta e análise de dados foram utilizadas?
✓ A metodologia foi detalhada, fundamentada e se reflete nas etapas da pesquisa?
✓ A estratégia de amostragem (quando aplicável) foi descrita e justificada?
✓ Os procedimentos de análise dos dados foram descritos e justificados, com algum detalhamento sobre critérios adotados (não restritos a “critérios de inclusão” para pesquisa envolvendo humanos)?
✓ Alguma menção sobre a análise ter sido repetida por mais de um pesquisador para aumentar a confiabilidade?
✓ Existe associação de metodologias/abordagens quanti-quali? Se sim, há alguma justificativa?
✓ As palavras “rigor” e “validade” [ou similares] aparecem na descrição da metodologia? Em que contexto?
✓ Se houve pesquisa envolvendo humanos, há indicação de aprovação de um Comitê de Ética em Pesquisa (CEP)?
Seção “Considerações finais e/ou Conclusões”
✓ Retomam/mencionam algum aspecto da metodologia adotada?
✓ Retomam/mencionam os objetivos? Foram alcançados?
✓ Retomam/mencionam a hipótese (caso tenha sido indicada no estudo)?
✓ Citam limitações do estudo?
✓ Relatam algum tipo de viés?
✓ Mencionam contribuições do estudo?
✓ Mencionam algo relacionado à possibilidade/impossibilidade de replicação/reprodutibilidade/aplicação restrita dos resultados da pesquisa?
✓ Mencionam as palavras “rigor”, “validade” [ou similares] na conclusão/nas considerações? Em que contexto?
De forma a aumentar a confiabilidade da análise, foram consideradas válidas (n=244) apenas as análises com duplicata, realizadas de forma independente, por duas pesquisadoras, sendo essa amostra final definida após resolvidas as discrepâncias ao longo de cada análise. Esse tamanho de amostra pode ser considerado representativo do total de documentos, de acordo com o cálculo amostral (Yamane, 19673, p. 886 apudIsrael, 1992), para o qual se utilizou o total bruto (n=473), com precisão de ±5%, sendo o nível de confiança de 95% e P=0,5, a partir do qual se obtém um tamanho de amostra de 216:
onde
η = tamanho da amostra (?); N= tamanho da população (473); e = nível de precisão (0,05).
Na seção Resultados e Discussão, são descritos os principais achados a partir das análises dos 244 documentos validados, sendo 194 distribuídos em áreas biomédicas e 50 em áreas não-biomédicas.
Resultados
Os resumos dos documentos, teses e dissertações (n=425), foram organizados de acordo com a categorização que os classificou em: com metodologia qualitativa, com outra abordagem/procedimento e sem metodologia, e os resultados estão organizados por área de conhecimento (Ciências Agrárias, Ciências Biomédicas, Ciências Humanas e Sociais, Ciências Sociais Aplicadas, Engenharias, Letras e Artes). Como pode ser observado na Tabela 1, a seguir, com relação aos resumos, do total da amostra (n=425), 414 documentos (97%) foram categorizados como com metodologia qualitativa, pois mencionavam adesão explícita à pesquisa qualitativa, e oito documentos (2%) foram incluídos na categoria outra abordagem/procedimento, pois mais se referem à menção de procedimentos ou abordagens, sem identificar explicitamente o termo “pesquisa qualitativa”. Em três documentos (1%), não havia metodologia indicada, sendo classificados na categoria sem metodologia no resumo.
Tabela 1 Menção de apropriação da pesquisa qualitativa no resumo dos documentos coletados (n=425) na base BDTD/IBICT - categorização inicial dos documentos
| Metodologia | Total | Percentagem |
|---|---|---|
| Com metodologia qualitativa | 414 | 97% |
| Com outra abordagem | 8 | 2% |
| Sem metodologia | 3 | 1% |
| Total | 425 | 100% |
Fonte: Elaboração própria.
Em relação às áreas, a Tabela 2 lista 313 documentos das Ciências Biomédicas, com 306 (98%) documentos que foram categorizados como com metodologia qualitativa no resumo.
Tabela 2 Explicitação de metodologia qualitativa no resumo dos documentos coletados (n=425) na base BDTD/IBICT, organizados por área de conhecimento - categorização inicial dos documentos
| Área de conhecimento | Número de documentos | Categoria qualitativa |
|---|---|---|
| Ciências Biomédicas | 313 | 306 |
| Ciências Humanas e Sociais | 54 | 53 |
| Ciências Sociais Aplicadas | 33 | 31 |
| Ciências Exatas e da Terra | 12 | 11 |
| Ciências Agrárias | 5 | 5 |
| Letras e Artes | 5 | 5 |
| Engenharias | 3 | 3 |
| Total | 425 | 414 |
Fonte: Elaboração própria.
Na seção seguinte, são detalhados os resultados das análises das seções metodologia e das considerações finais para uma amostra de 244 teses e dissertações (Figura 1) que tiveram a análise validada, após duas análises independentes.
Fonte: Elaboração própria.
Figura 1 Representação das áreas de conhecimento nas teses e dissertações analisadas (n=244) na Base BDTD/IBICT, com o quantitativo de documentos indicado
Análise da seção “Metodologia”
A partir dos critérios de análise aplicados e descritos na seção anterior, Descrição metodológica, um conjunto de 244 documentos foi considerado válido a partir da análise em duplicata, sendo cada análise conduzida de forma independente, por duas pesquisadoras. Em relação ao tipo de documento, foram analisadas 81 teses de Doutorado e 163 dissertações de Mestrado, o que equivale, respectivamente, a 33% e 67% dos documentos. Desses 244 documentos, 229 (94%) conduziram pesquisa envolvendo humanos. Dessas teses e dissertações que assim o fizeram, 36 (16%) não mencionaram submissão de protocolo a um CEP. A Figura 2 apresenta esse detalhamento.
Explicitação da metodologia qualitativa na seção “Metodologia”
A análise da explicitação da metodologia qualitativa na seção “Metodologia” do conjunto de 244 documentos obtidos na base do diretório da BDTD/IBICT identificou o uso de 24 métodos. Alguns deles apareciam combinados, por exemplo, em trabalhos que utilizavam entrevistas semiestruturadas para a coleta dos dados, método que foi prevalente (n=188), seguidas de análise de conteúdo (n=82) ou análise temática (n=17) como parte do tratamento analítico. Entrevistas também compuseram trabalhos que utilizaram teoria fundamentada nos dados (n=8) e abordagens etnográficas (n=27), bem como representações sociais (n=10). Sobre as áreas em que essas metodologias mais foram utilizadas, destacam-se, na apropriação das entrevistas semiestruturadas, 34 documentos das Ciências Biomédicas; seis documentos das Ciências Humanas e Sociais; seis documentos das Ciências Sociais e Aplicadas e quadro documentos das Ciências da Terra.
A análise de conteúdo foi utilizada por 67 documentos das Ciências Biomédicas, 12 das Ciências Humanas e Sociais e três das Ciências Sociais e Aplicadas. O quantitativo dos métodos está indicado na Figura 3.
Fonte: Elaboração própria.
Figura 3 Tipos de método/estratégia de coleta de dados e quantitativo de menções de seu uso nas teses e dissertações analisadas (n=244), em duplicata, na Base BDTD/IBICT. O “n” indicado em cada barra do gráfico apresenta o número absoluto de documentos em que um dado método foi citado, como aquele utilizado ou um dos utilizados na condução da pesquisa
Explicitação de combinação de métodos na seção “Metodologia”
A análise da combinação de métodos na seção “Metodologia” do conjunto das 244 teses e dissertações analisadas indicou que 21 trabalhos (9%) utilizaram desenhos quanti-qualitativos; entretanto, apenas dez desses 21 trabalhos explicitaram a razão pela qual essa combinação foi adotada. Detalhadamente, na Tabela 3, a seguir, pode-se ver que, dos 194 documentos das Ciências Biomédicas, 18 deles explicitaram a combinação metodológica quali-quanti na seção “Metodologia” dos documentos; dos 21 documentos das Ciências Humanas e Sociais, um explicitou a combinação metodológica quali-quanti na seção “Metodologia”; dos 13 documentos das Ciências Sociais Aplicadas, um explicitou a combinação metodológica quali-quanti na seção “Metodologia”; dos oito documentos das Ciências Exatas e da Terra, um deles explicitou a combinação metodológica quali-quanti na seção “Metodologia”; dos cinco documentos das Ciências Agrárias, nenhum deles explicitou a combinação metodológica quali-quanti na seção “Metodologia”; dos três documentos das Letras e Artes, igualmente, nenhum deles explicitou a combinação metodológica quali-quanti na seção “Metodologia”; não há documentos das Engenharias.
Tabela 3 Distribuição dos documentos que mencionam o uso de desenho quanti-qualitativo para a condução do estudo, por área do conhecimento, bem como a indicação de menção à razão pela qual utilizam, do total de 244 teses e dissertações na Base BDTD/IBICT analisadas
| Área de conhecimento | Número de documentos | Número de documentos com combinação quanti-quali |
|---|---|---|
| Ciências Biomédicas | 194 | 18 |
| Ciências Humanas e Sociais | 21 | 1 |
| Ciências Sociais Aplicadas | 13 | 1 |
| Ciências Exatas e da Terra | 8 | 1 |
| Ciências Agrárias | 5 | 0 |
| Letras e Artes | 3 | 0 |
| Engenharias | 0 | 0 |
| Total | 244 | 21 |
Fonte: Elaboração própria.
Análise de indicativos de preocupações ou estratégias para conferir rigor à pesquisa
O resultado da análise das questões relacionadas ao que se considera como demonstração de preocupação com rigor, direta ou indiretamente refletida no relato da seção “Metodologia” e “Considerações finais e/ou Conclusões” do conjunto dos 244 documentos, é apresentada na Figura 4.
Fonte: Elaboração própria.
Figura 4 Quantitativo de documentos, do total de 244, em que os autores indicam preocupações, diretas ou indiretas, com o rigor e/ou validação e/ou confiabilidade e/ou contribuições e limitações do estudo na Metodologia e/ou Considerações finais e/ou Conclusões. O item 1 (n=99) se refere à Metodologia nos documentos
Como pode ser visto na Figura 4, das 244 teses e dissertações analisadas, 111 (45%) retomam a metodologia utilizada e 81 (33%) documentos citam os objetivos da pesquisa. Do total, 107 (44%) documentos ressaltam a contribuição específica que pretendem fazer com o trabalho desenvolvido. Note, entretanto, que 77 (31%) documentos indicam limitações na abordagem do estudo e/ou aplicação dos resultados, e quatro (2%) documentos fazem referência a possíveis vieses do trabalho. Questões sobre replicação e/ou generalização do estudo são abordadas em 26 documentos (11%). A referência a critérios e/ou estratégias que indicam ou podem indicar preocupações em conferir rigor à pesquisa é feita em 99 documentos (41%). Como a Figura 4 indica, um conjunto de 111 documentos (45%), do total de 244, retoma a metodologia.
Eles estão distribuídos da seguinte forma, de acordo com as áreas: dos 194 documentos das Ciências Biomédicas, 78 (40%) documentos explicitaram a metodologia na seção “Considerações finais”; dos 21 documentos da Ciências Humanas e Sociais, 13 (62%) deles mencionaram a metodologia nas considerações finais; dos 13 documentos das Ciências Sociais Aplicadas, oito (62%) documentos citaram a metodologia nas considerações finais; dos oito documentos das Ciências Exatas e da Terra, sete deles mencionaram a metodologia na referida seção; dos cinco documentos das Ciências Agrárias, três documentos citaram a metodologia; dos três documentos das Letras e Artes, dois documentos citaram a metodologia na seção “Considerações finais”.
A distribuição dos 81 (33%) documentos que citam os objetivos (Figura 4) é a seguinte: dos 194 documentos das Ciências Biomédicas, 56 (29%) explicitaram os objetivos na seção “Considerações finais”; dos 21 documentos da Ciências Humanas e Sociais, nove (43%) deles mencionaram os objetivos nas considerações finais; dos 13 documentos das Ciências Sociais Aplicadas, sete (54%) documentos citaram os objetivos nas considerações finais; dos oito documentos das Ciências Exatas e da Terra, cinco deles mencionaram os objetivos na referida seção; dos cinco documentos das Ciências Agrárias, dois documentos citaram os objetivos; dos três documentos das Letras e Artes, dois documentos citaram os objetivos na seção “Considerações finais”. Do total dos 244 documentos, 107 (44%) mencionam a contribuição específica que fazem e/ou pretendem fazer com o trabalho desenvolvido.
Sobre a distribuição por área: dos 194 documentos das Ciências Biomédicas, 82 (42%) documentos explicitaram a contribuição na seção “Considerações finais”; dos 21 documentos das Ciências Humanas e Sociais, dez (48%) deles mencionaram a contribuição nas considerações finais; dos 13 documentos das Ciências Sociais Aplicadas, 8 (62%) documentos citaram a contribuição nas considerações finais; dos oito documentos das Ciências Exatas e da Terra, três deles mencionaram a contribuição na referida seção; dos cinco documentos das Ciências Agrárias, dois documentos citaram a contribuição; dos três documentos das Letras e Artes, dois documentos citaram a contribuição na seção “Considerações finais”.
Para os 77 (32%) documentos, do total dos 244, que indicam as limitações na abordagem do estudo e/ou aplicação dos resultados, tem-se a seguinte distribuição, por área de conhecimento: dos 194 documentos das Ciências Biomédicas, 56 (29%) documentos explicitaram as limitações na seção “Considerações finais”; dos 21 documentos da Ciências Humanas e Sociais, 7(33%) deles mencionaram as limitações nas considerações finais; dos 13 documentos das Ciências Sociais Aplicadas, sete (54%) documentos citaram as limitações nas considerações finais; dos oito documentos das Ciências Exatas e da Terra, cinco deles mencionaram as limitações na referida seção; dos cinco documentos das Ciências Agrárias, dois documentos citaram as limitações; dos três documentos das Letras e Artes, nenhum citou as limitações na seção “Considerações finais”.
Alguma consideração sobre a replicação ou generalização do estudo, em geral, chamando atenção para a impossibilidade de fazê-lo, foi identificada para 26 documentos (11%), do total de 244, distribuídos por área de conhecimento: dos 194 documentos das Ciências Biomédicas, 19 (10%) documentos fizeram alguma consideração sobre replicação na seção “Considerações finais”; dos 21 documentos da Ciências Humanas e Sociais, um deles mencionou essa questão nas considerações finais; dos 13 documentos das Ciências Sociais Aplicadas, três (23%) documentos que fizeram alguma menção à replicação e/ou generalização nas considerações finais; dos oito documentos das Ciências Exatas e da Terra, dois deles mencionaram; dos cinco documentos das Ciências Agrárias, um documento mencionou; dos três documentos das Letras e Artes, nenhum fez essa menção.
A referência/alusão a vieses de análise/da pesquisa foi feita em apenas em quatro dos 244 documentos, sendo citados por três documentos do total de 194 das Ciências Biomédicas e por um documento do total de 13 das Ciências Sociais Aplicadas. As Ciências Humanas e Sociais, Ciências Exatas e da Terra Ciências Agrárias e Letras e Artes não citaram vieses na seção “Considerações finais”. Como indicado na Figura 4, a referência a algum critério relacionado, ainda que de forma indireta, que se considera preocupação com rigor, é feita por 99 documentos (41%), sendo distribuídos por área de conhecimento, como a seguir: dos 194 documentos das Ciências Biomédicas, 83 (43%) documentos explicitaram critérios na seção “Considerações finais”; dos 21 documentos da Ciências Humanas e Sociais, cinco (24%) deles mencionaram critérios nas considerações finais; dos 13 documentos das Ciências Sociais Aplicadas, cinco (38%) documentos citaram critérios nas considerações finais; dos oito documentos das Ciências Exatas e da Terra, quatro deles mencionaram critérios na referida seção; dos cinco documentos das Ciências Agrárias, dois documentos citaram critérios; dos três documentos das Letras e Artes, nenhum documento citou critérios na seção “Considerações finais”.
Discussão
Conforme apresentado ao longo deste artigo, a pesquisa qualitativa tem suscitado, na contemporaneidade, debates em torno de desafios circunscritos aos campos metodológico e ético na busca pelo rigor, com preocupações relevantes para a pesquisa e seu relato, de forma geral, incluindo as pesquisas em CHS (Casadevall; Fang, 2016; Kupferschmidt, 2018; Patias; Hohendorff, 2019), em especial, a qualitativa. Entretanto, a busca por rigor nessa tipologia de pesquisa demanda especificidades sobre o que seja praticar ciência nesse campo, uma vez que, sendo seus pressupostos ontológicos e epistemológicos de natureza subjetiva (Ollaik; Ziller, 2012) e propriamente relativos à condição humana (Santos, 1988), não parece razoável a simples transposição do modelo de produção de conhecimento nas ciências naturais (Aronowitz; Ausch, 2000; Löwy, 2003). Dessa forma, conforme destaca Minayo (1994), é importante contextualizar a pesquisa social, exercitando a interpretação e a compreensão a partir de sua natureza, respeitando seus pressupostos, suas representações e suas estruturas relativos à natureza do paradigma que representa, sendo necessário adequar seus métodos e procedimentos ao objeto pretendido. Nesse sentido, este trabalho partiu da análise de uma amostra de teses e dissertações composta por um conjunto de 425 documentos obtidos na base do diretório da BDTD do IBICT.
Este estudo investigou como preocupações com rigor científico, explícitas ou não, se configuraram na condução da pesquisa qualitativa, como indicado na seção Descrição metodológica deste estudo. Sobre os resultados da categorização inicial do conjunto de documentos (n=425) coletados no diretório da BDTD/IBICT, eles foram classificados por áreas de conhecimento categorizadas pela própria base (Ciências Agrárias, Ciências Biomédicas, Ciências Humanas e Sociais, Ciências Sociais Aplicadas, Engenharias, Letras e Artes). Observa-se uma grande permeação da pesquisa qualitativa em estudos nas Ciências Biomédicas, com destaque para as áreas de saúde, também na amostra final de 244 (Tabela 1; Figura 1).
Essa permeação da pesquisa qualitativa nessas áreas pode ser parcialmente explicada pelo que Bastos et al. (2021) apresentam em seu estudo recente. Os autores relatam mudanças na dinâmica de produção da literatura biomédica, o que inclui essa permeação de dados qualitativos. Com base em uma revisão focada no PubMed, Bastos et al. (2021, p. 3200, tradução própria) identificaram que “[...] houve um aumento no número de estudos com métodos qualitativos [podendo] indicar que pesquisadores clínicos estão gradualmente percebendo a importância do conhecimento aprofundado de alguns fenômenos sociais”. Boa parte dos documentos na amostra analisada neste trabalho apresentam/incluem pesquisa envolvendo seres humanos com menção a um CEP, sendo 178 das áreas biomédicas nessa condição, o que diz respeito a 92% do total de 194 nessas áreas e 73% do total de 244 documentos. Podemos considerar que esse percentual é resultado de que noções de pesquisa rigorosa nesse tipo de estudo em áreas biomédicas e da saúde estão imbricadas com a apreciação ética da pesquisa (Amorim, 2019).
Análise da seção “Metodologia”
Antes de tudo é importante destacar que, na análise preliminar dos 425 documentos obtidos na base do BDTD/IBICT, considerados inicialmente, cerca de 94% indicaram conduzir pesquisa qualitativa. Os títulos não são a maior fonte de informação sobre essa adoção, embora vários não estejam incluídos nesse percentual, o que é natural, dada a subjetividade envolvida em títulos de pesquisa, que depende muito do interesse dos pesquisadores em destacarem um outro aspecto da pesquisa ou mesmo dos resultados (Peat et al., 2002). Na seção metodológica, a pesquisa qualitativa foi descrita, na maioria dos documentos, com uma nota introdutória ou longa exposição sobre as bases teóricas do principal método ou métodos utilizados. Havia uma explicitação de estratégias que podem ser consideradas como tentativas para conferir rigor e validade na coleta e/ou análise dos resultados (raramente descritas para ambas as etapas), identificada para 99 (41%) documentos (Figura 4). Entretanto, a maioria dessas menções, seja à saturação teórica, validação do instrumento ou de respondente, não apresentou detalhamento.
Foi comum, em boa parte dos documentos analisados, descrições detalhadas de características teórico-conceituais de métodos adotados, sem, no entanto, uma descrição de como foram aplicados vários dos critérios indicados na pesquisa realizada. Em relação à triangulação, apenas 2% (n=5) dos documentos analisados indicaram o uso de triangulação metodológica - recurso que utiliza métodos qualitativos e quantitativos para uma melhor exploração, compreensão e confiabilidade dos dados (Hussein, 2009; Jick, 1979). Apenas 21 (8,6%) trabalhos utilizaram desenhos quanti-qualitativos, dos quais apenas dez (48%) explicitaram a razão pela qual essa combinação foi adotada. No entanto, uma questão é que essa adoção de combinação entre métodos quantitativos e qualitativos não é, necessariamente, um indicativo, por si só, de confiabilidade, ainda que seja uma estratégia com potencial de ampliar muito a compreensão do problema estudado (Creswell, 2009; Hussein, 2009). Hussein (2009, p. 9-10, tradução própria) esclarece que:
A triangulação é possível e é uma boa maneira de colher os benefícios dos métodos qualitativos e quantitativos. O uso da triangulação, entretanto, dependerá da posição filosófica do pesquisador. Se a posição filosófica é qualitativa, sendo decidido que a abordagem qualitativa seja o método principal, os métodos internos devem nortear todo o projeto, e os métodos quantitativos devem ser métodos complementares e vice-versa.
De forma geral, foi possível observar que, em boa parte dos trabalhos em que havia combinação de procedimentos, técnicas e instrumentos de coleta e/ou interpretação de dados, não havia, necessariamente, a explicitação de intenção das combinações, nem a relacionar a possíveis preocupações com rigor ou validação da pesquisa. Assim sendo, embora os documentos da amostra, em sua maioria, se apropriem de vários procedimentos metodológicos, não foi evidenciada intenção explicita de combinar procedimentos quali-quanti com a finalidade de validar os resultados das pesquisas. Todavia, note que essa combinação, com essa finalidade, não pode ser considerada uma prática em estudos que incluem pesquisa qualitativa; ou seja, a discussão de rigor não é atrelada diretamente a essa combinação, ainda que esteja implicada, de alguma forma (Brown et al., 2015; Denzin; Lincoln, 2005; Flick, 2009; Kirk; Miller, 1986; Onwuegbuzie; Johnson, 2006).
Explicitação de aspectos éticos na seção “Metodologia”
Na análise da seção “Metodologia” do conjunto de 244 documentos, a explicitação de preocupações com ética na condução de pesquisas com seres humanos também foi considerada relevante nesta pesquisa. Essa explicitação, ainda que indireta, por meio da submissão à apreciação ética institucional, de alguma forma, sugere um cuidado maior com a condução dos estudos - considerando que a participação de seres humanos na pesquisa qualitativa em áreas de saúde e em CHS é bastante frequente. Esse fator está refletido na amostra analisada.
Sobre essa característica, observamos que, apesar de um volume majoritário desses 244 estudos ter sido desenvolvido com humanos (94%, n=229), a submissão de protocolo aos CEPs não foi identificada para a totalidade das teses e dissertações. Desse total de trabalhos envolvendo humanos, 84% (n=193) mencionaram a aprovação por um CEP institucional. Note que, dos 244 documentos, 194 foram associados às áreas biomédicas (Tabela 3), dos quais 178 (92%) fizeram essa menção a um CEP. Esse resultado pode ser explicado pelo fato de que a apreciação ética de projetos de pesquisa com humanos para pesquisas que se utilizam de metodologias típicas das CHS ainda não é uma tradição no Brasil (Alves; Teixeira, 2020; Guerriero; Bosi, 2015; Rocha; Vasconcelos, 2019, 2023). Essa adesão à prática de inclusão da apreciação ética no escopo da pesquisa, consolidada para pesquisas biomédicas e/ou desenvolvidas em programas de pós-graduação associados a essas áreas ainda é controversa (Alves; Teixeira, 2020; Guerriero; Bosi, 2015; Rocha; Vasconcelos, 2019, 2023). Em que pese esse fator, um aspecto que merece atenção nessa análise dos 244 documentos é o amalgamento dessas diferentes culturas de pesquisa no que se refere à adoção de metodologias típicas das áreas humanas e sociais para a coleta dos dados e para o desenho e construção da pesquisa.
Com expressiva permeação nas teses e dissertações que compuseram os 244 documentos, estão entrevistas (n=188), com diferentes tipos de análise dos dados - por exemplo, análise de conteúdo (n=82), de discurso (n=27) e que estavam combinadas, em vários trabalhos, com outras metodologias e/ou abordagens metodológicas, como a fenomenologia (n=42) e a observação participante (n=32) (Figura 3). A predominância de entrevistas nesses resultados (77%) tem participação expressiva das dissertações e teses nas áreas biomédicas e da saúde, como já indicado anteriormente. Na revisão conduzida no PubMed por Bastos et al. (2021), de 1.725 artigos com pesquisa qualitativa analisados, a entrevista individual foi identificada como método/estratégia de coleta principal, em 80% dos estudos. O grupo focal foi o segundo, com 29%. Esses resultados dialogam com os obtidos neste trabalho (Figura 3), no qual foi identificado um percentual de 77% para entrevistas e 12% para grupos focais. Como descreve Bastos et al. (2021, p. 3206, tradução própria):
A observação e a entrevista são os principais métodos utilizados para compreender um determinado fenômeno do ponto de vista de quem o vivenciou. Os resultados podem orientar os profissionais de saúde no planejamento de tratamentos e abordagens que atendam às necessidades dos pacientes.
De fato, foi muito recorrente essa característica nas teses e dissertações analisadas nessas áreas, que se utilizaram de entrevistas, grupos focais e outras estratégias, como a observação participante.
Análise da seção “Considerações finais”
Como indicado na Figura 4, na análise da seção “Considerações finais” do conjunto de 244 documentos, observamos que 111 documentos (45%) mencionaram a metodologia na referida seção; 81 documentos (33%) mencionaram os objetivos nessa seção; 77 documentos (32%) mencionaram limitações; quatro documentos (2%) mencionaram vieses - lembrando que 99 documentos (41%) mencionaram critérios usados na coleta e/ou análise dos dados, como saturação teórica, piloto do instrumento a ser aplicado, validação de instrumento ou respondente, dentre outros; 26 documentos (11%) citaram alguma questão relacionada à replicação e/ou generalização dos achados - por exemplo, alertando os leitores para a impossibilidade, dada a natureza da pesquisa. Como já descrito anteriormente, essa menção à metodologia e/ou aos objetivos na seção “Considerações finais e/ou Conclusões” foi observada, respectivamente, em 45% e 33% dos documentos. Observamos um cuidado do(a) autor(a), em boa parte das menções, em situar o que foi possível alcançar dentro das fronteiras de um dado método e, também, se os objetivos foram alcançados ao final do trabalho.
Sobre as limitações do estudo, indicada na seção por cerca de um terço dos documentos, foi identificado esse cuidado do(a) autor(a) em esclarecer o que poderia explicar a aplicação restrita dos resultados da pesquisa. Por um lado, tendo em conta a natureza reflexiva da pesquisa qualitativa, esse número pode ser considerado abaixo do desejável. Por outro lado, a inclusão de uma seção ou considerações sobre as limitações da pesquisa não parece ser uma prática estabelecida em relatos de pesquisa qualitativa, o que pode estar refletido nesse resultado.
No que tange a vieses no relato da pesquisa, como indicado na Figura 4, a explicitação de vieses de coleta de dados e/ou interpretação dos achados é rara nas teses e dissertações incluídas neste estudo, identificada nas considerações finais e/ou conclusões em apenas quatro documentos, sendo três deles parte dos 194 documentos das Ciências Biomédicas e um nas Ciências Sociais Aplicadas. Esse resultado pode refletir a própria cultura de pesquisa e não, necessariamente, um padrão de relato da pesquisa qualitativa. Deve-se considerar também orientações do próprio sistema de publicações relativas à explicitação de vieses na pesquisa, que ganharam fôlego com discussões e iniciativas com foco na integridade científica. Em boa medida, essa maior atenção do sistema se conecta à abordagem sobre pesquisa rigorosa (Johnson; Adkins; Chauvin, 2020; Juroš, 2011; Watts, 2008). Como descrito por Watts (2008, p. 440, tradução própria):
Integridade é honestidade e probidade na condução da pesquisa qualitativa e sustenta a prática ética em todas as atividades que compreendem a coleta e análise de dados [...]. A integridade na pesquisa empírica não é uma preocupação abstrata; ele informa diretamente a escolha de métodos como parte da legitimação da produção de conhecimento dentro de uma estrutura teórica “apropriada”.
Sobre contribuições específicas da pesquisa conduzida na tese ou na dissertação, como já indicado, a menção à contribuição do estudo é parte das considerações finais e/ou conclusões dos estudos que compõem a amostra de 244 documentos (Figura 4). Essa menção, para 44% (n=107) dos documentos, como já descrito, distribuem-se, em maior número (a partir de dez documentos), entre as Ciências Biomédicas (n=83) e Ciências Humanas e Sociais (n=10).
Embora seja um dos traços da pesquisa científica apontar a sua contribuição para a produção de conhecimento em uma dada área, gerando uma maior compreensão e/ou resolução de problemas, por que esse traço foi buscado como um possível indicador de preocupações com uma pesquisa rigorosa? Um ponto é que, cada vez mais, o debate sobre o impacto/contribuições da pesquisa, nas mais diversas áreas, vem sendo um tópico sensível na academia (Cheek, 2005; Cohen; Manion; Morrison, 2007; Nielsen, 2011; Gendron, 2013; Huutoniemi; Törnroos; Mälkk, 2016).
Dessa forma, identificar menções específicas às contribuições estimadas ou objetivas das pesquisas conduzidas em teses e dissertações pode ser relevante nesse contexto, apesar de essa explicitação, por si só, não ser, necessariamente, um reflexo de preocupações com rigor no relato da pesquisa. Como bem descreve Gendron (2013, p. 2, tradução própria), “[...] a ideia de contribuir para o conhecimento pode ser fonte de tensão e rivalidade, com pesquisadores discordando sobre os critérios utilizados para definir o que conta como uma ‘contribuição’”. O referido autor argumenta que são várias as possibilidades relativas à forma como se configura uma contribuição de pesquisa, podendo “[...] ser representada como uma evidência sólida ou como uma mera possibilidade ou hipótese. [...] não é incomum encontrar abordagens prescritivas sobre como pensamos e falamos sobre contribuição” (Gendron, 2013, p. 10, tradução própria).
Considerações finais
Como indicado na literatura apresentada neste trabalho, controvérsias sobre o papel da validação na pesquisa qualitativa vêm sendo acompanhadas de uma crescente discussão sobre rigor científico, abrangendo a pesquisa acadêmica, mais amplamente. Como já apontado anteriormente, essa relação é fonte de conflitos que envolvem epistemologias diversas no âmbito da pesquisa científica, o que fica mais evidente na pesquisa que se apropria de diferentes metodologias qualitativas. Esses conflitos apresentam desdobramentos práticos, não apenas na concepção e na condução da pesquisa qualitativa, mas também no relato dos resultados, incluindo aqueles apresentados em teses e dissertações.
Como descrito no início deste artigo, o objetivo geral foi oferecer um panorama sobre como a preocupação com rigor científico vem se configurando em uma amostra de teses e dissertações desenvolvidas no Brasil, em pesquisas de natureza qualitativa. Especificamente, objetivamos verificar menções explícitas a preocupações com o rigor na descrição da metodologia; critérios incorporados na análise qualitativa para demonstrar atenção ao rigor da pesquisa; menções explícitas a preocupações com validação/confiabilidade dos resultados, especialmente nas considerações finais/conclusões. O panorama apresentado indica que, de forma geral, o detalhamento dos procedimentos é limitado na seção “Metodologia”, cuja característica privilegia o arcabouço teórico para a escolha dos métodos e não estratégias para atender a preocupações com rigor e/ou validação dos resultados.
Nossa análise indica que, de modo geral, foram tímidas as preocupações explicitadas com o rigor no relato da pesquisa, com a validade ou a confiabilidade dos resultados, no corpus analisado. Como indicado na seção de Resultados, foram raras as menções explícitas a termos ou expressões relacionadas a rigor ou validação, da mesma forma que foram poucas as menções explícitas a critérios relacionados à validação e à confiabilidade dos resultados. Conforme indicado na seção de Descrição Metodológica, os resultados esperados com a realização desta pesquisa foram compreender se a conciliação entre pesquisa “quali-quanti” poderia estar associada a uma intenção de validar os resultados alcançados, e se os pesquisadores explicitaram, na condução de seus projetos, intenção de combinar metodologias quantitativas e qualitativas com objetivo de aumentar a confiabilidade dos resultados ou buscar algum tipo de validação.
Como apresentado na seção de Resultados, a indicação de limitações da pesquisa foi identificada em 32% (n=77) das teses e dissertações, nas seções consideradas. Entretanto, a discussão de vieses de interpretação ou o uso de estratégias objetivando a confiabilidade e/ou validade dos estudos, como o uso de métodos mistos, com desenhos quanti-qualitativos, não se constituem características predominantes dos documentos analisados. Entendemos que a associação de vários procedimentos, a citação extensiva de referenciais teóricos e uso de figuras parecem estar relacionados à tentativa de aumentar a confiabilidade do estudo, mesmo que o autor não explicite tal intenção. Essa citação de referenciais teóricos é um dos traços marcantes em boa parte das teses e dissertações, ainda que nem sempre a forma de adesão a esses referenciais tenha se mostrado clara em todos os documentos analisados. Além disso, entendemos que há um potencial viés, que poderia ter comprometido a análise do corpus do estudo, caso não fosse percebido e corrigido.
Conforme indicado, buscamos identificar como se materializavam preocupações com rigor científico, se havia ou não critérios relacionados a rigor metodológico, refletidos no relato da pesquisa, explicitados nas unidades de análise - os itens e as seções dos textos indicadas na Descrição Metodológica, e não interpretar o texto. Entretanto, nos primeiros documentos analisados, observou-se uma leitura flutuante que atentava ao conteúdo dos textos e não às questões metodológicas do relato. Assim que percebido, esse viés foi corrigido (ou, pelo menos, minimizado), focando-se na apropriação da pesquisa qualitativa, no que foi ou não explicitado, e quais procedimentos foram selecionados pelos pesquisadores para atender aos seus objetivos. Em certa medida, esse viés foi considerado positivo, pois foi possível perceber que não eram prevalentes indícios explícitos de preocupações com rigor e validade ao longo dos textos.
A hipótese que norteou esta investigação, como descrita na Introdução, foi que “[a] preocupação [com a explicitação de estratégias relacionadas ao rigor da pesquisa] seria ainda tímida nessas produções, se consideramos [...] que não há consenso na literatura sobre os critérios que confeririam o rigor na pesquisa qualitativa”, o que encontra respaldo nos resultados deste trabalho. Os achados revelaram uma explicitação mínima de preocupações com rigor [para o leitor] no detalhamento dos procedimentos na seção “Metodologia”, e com a validação dos resultados na seção de discussão ou considerações finais. Nesse sentido, os resultados indicam que preocupações com explicitação de critérios relacionados a rigor na condução da pesquisa qualitativa não são uma característica predominante nessas produções acadêmicas no universo pesquisado na base BDTD do IBICT.
Em uma reflexão, com base no universo pesquisado, sobre a produção de dissertações e teses que se utilizam de pesquisa qualitativa, incluindo a área de Educação, e considerando a literatura pesquisada, entendemos que há uma abordagem ainda tímida sobre aspectos relacionados ao rigor e à validade na condução e no relato da pesquisa qualitativa. Os achados deste estudo são, possivelmente, um espelho dessa condição. Podemos também conjecturar que esse fator reflete na própria dificuldade, evidente na literatura, para se estabelecer que critérios conferem (ou deveriam conferir) rigor, validade e confiabilidade a pesquisas de natureza qualitativa.
Acreditamos que uma discussão mais ampla sobre a própria concepção de rigor e qualidade da pesquisa, que ganha eco mundo afora (Evroux, 2022; Langfeldt et al., 2020; Starkey et al., 2022), compõe os desafios para a atividade científica no âmbito da pós-graduação no Brasil. Essa discussão se articula a uma questão também trazida anteriormente neste trabalho, relativa às concepções de impacto/contribuição da pesquisa, cuja atenção vem se ampliando na academia (Cheek, 2005; Cohen; Manion; Morrison, 2007; Nielsen, 2011; Gendron, 2013; Huutoniemi; Törnroos; Mälkk, 2016; Viana-Lora; Nel-lo-Andreu, 2021). Nesse sentido, entendemos que há um amplo espaço acadêmico para que, independentemente da natureza da pesquisa, qualitativa ou quantitativa, critérios mais claros sobre rigor e confiabilidade sejam apresentados em dissertações, teses, artigos, bem como outras publicações decorrentes de investigação de fenômeno no âmbito da pesquisa científica. Nesse contexto, Smith e McGannon (2018, p. 101, tradução própria) concluem, a partir de uma revisão que conduziram sobre rigor na pesquisa qualitativa na área de Esporte e Psicologia, que o apoio à produção de pesquisa qualitativa de alta qualidade envolve a necessidade de que “[...] os estudiosos - incluindo editores de periódicos e revisores [mudem] a forma como o rigor é desenvolvido e julgado, em vez de perpetuar os problemas com a forma como foi comumente avaliado no passado”.
Em uma reflexão sobre a aplicação dos achados e das considerações apresentadas neste trabalho para a área de Educação, citamos MarliAndré (2001, p. 58), que levantou, há mais de 20 anos, perguntas que continuam inquietantes: “O que se considera uma boa pesquisa? Que critérios vêm sendo usados para julgar a pesquisa em educação? [...]. Essas são questões que povoam o dia-a-dia da academia, dos orientadores dos programas de pós-graduação e das agências de fomento”.
Limitações do estudo
As principais limitações identificadas neste estudo estão relacionadas à própria natureza da análise conduzida e da pesquisa qualitativa. Além do universo amostral ser restrito, a análise da amostra é subjetiva em vários aspectos e foi feita a partir de um recorte e tratamento analítico específicos, que podem ter desconsiderado outros elementos que ampliariam o panorama obtido. Apesar de as perguntas norteadoras da análise oferecerem alguma medida de objetividade, também podem ter enviesado, em alguma medida, os resultados deste estudo. Por essa razão, uma análise do mesmo corpus por outros pesquisadores poderia identificar outras nuances não observadas neste estudo. Ainda assim, ao longo do tratamento analítico, buscamos uma sistematização e “crosscheck” das unidades de análise, que não está livre de possíveis distorções e/ou vieses advindos da nossa própria exposição a diferentes concepções na literatura sobre rigor na pesquisa qualitativa, mas nos permitiram uma caracterização detalhada dos documentos.
