1 INTROITO E TESSITURA TEÓRICA DO ESCRITO

Para realização de uma pesquisa científica, é necessário conhecer sobre o tema e o objeto que serão investigados, a fim de iluminar o delineamento do problema, dos objetivos e da metodologia da pesquisa, assim como oferecer subsídios para a interpretação dos dados na etapa de análise. A revisão da literatura, além de servir para o próprio consumo do pesquisador, materializa-se no referencial teórico do relatório de investigação, incluindo dissertações de mestrado e teses de doutorado (^{ALVES-MAZZOTTI, 2002}).

Este ensaio foi desenhado com o objetivo de analisar a qualidade das revisões de literatura em teses de doutorado. Para tanto, circunscreveu-se a perspectiva para trabalhos de doutorado em Educação, defendidos no período de 2013 a 2016, no âmbito do Programa de Pós-Graduação em Educação e Contemporaneidade, da Universidade do Estado da Bahia (PPGEduC/UNEB).

Em decorrência dos limites deste artigo, optou-se por indicar os resultados e reflexões relativos à qualidade da revisão de literatura, vinculados a uma das linhas de pesquisa investigativas pertencentes ao referido Programa de Pós-Graduação.

Com base nessa delimitação, este trabalho traz a discussão sobre o aprimoramento das revisões de literatura, vindo a compor o ainda limitado, porém crescente, quadro de estudos nacionais e internacionais, que versam sobre essa matéria, propagando sua importância e função científica. Soma-se aos estudos, entre outros, de Alves-Mazzotti (2002), ^{Boote e Beile (2005}) e ^{Fitt, Walker e Leary (2009}).

No escopo desse quadro bibliográfico, os pesquisadores salientam a necessidade de melhorar as habilidades de revisão de literatura em pesquisas pertencentes à Educação. Nesta seara, Alves-Mazzotti (2002), destacando que uma revisão de literatura malconduzida compromete toda a pesquisa, expressa tipos de revisão que devem ser evitados. Em âmbito internacional, ^{Boote e Beile (2005}) enfatizam a importância de revisão de literatura completa e sofisticada como base e inspiração para uma pesquisa substancial e útil. Sugerem critérios para avaliar a qualidade das revisões de literatura com base na ferramenta designada Rubrica de Pontuação da Revisão de Literatura, originalmente Literature Review Scoring Rubric .

Conforme clarifica ^{Moskal (2000}, p. 1; traduziu-se ), “[...] as rubricas de pontuação são esquemas de pontuação descritiva desenvolvidos por professores ou outros avaliadores para guiar a análise dos produtos ou processos de esforços dos alunos”.

A Rubrica de Pontuação da Revisão de Literatura de ^{Boote e Beile (2005}) foi originalmente elaborada para avaliar a qualidade das revisões de literatura de teses de doutorado pertencentes à área de Educação. É utilizada com o mesmo desígnio em outras áreas de investigação, como Enfermagem, Música, Informática, entre outras, além de recurso orientativo no desenvolvimento de pesquisa e percepções dos discentes sobre a realização de revistas de literatura para compor dissertações ou teses (^{FITT; WALKER; LEARY, 2009}).

Esse expediente contém 12 critérios divididos não igualmente, em cinco categorias: Cobertura, Síntese, Metodologia, Significância e Retórica. Estas foram alicerçadas na perspectiva de que a revisão da literatura se configura como a base da pesquisa, devendo focalizar na abrangência ou exaustividade.

Assim, cumpre destacar o estudo de ^{Maxwell (2006}), ao frisar que a rubrica de ^{Boote e Beile (2005}) suscita importantes pontos, muitas vezes negligenciados na realização de uma revista bibliográfica de teses vinculadas à área de Educação. Embora haja destacado essa potencialidade, o autor demarcou uma concepção diferente de revisão de literatura: ele a considera como um componente essencial da pesquisa, mas não sua fundação.

Para esse autor, as revisões de literatura das pesquisas de mestrado e doutorado devem ser focadas na relevância das obras revisadas, em vez de abranger toda a literatura que versa sobre determinado aspecto ou campo da matéria. ^{Maxwell (2006}, p. 28, traduziu-se ) explica que “[...] obras relevantes são aquelas que têm implicações importantes para o design, conduta ou interpretação da pesquisa, e não somente aquelas que lidam com o tópico, ou no campo definido, ou na área substantiva, da pesquisa”.

Nesses termos, ele enfatiza que as revisões de literatura vinculadas a dissertações e teses são, principalmente, para, e não de pesquisa, porquanto não realizadas com a finalidade de resumir e sintetizar uma área específica da investigação, mas sim “[...] destinam-se a informar um estudo planejado - para criar foco, estrutura conceitual, projeto e justificativa para o estudo [...]” (^{MAXWELL, 2006}, p. 28, traduziu-se ).

Ante tais considerações, registra-se, por oportuno, a ideia de que, para o desenvolvimento deste experimento, perfilhou-se a concepção de ^{Maxwell (2006}) sobre a função e a modalidade de uma revisão de literatura.

Dando continuidade às leituras para vincular esta busca ao diálogo ocorrente na literatura sobre rubrica de pontuação aplicada à revisão de literatura, há o trabalho de ^{Fitt, Walker e Leary (2009}). No esforço para aprofundar o estado atual das revisões de literatura expressas nas teses da área de Tecnologia Instrucional, os autores replicaram a Rubrica de Pontuação de ^{Boote e Beile (2005}).

Com suporte nesse estudo, os autores enfatizaram que essa rubrica é um relevante meio a serviço da melhoria das revisões de literatura, visto que ­representa uma maneira de os professores orientarem os doutorandos a conduzirem e redigirem textos de revisão literária. Ademais, esse meio conforma um recurso didático importante para os estudantes efetuarem uma avaliação autorreflexiva de seu trabalho, melhorando-o e desenvolvendo o pensamento crítico, que, segundo ^{Fitt, Walker e Leary (2009}, p. 5, traduziu-se ), constitui “[...] uma habilidade necessária para elaborar uma revisão de literatura de dissertação bem escrita”.

Não obstante, esses autores descobriram algumas fragilidades inerentes ao recurso de avaliação proposto por ^{Boote e Beile (2005}). Recomendam que seja feito um dimensionamento consistente de cada item da rubrica para que se alcance uma igualdade conceitual entre as células. Com efeito, ^{Fitt, Walker e Leary (2009}) destacam que, entre todos, o critério H, pertencente à categoria Metodologia, foi escalonado em quatro níveis de qualidade, em vez de três, como os demais critérios. Essa desigualdade inviabiliza uma análise estatística mais sofisticada dos dados por meio da rubrica de pontuação.

Outra fragilidade é que os níveis conceituais entre as várias células da rubrica de ^{Boote e Beile (2005}) exprimem dessemelhanças. ^{Fitt, Walker e Leary (2009}) verificaram que o limite para obter uma pontuação de três em vez de dois não é o mesmo entre os critérios: para atingir o nível 2 de qualidade no critério A e no B, é necessário que tais critérios sejam discutidos; porém, no critério E, atribui-se o nível 3 quando aí se atinge o nível de discussão. A desigualdade dos níveis conceituais também se evidencia nos critérios B, D, H, I, J e K, para os quais devem ser atribuídos três pontos, caso sejam criticamente examinados; mas, como ocorrente no critério G, se houver a crítica à literatura, atribui-se nível 2 (^{FITT; WALKER; LEARY, 2009}).

Considera-se que essas dessemelhanças conceituais entre os níveis de qualidade ensejam dificuldades de se atribuir pontuação adequada para as teses analisadas. Desse modo, as constatações e ponderações feitas por ^{Maxwell (2006}), ^{Krathwohl e Smith (2005}) e ^{Fitt, Walker e Leary (2009}) levaram os autores deste estudo a optarem por fazer uma adaptação da Rubrica de Pontuação da Revisão de Literatura de ^{Boote e Beile (2005}).

Para tanto, foram obedecidas as recomendações de ^{Moskal (2000}), no que tange à confecção de rubricas de pontuação e seus dois componentes essenciais: os critérios de desempenho e os níveis de pontuação atribuídos a cada critério, para confeccionar a Rubrica de Pontuação da Revisão de Literatura utilizada nesta investigação.

Essa Rubrica de Pontuação foi balizada por quatro das categorias indicadas por ^{Boote e Beile (2005}): Cobertura, Síntese, Significância e Retórica. A concatenação das categorias e seus critérios evidenciam a riqueza e o rigor do conteúdo da revisão da literatura e sua relevância nas teses de doutorado no que concerne a “[...] iluminar o caminho a ser trilhado pelo pesquisador [...]” (ALVES-MAZOTTI, 2002, p. 26), trazendo à baila aspectos relativos ao entendimento e à contextualização do objeto de estudo ou questão de pesquisa, além da identificação das lacunas que justificam o enfoque da tese.

Nesse sentido, buscou-se identificar as qualidades que seriam desveladas pela aplicação da rubrica de pontuação. Delimitou-se, por conseguinte, o trabalho de pesquisa em torno de sete critérios divididos entre as quatro categorias.

Tais categorias e critérios foram definidos com o intento de descrever a revisão de literatura, e não como um julgamento sobre o valor das teses. Com efeito, os sete critérios foram escalonados, com uma gradação uniforme, em três níveis de qualidade conceitualmente semelhantes e quantificáveis. Não se cogita semplesmente apontar, portanto, se a revisão de literatura avaliada foi boa ou ruim; em vez disso, buscou-se identificar se o critério foi ou não atingido. Nesse sentido, os níveis de qualidade foram modelados conceitualmente pelo contraste entre o desempenho de nível inferior (pontuação 1) e o desempenho de nível superior (pontuação 3).

Destarte, o nível de qualidade 1, pontuação mínima entre os níveis, significa a negação dos critérios; o nível de qualidade 2 denota que cada critério foi parcialmente coberto e, enquanto isso, o nível de qualidade 3, pontuação máxima entre os níveis, reflete que os critérios foram plenamente privilegiados.

Nesses moldes, a categoria Cobertura refere-se à modalidade de busca da literatura e à tomada de decisões relativas a excluir e incluir do/no escopo da revisão. Passa, pois, pela análise da qualidade e da adequação da literatura selecionada ao objeto de estudo ou problema de pesquisa. Essa categoria abrange os gêneros das fontes librárias − artigos, livros, teses, dissertações etc. − aos quais se recorreu na revisão da literatura, sendo a inclusão ou exclusão das fontes de pesquisa e trabalhos consultados considerada com base em critérios justificados. Os três níveis de qualidade referentes a essa categoria são: 1 - Não discutiu os critérios de inclusão ou exclusão; 2 - Discutiu os critérios de inclusão ou exclusão; e 3 - Discutiu e justificou a inclusão e a exclusão da literatura.

A categoria Síntese aglutina quatro critérios, sendo eles inerentes a: interpretação dos principais aspectos relacionados ao objeto de estudo; inserção do objeto de estudo ou problema no contexto da literatura acadêmica; descrição da relação de cada trabalho com o objeto de estudo; e mostra da contribuição significativa da revisão da literatura para o entendimento do objeto de estudo. Os níveis de qualidade relacionados a tal categoria também variam de 1 a 3. O nível 1 indica que nenhum critério foi coberto; entrementes, o nível 2 expressa que os critérios foram parcialmente privilegiados. O nível 3 qualifica a revisão da literatura, indicando que os critérios foram clara e criticamente discutidos e justificados na revisão da literatura.

As categorias Significância e Retórica referem-se ao uso coerente e substantivo da literatura revisada. Nessa direção, a categoria Significância aglutina os critérios que demonstram a racionalização do significado prático e acadêmico do problema de pesquisa. Essa categoria constitui-se com base na ausência da explicitação (nível 1), da explicitação parcial (nível 2) e da clara explicitação (nível 3) da significância prática, da importância acadêmica da tese e da elucidação das lacunas dos achados.

A categoria Retórica demonstra, por seu critério único e seus níveis de qualidade, a maneira como a revisão da literatura está estruturada: se exprime uma análise, uma síntese e uma avaliação crítica dos trabalhos, e não somente resume, traduz ou transcreve ideias e perspectivas teóricas. Os níveis de qualidade dessa categoria revelam se a revisão da literatura foi expressa aleatoriamente, não estruturada (nível 1), se denota alguma estrutura coerente (nível 2) ou se está bem desenvolvida, congruente (nível 3).

A exemplo de ^{Boote e Beile (2005}), a rubrica de pontuação utilizada nesta pesquisa foi aplicada para analisar somente a qualidade da revisão da literatura, sendo esta notabilizada na introdução ou em capítulo à parte, designado Revisão da Literatura ou Referencial Teórico. A aplicabilidade da rubrica ocorreu conforme a tessitura metodológica expressa a seguir.

2 TESSITURA METODOLÓGICA DA PESQUISA

Para realizar este estudo, optou-se pela pesquisa documental como método de investigação da realidade social, “[...] opção que se caracteriza pelo uso exclusivo de documentos na coleta de dados” (^{SILVA et al., 2011}, p. 56).

No âmago desta discussão, fez-se uso das formalidades da abordagem quantitativa. Preponderaram, todavia, a criatividade e a plasticidade da abordagem qualitativa, configurando-se, ao final, o emprego de uma abordagem mista ou quali-quantitativa. Estatísticas descritivas foram computadas, buscando-se rigor técnico e fazendo-se análises quantitativas com o apoio do software de código aberto de análise estatística JASP . Com a condensação dos escores de qualidade, procedeu-se com as análises qualitativas, investindo-se na compreensão dos dados, “[...] dando-lhe valor, ênfase, espaço e tempo” (^{MINAYO, 2012}, p. 624).

Para obter ganho qualitativo nesta pesquisa documental e visando ao reconhecimento e à confiabilidade firmados na qualidade da pós-graduação brasileira, delimitou-se o escopo desta incursão investigativa com base nos critérios e diretrizes estabelecidos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), para a avaliação do Sistema Nacional de Pós-Graduação, no quadriênio 2013 a 2016. Este também foi o período definido para o estudo sob relatório. Para essa delimitação, empregou-se o site da Avaliação Quadrienal 2017 da CAPES, referente aos anos de 2013 a 2016, como primeira fonte de dados.

Entre as 49 áreas de avaliação, optou-se por focar na Área da Educação, para ter acesso ao Relatório da Avaliação Quadrienal 2017. No contexto dessa área de avaliação, a pesquisa se limitou a programas acadêmicos aquilatados com a nota 5, significando desempenho muito bom dos cursos e excelência na contextura nacional.

Com fundamento na AQ − CAPES e verificando-se a regionalização, ­apurou-se um total de 44 programas acadêmicos com nota 5, na seguinte distribuição regional: Norte (1), Nordeste (5), Sudeste (20), Sul (11) e Centro-Oeste (7) . Para distinguir a análise das revisões da literatura em teses de doutorado por meio de sua origem geográfica, escolheu-se a Região Nordeste, em razão do avanço da qualidade dos cursos de pós-graduação das universidades da região e com vistas à promoção dessa, ajuntamento de valor e comunicação da produção científica regional quanto a requisitos de qualidade, tipicidade e patrimônio intelectual.

Na sequência, foram identificadas as unidades federadas, constatando-se que os programas acadêmicos nordestinos, avaliados com a nota 5, são espacialmente concentrados nos Estados da Bahia (2), Ceará (1), Pernambuco (1) e Rio Grande do Norte (1). Por figurar como principal destaque, elegeu-se a Bahia como locus geográfico. Dos dois programas desse Estado, tomou-se aleatoriamente o Programa de Pós-Graduação em Educação e Contemporaneidade da Universidade do Estado da Bahia (PPGEduC/UNEB). Serviram como documentos para análise as teses produzidas no âmbito do Programa - conforme adiantado alhures -, adotando-se como recorte temporal o quadriênio 2013 a 2016.

Realizou-se, com efeito, um trabalho sistemático para elaborar o corpus do estudo ora relatoriado. O próximo passo consistiu na busca realizada no Catálogo de Teses e Dissertações da CAPES . Foi aplicada como descritor a sigla da Universidade do Estado da Bahia (UNEB), refinando-se os resultados por este critério de inclusão: ser tese defendida no período de 2013 a 2016 no âmbito do Programa de Pós-Graduação em Educação e Contemporaneidade.

Em virtude dessa decisão includente, 68 teses foram identificadas e organizadas cronologicamente, respeitando-se o ano de defesa. Posteriormente, fez-se uma leitura exploratória das teses selecionadas, com o fito de identificar as respectivas linhas de pesquisa e classificá-las. Após essa etapa, direcionou-se atenção para cada uma das linhas de pesquisa, pontuando-se cada revisão da literatura componente das teses com base nas categorias anteriormente informadas.

Considerando-se os limites deste artigo, optou-se por indicar na sequência os resultados relacionados à linha de pesquisa que obteve maior pontuação na análise. Essa decorreu do fato de que a pontuação geral alcançada pelas teses pertencentes à tal linha de pesquisa representa o quão bem a revisão da literatura foi conduzida, ensejando resultados importantes ao apelo para melhorar as habilidades de demanda científica dos estudantes de doutorado, no que diz respeito à qualidade da revisão da literatura em teses, em especial, na senda educacional. Tais resultados são mostrados na sequência.

3 A REVISÃO DA LITERATURA NAS TESES DE DOUTORADO: ANÁLISE E DISCUSSÃO

Para assegurar a confidencialidade das teses analisadas e a proteção da identidade dos seus autores, foi legendada com a letra K a linha de pesquisa ora sob relato, no âmbito da qual foram defendidas 16 teses. Não foi possível ter acesso, todavia, ao inteiro teor de duas dessas teses no Catálogo de Teses e Dissertações da CAPES. Foram analisadas, por tal pretexto, 14 teses vinculadas à Linha K, excluindo-se uma sustentada em 2016 e uma defendida em 2015, em razão da indisponibilidade dos textos na íntegra.

A qualidade da revisão de literatura das teses foi expressa pelo escore de qualidade, resultante da soma, para cada tese, dos níveis de qualidade atribuídos a cada critério da rubrica de pontuação. A qualidade da revisão da literatura foi expressa pelo escore de qualidade, que é resultante da soma dos níveis de qualidade atribuídos à cada tese. O boxplot a seguir possibilita uma análise visual da posição, da dispersão e da simetria do conjunto de escores de qualidade da revisão da literatura nas teses analisadas.

Fonte: Elaboração dos autores com base nos dados (2018).

Gráfico 1 Escore de qualidade da revisão da literatura das teses da linha K 

Realizando-se a análise exploratória do gráfico, verificou-se que nenhuma tese obteve o menor escore possível − sete pontos −, pois o valor mínimo do conjunto de escores de qualidade da revisão de literatura das teses da Linha K foi de 15 pontos. Essa pontuação foi atingida por uma tese. Também foi possível identificar o fato de que o maior escore possível foi atingido (21 pontos), sendo esse o valor máximo do conjunto de dados. Cabe destacar que apenas uma tese aportou nessa pontuação.

Essa análise preliminar revelou que a maior diferença entre os escores de qualidade da revisão de literatura foi de seis pontos, valor referente à amplitude do conjunto dos escores de qualidade, denotando que a variação desse conjunto é relativamente pequena, se comparada à máxima variação possível (7 a 21 pontos). Os escores de qualidade estão concentrados no intervalo de 17 a 19 pontos, no qual se inserem 12 teses, sendo que quatro delas atingiram 17 pontos, quatro chegaram a 18 pontos e quatro alcançaram19 pontos.

De efeito, o intervalo interquartílico de dois pontos ratifica o fato de que a variabilidade dos escores de qualidade é baixa. Esses se mostram dispostos simetricamente, pois a mediana coincide com a média aritmética dos escores de qualidade, sendo esta igual a 18 pontos. Ademais, o conjunto dos dados mostra uma distribuição trimodal dos escores (17, 18 e 19 pontos).

Considerando-se a concentração dos escores de qualidade, pode-se inferir, portanto, que as revisões de literatura nas teses vinculadas à Linha K do PPGEduC/UNEB estão devidamente fundamentadas na literatura, cumprindo com requisitos de rigor, objetividade e coerência no tratamento e na sua demonstração.

Tomando por fundamento a análise quantitativa, na qual os valores de tendência central, dispersão e verificação distributivas dos escores de qualidade foram explicitados, pode-se inferir que a articulação dos trabalhos entre docentes e discentes, no referente à revisão de literatura das teses analisadas, propiciou valor acadêmico expressivo para a compreensão dos temas aglutinados na Linha de Pesquisa K, no decorrer do quadriênio 2013 a 2016.

Prosseguindo-se com a análise, verificou-se a pontuação total, por categoria, da rubrica de pontuação utilizada nesta pesquisa: Cobertura, Síntese, Significância e Retórica. De início, relatam-se os resultados obtidos para a categoria Cobertura.

Conforme anteriormente anunciado, dita hierarquia é regida pela discussão e justificativa sobre os critérios de inclusão e exclusão da literatura. De tal modo, a meticulosidade em relação à amostragem da literatura serviu de medida de qualidade. A exemplo de Bote e Beile (2005), esse critério foi utilizado para apreciar o quão bem os autores das teses discutiram e justificaram os critérios de inclusão e exclusão da literatura.

Verificou-se que 57,14% das teses analisadas encontram-se no nível de qualidade 2, denotando que, na revisão de literatura, foi discutido pelo menos um dos critérios, ou seja, os autores registraram os critérios de inclusão ou os de exclusão da literatura. Também foi possível denotar que 28,57% das teses receberam pontuação 3, indicando que os autores discutiram e justificaram tanto a inclusão quanto a exclusão da literatura. Por fim, observou-se que 14,29% das teses analisadas não exprimiram nenhuma discussão sobre a inclusão ou exclusão da literatura.

Considerando o grande volume de pesquisas na área da Educação, é de suma importância que sejam adotados critérios de inclusão e exclusão da literatura e que esses estejam explícitos na revisão. Assim, ao encontrar um vasto referencial, será importante um refinamento. De igual modo, se forem encontradas poucas fontes, será necessário expandir as buscas para examinar pesquisas correlatas em outras áreas, pois modalidades alternativas de conceituar e estudar a questão ou o objeto de pesquisa podem advir de outros terrenos ou abordagens teóricas (^{MAXWELL, 2006}).

Com efeito, Alves-Mazzotti (2002) evidencia que uma abordagem inter ou transdisciplinar tende a produzir resultados enriquecedores. É preciso, todavia, cautela para que a complexidade da questão de pesquisa não seja reduzida por meio de interpretações enviesadas.

As decisões que envolvem aspectos práticos e científicos, passíveis de interferir na interpretação dos resultados, devem ser documentadas. Nessa direção, é muito importante que haja a descrição consistente do procedimento de amostragem da literatura, de modo que sua inclusão e exclusão devem ser conduzidas criteriosa e transparentemente. Como salientam ^{Boote e Beile (2005}), os leitores da tese devem ser convencidos de que a inclusão da literatura foi minuciosa, intencional e completa.

Os critérios de elegibilidade contribuem para que sejam tomadas decisões sobre a adequação e a qualidade da literatura em relação ao objeto de estudo ou questão de pesquisa. Conforme frisam ^{Berland, Piot e Stolowy (2013}, p. 3, traduziu-se ), “[...] o que não está relacionado com a questão de pesquisa deve ser excluído. O que é desenvolvido precisa ser justificado em termos de sua utilidade no contexto do texto”.

Corroborando essa perspectiva, ^{Maxwell (2006}) evidencia que uma boa revisão de literatura precisa ser seletiva, pois só farão parte, diretamente, os materiais mais relevantes para a pesquisa. Por isso é conveniente questionar, conforme destacam ^{Rudestam e Newton (2001}, p. 59, traduziu-se ): “Por que estou incluindo este estudo ou referência?”.

Advoga-se o argumento de que critérios de elegibilidade no escopo da revisão da literatura configuram-se como indicadores da profundidade, qualidade e confiabilidade das referências da tese. As decisões relativas aos critérios de elegibilidade devem ser, portanto, documentadas no escopo da revisão, assim como foi feito nas teses vinculadas à Linha K, cujo percentual da categoria Cobertura sugere que as revisões de literatura dessa linha são elaboradas com base em compilação criteriosa de estudos pertencentes à comunidade científica da área.

Cumpre frisar que supõe erroneamente aquele que acredita ser mister da revisão da literatura, simplesmente, compendiar ou descrever a literatura mapeada, com base em critérios de inclusão e exclusão. De acordo com ^{Berland, Piot e Stolowy (2013}), isto constitui um trabalho a demandar criatividade e rigor, que não se confunde com um simples exercício de recensão do existente, porque é realizado com o labor de outros, tendendo a criar estruturas cognitivas difíceis de se desvencilhar.

Isso pode ser evidenciado nos critérios pertencentes à categoria Síntese, ao desvelarem a ideia de que revisar a literatura não significa apenas relatar tudo o que foi exposto em pesquisas anteriores, porquanto demanda pensamento crítico e habilidades linguísticas, mormente leitura e escrita, de modo que as informações encontradas no corpo literário de determinada área sejam reunidas, avaliadas, sintetizadas e relacionadas à questão de pesquisa ou objeto de investigação.

Os quatro critérios aglutinados nessa categoria estão atrelados ao alcance de novos e relevantes aspectos do que já fora produzido e sistematizado sobre o objeto de estudo, pressupondo explicações a fatores não esclarecidos e à possível geração de questionamentos ou teorias que sirvam de mote para estudos posteriores.

A concentração e a distribuição dos escores de qualidade, referentes à categoria retrocitada, denotam que os autores das revisões de literatura da Linha K mostram, aos leitores de suas teses, as principais linhas de força que sustentam o conhecimento em torno do objeto investigado, pois as teses não foram aquilatadas com o nível 1 em nenhum dos critérios. Nos critérios B e C, percebe-se a concentração no nível de qualidade 2 (dez teses), indicando que tais critérios foram parcialmente privilegiados na maioria das teses analisadas. No caso do critério D, a concentração ocorreu no terceiro nível de qualidade (dez teses), indicando que esse critério foi atingindo pela maioria dos textos. No caso do critério E, verificou-se uma contagem de ocorrências iguais nos níveis de qualidade 2 e 3 (sete teses em cada nível).

O critério B, que versa sobre a interpretação das principais questões relacionadas ao objeto de estudo, colige da revisão de literatura a explicitação das teorias e categorias enleadas na investigação. No âmbito desse critério, verificou-se que 71,43% das teses analisadas denotaram, na revisão de literatura, alguns pontos relacionados ao objeto de estudo, concentrando-se no nível de qualidade 2. Os demais 28,57% dos autores examinaram criticamente os principais aspectos ligados ao seu objeto de exame e, por isso, suas teses foram aquilatadas com o nível 3 de qualidade.

À vista desse percentual, destaca-se que o exame crítico das principais questões reunidas ao objeto de estudo contribui para a aquisição/ampliação de vocabulário e conceitos relacionados à questão de pesquisa. Concorre, ademais, para desvelar importantes variáveis relacionadas ao tema abordado, descortinando o panorama geral da literatura significativa já publicada sobre a matéria investigada.

Esse exame crítico contribui para que pesquisadores e estudiosos cheguem ao estado atual do conhecimento relacionado ao seu problema e objeto de investigação, porque lança luz às potencialidades, fragilidades, consensos e contradições da área sob investigação. Por isso, a realização de pesquisas significativas requer, primeiramente, o entendimento da literatura no campo (^{BOOTE; BEILE, 2005}). A revisão de literatura está a serviço do problema de pesquisa (^{ALVES-MAZZOTTI, 2002}).

Destarte, pesquisadores e estudiosos têm a tarefa de sintetizar a literatura, relacionando a base das conclusões ou argumentos alcançados nos estudos ­revisados com os principais aspectos relacionados ao seu objeto de estudo, mas sem simplesmente descrever ou somente citar a literatura. Reiterar o que foi registrado na literatura revisada é importante, sendo preciso, todavia, que seja explicitada a relevância do material revisado em relação ao objeto de estudo, conforme fizeram os autores das teses analisadas.

Essa tarefa requer habilidades de elaboração textual que insiram a voz do autor na revisão da literatura, evitando o ventriloquismo da revisão, porque este enseja pobreza interpretativa. De tal maneira, os pesquisadores e estudiosos devem realizar comparações, análises críticas, tomadas de posição e resumos conclusivos (^{ALVES-MAZZOTTI, 2002}).

Verificando-se o critério C (inserção do objeto de estudo ou problema no contexto da literatura acadêmica), como resultado, divisou-se que 71,43% das teses estão concentradas no nível de qualidade 2, significando haver sido expressa alguma discussão sobre literatura científica e seu objeto de estudo. Nas demais teses, 28,57%, o objeto de estudo foi claramente situado na literatura.

Em razão desse critério, postula-se o argumento de que situar o objeto de estudo com base na revisão de literatura é tão importante quanto definir um percurso metodológico para alcançar tal objeto. O texto de uma revisão de literatura possui, por isso, função peculiar de possibilitar ao leitor a exposição de contribuições já sistematizadas sobre o assunto a investigar, sejam contributos teóricos, sejam pesquisas já desenvolvidas, evidenciando os princípios orientadores que serviram de base para delinear o estudo.

Em relação ao critério D, identificou-se o fato de que 71,43% das teses atingiram o nível 3 de qualidade, apontando que os autores descreveram e discutiram a relação de cada material revisado com o seu objeto de estudo. Os demais autores das teses, 28,57%, fizeram alguma descrição sobre a relação de cada trabalho com o seu objeto de pesquisa, sem, entretanto, discutir essa relação.

O percentual há pouco informado evidencia a qualidade das teses analisadas e aqui aludidas, no que respeita à mostra da literatura revisada, em articulação com seus respectivos objetos de estudo. Como aconselhado por Alves-Mazzotti (2002), os autores das teses analisadas não fizeram a descrição monótona de estudo por estudo. Em vez disso, demonstraram as articulações entre as obras revisadas e os seus objetos de exame. Foi verificado, portanto, que os autores das teses vinculadas à Linha K não discutiram cada achado um após outro, de modo isolado, mas sim demonstraram a relevância de suas respectivas teses com base na articulação entre seus respectivos objetos de estudo e argumentos, abordagens metodológica e teórica, resultados e conclusões extraídos da literatura revisada.

Nas revisões de literatura das teses vinculadas à Linha K, existe ligação bem estabelecida entre o objeto de estudo ou problema e a literatura científica. Esta ligação é evidenciada pela exposição da óptica geral do assunto abordado, pela avaliação crítica do material revisado pelos autores das teses analisadas e mostra das contribuições significativas advindas das pesquisas mapeadas por eles. Verificou-se, com efeito, que 50% das teses indicam as contribuições de alguns dos trabalhos para o entendimento e desenvolvimento do seu objeto de estudo (nível 2) e 50% claramente demonstram tais contribuições (nível 3), sendo esses percentuais referentes ao critério E (contribuição significativa para a compreensão do objeto de estudo).

Tal resultado aponta que os autores das teses vinculadas à Linha K buscaram as obras que antecederam suas pesquisas e, com base nelas, mensuraram a amplitude e profundidade do conhecimento sobre os seus objetos específicos de investigação, para, assim, identificar as dimensões que necessitavam de mais profundidade e especificar melhor suas respectivas questões de pesquisas.

Nesse sentido, foi possível perceber que as revisões da literatura das teses aqui mencionadas cumpriram com a função de assentamento, identificação, entendimento e explicitação do objeto de investigação, bem como das teorias e categorias nelas envolvidas. Contribuíram, por conseguinte, para a interpretação e exploração das temáticas investigadas na Linha K.

Tais resultados conduzem a que se considere apropriado e também relevante que, no trajeto de elaboração do corpus de conhecimento disponível sobre um assunto, sejam apontadas as contribuições conduzidas pela revisão de literatura, para dar significado, relevância e legitimidade à tese e seus resultados, visto que tais contribuições nasceram do esforço de documentação, análise e reflexão provenientes de uma revisão de literatura rigorosa.

Após a análise da qualidade da revisão da literatura em teses de doutorado, com fundamento na categoria Síntese, tomou-se para análise a categoria Significância, regida pelo critério da racionalização do significado prático e acadêmico do problema de pesquisa.

Em relação a essa categoria, observou-se que 71,43% dos autores das teses explicitaram claramente a significância prática, a importância acadêmica do seu estudo e elucidaram as lacunas dos achados, ao passo que 28,57% explicitaram parcialmente tais elementos.

Esses percentuais expõem que, na maioria das revisões de literatura das teses vinculadas à Linha K do PPGEduC/UNEB, foram discutidas as implicações das pesquisas sobre o sentido operativo dos conceitos assumidos, bem como a extensão e a significância do problema manejado em cada tese. Remeteu-se à importância intelectual das questões investigadas, por meio da mostra das lacunas no conhecimento do tema, sendo essas auferidas pela revisão de literatura realizada pelos autores das teses, tendo em conta o contexto em que elas estão inseridas.

Os resultados obtidos pela análise da revisão da literatura, com base na categoria Significância, acompanham e dão força às afirmações de autores que advogam em favor da importância da revisão de literatura na produção do trabalho científico. Entre tais autores, mencionam-se ^{Cardoso, Alarcão e Celerico (2013}), quando salientam que a revisão de literatura, além de permitir que as pesquisas sejam situadas em face do conhecimento anteriormente estabelecido, também favorece para alicerçar e pôr em perspectiva a contribuição que a pesquisa pode trazer ao conhecimento.

Adicionalmente, cumpre evidenciar que as revisões de literatura das teses estudadas têm organização intencional e escrita convincente. Verificando-se o resultado da categoria Retórica, referente à integração das obras revisadas em uma estrutura clara e de síntese coerente da literatura, desvela-se que todas as teses verificadas foram bem desenvolvidas, com análise, síntese e avaliação crítica dos achados. Com efeito, foram escritas com uma estrutura coerente e clara, que apoiou a revisão da literatura (^{BOOTE; BEILE, 2005}).

Considera-se importante evidenciar que o texto da revisão de literatura deve se exprimir com a necessária coerência e clareza de ideações, em uma exposição argumentativa e sequenciada de elementos que contribuam para a compreensão das ideias dos autores revisados; há de se apontar o confronto analítico entre as convicções dos pesquisadores e o posicionamento crítico quanto às ideias revisadas, bem como a síntese conclusiva dos conhecimentos abordados, no qual se possam levantar hipóteses e/ou problematizar o assunto explorado no estudo.

Ante, por conseguinte, os resultados expressos, infere-se que o panorama geral evidenciado pela análise da qualidade da revisão da literatura em teses de doutorado defendidas no âmbito da Linha K do Programa de Pós-Graduação em Educação e Contemporaneidade da Universidade do Estado da Bahia, no interstício temporal 2013-2016, torna tangível a noção de que “[...] o olho que vê procura e encontra o tempo: a evolução, a formação, a história. Por trás do que está concluído, transparece, com excepcional evidência, o que está em evolução e em preparação” (^{BAKHTIN, 1997}, p. 247).

Os resultados sugerem que as teses estudadas propiciam contribuições significativas para o enriquecimento da revisão de literatura nos relatórios finais de doutorado e, consequentemente, elevam o nível do debate sobre a qualidade e a importância da revisão de literatura nas pesquisas em Educação no Brasil. São veículos para divulgação de como as revisões de literatura podem ser conduzidas e estruturadas de maneira consolidada e pertinente ao objeto de estudo ou questão de pesquisa.

O panorama desvelado, com base na análise da qualidade da revisão de literatura, reforça e difunde a ideação de que, ao resumir, analisar e sintetizar a literatura explorada, os pesquisadores ou estudantes adquirem o domínio do que já foi realizado em termos de pesquisa. Com isso, podem posicionar sua pesquisa no âmbito da literatura em curso, porém trazendo algo a mais, de modo original, ou seja, sua contribuição epistêmica para o terreno do conhecimento (^{MAXWELL, 2006}).

Sabe-se que essa tarefa está longe de ser simples, pois requer atitude crítica para cotejar as obras revisadas, impondo-se considerar a complexidade das possíveis dimensões de originalidade e objetivos da revisão de literatura relacionada à pesquisa. Não pode ser, portanto, negligenciada na formação de pesquisadores, uma realidade constatada por ^{Boote e Beile (2005}) e ^{Maxwell (2006}).

Daí sobreleva a importância do estudo aqui sustentado, o qual, embora tenha um âmbito limitado, suscitou argumentos e trouxe informações atinentes à qualidade da revisão da literatura, que servem para nortear e conduzir o modo de escrever a revisão de literatura expressa nas teses de doutorado.

4 CONSIDERAÇÕES FINAIS

A pesquisa ora relatoriada foi organizada em torno do tema revisão de literatura em teses de doutorado. Considerando-se essa tarefa como fundamental na preparação de uma pesquisa, tal incursão investigativa possibilitou o entendimento de que a produção de conhecimentos em qualquer área científica não pode ser denotada como algo estanque, visto que deve se embasar em pesquisas sistematizadas, pelas quais se problematiza a temática da investigação e se delineia e se fundamenta a questão investigada.

Nesse âmbito, sobressai a compreensão de que a revisão de literatura exige do pesquisador ou estudante uma análise crítica e criteriosa do estado atual do conhecimento de sua área de estudo, a fim de criticar e confrontar aspectos teórico-metodológicos de pesquisas anteriores, contrapondo as concordâncias e divergências, bem como os aspectos não esclarecidos, de modo a buscar relevância e originalidade para o seu estudo e, com isso, contribuir no desenvolvimento da ciência.

Os resultados observados nesta pesquisa intensificam a perspectiva de que a revisão da literatura requer elaboração progressiva, que se inicia com a triagem da literatura e evolui para passos mais sofisticados, culminando no aprofundamento da investigação, por meio de um processo criativo e rigoroso que faz emergir a originalidade do estudo.

Embora não existam modelos previamente definidos de um texto de revisão de literatura, pois esse varia conforme o estudo e o estilo do pesquisador, considera-se que este artigo auxilia na compreensão e escolha de um caminho norteador mais favorável ao desenvolvimento da pesquisa. Os meios para análise da qualidade da revisão adotada neste estudo, os resultados observados e as considerações advindas deles apontam aspectos importantes que devem estar envolvidos na feitura de uma revisão de qualidade.

Em remate, salienta-se que a realização desta demanda foi uma valiosa experiência de aprendizado, possibilitando aos autores deste artigo a ampliação do conhecimento sobre a revisão de literatura. Essa incursão investigativa proporcionou ganhos nas habilidades de mapear e analisar a literatura de pesquisa, pois sua condução e redação foram norteadas pelas explicações teóricas e práticas advindas dos autores revisados para este estudo. Almeja-se, por conseguinte, que os argumentos e informações aqui registrados possam também melhor informar e apoiar a formação de outros estudantes de doutorado e pesquisadores emergentes.