Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
Introdução
Partimos do princípio de que é possível e desejável a produção de conhecimento científico em educação, entendendo por conhecimento científico não apenas aquele que assim é denominado por quem tem a intenção de produzi-lo (MARTINS, 1999), mas aquele que, no processo de sua constituição, envolve busca de rigor metodológico, explicitando os caminhos utilizados para se chegar às afirmações e análises finais (MARTINS, 1981). Assim, a procura por minimizar os efeitos da subjetividade e das idiossincrasias do pesquisador ou pesquisadora nos resultados da investigação é elemento central na produção do conhecimento científico. Outro elemento fundamental é tornar comunicáveis objetivos, método e resultados em relação coerente entre eles, favorecendo o seu debate público. Tais características do processo e do produto são estruturantes da produção do conhecimento científico e o distinguem de outros tipos de conhecimento. Propomo-nos a desenvolver a exposição, com ilustração, da análise de conteúdo difundida por Bardin (2002), como caminho metodológico que pode auxiliar no desenvolvimento de pesquisas de revisão crítica da produção científica em educação. Utilizamos o termo mais amplo, caminho metodológico, para designar as ações planejadas para atingir objetivos em uma pesquisa e que podem incluir a sequência de aplicação de técnicas, o método ou a metodologia de um estudo (que serão diferenciados mais adiante), tendo em vista que o uso desses termos não é uniformemente adotado na produção científica.
Mas, afinal, o que são estudos de revisão crítica da produção científica? Qual sua contribuição para a área de educação? Como desenvolvê-los com rigor e margem significativa de confiabilidade para produzir novo conhecimento? Essas são questões importantes sobre metodologia de pesquisa quando nos propomos a produzir conhecimento a partir da revisão de literatura em qualquer área do conhecimento.
Em primeiro lugar, é importante diferenciar estudos de revisão crítica da produção científica1, da revisão de literatura necessária a todos os tipos de pesquisa. A revisão do que já foi produzido sobre um tema que se deseja investigar é ponto de partida na produção do conhecimento científico, ajudando a circunscrever o objeto da investigação, calibrar os objetivos e melhor formular a questão de pesquisa. A partir da questão e dos objetivos, a escolha de caminhos metodológicos que ajudem a objetivar a coleta, a organização e a análise dos dados é igualmente central na produção de conhecimento científico. Tanto por um motivo, como pelo outro, é possível se afirmar que a revisão de literatura deva ser parte integrante de todo tipo de pesquisa científica, assim como a explicitação do caminho metodológico a ser desenvolvido no estudo, seja ele um estudo teórico, documental ou empírico; quantitativo, qualitativo ou misto (CRESWELL, 2014; MERTENS, 2014). Consideramos a revisão crítica da produção científica como um tipo de pesquisa que também envolve revisão de literatura sobre o tema pesquisado, mas que, além disso, tem por seu próprio objeto de análise a produção científica sobre determinado tema ou objeto, tratando-se, portanto, de estudo de tipo documental, que mais frequentemente toma como fonte de dados relatórios de pesquisa, artigos e/ou livros (LIMA; MIOTO, 2007).
Os estudos de revisão crítica da produção científica são destinados à avaliação da produção e têm-se, segundo Witter e Paschoal (2010), consolidado mundialmente desde a década de 1960 nas diversas áreas do conhecimento. Denominados de cientometria pelas referidas autoras, esses estudos caracterizam-se como uma metaciência, ou seja, tomam o método científico como objeto da pesquisa, e têm estado ligados a procedimentos de avaliação da produção como fator de impacto de determinado periódico, artigo, teses e dissertações e trabalhos apresentados em eventos acadêmicos. Pesquisas em metaciência permitem, de acordo com elas, uma compreensão mais clara daquilo que vem sendo produzido na área que é objeto de exame, de como isso tem sido feito, das perspectivas para pesquisas futuras e de como aprimorar essa produção. Como indicação de aspectos a serem analisados em pesquisas de metaciência, Witter e Paschoal (2010, p. 138) ressaltam que podem ser observados “tipo de trabalho, enfoque teórico, autoria, tipologia da pesquisa, tipo de análise de dados, análise das evidências [...], bibliografia, título, resumo, estrutura discursiva, normas, instrumentos e materiais usados na coleta, distorções e erros de análise”. Ressaltamos a diferenciação entre o método científico, mencionado por Witter e Paschoal (2010), e o método de pesquisa, na medida em que o primeiro se refere à lógica da produção científica de conhecimento, às bases filosóficas dessa produção, e que envolve o rigor e o empirismo; enquanto o segundo se refere à condução de uma pesquisa e as ações que nela ocorrem (como definiremos mais adiante).
Vosgerau e Romanowski (2014) assinalam que estudos de revisão permitem compreender o movimento da área, a sua configuração, suas propensões teóricas e metodológicas, além de permitir análise crítica sobre ela, apontando tendências, lacunas e recorrências. Acrescentam que pesquisas de revisão “consistem em organizar, esclarecer e resumir as principais obras existentes, bem como fornecer citações completas abrangendo o espectro de literatura relevante em uma área” (VOSGERAU; ROMANOWSKI, 2014, p. 3). Identificando a existência de diversas designações para esse tipo de pesquisa, as autoras afirmam que pesquisas de revisão podem cumprir duas funções principais: mapeamento e revisão. As pesquisas de mapeamento “têm como finalidade central levantar indicadores que fornecem caminhos ou referências teóricas para novas pesquisas” (p. 174-175), enquanto os estudos de revisão cumprem a função de avaliação e síntese e “buscam identificar as condições em que determinadas evidências ocorrem e a possibilidade de identificação de padrões de ocorrência” (p. 175).
Retornando a Witter e Paschoal (2010), em qualquer um dos casos, indicam as autoras, a importância de se realizarem revisões críticas da produção científica diz respeito a oferecerem parâmetros a pesquisadores, pesquisadoras e formuladores de políticas públicas, auxiliando-os na tomada de decisão sobre novas pesquisas, no primeiro caso, e sobre a implementação de ações, no segundo caso. Diante de tal importância, a escolha de caminhos metodológicos que ofereçam confiabilidade analítica na produção de revisões críticas da produção científica de determinada área é altamente relevante, tanto por conta daquilo que se produz (epistemologicamente), como pelas consequências do que se produz para a vida das pessoas (eticamente). Por isso, buscamos, por meio deste texto, contribuir para a iniciação de pesquisadores e pesquisadoras que desejem se aventurar pelos mares desse tipo de produção, procurando demonstrar benefícios e limites da análise de conteúdo difundida por Bardin (2002) como caminho metodológico do desenvolvimento de pesquisas de revisão sistemática.
Com base nas características descritas por Vosgerau e Romanowski (2014), focaremos na modalidade de estudo de revisão crítica da produção científica, mais especificamente na revisão sistemática de literatura, um dos nove tipos de estudos de revisão por elas arrolados, a saber: revisão bibliográfica; estudos bibliométricos; pesquisas do tipo estado da arte; revisão narrativa; revisão sistemática; revisão integrativa; síntese de evidências qualitativas; meta-análise; metassíntese qualitativa ou metassumarização.
A revisão sistemática de literatura é um tipo de estudo que apresenta uma pergunta de pesquisa definida, o desenho de estratégias de diagnóstico crítico, transparência no estabelecimento de critérios de inclusão e exclusão de estudos e análise de estudos primários (ou seja, dados coletados diretamente em estudos analisados). Quanto ao processo de desenho e desenvolvimento da pesquisa, seguimos as recomendações de Lima e Mioto (2007): explicitar a metodologia a partir da qual será proposto o método da pesquisa para coleta e análise dos dados, elaboração do projeto de pesquisa, investigação das soluções, análise explicativa das soluções e síntese integradora. Inicialmente, devem ser propostos critérios de seleção da fonte de dados de onde serão extraídas as respostas às questões de pesquisa segundo alguns parâmetros (temático, linguístico, principais fontes e cronológico).
Feitas as considerações iniciais sobre o que é uma revisão sistemática de literatura, nas seções e subseções que seguem abordaremos primeiro a pesquisa que será usada como ilustração dos passos de análise de conteúdo sistematizados por Bardin (2002). Depois, apresentaremos os passos de análise de conteúdo, em si, ilustrando-os com elaborações e decisões realizadas numa pesquisa de mestrado (PREZENSZKY, 2017) na parceria entre mestrando e orientadora. O item seguinte trará nossa avaliação do processo de produção da pesquisa utilizada como ilustração, destacando apoios e limites percebidos na análise de conteúdo de Bardin (2002). Nas conclusões, faremos ponderações sobre pesquisa em educação e ciência e apresentaremos algumas sugestões aos jovens pesquisadores que iniciam seu trabalho.
O artigo configura-se como um ensaio demonstrativo. Severino (1996, p. 163) apresenta o ensaio como “um estudo bem desenvolvido, formal, discursivo e concludente”. Num ensaio, são chaves a argumentação rigorosa e a exposição lógica e reflexiva, na qual a subjetividade do autor tem papel central, com alto nível interpretativo e julgamento pessoal (MENEGHETTI, 2011; SEVERINO, 1996). O ensaio está menos ligado a uma forma tradicional de escrita científica, no entanto, como Meneghetti (2011) ressalta, não pode ser usado como subterfúgio para a falta de rigor, mas sim como a melhor forma de abordar determinado tema, quando esse for o caso. Adjetivamos nosso ensaio como sendo demonstrativo, porque nossa argumentação está apoiada na demonstração de um caminho por nós percorrido, dando pistas de como utilizar a análise de conteúdos de Bardin (2002).
Traçando uma pesquisa de revisão sistemática
A pesquisa aqui utilizada como ilustração do processo de revisão sistemática intitula-se Coerência Interna em Pesquisas em Psicologia e Contribuições à Educação: análise da produção no período de 2011-2015 no periódico Psicologia Escolar e Educacional (PREZENSZKY, 2017). Ela nasceu de um conjunto de pesquisas produzidas pelo grupo em que participam a autora e o autor, que, dentre outras modalidades, desde 2009 vem também se dedicando a pesquisas de revisão da produção científica nacional (MELLO, 2009, 2012, 2014, 2016). Nas pesquisas de revisão o grupo tem procurado contribuir para balanços da produção na área educacional, e em áreas afins no Brasil, e visualizar os seus desdobramentos para a educação básica no país.
Pode-se afirmar que o objeto da pesquisa (PREZENSZKY, 2017) foi inicialmente pensado com base nas pesquisas anteriores do grupo, mais especificamente como continuidade de outra pesquisa desenvolvida em forma de dissertação de mestrado (CONSONI, 2014). A pesquisa antecessora focalizou a relação entre a produção em Psicologia e Educação em uma revista da área de Educação, a Revista Cadernos de Pesquisa. Ao analisar as publicações das décadas de 1980, 1990, 2000 e os primeiros anos da década de 2010, a autora constatou que conhecimentos advindos da psicologia estiveram presentes na produção acerca da dimensão instrumental da educação, porém tal presença diminuiu consideravelmente nos anos 2000. O que pode ser observado foi uma mudança de foco do ensino e da aprendizagem de conteúdos para o processo de aprendizagem e para a própria condição do aprendiz. Ao discutir tais achados, em posterior artigo, Consoni e Mello (2014) levanta a hipótese de que esse dado poderia estar relacionado ao surgimento e ao aumento das publicações especificamente voltadas à psicologia educacional, mas também questiona se não se teria operado na Educação um distanciamento da Psicologia, havendo perda do espaço entre as duas áreas para o debate sobre o ensino e a aprendizagem de conteúdo. Foi tal questionamento que levou ao objeto de pesquisa abordado na dissertação de Prezenszky (2017): pretendia-se contribuir para a ampliação da análise do que vem sendo publicado por revistas brasileiras qualificadas, sobre os processos de ensino e de aprendizagem e que podem apoiar os avanços da qualidade da escolarização no país frente às necessidades colocadas aos sujeitos pelo contexto atual.
Pensou-se, num primeiro momento, em analisar duas revistas de psicologia com qualificação internacional; o projeto foi elaborado e submetido a um órgão financiador do estado de São Paulo, o que possibilitou refinar o foco proposto. Seguindo as considerações dos pareceristas a respeito de ser mais efetivo focalizar revistas da psicologia que se propusessem a produzir conhecimento para a educação, analisando diretamente processos de ensino e de aprendizagem, decidimos, então, atender à sugestão. Naquele momento vivenciamos a efetiva colaboração que pareceristas oferecem à produção de conhecimento quando tecem críticas e recomendações metodológica e teoricamente consistentes. Com o foco ajustado, pudemos refinar os objetivos e as questões que guiariam o estudo, mantendo a análise de conteúdo para seu desenvolvimento. Seguindo o orientado por Lima e Mioto (2007), estabelecemos os critérios de seleção da fonte de dados de onde seriam extraídas as respostas às questões de pesquisa segundo alguns parâmetros (temático e cronológico).
Os objetivos seriam: identificar, caracterizar e analisar a produção acadêmica atual no âmbito da Psicologia como área de conhecimento em relação à educação, no que se refere à contribuição ao ensino e à aprendizagem instrumental, em termos da frequência da produção de pesquisas, coerência metodológica interna de estudos científicos e contribuições observadas ou potenciais desses estudos para a prática educacional. Focalizar-se-ia uma revista específica, da área de Psicologia, mas que tem preocupação em se dedicar à educação. As questões orientativas seriam: em que medida estão sendo produzidos estudos sistemáticos na área da Psicologia em relação a processos de ensino e aprendizagem de conteúdos escolares, habilidades e competências como fenômenos de interesse para a educação em periódico da área de psicologia educacional? Qual o grau de coerência interna (embasamento teórico, objetivos propostos, método e resultados) apresentam estudos implementados na Psicologia em relação a ensino e aprendizagem de conteúdo, no período de 2011 a 2015, em uma revista reconhecida por pares, tanto na área de Educação como na de Psicologia, e que se dedica explicitamente à produção na área de Psicologia educacional: a revista Psicologia Escolar e Educacional (PEE)? Como os estudos publicados no período de 2011 a 2015 na revista PEE contribuem ou podem contribuir concretamente para o campo educacional e de que forma?
As questões e os objetivos foram sendo forjados em meio às orientações individuais e grupais, nas quais outros membros do grupo de pesquisa apresentavam seus focos específicos de pesquisa, suas dúvidas, angústias e descobertas, superando em conjunto os desafios e gerando soluções que a todos serviam. O estudo direto de livros sobre metodologia e método de pesquisa, incluído o de Bardin (2002), permitiu a tomada mais segura de decisões. Também foi importante para o refinamento do projeto o debate com mestrandos e doutorandos de várias linhas de pesquisa do Programa de Pós-Graduação em Educação, da instituição em que foi realizado o mestrado, sobre metodologias de pesquisa, que teve a orientadora da pesquisa como uma de suas docentes.
Foi assim que a pesquisa foi desenhada e desenvolvida e que será apresentada a seguir como ilustração dos passos propostos por Bardin (2002).
A análise de conteúdo proposta por Bardin
O primeiro a se afirmar é que a análise de conteúdo proposta por Bardin (2002) é uma técnica, ou um conjunto de técnicas, e não uma metodologia ou um método em si, como a própria autora a define. MacKenzie e Knipe (2006) nos ajudam a sustentar tal afirmação. De acordo com eles, metodologia de pesquisa é uma abordagem geral, ligada ao paradigma em que a pesquisa se insere, ou seja, refere-se ao conjunto composto por fundamentação teórica do método de uma pesquisa e pelo método em si. O método, por sua vez, é a descrição feita do conjunto de técnicas, procedimentos e instrumentos adotados em determinada pesquisa para a coleta e a análise dos dados. Quanto às técnicas de coleta e análise de dados, elas se referem aos meios de se obter e analisar os dados por meio de ações do pesquisador, enquanto os instrumentos são meios físicos para a coleta e análise dos dados. Os procedimentos seriam as ações de organização do método do estudo. Assim, entendemos que a análise de conteúdo de Bardin (2002) é um conjunto de técnicas e procedimentos que possibilitam a coleta e a análise dos dados, com o apoio de alguns instrumentos como fichas catalográficas para análise dos artigos e software de criação de planilhas e cálculos matemáticos.
Como conjunto de técnicas, a análise de conteúdo de Bardin (2002) não oferece, por si só, os elementos de definição de uma pesquisa de revisão sistemática da produção científica. Esse é um de seus limites. Para traçar o objeto e os objetivos uma pesquisa necessita de instrumentos teóricos que auxiliarão a tomar decisões na elaboração do projeto, em escolhas do processo e nas análises, portanto, uma metodologia. Além disso, necessita de outras ações (técnicas, instrumentos e procedimentos) para a coleta e análise dos dados e que constituem seu método.
Na ilustração que trazemos (PREZENSZKY, 2017) para traçar o que seria nossa metodologia de pesquisa, recorremos a autores e autoras que se dedicam ao estudo de metodologias de pesquisa científica, uma vez que desenvolveríamos uma análise de elementos próprios das pesquisas tomadas como objeto de nossa análise e de sua coerência interna (entre elementos) e externa (produção de conhecimento a partir do pesquisado). Para tanto, foram estudados autores e autoras nacionais e internacionais: Creswell (2012, 2014); Gómez et al. (2006); Mertens (2014); André (1995); Patton (2002); Breakwell et al. (2010) e Lakatos e Marconi (1995).
Para a execução da análise de conteúdo de Bardin (2002) foi preciso buscar, ainda, apoio em Salvador (1986) para poder efetivar os passos descritos. Explicamos melhor: para a busca no periódico Psicologia Escolar e Educacional, entre os anos de 2011 e 2015, de artigos que abordassem a dimensão instrumental da educação, foram realizadas ações recomendadas por Salvador (1986). De 41 artigos inicialmente selecionados, após a análise de quais explicitamente indicavam contribuições para a educação, chegamos a 18 artigos que seriam efetivamente analisados na pesquisa. Foram caracterizadas suas temáticas e níveis educacionais a que se referiam e analisada a coerência interna dos trabalhos descritos a partir de seus objetivos, método e resultados. Também foram identificadas as contribuições à aprendizagem instrumental relatada pelos autores.
Salvador (1986) orienta que, para se chegarem aos dados efetivos que serão utilizados numa pesquisa de revisão crítica, o pesquisador ou a pesquisadora deverá realizar diversas leituras do material selecionado. Num primeiro momento, deve-se realizar a leitura de reconhecimento, que consiste numa leitura rápida do material, para ser possível à seleção daquilo que oferece informações diretamente relacionadas ao tema estudado. A seguir, o pesquisador ou pesquisadora deve se dedicar à leitura exploratória do material localizado, verificando se as informações ou dados das obras de fato interessam ao estudo. A leitura seletiva é a fase seguinte, possibilitando determinar o material que de fato interessa ao estudo, relacionando-o aos objetivos da pesquisa. A leitura reflexiva/crítica implica o estudo crítico da obra a partir de critérios, visando a ordenar e sumarizar informações. Realiza-se, então, a leitura interpretativa para relacionar as informações da obra com o problema para o qual se busca solução. Na fase de busca de soluções, é necessário contar com o auxílio de um instrumento para melhor visualizar e organizar as informações obtidas, indicando, por exemplo, informações de caracterização da obra (autor, data, temas, conceitos centrais, paradigma) e de contribuições à pesquisa. Após a fase de investigação das soluções, segue a fase de análise explicativa, na qual o pesquisador, a partir de sua conceituação teórica, apresenta os dados e os organiza. Por fim, é feita a síntese integradora, na qual o pesquisador refletirá sobre o material explorado e proporá soluções, ou seja, integrará o conhecimento prévio fornecido por sua fundamentação teórica àquilo que foi obtido na pesquisa.
Tais indicações são importantes enquanto um caminho a ser seguido por quem pretende desenvolver uma pesquisa de revisão sistemática, pois ajudam a garantir maior objetividade na seleção, na organização e na análise do material, minimizando os efeitos subjetivos próprios dos processos humanos e possibilitando que outros pesquisadores e pesquisadoras possam seguir, compreender e debater o caminho realizado, o que configura o processo de produção do conhecimento científico.
Comentados tais limites do proposto por Bardin (2002) e os apoios que utilizamos para superá-los, passamos, agora, à descrição dos passos da análise de conteúdo.
As etapas da análise de conteúdo de Bardin
Bardin (2002) aponta que a análise de conteúdo pode ser dividia em três etapas: a pré-análise, a exploração do material e o tratamento dos resultados, inferências e interpretação.
A pré-análise
A pré-análise consiste na organização do trabalho a ser desenvolvido, operacionalizando e sistematizando as ideias iniciais de forma a subsidiar as ações a serem implementadas no decurso da análise. Nessa fase, devem ser definidos os documentos a serem analisados, devem ser formuladas hipóteses e objetivos e devem ser elaborados indicadores que fundamentarão a interpretação final (BARDIN, 2002). As atividades, segundo a autora, não necessariamente se dão na ordem por ela apresentada e que sintetizamos abaixo.
a) Escolha dos documentos e leitura flutuante
A leitura flutuante é o primeiro contato com os textos a serem analisados e serve para que o pesquisador ou a pesquisadora se familiarize com os temas e com a escrita de forma geral.
Bardin (2002) indica alguns parâmetros que auxiliam na definição dos documentos a serem analisados. A primeira decisão se refere à escolha do universo, que pode ser definido a priori, ou seja, os materiais a serem analisados já foram delimitados e a análise se dará dentro daquele universo, ou pode ser proposto em função dos objetivos do estudo, sendo necessário escolher qual será o universo que melhor poderá atender aos objetivos levantados.
Na ilustração utilizada (PREZENSZKY, 2017) a escolha do universo decorreu dos objetivos propostos, ou seja, a partir do objetivo de estudar a produção em Psicologia em contribuição à Educação, foi definido um periódico científico de psicologia altamente qualificado também na área de educação na avaliação Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)2. Como fonte dos artigos a serem analisados, foi proposta a busca no periódico Psicologia Escolar e Educacional, tendo em vista se tratar de periódico especificamente voltado ao tema da pesquisa e estar altamente qualificado nos comitês de Psicologia e Educação da Capes, tendo sido assim recomendado por parecerista de órgão de fomento. O contato inicial com os textos deu-se por meio da leitura dos resumos dos artigos.
A segunda atividade da pré-análise apresentada por Bardin (2002) é a definição do corpus, ou seja, os documentos dentro do universo delimitado, a partir dos critérios de exaustividade (inclusão de toda a documentação dentro do universo delimitado), representatividade (se uma amostra pode ser considerada representativa do universo), homogeneidade (os documentos selecionados com respeito rigoroso aos critérios adotados) e pertinência (devem ser adequados para o fornecimento de informações que respondam ao objetivo da análise).
O período considerado para o estudo ilustrativo foi entre os anos de 2011 e 2015, de forma a contemplar a produção mais recente da área, o que permitiria identificar sua atualidade, pressupondo que os debates anteriores a esse período estivessem já abordados nos artigos, sendo feito, assim, o balanço do acúmulo de conhecimento da área. Para a seleção dos artigos analisados, foi realizada busca na biblioteca eletrônica Scielo (s/d), na qual o periódico estava disponível. Os descritores utilizados para seleção de artigos foram: “ensino OR ensinar OR aprendizagem OR conhecimento OR conteúdo OR conceito OR competência OR habilidade OR saber OR conhecimentos OR conteúdos OR conceitos OR competências OR habilidades OR saberes OR educação OR escola OR objetivo de ensino OR comportamento-objetivo OR objetivo comportamental OR comportamentos-objetivo OR objetivos comportamentais”, o que significou identificar a presença de ao menos uma das palavras em qualquer parte dos textos disponíveis na biblioteca. Os termos utilizados foram definidos em função dos resultados obtidos por Consoni (2014), estudo antecessor do estudo ilustrativo. A estratégia de busca utilizando todos os termos em uma mesma busca com o termo OR permitiu que fossem identificados os textos sem que houvesse repetição de algum artigo em função da presença de mais de um dos termos. Essa forma de busca permite que sejam obtidos em apenas uma busca os artigos que tenham alguma das palavras. Trata-se de uma forma mais econômica de realizar as buscas, tendo em vista que, ao se realizarem buscas múltiplas, com o objetivo de serem contemplados todos os termos, vários artigos acabam sendo repetidos em decorrência de apresentarem diversos dos termos de busca.
Primeiro, tomando-se o período a que restringiríamos a busca dos artigos no periódico focalizado, ou seja, entre os anos de 2011 e 2015, verificamos que 249 artigos haviam sido publicados. Aplicados os descritores pertinentes, chegamos então ao total de 173 artigos. A partir da leitura de seus resumos e da identificação de seus autores, foram novamente filtrados os artigos, sendo inseridos nas análises apenas aqueles classificados como artigos (em oposição a relatos, história da área e falas em conferências) referentes ao contexto brasileiro, com menção explícita ao contexto escolar e à dimensão instrumental da educação. Tal recorte foi devido ao foco do estudo e de sua inserção no conjunto de pesquisas que vem sendo desenvolvido no grupo de pesquisa sobre a produção científica nacional. Visou incluir apenas aqueles que apresentassem como objetivo a construção de conhecimento científico diretamente relacionado ao ensino e a aprendizagem instrumental no ambiente escolar. A menção explícita às contribuições à educação no resumo foi tomada como critério de inclusão por ter sido considerado que a partir da leitura do resumo a pessoa pode definir se dará continuidade à leitura integral do texto. A menção explícita das contribuições à educação permitiria aos profissionais da área identificar com mais facilidade os trabalhos que poderiam contribuir a sua prática.
Para a identificação da relação com a dimensão instrumental, foram selecionados aqueles que mencionassem habilidades e competências que permitem maior sucesso na sociedade atual, quais sejam: o domínio formal do idioma em suas variantes oral e escrita, os conhecimentos científicos acerca do mundo, o conhecimento sobre os processos sociais e históricos, as operações matemáticas e geografia. Foram inseridos na análise trabalhos cujos resumos indicassem tratar do ensino e da aprendizagem dos conhecimentos ensinados nas disciplinas escolares, ou que tratassem do conjunto de tais conhecimentos (expressões como aprendizagem escolar, desempenho escolar, sucesso escolar ou fracasso escolar). Também foram incluídos estudos que tratassem do papel do professor no ensino de tais conhecimentos, fosse descrevendo suas ações para tanto, ou sua formação para tal papel, desde que explicitado pelos autores do artigo que ele apresentaria tal contribuição. Foi considerado que, em cursos de formação profissional (por exemplo: formação do psicólogo e formação de professores), estudos que tratassem de conteúdos de ensino também fariam parte da amostra. Foram obtidos 41 artigos referentes à dimensão instrumental da educação no Brasil. Finalmente, para ser incluído na amostra, o resumo do artigo deveria indicar explicitamente a presença, no artigo, de decorrências educacionais do estudo apresentado. Chegou-se, a partir de tais critérios, a 18 artigos que atenderam a todos eles.
A Tabela 1 sistematiza e sintetiza o universo de artigos publicados no período de 2011 a 2015 no periódico Psicologia Escolar e Educacional, o número de artigos obtidos na busca com descritores, o número de artigos relacionados à dimensão instrumental da educação e aqueles selecionados para a análise.
Tabela 1 Número de artigos obtidos em buscas no periódico Psicologia Escolar e Educacional
| Filtro | Frequência |
| Período de 2011 a 2015 | 249 |
| Busca com descritores | 173 |
| Dimensão instrumental | 41 |
| Com contribuição explicitada no resumo | 18 |
Fonte: Prezenszky (2017)
b) Formulação de hipóteses e objetivos
A terceira atividade da pré-análise descrita por Bardin (2002), a formulação de hipóteses e objetivos, pode tanto decorrer da leitura flutuante ou em decorrência de outras pesquisas ou lacunas já identificadas anteriormente.
Na pesquisa por nós utilizada como ilustração, os objetivos foram propostos anteriormente à leitura dos artigos, e partiu de indicativos da literatura acerca da qualidade da produção científica da área, bem como de produções anteriores do conjunto de pesquisas no qual se inseria o estudo. Apoiamo-nos, para tanto, no levantamento realizado por Consoni (2014) e Mello (2012), que identificaram diminuição da presença de contribuições da psicologia ao ensino e à aprendizagem instrumental na produção científica na área educacional durante os anos 2000. Além disso, os apontamentos de Gatti (1999, 2001, 2004), de André (2007) e de Witter e Paschoal (2010) apontavam para fragilidades metodológicas observadas na pesquisa educacional. Por isso, o trabalho desenvolvido por Prezenszky (2017) visou à identificação de trabalhos recentes em psicologia educacional relacionados à dimensão instrumental da educação, as contribuições de tais trabalhos e a análise da coerência metodológica interna nesses trabalhos, entendida como um critério geral indicativo de qualidade metodológica.
c) Referenciação dos índices e elaboração de indicadores
De acordo com Bardin (2002), a atividade subsequente na etapa da pré-análise é a definição dos índices a serem identificados e a organização sistemática de tais índices em seus indicadores no texto. Tais índices são categorias de elementos dos textos que servem de dados para atingir os objetivos propostos e são identificados no texto por meio de indicadores, ou seja, elementos textuais tais como palavras, temas, presença conjunta de termos, etc.
Como indica Bardin (2002), após a definição dos índices, é esperado que pesquisadores e pesquisadoras, durante a pré-análise, especifiquem indicadores precisos por meio do recorte do texto em unidades comparáveis, da categorização para a análise temática e da codificação para o registro de dados. Nesse momento de preparação da análise, é esperado que fossem definidos o recorte (quais serão as unidades comparáveis), a codificação e a categorização a ser empreendida. Bardin (2002) indica a possibilidade de aplicação de diferentes técnicas de análise de conteúdo, como de avaliação, enunciação, expressão das relações, do discurso e categorial. Segundo Bardin (2002), essa última técnica analisa o texto por completo, submetendo-o à classificação e recenseamento conforme a presença ou ausência de itens de sentido nele constantes.
Na etapa preparatória da pesquisa ilustrativa (PREZENSZKY, 2017) foram definidos os índices que constam no Quadro 1 e que serviram para caracterização da produção, delimitação da pesquisa analisada, identificação do método, identificação das respostas obtidas e identificação de contribuições da pesquisa à prática educativa, à teoria educacional ou à política educacional. A técnica definida para a análise na pesquisa foi a categorial.
Quadro 1 Índices, indicadores e funções analisadas nos artigos
| Função | Índices coletados | Indicadores |
| Tema | Objetivos | |
| Caracterização | Palavras-chave | * |
| Nível escolar | Ano escolar, ciclo, idade dos participantes | |
| Delimitação da pesquisa | Objetivo / Perguntas | * |
| Identificação do método | Embasamento metodológico | Referências citadas sobre elementos do método (escolha de participantes, técnicas, instrumentos, delineamento...) |
| Delineamento de pesquisa | Explícita ou deduzida a partir da descrição do método | |
| Técnicas de coleta de dados | Observação, entrevista, análise de conteúdo... | |
| Instrumentos de coleta de dados | Questionário, diário de campo, filmagem... | |
| Técnicas de análise de dados | Análise de conteúdo, tratamento estatístico... | |
| Instrumentos de análise de dados | Pacote estatístico... | |
| Justificativas para escolhas metodológicas | Motivos/razões para escolha de participantes, instrumentos, delineamento... | |
| Respostas | Dados obtidos | * |
| Resultados | * | |
| Contribuições | Contribuições da pesquisa | Recomendações de práticas, de novos estudos |
* Casos em que os indicadores são o próprio índice
Fonte: Prezenszky (2017).
Com relação à codificação, Bardin (2002) indica três escolhas necessárias para definir como ela será feita: o recorte, a enumeração e a classificação e agregação (categorização). Inicialmente é necessário escolher a forma de recortar o texto, decidindo quais serão as unidades (de registro e de contexto) a serem identificadas nele. Propõe a definição de quais serão as unidades de registro, ou seja, “a unidade de significação a codificar e corresponde ao segmento de conteúdo a considerar como unidade de base, visando à categorização e à contagem frequencial” (BARDIN, 2002, p. 104). A autora indica como possíveis unidades de registro: tema, palavra, objeto ou referente, personagem, acontecimento ou documento. Já a unidade de contexto é definida pela autora como o segmento da mensagem que permite a compreensão da significação da unidade de registro.
Na pesquisa de Prezenszky (2017), a unidade de registro utilizada foi o tema, definido por Bardin (2002, p. 105) como “a unidade de significação que se liberta naturalmente de um texto analisado segundo certos critérios relativos à teoria que serve de guia à leitura”. Além disso, foi escolhido o parágrafo ou trecho em que está inserido o tema como a unidade de registro.
Numa etapa seguinte, denominada por Bardin (2002) como a enumeração, o pesquisador deve decidir como realizará a contagem das unidades de registro. As duas formas de contagem definidas para o referido trabalho foram presença ou ausência e frequência das unidades de registro.
Finalmente, Bardin (2002, p. 117) descreve categorias como “rubricas ou classes, as quais reúnem um grupo de elementos (unidades de registro, no caso da análise de conteúdo) sob um título genérico, agrupamento esse efetuado em razão dos caracteres comuns destes elementos”. Aponta como critérios possíveis o semântico (categorias temáticas), critérios sintáticos, critérios lexicais e critérios expressivos. Nessa condição, ao classificar elementos, o pesquisador e a pesquisadora devem identificar aquilo que os diferencia, para propor diferentes categorias, e aquilo que possuem de semelhante, para inseri-los numa mesma categoria. A autora descreve dois procedimentos para a categorização: por caixas, que parte de categorias previamente estabelecidas (a partir do embasamento teórico, por exemplo), nas quais os temas encontrados no texto analisado serão classificados, e o processo de milha, que, ao contrário do primeiro, cria categorias a partir dos elementos encontrados.
Na pesquisa ilustrativa optou-se pela análise semântica por meio de categorias temáticas. Para a categorização nela realizada foram usados ambos os procedimentos: por caixa e de milha. O procedimento por caixas foi utilizado para a classificação dos índices. Para os temas dos artigos foram utilizadas categorias descritas em Consoni (2014). As categorias indicadas pela autora foram utilizadas tendo em vista se tratar de tema semelhante ao da pesquisa que estava sendo desenvolvida: contribuições da psicologia ao ensino e aprendizagem instrumental em periódico de educação. Para a identificação dos delineamentos, técnicas e instrumentos e justificativas metodológicas empregadas nos artigos captados, conforme já comentamos, foram utilizadas categorias fornecidas em literatura da área de metodologia de pesquisa em Psicologia, Educação e Ciências Sociais (CRESWELL, 2012, 2014; MERTENS, 2014; ANDRÉ, 1995; PATTON, 2002; BREAKWELL et al., 2010; SEVERINO, 1996; MENEGHETTI, 2011).
Após uma primeira classificação nas categorias previamente definidas pelo procedimento de caixas, foram propostas novas categorias conforme foi identificada tal necessidade e seguindo as recomendações de Bardin (2002) para tal, ou seja, que boas categorias devam ser mutuamente exclusivas, homogêneas, pertinentes, objetivas e fiéis e produtivas.
d) Preparação do material
Bardin (2002) indica que, por vezes, é necessário preparar o material a ser analisado, inclusive fisicamente, com edições dos textos e estandardização de forma a obter materiais homogêneos e que permitam a realização das análises. Na pesquisa de Prezenszky (2017) a atividade de preparação do material restringiu-se à obtenção de cópia virtual dos textos e seu armazenamento em arquivo, não sendo necessário aplicar outras formas de preparação.
Exploração do material
Na etapa de exploração do material, Bardin (2002) indica que o pesquisador e a pesquisadora devem pôr em prática as decisões tomadas na etapa de pré-análise. Para desenvolvimento da pesquisa usada como ilustração foi feita a leitura integral dos textos, buscando-se os índices anteriormente assinalados (unidades de registro) e suas respectivas unidades de contexto (frase ou parágrafo) com auxílio de modelo de ficha apresentado na Figura 1 a seguir. Após a análise com utilização da ficha, os dados foram lançados em uma planilha gerada pelo programa LibreOffice Calc, a partir do qual foi possível operar com os dados de maneira a reorganizá-los nas categorias analisadas para melhor visualização.
Ferramenta 1 Quadro para auxiliar organização das informações dos artigos analisados
| Identificação do artigo - SOBRENOME, Nome. Título do artigo. Título do periódico. Local, volume, número, páginas inicial-final do artigo, data | ||||
| Tema | Categoria temática | Trecho indicativo | ||
| Palavras-chave | ||||
| Objetivo do trabalho | ||||
| Perguntas de pesquisa | ||||
| Embasamento teórico | ||||
| Conceitos | Referências citadas | |||
| Embasamento metodológico | ||||
| Elemento embasado | Referência | Descrição na referência | ||
| Delineamento | ||||
| Categoria proposta pelo autor | Categoria proposta na literatura base | Justificativas para uso na literatura base | ||
| Instrumento de coleta | ||||
| Técnica de coleta | ||||
| Técnica de análise | ||||
| Concordância entre elementos implementados e embasamento metodológico | ||||
| Sim / Não | Diferença encontrada | |||
| Dados obtidos | Adequação dos dados aos objetivos | |||
| Respostas aos objetivos | ||||
| Justificativa para escolha metodológica | ||||
| Presença/ausência | Elemento justificado | Justificativa apresentada | Categoria de Justificativa | Adequação com embasamento metodológico |
Fonte: Prezenszky (2017).
O quadro se mostrou bastante efetivo para a organização dos dados de cada texto captado, possibilitando homogeneizar os elementos que seriam analisados. Isso, do nosso ponto de vista, minimizou o efeito que muitas vezes se apresenta quando estamos como leitores e leitoras de algo: a simpatia ou antipatia ao estilo de escrita, à metodologia utilizada, à abordagem teórica e que pode enviesar severamente classificações e decorrentes análises de dados em pesquisas de revisão sistemática.
Tratamento dos resultados obtidos e interpretação
Na ficha apresentada, para a identificação dos temas das pesquisas analisadas, foram utilizadas categorias identificadas por Consoni (2014) e propostas novas categorias. Foi, então, indicada a frequência dos temas de forma a caracterizar a produção recente da área. Com o mesmo propósito, foram apresentadas as palavras-chave apontadas pelos estudos, indicando o número de menções na amostra analisada. Com relação ao nível educacional dos participantes dos estudos descritos nos artigos, ou níveis educacionais sobre os quais os pesquisadores objetivaram produzir conhecimento abordado nos artigos, também foi feita uma análise frequencial, de forma a identificar os níveis aos quais a produção psicológica sobre a educação escolar vem se dedicando.
Quanto à análise da coerência interna dos artigos, foi realizada a análise dos seguintes conjuntos de dados:
identificação do delineamento da pesquisa analisada e categorização conforme a literatura especializada e comparação entre as características do método do estudo com a descrição na literatura;
análise da relação entre objetivos propostos e os resultados obtidos;
análise da relação entre os elementos metodológicos e os dados obtidos;
análise da relação entre embasamento teórico e elementos do método.
A partir das justificativas, objetivos, conceituação teórica e resultados apontados nos artigos analisados, juntamente as indicações da literatura consultada quanto aos usos dos diferentes métodos de pesquisa, foi analisada a coerência metodológica dos artigos. No Quadro 2 estão esquematizadas as análises propostas no estudo.
Quadro 2 Quadro do exemplo
| Objetivo da análise | Dados utilizados |
| Caracterização da produção recente | Tema das pesquisas, palavras-chave e nível escolar |
| Coerência metodológica interna | Coerência entre: - objetivos e dados analisados - objetivos e respostas - delineamento descrito e dados analisados - técnicas de coleta e dados obtidos - técnicas de análise e dados obtidos - instrumentos de coleta e dados obtidos - instrumentos de análise e dados obtidos |
| Contribuições ao ensino e à aprendizagem instrumental | Temas, objetivos e contribuições da pesquisa |
Fonte: Prezenszky (2017).
Conforme já mencionado, para o desenvolvimento das análises, foram utilizados conhecimentos sobre metodologia de pesquisa. Foram construídas tabelas com as sínteses dos dados, para então se proceder às análises. A organização dos dados a partir dos caminhos descritos ao longo do artigo proporcionou objetivação das análises e explicitação das pautas que tornaram, ou não, possíveis às conclusões e análises a que se chegou no estudo. A partir dos debates nas sessões de orientação, nas trocas com colegas do grupo de pesquisa e na qualificação e defesa da dissertação, foi se validando o conhecimento produzido como revisão sistemática da produção científica em uma revista de psicologia sobre educação.
Os principais resultados a que se chegou no estudo apontaram para o fato dos artigos analisados apresentarem coerência interna, visarem a contribuir para a melhoria do ensino e da aprendizagem instrumental, sendo suas principais contribuições voltadas ao ensino e à aprendizagem das habilidades de leitura e escrita. Limitações do estudo foram também explicitadas: o tamanho da amostra e o período analisado impediram a generalização da análise para toda a produção do periódico focalizado.
Chegava-se, assim, à conclusão do estudo com um grau alto de satisfação por parte do orientando e da orientadora a respeito da qualidade do trabalho.
Algumas considerações finais
O processo por nós relatado para ilustrar o desenvolvimento de uma pesquisa de revisão sistemática da produção científica, utilizando o método de análise de conteúdo difundido por Bardin (2002), possibilitou ao autor e à autora aprendizagens conjuntas, e, ao mesmo tempo, produção de conhecimento com rigor. O pertencimento a um grupo de pesquisa que realiza com frequência pesquisas dessa natureza, o estudo e o debate conjunto das produções entre seus membros, sob nosso ponto de vista, tornou possível que processo e produto fossem bem-sucedidos, já que a geração de soluções tenha sido incrementada pelas interações, debates e contribuições oferecidas. Isso, não sem momentos de tensão e de cansaço, mas sempre se buscando vive-los com respeito mútuo e diálogo.
Mesmo se tratando de trabalhos de iniciação científica, dissertação de mestrado, ou tese de doutorado, que implicam o exercício de certa autoria individual para a aprendizagem dos processos de pesquisa pelos pesquisadores e pesquisadoras iniciantes, sua realização num grupo que trabalha de forma cooperativa tem possibilitado a produção de conhecimento com a finalidade de orientar elementos para a educação básica, ao mesmo tempo em que proporciona formação de novos quadros de pesquisadores. Ambos podem ser processos convergentes, dando maior sentido ao ato de aprender a pesquisar.
A partir do processo de pesquisa, de estudos e de orientações, deixamos algumas recomendações aos jovens pesquisadores e pesquisadoras que desejem realizar pesquisas de revisão sistemática da produção científica na área de Educação:
ler artigos de caráter orientativo geral sobre a metodologia que pretende utilizar, para se familiarizar com os elementos que o constituem;
ler livros sobre metodologia de pesquisa, para ter um conhecimento mais amplo sobre os tipos e modalidades de pesquisa, para além daquela pela qual optou, pois isso proporcionará aprendizagem e autonomia necessárias a um pesquisador ou pesquisadora;
ler, necessariamente, o livro todo de Bardin (2002), se pretende realizar análise de conteúdo com base no que ela difunde, pois isso garante rigorosidade na sua aplicação, além da formação necessária de ser desenvolvida por pesquisadores e pesquisadoras;
ler pesquisas completas que tenham utilizado o método que será adotado, pois o exemplo tem um poder especial de garantir compreensão da metodologia;
desenvolver o trabalho em diálogo com outros pesquisadores e pesquisadoras (orientador/a, colegas de grupo de pesquisa, colegas de curso, debatedores em congressos, pareceristas de eventos e revistas), pois isso pode tornar o processo mais seguro e potente; o engajamento na produção científica assumindo uma postura colaborativa pode transformar a crítica competitiva numa crítica criativa;
buscar listar artigos e livros a serem lidos a partir de sistemas confiáveis e reconhecidos nacional e internacionalmente, pois isso aumenta a garantia de que estarão sendo lidos trabalhos relevantes e pertencentes ao atual debate na área.
Concluímos o texto retomando nossa preocupação e, portanto, também nossa aposta nas contribuições que as pesquisas científicas na área de educação e áreas afins podem oferecer para a melhoria da vida de estudantes da educação básica e suas comunidades. Retomando o afirmado por Witter e Paschoal (2010), entendemos que, assim como um processo pouco rigoroso na formulação de perguntas de pesquisa, ou em sua sustentação cientifica e social, pode comprometer a relevância e a qualidade da contribuição de pesquisas em relação aos fenômenos a que dão atenção, problemas metodológicos podem levar a dados incorretos (considerando a realidade que pretendem evidenciar), ou a conclusões incorretas em função de procedimentos e instrumentos de análise. A análise de conteúdo difundida por Bardin (2002), articulada a outros apoios, continua a ser um conjunto de técnicas que oferece recursos e parâmetros para se buscar rigor e maior confiabilidade na produção do conhecimento.
