SciELO - Scientific Electronic Library Online

 
 número47Economia Política e EducaçãoO Paraguai e a acreditação de cursos de graduação no mercosul índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Eccos Revista Científica

versão impressa ISSN 1517-1949versão On-line ISSN 1983-9278

Eccos Rev. Cient.  no.47 São Paulo set./dez 2018  Epub 10-Jun-2019

https://doi.org/10.5585/eccos.n47.10752 

Dossiê temático

Para além das métricas simplistas na pesquisa educativa. As lições da contínua relevância e impacto freiriano

Beyond simplistic metrics in educational research: The continuous relevance of Freire’s impact

Gustavo Enrique Fischman1 

Sandra Regina Sales2 

Esther do Lago e Pretti3 

1Ph.D. (UCLA) Professor de Arizona State University, Tempe, Arizona EUA. fischman@asu.edu

2Doutora em Educação (UERJ) Professora da Universidade Federal Rural do Rio de Janeiro, Nova Iguaçu, Rio de Janeiro, Brazil sandrasales@ufrrj.br

3Doutoranda em Educação Arizona State University Tempe, Arizona EUA edolagoe@asu.edu


Resumo

A prática de medir o impacto da pesquisa usando métricas indiretas como o fator de impacto das revistas no campo das Ciências Sociais e, mais especificamente, no campo da educação, tem ganhado força no Brasil e no mundo. Esses processos de avaliação produzem distorções que denominamos de simplimetrificação, já que mensuram a qualidade das pesquisas sem avaliar sua relevância e apenas indiretamente usando a quantidade de artigos publicados em periódicos científicos com alto fator de impacto, ou, no caso do Brasil, bem ranqueados no Qualis. Neste artigo, criticamos esse modelo de avaliação da pesquisa em educação a partir de reflexões sobre o impacto científico, pedagógico e político dos trabalhos de Paulo Freire. Como pesquisador, as publicações de Paulo Freire desafiam quase todas as regras atuais que definem quem é um pesquisador de impacto e muito provavelmente não seria admitido em um programa de pós-graduação brasileiro. Isso é muito irônico, já que Freire é um dos autores mais citados das Ciências Sociais contemporâneas. Neste trabalho concluímos que o exemplo freiriano confirma a importância de que pesquisadores/as façam com que seus trabalhos sejam acessíveis e usáveis por públicos diversos. Acesso e engajamento configuram os pilares para fortalecer a usabilidade da pesquisa educacional contemporânea.

Palavras-chave: Avaliação da Pesquisa Educacional; Fator de Impacto; Freire

Abstract

The practice of measuring the impact of research using indirect metrics, such as the impact factor of journals in the field of Social Sciences and, more specifically, in the field of Education, has gained strength both in Brazil and in the world. These evaluation processes produce distortions that we call simplimetrification, since they measure the quality of research without evaluating relevance, only indirectly using the number of articles published in scientific journals with high impact factor, or, in the case of Brazil, well ranked in Qualis. In this article, we criticize this model of evaluation of educational research, based on reflections on the scientific, pedagogical and political impact of Freire’s works. Paulo Freire’s publications defy almost all current definitions of who is an impactful researcher and thus, he most likely would not be admitted to a Brazilian graduate program. This is very ironic, since Freire is one of the most cited authors in contemporary Social Sciences. In this work we conclude that the Freirean example confirms the importance for researchers to make their work accessible and usable by different audiences. Access and engagement set the pillars to strengthen the usability of contemporary educational research

Keywords: Educational research evaluation; Impact fator; Freire

Introdução

Duas professoras e 35 alunos ganharam uma excursão grátis para andar de balão. Após a decolagem, os ventos mudaram e o balão saiu da rota programada. Os guias da excursão ficavam cada vez mais preocupados à medida que nuvens carregadas se formavam no horizonte. As crianças começaram a ficar nervosas e algumas começaram a chorar. Depois de algum tempo flutuando sem rumo, os professores viram uma pessoa lá em baixo e começaram a gritar: “Oi!! Você pode nos ajudar?!!” A pessoa no chão respondeu: “Claro, posso sim!”

“Onde nós estamos?” Um dos professores perguntou.

“Vocês estão num balão”, foi a resposta. “Eu estou vendo duas mulheres adultas e 35 crianças gritando.”

Então, o vento mudou novamente, dessa vez a favor da rota, e as crianças e as professoras se acalmaram. Passados alguns minutos uma das professoras perguntou a outra: “Quem era aquela pessoa?”

A outra professora respondeu: “Obviamente era um pesquisador educacional”

“Como você sabe?”

“Por que a resposta foi muito, muito precisa. E completamente irrelevante.”1

Embora as críticas sobre o sistema de educação superior brasileiro sejam muito comuns, tanto dentro do próprio campo quanto na mídia (AZEVEDO, 2015; CHAUÍ, 2015; MIGUEL, 2018), é inegável que, particularmente a partir do Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), este obteve um aumento considerável da cobertura, além de outras mudanças substanciais. Destacamos a expansão do número de universidades, centros universitários, faculdades e institutos federais, o que possibilitou um aumento da matrícula geral de 56.4% entre 2007-2017 (BRASIL, 2017a). Esse crescimento, combinado com programas de ação afirmativa e outras políticas voltados à permanência dos/as estudantes de grupos historicamente excluídos do sistema brasileiro universitário, possibilitou expandir a atenção a grupos de estudantes de famílias pobres, negros, indígenas, o que também se reflete na diversidade do corpo docente do sistema de Ensino Superior.

Essas mudanças foram muito evidentes no campo da educação, no qual houve um crescimento da oferta de cursos de licenciatura, mestrado e doutorado.2 O que queremos apontar é que o enorme crescimento dos programas de pós-graduação em educação demandou ajustes e modificações nos sistemas de avaliação dos mesmos. É importante indicar que a avaliação dos programas utiliza como um dos critérios-chave a avaliação das publicações dos/as professoras em revistas qualificadas (MAGALHÃES; REAL, 2018). É muito evidente que houve um aumento do número, reconhecimento e qualidade das publicações em educação fatores que deveriam sinalizar uma melhoria do campo, mas que não parecem contribuir para apaziguar os críticos (SCHNEIDER, 2015; YOHALEM; TSENG, 2015; KUENZER; MORAES, 2005; RAMOS;, CIAVATTA; FRIGOTTO, 2014). Considerando a contínua expansão das publicações dos/as pesquisadores/as educacionais, é evidente que ‘publicar ou perecer’ não é apenas um ditado popular, mas também um dever.

Como na história que abre este artigo, a pesquisa educacional é frequentemente sujeita a críticas, pela desconexão com a realidade cotidiana das organizações educativas e também pela falta de rigor metodológico e generalização dos resultados. É assim que o objetivo deste artigo é duplo: em primeiro lugar, vamos defender a ideia que a avaliação da pesquisa em educação está utilizando um modelo simplificador e incorreto; em segundo lugar, vamos argumentar que a relevância do impacto contínuo de Paulo Freire como um intelectual público dá importantes lições sobre por que e como podemos incorporar a noção de usabilidade na pesquisa educacional contemporânea.

A insuportável leveza de avaliar pesquisas e pesquisadores/as usando as revistas

No mundo todo, faculdades, escolas ou departamentos de educação em universidades voltadas para a pesquisa estão convergindo para a ideia da importância do impacto das suas pesquisas. Isso levou ao uso quase ritualístico de um modelo baseado em métricas, recompensas e punições com o objetivo de atingir três resultados simultaneamente: aumentar o rendimento dos pesquisadores, aumentar o prestígio institucional e demonstrar altos níveis de produtividade. Hoje é raro encontrar uma faculdade, escola ou departamento de educação que não exija de seus docentes algum tipo de relatório anual de produtividade acadêmica, sendo que a métrica utilizada geralmente é o numero de artigos publicados em periódicos com o chamado ‘alto fator de impacto’, índice H3, capítulos publicados em livros de editoras universitárias, número de citações, recursos, financiamentos e premiações obtidos.

No Brasil, o Sistema Qualis, estabelecido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), consolidou-se nos últimos anos com o propósito de avaliar os programas de pós-graduação (PPG) do país. O sistema consiste na classificação da produção intelectual dos professores que resulta na estratificação indicativa de qualidade de periódicos científicos e também de livros.4 Trata-se, portanto, de uma avaliação indireta, pois não são avaliados artigos, livros ou capítulos de livros, ou seja, avaliam-se os veículos de divulgação de pesquisa nos quais os professores dos PPGs tiveram seus trabalhos publicados. Apesar de ter sido criado para avaliar os PPGs, o Qualis tem sido utilizado como critério para pontuação da produção dos professores em concursos de acesso a uma posição nas universidades brasileiras, para fins de progressão funcional na carreira docente, para aprovação de financiamentos de pesquisa, bolsas para estudantes, entre outros.

Queremos ressaltar que não nos opomos ao uso de métricas claras para avaliar a pesquisa científica e que não acreditamos que a oposição nostálgica aos modelos de avaliação atuais (que visa retornar aos idealizados anos dourados da academia) seja a melhor maneira de resolver a questão da avaliação do impacto dos pesquisadores.5 Acreditamos que é preciso ter cuidado, identificar, resistir e substituir as políticas simplistas que se baseiam em métricas e incentivos mal construídos para que haja uma melhoria real da pesquisa educacional. Portanto, seria benéfico para o campo da educação lembrar da Lei de Goodhart: “Quando uma medida se torna uma meta, ela deixa de ser uma boa medida.”

O objetivo de aumentar o impacto da pesquisa educacional tem forte apoio, dentro e fora das faculdades, departamentos e escolas de educação. Esse objetivo é o resultado de longas tradições da área de educação, bem como de demandas sociais e de políticas públicas que visam produzir pesquisa que seja relevante, prática e aplicada a problemas reais de escolas e salas de aula. O problema que aparece para os pesquisadores é que mesmo quando há consenso sobre a importância de produzir pesquisa usável, não há um sistema que permita medir a produtividade acadêmica e sua relevância. As faculdades de educação ficam sem mais opção que adotar sistemas e métricas simplificados que tomam o valor indireto do ranking da uma revista e reduzem a produtividade das/os pesquisadoras/es ao que pode ser medido unitariamente como indicador objetivo e apropriados do impacto, relevância e influência dos pesquisadores. Medir as publicações por quilo em vez de observar cuidadosamente sua relevância não é a melhor maneira de promover pesquisa de maior impacto. A contagem de citações ou a contagem de valor monetário arrecadado e gasto para a pesquisa também não. Longe de aprofundar as conexões entre pesquisadores educacionais e outros potenciais usuários relevantes como professores, administradores, legisladores, jornalistas e o público em geral, as métricas reducionistas nos mostram mais sobre nossa própria produção do que sobre quaisquer resultados relevantes ou valor para a sociedade como um todo.

Chamamos esse fenômeno de ‘simplimetrificação da pesquisa educacional’ porque é uma daquelas ideias ruins que acabam permitindo que os pesquisadores e suas instituições se sintam bem consigo mesmos, enquanto não atingem os objetivos a que se propõem. A simplimetrificação confunde o aumento contínuo de itens contáveis (mais artigos, mais citações em revistas mais difíceis de se publicar) com impacto e não se constitui em indicador claro de melhoria significativa da qualidade, acesso, relevância e usabilidade da pesquisa educacional. O uso desses modelos simplistas é análogo a confundir o consumo de calorias com uma boa alimentação. Se o objetivo pretendido é alimentar bem as pessoas, mas você só consegue incentivar e medir o consumo de calorias, você vai concluir que o consumo de junk food é mais eficiente do que comer uma maçã.

Por que a simplimetrificação obteve tanta aceitação no campo da educação? Ela recompensa as pessoas com base no volume e na quantidade de resultados de pesquisa mensuráveis. De 1980 a 2015, houve um rápido aumento nos artigos de pesquisas publicados em todas as áreas (WARE; MABE, 2015). Somente em 2014, mais de 2,5 milhões de artigos foram publicados, a um custo estimado de 15 bilhões de dólares (WARE; MABE, 2015).. Às vezes, parece que a maior inovação nos últimos 20 anos foi a adoção em massa da máxima ‘publicar ou perecer’, pela qual os pesquisadores seguem caminhos pré-estabelecidos de exploração científica porque esses são os únicos que podem ser medidos e recompensados adequadamente (FISCHMAN et. al, 2018).

Entretanto, esse modelo incentiva e direciona pesquisadores/as a produzir artigos seguindo tendências de baixo risco científico e com maior potencial de ser aceitos, tais como produzir revisões bibliográficas (uma vez que essas acabam recebendo um número alto de citações) e pesquisas que abordam temas mais genéricos em detrimento daquelas com focos regionais ou específicos, as quais, apesar de serem potencialmente citadas menos vezes e publicadas em periódicos com fator de impacto relativamente mais baixo, podem ter alta relevância e aplicabilidade regional e nacional (REGO, 2014). Outro fator importante é a dicotomia Norte/Sul em que países do Norte (predominantemente América do Norte e Europa), além de receberem subsídios e financiamentos maiores para pesquisa e, portanto, terem potencial para um número maior de publicações, têm maior tradição em pesquisa quantitativa e positivista. Assim, parte da pesquisa proveniente do Sul global, apesar de analisar questões a partir de uma tradição de pesquisa que inclui metodologias participativas inseridas num contexto político-social, acabam publicando menos e em periódicos classificados como menos relevantes, apesar de possuírem grande engajamento e potencial impacto social. (WALLERSTEIN et. al, 2017)

Além disso, a busca obstinada pelo alto fator de impacto das revistas como uma aproximação ao alto impacto da pesquisa atribuiu valor apenas ao resultado final do conhecimento produzido, conhecimento esse que pode ser contado e imediatamente descartado como mais uma unidade em uma produção acadêmica cada vez mais inutilizável. Assim, como na piada no início deste artigo, nossa pesquisa pode ser muito precisa e absolutamente irrelevante. O que fazer então? O que nós estamos propondo é imaginar a performance de Freire em tempos de simplimetrificação e explorar criticamente - e não nostalgicamente - uma alternativa a ela que seja baseada numa abordagem acadêmica espelhada na teorização do educador brasileiro.

Freire e a simplimetrificação

Sabemos que em 2018, 50 anos após a publicação original de Pedagogia do Oprimido em português, existe toda uma indústria que se beneficia de traduções e repetições das ideias de Paulo Freire - estamos cientes, inclusive, que este texto é mais uma contribuição para essa indústria -, mas nós gostaríamos de demonstrar alguns aspectos irônicos do ‘impacto’ científico, conceitual, pedagógico e político desse autor nesta era de simplimetrificação.

A primeira ironia é que nós acreditamos que Paulo Freire, como acadêmico, ativista e intelectual comprometido com ideias e ideais de liberdade, democracia e igualdade, não se importaria muito com como e quanto suas ideias seriam ou não citadas. Nós suspeitamos que ele estaria dando boas risadas do fato de Pedagogia do Oprimido ter alçado seu status científico. Usando dados do Google Scholar, o estudo de Elliot Green (2016) mostra que Freire é atualmente o terceiro autor mais citado na categoria de Ciências Sociais, à frente de autores como Anthony Giddens, Pierre Bourdieu, Michel Foucault ou Noam Chomsky. Também é interessante observar que as versões em inglês e espanhol desse livro icônico têm um número substancialmente maior de citações do que a versão original em português. Além disso, em termos de traduções, também é bastante curioso observar que as páginas da Wikipédia sobre Pedagogia do Oprimido em espanhol, português e inglês destacam aspectos diferentes do trabalho de Freire: em inglês, aparece descrito como um “educador” e o livro como “contendo uma análise marxista detalhada”; na página em espanhol, é apresentado como “educador, pedagogo e filósofo” e o livro tem uma “orientação marxista”; e na página em português Freire é apresentado como educador e filósofo e não há nenhuma menção ao marxismo na apresentação do autor.

Outro exemplo bastante perturbador da importância das traduções em termos de disseminação do trabalho e também de engajamento com as ideias de Freire aconteceu neste ano de 2018, durante a celebração dos 50 anos da publicação da Pedagogia do Oprimido. Em março, houve uma campanha lançada por uma coligação de educadores conservadores contra as ideias de Freire e a eliminação do título de honra dado a ele como ‘patrono da educação brasileira’. Ao mesmo tempo, na convenção anual da American Educational Research Association (AERA), a maior reunião de pesquisadores educacionais do mundo, 65 sessões acadêmicas foram dedicadas a discutir as ideias do educador brasileiro e o Grupo de Interesse Especial Paulo Freire, com mais de 1000 membros, é um dos maiores dessa organização acadêmica.

Ficamos muito felizes em saber que um livro escrito em português por um educador brasileiro, que foi duramente criticado por seu hibridismo, por não ser ‘rigoroso’ o suficiente ou por usar linguagem complicada, que tem se mostrado muito difícil de traduzir, ainda está entre os livros mais discutidos em Ciências Sociais, transcendendo a linguagem e a geografia. É preciso cautela e perspectiva crítica ao considerar que esse é um livro que, apesar de estar entre os mais lidos e citados, tem sido também, de acordo com alguns conhecedores do trabalho de Freire, muitas vezes mal citado e mal traduzido. (BARTLETT, 2005; GLASS, 2001; MCCOWAN, 2006)

Também estamos convencidos de que Paulo Freire, em vez de lamentar as múltiplas e até contraditórias interpretações que seu trabalho teve, acolheria a multiplicidade, os entendimentos híbridos e as traduções interculturais e carnavalescas (no sentido bakhtiano), além das apropriações de suas ideias e ideais. Concordamos inteiramente com o pensamento de Freire (1998, p. 31): “No fundo, esse deve ser o verdadeiro sonho de todo autor - ser lido, discutido, criticado, aprimorado e reinventado por seus leitores.” O desejo do autor de ser reinventado também pode ser visto na descrição de Santos (2014, p. 223) dos processos de tradução intercultural de certos autores:

Por ser um trabalho de mediação e negociação, o mundo da tradução requer que os participantes do processo de tradução até certo ponto se desfamiliarizem com suas respectivas origens culturais. No caso das traduções Norte/Sul, que tendem a ser também ocidentais/não-ocidentais, a tarefa de desfamiliarização é particularmente difícil, porque o Norte imperial não tem memória de si mesmo que não seja imperial, ou seja, único e universal.

Embora seja necessário verificar os processos de tradução da obra, entendemos que esse processo constante de traduções e reinvenções teria feito Freire feliz. Quanto se ganha ou perde com a tradução? Vale a pena citar extensivamente a resposta de Nita Freire para Carmel Borg e Peter Mayo (2000, p.110-111) sobre a tradução:

Ele usava palavras de tamanha beleza e plasticidade, organizadas em frases e estas por sua vez no contexto da totalidade do texto, com tal força estética e política que, repito, elas não podem ser facilmente transpostas para outras línguas porque uma língua não pode ser traduzida literalmente. E é importante ressaltar que sua linguagem é extraordinariamente bela, rica e cheia de seu modo particular de ser. Outro problema para os tradutores que não conheciam bem o Paulo, é o fato de sua linguagem estar carregada de sentimentos, já que ele nunca distinguiu entre razão e emoção. Paulo era um homem radicalmente coerente: o que ele dizia continha o que ele sentia e o que ele pensava, e isso nem sempre é fácil de traduzir. Há emoções cujo significado só pode ser entendido e sentido dentro de uma determinada cultura. E nós brasileiros somos únicos dessa maneira. Eu acho que é assim, não é? Sem preconceito, acho difícil para os tradutores que apenas estudaram a língua portuguesa, mesmo que exaustivamente, expressarem Paulo em toda a sua riqueza estética, cultural e ideológica.

Nita Freire mostra problemas potenciais e reais com as traduções, mas queremos ressaltar as enormes vantagens de traduzir as obras de Freire. Apesar dos problemas frequentemente mencionados com as traduções de seus textos (DARDER, 2002; MAYO, 1999; SCHUGURENSKY, 1998; 2015), é difícil negar que várias gerações de alfabetizadores, professores em sala de aula, educadores populares e professores universitários se inspiraram na noção não apenas de aplicar, mas de reinventar uma abordagem freiriana da educação.

A segunda ironia é que, usando os modelos simplistas de premiação e culpabilidade, Freire pode não ser qualificado como ‘altamente produtivo’ no atual contexto brasileiro porque cometeu quatro ‘pecados da pesquisa’: a) ele publicou livros, o que hoje no Brasil e em muitos outros países é considerado inferior a artigos de periódicos científicos e, em muitos casos, ‘não contam’, especialmente se foram publicados fora do quadriênio em avaliação; b) escreveu muito com a intenção de comunicar suas ideias fora dos contextos acadêmicos, uma prática que é em grande parte ignorada no atual sistema de produção de pesquisa; c) seu trabalho nunca foi tímido em se engajar na luta sócio-política da educação, um ponto que gerou e ainda gera críticas constantes às suas ideias; e d) boa parte do impacto freiriano tem que ver com a grande difusão das traduções dos livros, e as traduções são desconsideradas.

A usabilidade e o impacto freiriano6

Nós entendemos usabilidade das investigações como uma combinação de estratégias que facilitem o acesso e o envolvimento com pesquisa educativa de alta qualidade. A usabilidade não é uma indicação de quão prática ou aplicada é a pesquisa educacional, mas do quanto a pesquisa é acessível e engajada por outros pesquisadores/as, educadores/as, políticos/as, jornalistas e cidadãos em geral.

Há dois aspectos importantes envolvidos no aumento da usabilidade da pesquisa educacional. O primeiro é que a usabilidade é uma resposta à demanda ética de que as pesquisas que foram financiadas com recursos públicos devem ser acessíveis ao público. Em relação ao acesso, consideramos centralmente questões como: Quão fácil é o acesso ao conhecimento produzido? Quais são as barreiras para acessar esse conhecimento? O conhecimento atingiu os públicos-alvo específicos (acadêmicos e profissionais da área)? O conhecimento alcançou os públicos gerais? O segundo aspecto é que aumentar o engajamento com múltiplos pontos de vista e o contraste com diferentes perspectivas e paradigmas tornam a pesquisa em educação mais robusta. Para avançar na direção da maior usabilidade da pesquisa educacional é necessário aceitar que a diversidade de abordagens e de possíveis atores engajados é uma qualidade e não um defeito. Engajamentos diversos com a pesquisa educacional têm o potencial de fortalecer o rigor epistemológico dos conhecimentos produzidos. No que diz respeito ao engajamento, consideramos questões como: Quanto das ideias, procedimentos, dados e conclusões foram inseridos em sistemas de troca de conhecimento com o público-alvo específico? Até que ponto as ideias centrais, procedimentos, dados e conclusões entraram em sistemas de troca de conhecimento com públicos gerais? Para aumentar a usabilidade da pesquisa educacional, a condição que queremos enfatizar é que essas estratégias intencionais não devem ser responsabilidade exclusiva dos pesquisadores, mas devem ser sustentadas institucionalmente e de forma colaborativa.

Um possível fator freiriano de impacto poderia incorporar os aspectos de acesso e engajamento múltiplos. Trata-se de um tipo de impacto que leva as pessoas a continuar comprando, copiando, traduzindo e citando - de forma adequada ou inadequada - as ideias mais importantes desse livro icônico de 50 anos, porque ele retém uma sensação de frescor e fascínio pedagógico que nos faz pensar que em algum lugar, ainda hoje, uma professora, um acadêmico, uma educadora popular ou um ativista podem dizer que estão implementando um programa freiriano inspirado na Pedagogia do Oprimido. Se este e outros escritos de Paulo Freire ainda estão inspirando professores, educadores e administradores é em grande parte porque as deficiências do “modelo bancário” (FREIRE, 1998; 2003) ainda são a regra e não a exceção e porque até hoje os professores estão dispostos a se comprometer e a afirmar que uma outra experiência escolar - mais democrática, aberta, tolerante e criativa (e eficaz!) - não é apenas possível, mas necessária. O discurso político-pedagógico de Freire, com todas as suas deficiências e pontos cegos, continua sendo usável e ainda é atual, relevante e altamente impactante, ainda que sua produção não esteja de acordo com as métricas vigentes na academia brasileira. A linguagem freiriana ajuda educadores/as populares, professores e alunos/as, escolas e comunidades a refletir sobre regimes opressivos, palavras, sentimentos e instituições e a participar no desenvolvimento consciente de oportunidades educativas justas e criativas, como parte de uma nova perspectiva de vida participativa e democrática e de um planeta sustentável (FISCHMAN; SALES, 2010). A renovação do compromisso com a justiça e a equidade na sociedade e na escola é um movimento muito bem-vindo para o desenvolvimento de conhecimentos socialmente relevantes, para respeitar as diferentes perspectivas das ciências e das artes, para encorajar espaços educacionais onde a oposição não é punida, onde o amor e o desejo pelo conhecimento prosperam e onde a paixão por radicalizar a democracia e criar alternativas mais justas é saudável e necessária.

Para sermos mais explícitos, a relevância intelectual contínua das ideias de Freire não precisa ser demonstrada exclusivamente com o número de citações e traduções, no entanto, desconsiderar que o interesse em traduzir e o alto volume de citações também sejam indicadores de relevância é um erro. O maior desafio para o desenvolvimento de pesquisas mais usáveis nas Ciências Sociais não é produzir mais ou melhores dados. Isso já está sendo feito. Em vez disso, precisamos continuar trabalhando em várias traduções que reinventam o percurso que Freire trilhou ao fazer perguntas importantes baseadas em compromissos éticos e políticos, mantendo o rigor analítico e a atenção aos vários tipos de evidências.

À guisa de conclusão: Poderíamos avaliar pesquisadores/as, pesquisas e programas para além da simplimetrificação?

Mobilização do conhecimento é um termo que utilizamos para descrever estratégias que buscam aumentar a usabilidade da produção intelectual do campo, vinculando a investigação, a política e a prática educativa de modo a aproximar conhecimentos formais (como uma investigação empírica) e informais (como a experiência pessoal) a públicos mais diversos e amplos.

Estratégias de mobilização de conhecimentos, junto com outros nomes em diferentes campos, apontam para o aumento do acesso e o potencial de envolvimento da investigação mediante enfoques multidimensionais e interativos que expandam o potencial de usabilidade para um amplo e diverso espectro de atores, em diálogos abertos e contínuos. Se a forma como propomos as estratégias de mobilização do conhecimento poderia gerar dúvidas, a seguir apresentamos dois exemplos de como são na prática as estratégias de usabilidade freirianas.

O primeiro aspecto a destacar é o acesso às pesquisas. Uma das maiores barreiras para compartilhar o conhecimento da investigação são as tarifas exorbitantes cobradas por muitas revistas acadêmicas para acessar e também publicar artigos. As políticas de acesso aberto, o uso de repositórios de acesso aberto para livros e revistas acadêmicas disponibilizam gratuita e publicamente artigos, resenhas de livros, comentários e comentários de vídeo. Tais enfoques oferecem às revistas financiadas pelas universidades ou pelas agências públicas de fomento uma maneira de fazer com que a investigação seja mais acessível e de maior impacto tanto para membros da comunidade cientifica e educativa quanto ao público em geral, especialmente quando têm presença nas redes sociais de comunicação.

O segundo aspecto a considerar é o nosso questionamento à ideia de que maior exposição de ideias e discussões afetam a rigorosidade da pesquisa. Entendemos que é necessário complementar o acesso a pesquisas e publicações com formas mais exaustivas para determinar como esse conhecimento é citado, explorado, debatido e, eventualmente, citado por grupos diversos (profissionais ou não). Nas Ciências Humanas e Sociais, o impacto social e acadêmico não pode ser restrito à bibliometria como a contagem de citações e artigos. Se, por um lado, como dissemos anteriormente, as limitações de utilizar o número de citações ou artigos são muito conhecidas, por outro lado, com frequência os/as investigadores/as veem as produções nas redes sociais de comunicação (como Facebook, Twitter, YouTube) como um concurso virtual de popularidade em lugar de percebe-los como maneiras alternativas e válidas para compreender quem e como estão explorando ou interatuando com uma investigação. Os programas de Pós-Graduação deveriam apoiar seus investigadores/as a implementar estratégias que façam suas produções mais usáveis e cheguem a públicos mais diversos, para além dos usuários tradicionais das revistas de investigação sobre educação.

Acreditamos que as estratégias de mobilização do conhecimento que mencionamos neste artigo, bem como outras, são um complemento viável e substancial para o modo hierárquico e simplificador tradicionalmente utilizado para comunicar os achados da investigação. Os modelos iluministas tradicionais de produção e comunicação da investigação geram pontos cegos em um campo profissional como a educação.

Reconhecemos que certos desafios, como a dificuldade de medir o impacto da investigação ou de traduzir linguagens científicas complexas e especializadas sem perder o poder explicativo, para citar apenas dois, são complexos e não têm respostas simples. Entretanto, compreendemos que o rigor da investigação tende a melhorar quando o conhecimento das investigações finalmente seja gerado em diálogo com públicos relevantes, nele se baseiem e, em última instância, seja produzido para o bem comum.7

Acreditamos que refletir sobre o exemplo da influência de Paulo Freire como intelectual público nos deixa algumas pistas concretas para avançar na formulação de outros modelos de impacto. Uma primeira pista freiriana é a de atender ao imperativo científico de gerar investigações que busquem compreender e explicar fenômenos educativos sem descuidar do imperativo ético de contribuir para a eliminação das injustiças sociais e educativas. Uma segunda pista é dada pelo reconhecimento que não existe neutralidade ideológica no âmbito educativo, que a investigação tem que dialogar com a política e que quem está no âmbito político tem que dialogar com os/as investigadores/as, diálogos esses que \não são incompatíveis com enfoques conceituais e metodologicamente rigorosos. O campo da investigação educativa precisa repensar e desenvolver estratégias que facilitem a usabilidade da produção científica, incentivando relações dialógicas que reconheçam as perspectivas, os objetivos e as necessidades do público como parte das ecologias educativas.

As universidades devem oferecer um terreno fértil para a inovação e para a ciência, mas é chegado o momento de simultaneamente considerar as limitações do modelo ‘publicar ou perecer’ e começar a propor que a investigação que não é usável, poderia não existir8. Os/as investigadores/as e suas instituições necessitam encontrar maneiras de manejar melhor as tensões entre a avaliação da qualidade da investigação, o impacto acadêmico, a inteligibilidade social e a relevância pedagógica, social e científica para cumprir com nossa obrigação ética de servir ao público e enfrentar o problema existente entre a produção da investigação, seu acesso e seu potencial de usabilidade final.

Como cientistas sociais também devemos confrontar a sensação de comodidade de incentivos simplistas que o sistema atual oferece. O modelo simplista de avaliar as pesquisas, pesquisadores e programas de maneira indireta (onde é depositado o produto final) não diferencia entre publicar artigos cuja melhor contribuição é repetir o que já se sabe e que concluem com a habitual afirmação de que “é necessário mais investigações” daqueles trabalhos que geram novos conhecimentos e que eventualmente poderiam aportar valor ao campo científico, ajudar profissionais a melhorarem suas práticas ou proporcionar evidência rigorosa a famílias, comunidades e formuladore/as de políticas.

Poderemos avançar nesse sentido se ampliarmos nossos debates sobre avaliação da pesquisa, analisando mais cuidadosamente as perguntas que fazemos sobre a responsabilidade, a relevância e o impacto potencial das investigações. Programas no campo da educação necessitam evitar soluções simplistas que terminem produzindo mais e importando menos e participar de uma reflexão sobre a usabilidade das nossas agendas de investigação mediante a formulação de perguntas: para quem e para que fim?

Referências

AZEVEDO, M. L. N. de. Internacionalização ou transnacionalização da educação superior: entre a formação de um campo social global e um mercado de ensino mundializado. Crítica Educativa, v. 1, n. 1, p. 56-79, 2015. [ Links ]

BARTLETT, L. Dialogue, Knowledge, and Teacher-Student Relations: Freirean Pedagogy in Theory and Practice Comparative Education Review, v. 49, n. 3. 344-364, 2005. [ Links ]

BIESTA, G.. “Why “what works” won’t work: Evidence‐based practice and the democratic deficit in educational research.” Educational theory v. 57, n. 1, p. 1-22, 2007 [ Links ]

BORG, C., & MAYO, P. Reflections from a” third age” marriage: Paulo Freire’s pedagogy of reason, hope and passion an interview with Ana Maria (Nita) Freire. McGill Journal of Education/Revue des sciences de l’éducation de McGill, v. 35, n. 2, , 2000. Accesado 15 de Setembro 2018. [ Links ]

BRASIL. Censo da Educação Superior. Notas Estatísticas 2017. Brasília: INEP, 2017a. [ Links ]

BRASIL. Relatório da Avaliação Quadrienal 2017. Brasília: CAPES, 2017b. [ Links ]

CHAUÍ, M. Contra a universidade operacional. Rio de Janeiro: Museu da vida/Fiocruz, 2015. [ Links ]

DARDER, A. Reinventing Paulo Freire: A pedagogy of love. Cambridge, MA: Westview Press, 2002. [ Links ]

DORA. San Francisco Declaration on Research Assessment. http://www.ascb.org/dora/, 2012. [ Links ]

ERICKSON, F. & GUTIERREZ, K. “Comment: Culture, rigor, and science in educational research.” Educational Researcher v. 31 n. 8 p. 21-24, 2002. [ Links ]

FISCHMAN, G. E., ANDERSON, K., TEFERA, A., ZUIKER, S. If Mobilizing Educational Research Is the Answer, Who Can Afford to Ask the Question? An Analysis of Faculty Perspectives on Knowledge Mobilization for Scholarship in Education. AERA Open 4, no. 1, 2018. Accesado 15 de Setembro 2018. [ Links ]

FISCHMAN, G. E., & SALES, S. R. Formação de professores e pedagogias críticas. É possível ir além das narrativas redentoras. Revista Brasileira de Educação, v. 15, n. 43, p. 7-20, 2010. [ Links ]

FREIRE, P. Pedagogy of the Oppressed (New rev. 20th-Anniversary ed.). New York: Continuum, 1993. [ Links ]

FREIRE, P. Pedagogy of Hope: Reliving the Pedagogy of the Oppressed. New York: Continuum, 1998. [ Links ]

GLASS, R. D.. On Paulo Freire’s philosophy of praxis and the foundation of liberation education. Educational Researcher, 30(2), 15-25, Mar. 2001. [ Links ]

GREEN, E. (2016) What are the most-cited publications in the social sciences (according to Google Scholar)? Acessado em 22 de maio de 2016. [ Links ]

HALFFMAN, W. et al. Manifesto Acadêmico: de uma universidade ocupada a uma universidade pública. Revista Adusp, v. 2017, p. 7-25, 2017. [ Links ]

KUENZER, A. Z.; MORAES, M. C. M. Temas e tramas na pós-graduação em educação. Educ. Soc.,, v. 26, n. 93, p. 1341-1362, dez. 2005 [ Links ]

LEBEL, J., & MCLEAN, R. (2018). A better measure of research from the global south. Nature Publishing Group. https://www.nature.com/articles/d41586-018-05581-4/ Acessado em 1 Outubro. 2018. [ Links ]

MAGALHÃES, A. M. DA S. & REAL, G. C. M. Situando os debates sobre a avaliação da pós-graduação: os estudos do campo pelo campo. EccoS-Revista Científica, 2018 (46), 131-148. Acessado em 12 Outubro. 2018. [ Links ]

MCCOWAN, T. Approaching the political in citizenship education: The perspectives of Paulo Freire and Bernard Crick Educate, v. 6, n. 1, pp. 57-70, 2006. [ Links ]

MAYO, P. Gramsci. Freire and Adult Education: Possibilities jar Transformative Action. London & New York: Zed Books, 1999. [ Links ]

MIGUEL, L. R.. Conservar e amar o básico: um relato sobre a “inutilidade” fundamental da universidade. Em Construção, n. 2, p. 270-298, 2018. [ Links ]

PARIS, D. & WINN, M. T. Humanizing research: Decolonizing qualitative inquiry with youth and communities. Thousand Oaks, CA Sage, 2014. [ Links ]

RAMOS, M. N.; CIAVATTA, M.; FRIGOTTO, G. A educação de trabalhadores no Brasil contemporâneo: um direito que não se completa. Germinal: Marxismo e Educação em Debate, v. 6, p. 65-76, 2014. [ Links ]

REGO, T. C. Produtivismo, pesquisa e comunicação científica: entre o veneno e o remédio. Educação e Pesquisa, 40(2), 325-346, 2014,. https://dx.doi.org/10.1590/S1517-97022014061843 Acessado em 12 Outubro. 2018. [ Links ]

SANTOS, B. de S. Epistemologies of the South. New York: Routledge, 2014. [ Links ]

SCHNEIDER, J. Looking outside education: Expanding our thinking about moving research into practice. Education Policy Analysis Archives, 23, 119. 2015 doi:10.14507/epaa.v23.1966 Acessado em 12 Outubro. 2018. [ Links ]

SCHUGURENSKY, D. Paulo Freire. NY: Continuum, 2015. [ Links ]

SCHUGURENSKY, D. The Legacy of Paulo Freire: a critical review of his contributions, Convergence, 31.1 & 2: 26,. 1998. [ Links ]

SIMONS, K. The misused impact factor. Science, 322 (5899), 165, 2008. doi:10.1126/science.1165316. PMID 18845714. [ Links ]

VANCLAY, J. K. Impact Factor: Outdated artifact or stepping-stone to journal certification. Scientometric, 2012, v. 32, n. 2, p. 211-238, 2012. [ Links ]

WALLERSTEIN, N., et al. Shared participatory research principles and methodologies: perspectives from the USA and Brazil - 45 years after Paulo Freire’s “Pedagogy of the Oppressed.” Societies, 7(2), 6, 2017. https://doi.org/10.3390/soc7020006 accessado em 12 de Outubro. 2018. [ Links ]

WARE, M., & MABE, M. The STM report: An overview of scientific and scholarly journal publishing. Oxford: International Association of Scientific, Technical and Medical Publishers). 2015 http://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=1008&context=scholcomLinks ]

YOHALEM, N., & TSENG, V. Commentary: Moving from practice to research, and back. Applied Developmental Science, v. 19, n. 2, p. 117-120, 2015. doi:10.1080/10888691.2014.983033 [ Links ]

Notas

1Esta versão é uma adaptação de uma piada sobre economistas para o campo da educação.

2No período compreendido entre 2007 e 2017 foram contratados mais de 63 mil docentes para atuar no Sistema de Ensino Superior brasileiro. Também na Pós-Graduação em Educação registrou-se um crescimento dos Programas de 40,5 %, ou seja, de 121 para 170 programas, segundo a última avaliação da CAPES realizada no quadriênio encerrado em 2017, em relação à avaliação anterior que compreendeu o período de 2011 a 2013. (BRASIL, 2017b)

3O índice H foi batizado em homenagem a Jorge Hirsch, físico da Universidade da Califórnia, em San Diego, que em 2005 propôs que nem o número de publicações nem o número de citações seriam por si só medidas confiáveis da habilidade de um pesquisador de influenciar um campo científico. A ideia é que o índice H seja uma medida da capacidade do pesquisador de chamar a atenção dos colegas acadêmicos sobre suas publicações. O fator de impacto é uma ferramenta para ajudar bibliotecas e editores de periódicos a entenderem a classificação de um periódico dentro de uma área. Nossa posição é que, em termos conceituais e práticos, é errado usar o fator de impacto da revista para avaliar a importância de um artigo ou o potencial de um pesquisador (VANCLAY, 2012). A Declaração de San Francisco sobre Avaliação de Pesquisas (veja a declaração DORA) afirma claramente que qualquer outro uso do fator de impacto é uso indevido: “Não use métricas baseadas em revistas e periódicos como, por exemplo, os Fatores de Impacto de Revistas, como uma medida da qualidade individual dos artigos, para avaliar as contribuições de um pesquisador individual, ou em decisões de contratação, promoção ou financiamento.” (SIMONS, 2008)

4No caso do Qualis-periódicos, as revistas acadêmicas são classificadas em A1, A2, B1, B2, B3, B4, B5 e C, com pontuação que varia de 100 a zero pontos. No caso dos livros, a estratificação é representada por L1, L2, L3, L4 e LNS e são considerados livros autorais, com pontuação entre 250 e zero pontos. São também classificados capítulos e verbetes com pontuação variando entre 80 e zero pontos, respectivamente, sendo que os capítulos de livro têm mais valor que os verbetes.

5Para uma discussão ao respeito do que no Brasil se conhece como ‘produtivismo acadêmico’ ver dossiê Manifesto Acadêmico: de uma universidade ocupada a uma universidade pública, organizado pela ADUSP. (HALFFMAN, 2017)

6Não nos escapa a ironia de tentar combater uma tradição que abusa da ininteligibilidade das nossas comunicações usando um termo como usabilidade.

7Vale a pena explicitar que não nos opomos a buscar e adotar modelos simples que deem respostas de maneira eficiente e eficaz aos desafios de medir a relevância da produção acadêmica, mas a simplificação atual potencializa o uso de sistemas pouco relevantes, baseados em um discurso de ideologia supostamente neutra e uma perspectiva reducionista, o que lamentavelmente intensifica os problemas do campo. (ver BIESTA, 2007; ERICKSON; GUTIERREZ, 2002; PARIS; WINN, 2014)

8É importante explicitar que em nossa opinião a “usabilidade” da investigação é uma dimensão de responsabilidade institucional, que incentive a participação dos investigadores/as. Nos Estados Unidos no Canadá são numerosas as universidades que têm implementado oficinas de mobilização do conhecimento com o objetivo explícito de facilitar a usabilidade da investigação produzida na instituição e é uma prática que também está sendo incentivada em outras regiões (LEBEL & MCLEAN, 2018).

Recebido: 10 de Outubro de 2017; Aceito: 12 de Novembro de 2018

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons