Introdução

Supõe tu um campo de batatas e duas tribos famintas. As batatas apenas chegam para alimentar uma das tribos, que assim adquire forças para transpor a montanha e ir à outra vertente, onde há batatas em abundância; mas, se as duas tribos dividirem em paz as batatas do campo, não chegam a nutrir-se suficientemente e morrem de inanição. A paz, nesse caso, é a destruição; a guerra é a conservação. Uma das tribos extermina a outra e recolhe os despojos. Daí a alegria da vitória, os hinos, aclamações, recompensas públicas e todos demais efeitos das ações bélicas. Se a guerra não fosse isso, tais demonstrações não chegariam a dar-se, pelo motivo real de que o homem só comemora e ama o que lhe é aprazível ou vantajoso, e pelo motivo racional de que nenhuma pessoa canoniza uma ação que virtualmente a destrói. Ao vencido, ódio ou compaixão; ao vencedor, as batatas.

Machado de Assis, Quincas Borba

Marcada por instabilidades, rupturas, antagonismos e incertezas, a aferição da produção científica brasileira descortina um enredo fragmentado em que órgãos governamentais, instituições, programas, revistas e editoras passam a disputar posições em seus campos, buscando determinar nichos de excelência e exclusividade (^{BOURDIEU, 2007}). A expansão universitária vivenciada nos últimos decênios aumentou o acesso à Educação Superior, criando e ampliando instituições que, por conseguinte, aumentaram significativamente a quantidade de pesquisas, de eventos, e, entre outros produtos, periódicos acadêmicos, os quais constituem o canal prevalecente de divulgação das atividades científicas e de atualização do conhecimento disponível (^{TRZESNIAK; KOLLER, 2009}).

À semelhança do trecho machadiano em nossa epígrafe (^{ASSIS, 1891}), imaginamos os espaços universitários como um campo de batatas, até então, exclusivo de uma pequena e privilegiada parcela de pesquisadores e professores. Com a expansão universitária, o campo começa a receber outros públicos, e estes a reivindicarem suas batatas, ou melhor, canais de divulgação de suas produções. Todavia, não é a imediata escassez de periódicos, em quantidade, o que irá deflagrar a dita “guerra de conservação” (ou, no léxico acadêmico recente, publish or perish). De fato, o número de revistas científicas também é amplificado, na esteira do desenvolvimento e da popularização dos meios digitais. A disputa se intensifica na medida em que são aprimorados parâmetros e métodos de aferição da qualidade das produções acadêmicas, progressivamente por intermédio da adoção de critérios que avaliam os periódicos, especialmente via indexação em bases de dados, ranqueamento e emprego de indicadores bibliométricos (^{TARGINO, 2002}).

A importância atribuída às publicações dos integrantes dos Programas de Pós-Graduação (PPG) no cômputo de notas e de conceitos referentes aos processos avaliativos aos quais estes são submetidos têm implicações diretas no recebimento de verbas e de recursos, condições de funcionamento, possibilidades de inserção dos pesquisadores, entre outros efeitos. Na área da Educação, objeto das reflexões deste artigo, defesas e críticas ao emprego de indicadores bibliométricos, à indexação e ao ranqueamento são levantadas com fundamentos sólidos que alimentam o necessário debate acerca da avaliação da qualidade do trabalho acadêmico. Um dos aspectos desse debate ganhou maior destaque recentemente, por ocasião da reformulação anunciada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) na base Qualis, adotada no Brasil para enumerar e classificar os periódicos acadêmicos. Com o fechamento do ciclo avaliativo quadrienal 2017/2020 e os efeitos decorrentes dos conceitos alcançados pelos PPG, avivou-se a discussão acerca dos critérios de classificação das publicações.

O presente estudo, nesse prisma, analisa os critérios empregados para aferir a qualidade dos periódicos brasileiros segundo os parâmetros estabelecidos nos documentos alusivos à Área 38 – Educação, e nas deliberações do Conselho Técnico-Científico da Educação Superior (CTC-ES), bem como nas disposições prescritas pela Diretoria de Avaliação (DAV) da Capes. Objetiva-se compreender a crescente importância da indexação e da utilização de indicadores bibliométricos para a classificação dos periódicos integrantes do mais alto estrato (A1) do Qualis, ressaltando-se as disputas e as competições entre os atores do campo.

Quem define as regras na luta pelas batatas? A avaliação dos periódicos acadêmicos, o sistema Qualis e as disputas entre atores do campo da Educação

Indicadores, via de regra, são grandezas quantitativas que sintetizam e informam fenômenos diversos e complexos, condensando “[...] numa quantidade manejável de informação significativa, para um subgrupo de observações que informam as nossas decisões e direcionam as nossas ações” (^{BOSSEL, 1999, p. 9}). No âmbito da ciência e da tecnologia, os indicadores têm o condão de possibilitar assimilar, avaliar e monitorar a produção, a difusão e a utilização de conhecimentos científicos, tecnológicos e de inovações, a fim de avaliar potencialidades e oportunidades em áreas distintas, bem como “[...] identificar atividades e projetos mais promissores para o futuro, de modo a auxiliar as decisões estratégicas dos gestores da política científica e tecnológica e também para que a comunidade científica conheça o sistema no qual está inserida” (^{SANTOS; KOBASHI, 2005, p. 3}).

Ante a necessidade de aferir a qualidade da produção acadêmica crescente, especialmente em razão de sua estreita conexão com o processo de avaliação dos Programas de Pós-Graduação stricto sensu e os impactos decorrentes na formulação de políticas e distribuição de recursos (^{PINTO; SANTOS; BAHIA, 2009}), tornou-se imperativa a sistematização de um conjunto de indicadores que atendam a três dimensões: i) avaliar o avanço do conhecimento científico; ii) instrumentalizar o monitoramento de políticas e decisões públicas; e iii) informar as estratégias de atuação da iniciativa privada no campo da ciência, tecnologia e inovação (^{VIOTTI; MACEDO, 2003}).

Nas últimas décadas do século XX, a informatização de bases de dados e repositórios de produções acadêmicas impulsionou a utilização dos indicadores bibliométricos e o ranqueamento das publicações. Na avaliação das publicações acadêmicas brasileiras, verifica-se que a indexação dos periódicos a bases de dados cujos ranqueamentos são feitos a partir de indicadores bibliométricos vem ganhando expressiva importância. Destacam-se, especialmente, o Journal of Citation Reports (JCR), da base Web of Science (WoS); o Scimago Journal & Country Rank (SJR), da base Scopus; o Google Scholar; e a Scientific Electronic Library Online (SciELO). A indexação amplifica a visibilidade, a divulgação e a comunicação científica, nacional e internacionalmente. Para a inclusão e a permanência nas bases de dados, os periódicos que almejam a indexação devem atender aos requisitos determinados pelas respectivas bases.

Além do registro e da recuperação da informação científica, a utilidade das bases de dados é evidenciada também no processo de avaliação das atividades da ciência, especialmente por meio de indicadores de impacto de citação que possibilitam a comparação em unidades de análise (^{MUGNAINI; PIO; PAULA, 2019}). No Brasil, a indexação e o ranqueamento dos periódicos acadêmicos atendem, além dos objetivos citados, ao processo de avaliação dos pesquisadores e dos Programas de Pós-Graduação stricto sensu aos quais eles estão vinculados, “[...] às vezes com algumas adaptações, pela maior parte das universidades e agências de fomento estatais e outras entidades de fomento no país” (^{MUELLER, 2008, p. 25}) para definir progressões funcionais, possibilidades de ofertas de cursos, distribuição de verbas e de bolsas de pesquisas, entre outros.

Historicamente, a qualificação de periódicos tem sido um árduo e longo processo. Na década de 1960, a consolidação dos programas brasileiros de Pós-Graduação evidencia a indissociabilidade entre a pesquisa e o ensino (^{CRUZ, 2011}), a ser formalizada e institucionalizada com a emissão do Parecer Nº 977 do Conselho Federal de Educação, conhecido como Parecer Sucupira, em 1965 (^{ALMEIDA JÚNIOR et al., 2005}). Entre 1976 e 1977, a Capes, fundação vinculada ao Ministério da Educação (MEC), implementou um sistema de avaliação da Pós-Graduação alimentado por informações fornecidas pelos programas de todo o país, analisadas por comissões designadas especificamente para tal. Buscava-se avaliar os programas a partir de aspetos qualitativos e quantitativos, com fundamento no

I Plano Nacional de Pós-Graduação (PNPG), no qual se explicitava a preocupação com a regulamentação da expansão do sistema de cursos, a manutenção do padrão de qualidade, a qualificação docente das instituições de ensino superior, a eficiente alocação de recursos públicos e o estabelecimento de um fluxo permanente de informações que permitissem aos órgãos públicos a operacionalização de estratégias e a fixação de prioridades. (^{SOUZA; PAULA, 2002, p. 7}).

Esse sistema foi modificado e adaptado desde então, consoante ao desenvolvimento científico nacional. A quantidade de artigos publicados pelos integrantes dos programas em períodos bienais já era um dos critérios quantitativos utilizados nas décadas de 1980 e 1990. Em 1997, uma comissão internacional de consultores foi convidada pela Capes para analisar o sistema de avaliação e propor melhorias. Em seu relatório, os consultores propuseram a adoção de “[...] um amplo espectro de indicadores (qualitativos e quantitativos) para identificar e avaliar a excelência num programa de pós-graduação” (^{BRASIL, 1997, p. 25}), dentre os quais figurava como indicador sugerido “[...] trabalhos relacionados à área de concentração do programa, publicados em revistas indexadas, por ano e por professor permanente” (^{BRASIL, 1997, p. 26}).

Considerando o volume expressivo de trabalhos publicados e a consequente impossibilidade prática de aferir a qualidade de cada um deles, em 1998, a Capes apresentou a base Qualis, uma listagem dos periódicos nos quais os pesquisadores acadêmicos publicaram seus trabalhos durante o ciclo avaliativo, classificando-os segundo critérios de qualidade. Como os periódicos condicionam a publicação dos artigos recebidos à aprovação pelos pares, pressupõe-se que o artigo publicado foi submetido a um processo de avaliação. Optou-se, assim, por qualificar os periódicos (^{BARATA, 2016}). A primeira proposta de classificação

[...] dividia os periódicos em três grupos com três estratos em cada grupo. Os grupos separavam os periódicos segundo a circulação – internacional, nacional ou local –, e, em cada grupo, as revistas científicas eram classificadas nos estratos A, B e C, conforme seu impacto ou relevância para um determinado campo científico. (^{BARATA, 2016, p. 15}).

Os critérios para a aferição da qualidade dos periódicos foram estipulados por comissões representantes das diferentes áreas do conhecimento, conforme suas especificidades e tradições científicas. Na grande área de Humanidades, os critérios predominantemente utilizados diziam respeito a um conjunto de aspectos formais, ressaltando-se periodicidade, corpo editorial, avaliação por pares, normalização, indexação e circulação. Importante frisar que a base Qualis, tal como proposta, obrigatoriamente é exaustiva, contendo todos os periódicos nos quais foram publicadas as produções dos pesquisadores ligados aos PPG do país. Por conta disso, é mandatório a “[...] cada área de avaliação [...] classificar todos os títulos constantes de sua lista. Nenhum dos títulos listados poderá ficar sem classificação, uma vez que isso significaria a exclusão a priori de determinados produtos informados pelos programas” (^{BARATA, 2016, p. 19}).

Dessa forma, a classificação dos periódicos acontece ao final dos ciclos avaliativos, quando cada PPG já forneceu à Capes as informações necessárias. Igualmente, importa sublinhar que a avaliação dos periódicos não é inalterável, ocasionando deslocamentos nos estratos de acordo com os critérios definidos, levando

[...] em conta, entre outros aspectos, o público-alvo do próprio artigo, o escopo dos diversos periódicos em um mesmo campo científico, a credibilidade, a rapidez no processo de julgamento e de publicação, a competitividade expressa pela taxa de rejeição, a circulação que os periódicos têm na comunidade de interesse e seu prestígio, o que pode ser indiretamente avaliado por diferentes medidas de impacto. (^{BARATA, 2016, p. 17}).

Em 2007, após constatar que o modelo até então utilizado não era efetivo, a Capes reformulou significativamente a proposta de classificação da base Qualis, passando a considerar sete estratos inerentes às diferentes áreas do conhecimento e um indicativo de periódicos que não atenderam às boas práticas editoriais ou aos critérios dos estratos anteriores, respectivamente A1, A2, B1, B2, B3, B4, B5 e C (^{SILVA, 2009}). É a partir dessa proposta, apresentada em 2007, que os critérios para classificação nos estratos mais elevados passam a contemplar, de modo mais consistente, a indexação em bases de dados. Na avaliação do triênio 2007/2009, a indexação correspondia a 3% da pontuação referente ao estrato mais elevado, A1. Já no quadriênio 2013/2016, a indexação passou a corresponder a 30% da pontuação do estrato A1, cotejando as tendências internacionais, que conferem grande importância aos indexadores e à expansão destes. O Quadro 1 destaca a relevância crescente dos critérios referentes à indexação para os periódicos nacionais.

No modelo vigente até 2016, vigoravam, dentre as regras comuns a todas as áreas, limites e travas “[...] na tentativa de preservar o caráter classificatório e a capacidade de discriminação entre produções de maior ou menor ‘qualidade’” (^{BARATA, 2016, p. 22}). Dessa forma, a distribuição dos periódicos entre os estratos idealmente obedeceria aos parâmetros ilustrados na Figura 1.

Fonte: Elaborada pelos autores a partir de ^{Brasil (2017)}.

Figura 1 Parâmetros de distribuição ideal e verificada dos periódicos nos estratos da base Qualis, 2016 

Entre os parâmetros traçados e o que, de fato, constatou-se na distribuição dos periódicos, há uma diferença substancial. Tendo em mira o estrato A1, tamanha diferença permite inferir que os periódicos mais bem avaliados da base Qualis são intensamente disputados pelos atores do campo da Educação (^{BOURDIEU, 2004}). A análise da Figura 1 faz mais sentido quando combinada à leitura dos quesitos definidos na Ficha de Avaliação dos Programas de Pós-Graduação, disponíveis no Documento da Área da Educação.

A referida Ficha contém os itens a serem pontuados e os respectivos pesos para a atribuição da nota conferida ao Programa. Um dos quesitos mais valorizados é a produção intelectual, que, em 2009 e 2013, perfazia 35% do total geral. Nos mesmos períodos, a produção qualificada do Programa por docente permanente implicava 50% da pontuação referente a esse quesito. Em 2016, o percentual relativo à produção intelectual foi mantido, mas, internamente, 60% da pontuação referente a esse quesito recaiu sobre a “[...] média ponderada de até oito produções mais bem qualificadas por docente permanente no quadriênio, compreendendo livros, capítulos, verbetes e periódicos” (^{BRASIL, 2016, p. 13}). A título de comparação, no mesmo ano, as produções técnicas, inovações e outras possíveis produções relevantes perfizeram apenas 5% da pontuação concernente ao quesito.

Em 2019, uma nova proposta foi apresentada pela Capes, reformulando o Qualis. ^{Souza et al. (2018)} aduzem que a distorção entre o parâmetro delineado para a distribuição ideal dos periódicos e o que efetivamente se constatou para o quadriênio 2013-2016 (vide Figura 1) revelava que os estratos B1, A2 e A1 comportavam a inserção de mais periódicos, desde que cumpridos requisitos garantidores de qualidade suficientes para assegurar a efetividade da base no processo avaliativo. Em princípio, um maior número de periódicos devidamente classificados nos estratos mais elevados é uma vantagem para pesquisadores e PPG, em um olhar mais imediato sobre o processo avaliativo, como definido nas Fichas e nos Documentos da Área da Educação. A reconfiguração dos estratos, na nova proposta, previu oito categorias, insertando A3 e A4 e eliminando B5. O Quadro 2 busca elucidar esse ponto, comparando os pesos atribuídos para o cálculo da média ponderada que serve para pontuar a produção intelectual dos integrantes dos PPG.

Todavia, a análise mais acurada do Quadro 2 deixa nítido que os novos estratos, A3 e A4, consubstanciam um desmembramento do peso referente ao estrato B1, para o qual passa a valer o peso que, até então, era designado aos periódicos B2, seguindo-se a mesma lógica até a alocação do peso dez, antes vinculado ao estrato B5, aos periódicos classificados como B4, que finalizam a nova lista.

A nova metodologia anunciada previa que cada periódico receberia uma classificação única, conforme sua área mãe – aquela em que concentrou o maior número de publicações. Isso acarretaria comparabilidade entre periódicos de diferentes áreas, e seria possível graças à adoção de indicadores bibliométricos e à utilização de um modelo matemático, cuja fórmula, em princípio, não foi divulgada. Quanto aos indicadores bibliométricos, a Capes optou originalmente por três, que essencialmente assinalam a quantidade de citações do periódico registradas em três bases de dados: i) o CiteScore, da base Scopus; ii) o Fator de Impacto, da base WoS; e iii) o Índice h, da base Google Scholar. A mensuração foi estabelecida a partir de um modelo de regressão, de modo a criar uma correlação entre os indicadores. O CiteScore e/ou o Fator de Impacto compunham o primeiro critério de estratificação, tendo em conta o de maior valor no caso de o periódico possuir os dois. Para os periódicos que não possuíssem esses indicadores, seria utilizado o Índice H5, que poderia ser calculado pelo software Publish or Perish (PoP), se necessário. As áreas poderiam propor alterações limitadas (^{BRASIL, 2019b}).

A área da Educação registrou um expressivo crescimento no número total de periódicos classificados na base Qualis entre os períodos 2007-2009 até 2013-2016. Esse crescimento, em termos absolutos, também foi acompanhado no estrato A1, embora registre-se um decréscimo no percentual em relação ao total. A aplicação da nova metodologia, como se verifica no Gráfico 1, promoveu uma expressiva diminuição nos periódicos relativos à área (agora, pela classificação única, considerada área-mãe) e, mesmo indicando um aumento relativo do estrato A1 em relação ao todo, em termos absolutos, a diminuição mostrou-se ainda mais acentuada.

Fonte: Elaborado pelos autores a partir de ^{Brasil (2019a}, ^2019b).

Gráfico 1 Distribuição dos periódicos classificados pela área da Educação no estrato A1 da base Qualis em relação ao total, nos ciclos avaliativos de 2007 até 2020 

Tal quadro despertou controvérsias e enfrentamentos entre a área da Educação e as deliberações do Conselho Técnico Científico da Educação Superior (CTC-ES), durante o processo de aprovação do documento de referência para a avaliação dos periódicos. Ante a iminência do processo avaliativo e o cenário de incertezas que se descortinava, após idas e vindas, a Educação apresentou à Capes sua proposta de organização para classificação dos periódicos, segundo os critérios expressos no Quadro 3 (^{BRASIL, 2020a}, ^2020b).

A avaliação dos periódicos, nesse bojo, foi estruturada em uma sequência de cinco etapas, a partir da opção da área pelo uso exclusivo do Índice H5 como indicador de definição dos percentis. Na primeira fase, deve ser construída uma matriz ampliada de periódicos pertinentes à Educação, nominada pela Capes como “Universo”. A própria Capes estabeleceu as bases nas quais a área deverá buscar tais periódicos: i) entre os que tenham sido registrados na Plataforma Sucupira no período de 2013-2019; ii) em bases indexadoras internacionais, como Scopus, WoS, Redalyc, Erih Plus e outros, indicados pela área, igualmente obedecendo o critério temporal. O Universo da Educação continha, a princípio, 3.327 periódicos (^{BRASIL, 2021}). Na segunda fase, é feito o levantamento do Índice H5 dos periódicos do Universo, considerando, portanto, os dados referentes ao período entre 2015-2019. Ato contínuo, a terceira fase consiste na classificação decrescente dos periódicos de acordo com o Índice H5. Aqueles cujo H5 for igual a zero são descartados e os demais são alocados em oito grupos que alocam idealmente 12,5% cada, em um “empilhamento” em que os periódicos com maior H5 ocupam o primeiro grupo e, consecutivamente, os de H5 mais baixo, o último.

A quarta fase leva em conta que, em termos quantitativos, o Universo é consideravelmente maior do que o grupo de 970 periódicos, aproximadamente, registrados na base Qualis dos quais a Educação é área-mãe (^{BRASIL, 2021}). Por conta disso, serão extraídos do Universo apenas aqueles em que os integrantes dos PPG tiverem publicado seus trabalhos no quadriênio 2017-2020 e que forem indicados nos relatórios alusivos ao ciclo avaliativo. Dessa forma, a classificação dos periódicos nos oito estratos propostos pela Capes em 2019 (vide Quadro 2) corresponderia, prima facie, ao grupo em que foram alocados na fase anterior. A quinta e última fase prevê a possibilidade de ajustes na classificação já internamente à base Qualis. A Educação pode elevar ou rebaixar 10% dos periódicos em dois estratos, assim como também pode movimentar 20% um estrato para cima ou para baixo. Para balizar tais ajustes, a área afirma pretender empregar critérios qualitativos que lhe são próprios, sem, contudo, nominá-los (^{BRASIL, 2021}).

Na página da área da Educação na internet, os documentos de referência para o ciclo avaliativo 2017-2020 não foram atualizados para recepcionar as mais recentes deliberações do CTC-ES (^{BRASIL, 2020a}, ^2020b, ^2020c). A nova base Qualis não chegou a ser oficialmente publicada¹. Ainda assim, a avaliação dos PPG referente à quadrienal 2017-2020 foi mantida, com prazo de preenchimento dos dados das Fichas de Avaliação pelos coordenadores dos Programas fixado (embora com prorrogações) para 2021. Essa alteração, operada já ao final do quadriênio, trará impactos aos PPG em Educação que preocupam seus coordenadores e integrantes. Importa lembrar que a base Qualis engloba os periódicos em que os pesquisadores publicaram suas produções acadêmicas ao longo do ciclo avaliativo em tela. Findo o ciclo, relatadas à Capes as produções, a avaliação é realizada, atribuindo-se as pontuações respectivas aos critérios estabelecidos. É de esperar-se que os pesquisadores direcionem suas publicações àqueles periódicos que, no decurso do ciclo avaliativo, ocupavam os estratos mais elevados da base Qualis. Ocorre que a remodelagem pretendida pela Capes para a base desestabiliza essa razoável expectativa, com severas implicações, sobretudo para a Educação. Quer dizer, a remodelagem proposta pela Capes traz toda uma dinâmica relacionada à produção e à divulgação de conhecimento, para a qual a área da Educação está despreparada.

Cabe indagar o motivo de tais implicações afetarem a Educação com maior intensidade, em comparação a outras áreas. A título ilustrativo, destaca-se o desempenho positivo crescente que as Ciências Biológicas, da Saúde, Engenharias e as Ciências Exatas e da Terra têm alcançado em bases de indexação conhecidas pelo rigor e pela seletividade, como a WoS e seu relatório de ranqueamento, o Journal Citation Reports (JCR). Em 2020, duas revistas brasileiras ingressaram no cobiçado primeiro quartil, que agrupa as 25% com os maiores Fatores de Impacto de suas respectivas áreas: o Journal of Materials Research and Technology (FI = 5,289) e a Perspectives in Ecology and Conservation (FI = 3,563), cujos desempenhos referem-se a 2019 (^{MARQUES, 2020}). Por certo, os frequentes cortes e bloqueios de recursos à pesquisa, aliados ao desprestígio crescente fomentado por agentes políticos e sociais contra a área (e contra as demais áreas do Colégio de Humanidades) são elementos de grande monta a serem ponderados (^{BRASIL, 2020d}). Outros problemas também devem ser sopesados, como o desmantelamento das carreiras docentes e questões estruturais no mesmo sentido. Não obstante, assumindo o fardo de cortar na própria carne, enfatizamos aspectos das dinâmicas da área que exigem diálogo, reflexão e a abertura a novas e necessárias perspectivas.

Quem fica com as batatas é o competidor mais qualificado? Protecionismos e disputas por espaços de exclusividade no campo da Educação

John Donne, em 1623, defendeu com propriedade a interconexão entre as partes (o homem) e o todo (a humanidade): “Nenhum homem é uma ilha, inteiro de si mesmo; cada homem é um pedaço do continente, uma parte do principal”² (^{DONNE, 1923, p. 96}, tradução nossa). Tal discernimento sobreveio ao poeta inglês, não por acaso, enquanto enfrentava uma grave enfermidade, que quase lhe custou a vida. O patamar tracejado no segmento anterior, ainda que limitado, permite inferir que a Educação subsiste de modo precário, e que uma de suas vulnerabilidades reside na avaliação dos periódicos científicos da área. Contudo, ao menos nesse quesito, a área tem indicado um posicionamento diferente de Donne. Ao invés da interconexão, observa-se o protecionismo, a “guerra da conservação”, a disputa interna no campo de batatas.

Na mão contrária, Bernardete ^{Gatti (2005, p. 124)} postula que a interconexão é “[...] uma condição essencial à realização de investigações científicas e ao avanço dos conhecimentos”. A interconexão, em perspectiva colaborativa, amplia o repertório de abordagens e de instrumentos, melhora os resultados e maximiza o potencial da produção científica através da fertilização cruzada de ideias entre grupos e atores distintos (^{WEISZ; ROCO, 1996}). Na mesma senda, Leonardo ^{Boff (1999, p. 125)}, desde uma visão complexa da realidade, partilha do entendimento de que um fenômeno não pode ser avaliado isoladamente, mas sim inserido na teia de relações da qual faz parte. Essa teia é dinâmica e constitutiva de um sistema permanentemente aberto, no qual as interconexões se movimentam em múltiplos sentidos e produzem novas sínteses. Boff confronta o paradigma moderno, ainda arraigado e prevalecente na produção e na divulgação científica, singularmente na Educação. Pelo paradigma moderno, o conhecimento é compartimentado em segmentos progressivamente mais específicos, analisados isoladamente no intuito de compreendê-los com maior exatidão. O todo corresponderia à soma das partes, em um enfoque linear e praticamente estático. Para ^{Boff (1998, p. 67)}, o todo, dinâmico e complexo, é formado pelas partes em interação, em coexistência, e “[...] configura um holograma, quer dizer, o todo contido em cada parte e cada parte contida num todo que se ordena a outro maior”.

As interconexões, consequentemente, dinamizam o campo científico da Educação, utilizando o aparato conceitual de Pierre ^{Bourdieu (2004)}. Campo é a designação que o autor dá ao espaço em que transcorrem disputas entre atores pela detenção do poder simbólico, produtor e legitimador de sentidos e significados. É no campo que a autonomia do domínio se estabelece, assim como as concorrências internas e externas definidoras das posições ocupadas pelos atores na hierarquia estruturada, encabeçada pelas figuras de autoridade, detentoras de maior acúmulo de capital. Entretanto, quando se fomenta um protecionismo do campo, como tem acontecido na área de Educação, criamos uma “monocultura”, e como ^{Boff e Hathaway (2014, p. 89}, tradução nossa) enfatizam, “[...] uma mentalidade monocultural tenta impor uma única cultura e um único modelo econômico em todo o planeta, resultando em sociedades imaturas ‘parasitas’ com alto gasto de energia e baixo grau de diversidade”³. Ademais, a “[...] monocultura dominante nos abarrota de ‘informações’ vazias, e muitas vezes nos distrai, impedindo-nos de adquirir conhecimento real”⁴ (^{BOFF; HATHAWAY, 2014, p. 84}, tradução nossa). Quer dizer, a insistência em um protecionismo da área, a fim de protegê-la como campo de atuação e de geração de conhecimento, tem o efeito diretamente oposto. Pode-se argumentar que essa mentalidade de “monocultura”, desertifica o campo, erradica a diversidade de opiniões, visões e perspectivas, e o desfecho desse processo monocultural pode ser algo cabal e crítico para a área.

Ao observar a avaliação de periódicos acadêmicos da Educação pelo prisma conceitual de campo científico, admite-se que ela é parte constituinte da complexa dinâmica de disputas por espaços entre as posições hierarquicamente superiores, correspondentes ao maior acúmulo de capital, e, em última análise, pelo monopólio da autoridade na área. As regras e os critérios definidos para essas disputas também têm relação direta com a distribuição hierarquizada de atores no campo, e não necessariamente atendem a ideais de distribuição, como a Figura 1 bem demonstra. O modelo projetado para a ocupação dos estratos pelos periódicos propunha uma distribuição mais abrangente entre os estratos mais valorizados, o que não se concretizou no quadriênio 2013-2016, evidenciando a existência de espaços a serem ocupados no topo da pirâmide (^{SOUZA et al., 2018}).

A reconfiguração da base Qualis, posta em marcha em 2019, apesar de todos os pontos criticados e criticáveis, tocou em alguns pontos nevrálgicos da Educação ao cotejar a indexação em bases internacionais e o cálculo a partir de indicadores bibliométricos adotados por essas bases de modo mais incisivo no processo avaliativo da quadrienal 2017-2020. A exigência de produção, explícita nos critérios de avaliação dos programas, é um desses pontos, na medida em que privilegia a publicação em periódicos em detrimento de outros produtos da atividade acadêmica, simultaneamente agregando perspectivas quantitativas pouco representativas da qualidade do trabalho dos pesquisadores. Abre-se um flanco, aqui, para práticas consideradas antiéticas, como a inserção de autores que não tenham contribuído efetivamente para os artigos, ou a recomposição de um mesmo artigo em diferentes manuscritos, potencialmente aumentando o número de publicações, por exemplo.

Inobstante, não é sobre esses aspectos que as considerações do presente estudo se debruçam, mas sobre as resistências da área da Educação à adoção da indexação em bases internacionais de renome e ao consequente uso de indicadores bibliométricos para avaliar seus periódicos e condicionar a classificação no estrato de excelência da base Qualis. Em um primeiro olhar, essa resistência da área poderia ser vista como contrassenso, especialmente tendo em vista os dois conceitos de capital intelectual, científico e político, cunhados por ^{Bourdieu (2004)}. Para o autor, o capital intelectual científico é puro, abrange os avanços e os resultados dos trabalhos científicos que pretendem impulsionar o campo e a ciência propriamente dita. O acúmulo desse capital pelo pesquisador se dá sob a forma de prestígio, de reconhecimento, por intermédio da repercussão de seu trabalho, das citações de sua obra, entre outros. Já o capital intelectual político é temporal e diz respeito às articulações engendradas pelo pesquisador com os demais atores do campo, em uma estrutura hierarquizada no bojo de instituições científicas, buscando ocupar posições elevadas ou destacadas. Bourdieu vê, nesse segundo tipo, o acúmulo de capital sob a forma de cargos institucionais, ou ocupação de posições de ascendência sobre os demais atores do campo.

Sob essa ótica, os Documentos da Área e outros instrumentos inerentes ao processo avaliativo, na Educação, são elaborados por detentores de grandes acúmulos de capital intelectual político do campo. Ao vincularem a classificação dos periódicos nos estratos de excelência a critérios mais rígidos, esses atores, de maior capital intelectual político acumulado, estariam restringindo ainda mais os espaços de excelência e exclusividade, o que potencialmente viria a favorecer os atores com grandes acúmulos de capital intelectual científico. Todavia, a resistência aludida é bastante forte em ambos os grupos.

Observando-se a classificação das revistas brasileiras da área da Educação, segundo o Índice H5, e o pertencimento aos quadrantes do ranqueamento do SJR Quartile, fica nítido quão estreito é o campo de disputa entre os atores. É importante salientar que o rol referido no Quadro 4 não apresenta um retrato fiel dos periódicos nacionais de excelência na Educação – ainda que todos eles sejam classificados como A1, segundo a classificação não oficial, que, informalmente, tem orientado os pesquisadores – uma vez que os documentos disponibilizados pela Capes e pela página da área na internet não explicitam quais são os títulos pertencentes a essa área-mãe. O Relatório Produzido pelo Grupo de Trabalho designado pela Área para analisar a proposta do Qualis Periódicos apenas menciona que 37 revistas integrariam o estrato A1, equivalentes a 7% do total de 529 distribuídas entre todos os estratos. Não é feita qualquer distinção objetiva entre quais seriam os periódicos nacionais e quais os estrangeiros (^{BRASIL, 2019c}).

A título de comparação, o Google Scholar fornece uma listagem mundial com as 20 revistas com maiores índices H5 na Educação. Nenhuma delas é brasileira (^{GOOGLE SCHOLAR, 2021}) (ver Quadro 5). Mesmo que se tenha em conta a possibilidade de realizar ajustes, como previsto na última divulgação de critérios gerais para estruturação do modelo do Qualis Referência (^{BRASIL, 2020b}), o campo de disputas dos atores da Educação converteu-se em solo parco, de onde nem mesmo os detentores dos maiores acúmulos de capital poderão extrair sobrevivência.

O esforço necessário para compreensão, ainda que parcial, dessa circunstância temível exige atentar para a finalidade da avaliação dos periódicos ou, indiretamente, da produção científica de pesquisadores e programas brasileiros, via base Qualis, que não se restringe à publicação e à divulgação dos produtos acadêmicos. Se esse fosse o objetivo precípuo, a avaliação da produção científica concretizaria o que Robert ^{Merton (2013, p. 183)} aduz como ethos científico: “[...] um complexo afetivamente modulado de valores e normas que se considera serem obrigatórios” e compõem um conjunto de prescrições, preferências e permissões legitimadoras da ciência. Esse conjunto pode ser expresso a partir de quatro imperativos: i) universalismo, definidor da validação científica a partir de critérios impessoais preestabelecidos; ii) comunalismo, a considerar que “[...] descobertas substantivas da ciência são produto da colaboração social e estão destinados à comunidade. Elas constituem uma herança comum na qual o interesse do produtor individual é severamente limitado” (^{MERTON, 2013, p. 190}); iii) desinteresse, consistindo no controle institucional sobre o cientista, o que se justifica pelo caráter público e testável da própria ciência; e iv) ceticismo organizado, significando o exame imparcial de crenças e saberes de acordo com critérios empíricos e lógicos.

As normas mertonianas idealizam a produção científica – e, consequentemente, sua divulgação e a aferição de sua qualidade – entram em choque com lógicas de construção e desenvolvimento do conhecimento mais voltadas aos interesses econômicos, políticos ou outros que resultem na própria negação do ethos, do objetivo da ciência:

O objetivo institucional da ciência é a ampliação do conhecimento científico certificado. Os métodos técnicos empregados para esse fim fornecem a definição relevante de conhecimento: predições empiricamente confirmadas e logicamente consistentes. Os imperativos institucionais (costumes) derivam do objetivo e dos métodos. Toda a estrutura de normas técnicas e morais implementa o objetivo final. A norma técnica da evidência empírica, adequada, válida e confiável é um pré-requisito para a sustentação de predições verdadeiras, a norma técnica da consistência lógica, um pré-requisito da previsão sistemática e válida. Os costumes da ciência possuem um fundamento metodológico, mas eles são seguidos não somente porque são predominantemente eficientes, mas porque se acredita que eles são corretos e bons. Eles são prescrições morais tanto quanto técnicas. (^{MERTON, 2013, p. 185}).

Por esse prisma, a observância dos imperativos mertonianos, operacionalizados desde a submissão da contribuição do pesquisador para a avaliação pelos pares e, continuamente, pela possibilidade de crítica em qualquer tempo, ensejam à ciência delimitar seus espaços e posicionar-se neles, reduzindo a influência que outras instituições venham a exercer sobre ela. Especialmente o comunalismo está relacionado à publicação e à divulgação dos produtos acadêmicos, associado ao que Merton chama de efeito Mateus⁵, “[...] a intensificação dos incrementos de reconhecimento pelos pares dos cientistas de grande reputação por suas contribuições particulares, em contraste com a minimização ou recusa desse reconhecimento para os cientistas que ainda não deixaram sua marca” (^{MERTON, 2013, p. 205}). Ao estreitar o campo de disputas – o estrato em que são alocados os periódicos de excelência –, os atores/competidores da Educação consomem o efeito Mateus, mas não criando hiatos entre o campo fértil onde plantam e colhem os pesquisadores consagrados e os terrenos menos produtivos no qual os demais lutam por atingir, por mérito, o reconhecimento da comunidade científica. O efeito Mateus é consumado pelo exaurimento, pela retração do nicho de excelência que vem encolhendo a cada ciclo avaliativo.

Agregando ao raciocínio a construção de capital simbólico, como definido por ^{Bourdieu (1984a)}, decorrente de disputas pelo poder, pode-se inferir que, no campo acadêmico da Educação, transpassado pelo efeito Mateus, os atores competem pelas condições materiais necessárias à própria existência: recursos que viabilizem pesquisas, rubricas orçamentárias que garantam o funcionamento de instituições, verbas que financiem o trabalho de bolsistas. Essa perspectiva emerge quando a área da Educação é percebida, ela também, como um ator/competidor no campo acadêmico, disputando as diferentes formas de capital com outras áreas, também sob a égide do efeito Mateus, “[...] expresso no princípio da vantagem cumulativa que opera em muitos sistemas de estratificação social para produzir o mesmo resultado: os ricos se tornam mais ricos a uma taxa que faz os pobres tornarem-se relativamente mais pobres” (^{MERTON, 2013, p. 62}). Admitir a concentração de múltiplas formas de capital (recursos, prestígio, poder) traz à baila a ilusão de que o campo científico seria locus de meritocracia, erigindo estruturas hierárquicas de forma “neutra”, mediante o expurgo de quaisquer fatores extrínsecos (^{BOURDIEU, 1984b}).

A adoção de um conjunto de critérios de avaliação dos periódicos científicos da área da Educação em maior conformidade às exigências das plataformas e bases internacionais, e segundo seus principais indicadores, vai ao encontro dos imperativos do universalismo, do comunalismo, do desinteresse e do ceticismo organizado (^{MERTON, 1968}), em parâmetros interseccionais: i) o emprego de uma linguagem comum, acessível a todos os integrantes da comunidade científica (pela adoção do idioma inglês ou de publicações bilíngues); ii) normas de formatação e apresentação dos manuscritos padronizadas (títulos, resumos, palavras-chave, sistemas de citação e referência); iii) acessibilidade material (manutenção de acervo digital acessível, regularidade e continuidade das edições, circulação ampla) e intelectual (disponibilização de contato com os autores, possibilidade de diálogo e crítica entre os pares); iv) diversificação das comissões editoriais e do plantel de pareceristas (legitimação pelos pares); v) transparência nos processos de submissão, avaliação e edição (explicitação de critérios, requisitos, processos e prazos); e, ainda, vi) viabilização do escrutínio constante do conteúdo publicado pelos pares (indexação em bases internacionais e uso de indicadores bibliométricos ou cientométricos que mensurem o impacto das citações).

Dessarte, a configuração de um estrato de excelência da Educação na base Qualis não pode ignorar pressupostos básicos da disputa por acúmulos de capital, na acepção bourdiesiana, bem como os imperativos do ethos científico mertoniano. Objetivamente, o periódico científico de excelência na Educação deve primar pela originalidade dos trabalhos editados, cujos autores provenham dos mais diversos lugares e instituições, redigidos de forma a serem compreendidos, no léxico e no idioma, da forma mais abrangente possível, abalizados pelo crivo de avaliadores também de origens diversas, publicados com regularidade e constância (^{MERTON, 1970}). A atenção a esses fatores aponta diretamente para um fazer científico que recusa a endogenia, o encastelamento, o protecionismo ao minguante campo de batatas.

Apesar de os estratos mais altos estarem progressivamente com menos revistas nas quais os pesquisadores possam publicar suas produções, é inegável que a estratificação e as suas repercussões induzam os pesquisadores a submeterem seus manuscritos aos periódicos mais bem classificados, o que também intensifica o efeito Mateus. Com a estratificação, também se exerce influência na definição daquilo que interessa ou não à área, incidindo diretamente na demarcação do que terá mais chances de ser publicado (^{BOURDIEU, 1984b}). Assim, periódicos classificados em estratos mais baixos tendem a receber menos submissões ou, pelo mínimo, menos submissões que atendam aos quesitos de qualificação exigidos para que possam pretender melhorar sua classificação. Pela mesma linha, periódicos voltados a temáticas razoavelmente distantes das demarcações do que seria publicável também sofrem pelo efeito Mateus.

Por meio de investidas protecionistas que, nos estratos de excelência, podem ser comparadas à reserva de mercado, a disputa entre os atores da Educação combinou-se ao efeito Mateus para, a despeito do ethos científico, auxiliar a dizimar o campo. A noção de Boff sobre a ética é preterida:

[...] a ética assume a moral, quer dizer, o sistema fechado de valores vigentes e de tradições comportamentais. Ela respeita o enraizamento necessário de cada ser humano na realização de sua vida, para que não fique dependurada das nuvens. Mas a ética introduz uma operação necessária: abre esse enraizamento. Está atenta às mudanças históricas, às mentalidades e às sensibilidades cambiáveis, aos novos desafios derivados das transformações sociais. Ela impõe exigências a fim de tornar a moradia humana mais honesta e saudável. A ética acolhe transformações e mudanças que atendam a essas exigências. Sem essa abertura às mudanças, a moral se fossiliza e se transforma em moralismo. A ética, portanto, desinstala a moral. Impede que ela se feche sobre si mesma. Obriga-a à constante renovação no sentido de garantir a habitabilidade e a sustentabilidade da moradia humana: pessoal, social e planetária. (^{BOFF, 1998, p. 93-94}).

A necessidade de um ecossistema diversificado, ao invés de uma diminuta e exclusiva estirpe de periódicos, para que a ciência e, especificamente, a Educação pudessem ser democraticamente veiculadas, foi desconsiderada. A noção ética do pertencimento que, segundo ^{Boff (1998)}, nos faz humanos na relação com o outro, pelo qual somos responsáveis, foi ignorada. “A lógica da complementaridade/reciprocidade funciona em todos os grupos que valorizam as diferenças, as oposições dialéticas, a escuta atenta das várias posições e acolhem as contribuições de onde quer que venham” (^{BOFF, 2000, p. 78}). A Educação pôs em risco sua existência, como campo científico, ao fechar-se em seus próprios critérios, ao alhear-se das transformações que ocorrem na teia de relações em que ela está e que exige integração, compreensão e cooperação recíprocas. Assim como no mundo real, as monoculturas não se sustentam, necessitando de um contínuo lastro de insumos, sem os quais morrem e levam à desertificação do campo; as policulturas, no entanto, sobrevivem, se diversificam e florescem. Acreditamos que a área da Educação necessita se engajar em um diálogo maior e interdisciplinar, se tornar uma verdadeira policultura.

Considerações finais

No texto machadiano que abriu as reflexões aqui apresentadas, uma proposta ética era descrita sob a justificativa da “guerra de conservação”. Não havendo recursos para todos e diante das ameaças à sobrevivência representadas pela escassez, que a competição se encarregasse de celebrar o vencedor e deixar perecer o perdedor. Questionou-se, todavia, neste trabalho, o que estaria implicado nessa proposta ética: os critérios para definir quem ganha e quem perde são os mais adequados? O vencedor necessariamente seria o competidor mais qualificado? A “guerra de conservação” é a melhor, ou a única possibilidade?

Esses questionamentos balizaram nossa análise acerca de um fenômeno controverso e em acalorado debate: a reconfiguração da base Qualis e os critérios de avaliação dos periódicos brasileiros alocados no estrato A1, de excelência, na Área 38 da Capes – Educação. Empreendemos uma breve incursão pela trajetória da base Qualis, observando as transformações ocorridas desde a sua implementação e constatando a redução progressiva do número de periódicos classificados no estrato A1 durante todo o período estudado. Verificamos, ainda, as distorções entre o modelo ideal projetado e a composição assumida, de fato, no último modelo publicado na Plataforma Sucupira.

À luz da teoria, destacando-se as noções de capital simbólico, campo científico e das disputas inerentes, em Bourdieu; ethos científico e dos seus imperativos, bem como do efeito Mateus, em Merton; e complexidade, pertencimento e ética em Boff, interpretamos e analisamos os reflexos dos referidos critérios na Área da Educação. Como resultados das análises realizadas, apontamos o encolhimento dos nichos de excelência para publicação de periódicos acadêmicos, os obstáculos para melhorias nas classificações dos periódicos alocados nos estratos inferiores e, por conseguinte, o estrangulamento do campo científico, acompanhado das consequências advindas da vinculação da distribuição de recursos às avaliações dos Programas de Pós-Graduação e destas à produção de seus integrantes, com grande peso atribuído aos artigos publicados em periódicos classificados nos mais altos estratos.

Como contraponto à proposta da “guerra de conservação”, sugerimos repensar o fundamento ético do fazer científico na Educação e, sobretudo, a necessidade de se democratizar a ciência produzida e difundida pela área estimulando um ecossistema diversificado de revistas acadêmicas, comprometidas com os imperativos do universalismo, do comunalismo, do desinteresse e do ceticismo organizado, tal qual proposto por Merton. Contudo, a escolha deliberada e consciente por tais imperativos também é vigilante, para que não recaia na ingênua percepção de que a academia acalenta a meritocracia, ou de que quaisquer critérios definidores de qualidade, oportunidades ou recursos sejam neutros, como advertido por Bourdieu.

Entendemos, na noção de ética aberta às mudanças, um convite à transcendência da tradição arraigada, respeitando suas raízes; um chamado ao desafio do novo, atendendo às subjetividades. Nossa sobrevivência, como pesquisadores da Educação, depende de abrirmo-nos às transformações, de forma cooperativa, integrada e solidária, reconhecendo, afinal, que a ciência, conhecimento sempre inconcluso, não comporta campos fechados.

A quem teimar não entender, as batatas.