Lançado em 2019, Qualis periódicos: a regulação da pesquisa no Brasil, de Nicolas Addor , traduz a preocupação do autor - e de diversos cientistas da área da educação - com o produtivismo intelectual e suas implicações para os docentes e para os Programas de Pós-Graduação.

As avaliações adquirem relevância e papel preponderante no cenário educacional brasileiro, podendo arriscar a afirmativa de que são elas, as avaliações, responsáveis pela regulação das políticas educacionais. O livro Qualis Periódicos: a regulação da Pesquisa no Brasil apresenta-se, assim, como um bom caminho para aqueles que desejam compreender o processo de avaliação das revistas científicas realizado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) em nosso país.

O texto aponta dois aspectos significativos para o leitor interessado em conhecer o processo avaliativo das revistas científicas no Brasil. O primeiro diz respeito à descrição do processo avaliativo, em seus aspectos positivos e negativos, que possibilita conhecer a avaliação de periódicos promovida pela CAPES. O segundo trata das críticas levantadas pelo autor, que direcionam o leitor a um olhar mais profundo sobre o tema. Indica problemas estruturais de ordem jurídica, administrativa e de cunho não democrático do processo de avaliação das revistas.

Nicolas Addor apresenta o texto dividido em três partes. A primeira - A avaliação de periódicos científicos no Brasil - está subdividida em dois capítulos: Organização da metodologia estatal de avaliação de periódicos e A questão do Qualis periódicos. O primeiro capítulo faz um resgate histórico sobre o surgimento da avaliação de revistas pela CAPES, com foco na criação do modelo Qualis periódicos. Para Jacon:

A produção científica é caracterizada como um dos itens mais importantes no sistema de avaliação de um programa e, devido a tal importância, foi necessária a criação de um instrumento que sistematizasse o processo, fornecendo indicadores que subsidiassem o sistema de avaliação de programas. (^{JACON, 2007}, p. 190).

A CAPES criou uma metodologia avaliativa voltada às revistas científicas, classificando-as em estratos, com o objetivo de serem utilizados nas avaliações institucionais realizadas periodicamente sobre os Programas de Pós-Graduação.

Nacionalmente, a avaliação de periódicos científicos consiste em uma atividade estatal, exercida pela CAPES, e possui uma ampla influência sobre as estruturas e formação dos programas de pós-graduação brasileiros. Como é notório, a fundação CAPES exerce o poder regulador, como a implementação do modelo de avaliação dos programas de pós-graduação stricto sensu sobre os docentes, discentes, infraestrutura e produtividade intelectual do programa. (^{ADDOR, 2019}, p. 36).

O influente papel que a CAPES exerce sobre os Programas de Pós-Graduação, na atualidade, tem sua origem na década de 1960, quando o processo de avaliação começou a ser planejado. Contudo, é em 1998 que, pela primeira vez, a CAPES classifica os programas por notação, sendo a avaliação obrigatória e necessária para obter recursos públicos de investimento, bolsas e auxílios financeiros para os programas.

Ainda no primeiro capítulo, Addor apresenta uma síntese dos Planos Nacionais de Pós-Graduação (PNPG) desenvolvidos entre 1975 e 2020. No total, foram seis Planos. O primeiro (1975-1979) teve o escopo de iniciar o planejamento estatal nas atividades da Pós-Graduação visando a formação de recursos humanos para a academia, setor público e privado. O segundo PNPG (1982-1985) voltou-se à qualidade dos profissionais formados e das pesquisas realizadas, exigiu eficiência e confiabilidade dos sistemas de informação e avaliação do desempenho dos Programas. O Terceiro (1986-1989) obrigou a subordinação das atividades de ciência e tecnologia ao desenvolvimento econômico nacional. O quarto PNPG não chegou a ser institucionalizado, mas a CAPES adotou suas diretrizes dando ênfase à expansão do Sistema Nacional de Pós-Graduação. O quinto (2005-2010) introduziu o princípio da indução científica, aspecto altamente relevante para a implementação do Qualis de Periódicos. E, no sexto plano, o quinto a ser implementado (2011-2020), são definidas as diretrizes, as estratégias e as metas para o avanço da política de Pós-Graduação e pesquisa nacional.

No segundo capítulo, o autor discute A regulação do Qualis periódicos. O autor apresenta os critérios adotados na avaliação de revistas científicas, o processo de coleta de periódicos, as avaliações das revistas pela comissão de consultores e a divulgação e a atualização dos resultados para a comunidade cientifica.

As avaliações do Qualis possuem quatro regras comuns a todas as áreas. A primeira regra é a obrigatoriedade de classificação de todas as revistas científicas inseridas no Coleta Capes da Plataforma Sucupira pelos programas de pós-graduação; a segunda regra se refere ao respeito ao limite máximo de 50% dos periódicos classificados nos estratos mais elevados, considerando os estratos, A1, A2 e B1, ...; a terceira regra impõe que apenas 25% das revistas de cada lista podem estar classificadas nos estratos A. A última regra geral estabelece que os títulos inseridos no estrato A1 tem que estar em menor proporção do que os qualificados no estrato A2. (^{ADDOR, 2019}, p. 57).

Ao mencionar as “travas” (percentagem de periódicos para cada estrato) do Qualis Periódicos, o autor da obra apresenta a realidade oriunda de sua pesquisa localizada em seu tempo; entretanto, estamos em meio a um processo de modificação significativa, em que não temos, ainda, uma definição clara quanto à forma de estratificação e de seus indicadores.

Para além dos critérios gerais, são estabelecidos critérios específicos pelas áreas que possuem como característica a mutabilidade; desse modo, a definição das regras e dos processos avaliativos depende da definição por parte do coordenador de área e da comissão de análise. No que se refere à coleta de dados, ^{Addor (2019}) destaca que as revistas são citadas pelos Programas de Pós-Graduação no Coleta Capes, programa que objetiva facilitar o processo de coleta de informações dos Programas de Pós-Graduação stricto sensu. Segundo Addor:

Para o preenchimento de artigos publicados em periódicos, é obrigatória a informação do campo International Standard Serial Number - ISSN da revista em que foi publicada. Colhida essa informação, o sistema irá buscar de maneira automática o cadastro correspondente na base de dados. (^{ADDOR, 2019}, p. 72).

Assim, todos os periódicos citados pelos Programas de Pós-Graduação no Coleta Capes são avaliados e classificados. Os periódicos que, porventura, não possuem ISSN não são avaliados, da mesma forma que revistas não citadas no Coleta Capes também são desconsideradas no processo. Após a coleta, faz-se a avaliação dos periódicos, iniciada pela constituição da comissão de avaliação.

O autor ressalta que não há nenhum registro legal, como Portarias ou Decretos, de nomeação dos membros das comissões e complementa que “[...] a publicação da composição da comissão é quase desconhecida se o interessado não realizar uma pesquisa pormenorizada” (^{ADDOR, 2019}, p. 76). Nos sites da CAPES, nas páginas das áreas e no WebQualis, não se encontrará a relação, e, mesmo quando se encontram os nomes, não estão presentes os critérios de escolha utilizados na composição da comissão. Entretanto, a afirmação do autor não corresponde ao cenário da área de educação da última avaliação, avaliativo de 2017 e 2018, em que a Coordenação de área enviou ofício às coordenações dos Programas de Pós-Graduação indicando os critérios para a escolha da comissão.

Para os procedimentos de avaliação, o primeiro passo ao receber da Diretoria de Avaliação (DAV) a lista dos veículos utilizados pelos Programas de Pós-Graduação é identificar os periódicos quanto ao assunto e ao escopo. Feita a identificação e subtraídas as possíveis duplicidades de dados e eliminação dos periódicos considerados não científicos, procede-se à avaliação com base nos critérios elencados por cada área (^{ADDOR, 2019}).

A divulgação dos resultados das estratificações do Qualis Periódicos era feita por meio da disponibilização das informações na Plataforma Sucupira, mais especificamente na aplicação WebQualis. A lista apresenta três informações por periódico: o nome da revista, o ISSN e a classificação Qualis. Nesse aspecto, o autor tece críticas indicando que não há menção quanto à instituição que o periódico está ligado, bem como alerta para a repetição de um mesmo periódico várias vezes na lista, ou para a questão da incorreção do nome de alguns periódicos ou, ainda, a falta do nome ou do Qualis da revista. Essa questão foi corrigida no ciclo seguinte, como alertam ^{Souza et al. (2018}). De acordo com os autores:

No processo avaliativo realizado em 2015, foram observadas várias incongruências e equívocos que alteravam muito o posicionamento de diversas revistas. Em 2016, parte considerável disto foi equacionada, com a revisão das classificações. Mas, ainda restaram problemas com alguns periódicos que foram confundidos, por terem, por exemplo, títulos iguais aos de outras revistas (algumas até descontinuadas naquele momento), e que ficaram com resultado ou sub ou superestimado. Dentre os periódicos internacionais havia classificações superestimadas de periódicos considerados predatórios. (^{SOUZA et al., 2018}, p. 220).

O processo avaliativo realizado em 2017, segundo ^{Souza et al. (2018}), corrigiu quase todas as questões problemáticas do ciclo anterior. Contudo, não foi estipulado um período para recursos, por parte dos editores. Questão que, na avaliação de 2019, ainda que possível recorrer, não houve condições para alterações na lista do Qualis.

A segunda parte da obra - Análise da regulação de periódicos realizada pelo Qualis - também é subdividida em dois capítulos (capítulos 3 e 4). No capítulo três, Ponderações sobre a regulação da CAPES sobre os periódicos, o autor aborda o papel regulador do Qualis Periódicos e discute o princípio da moralidade e a função do Qualis para além da avaliação da produção científica, passando por considerações sobre a publicidade e a eficiência do Qualis Periódicos. O autor termina com críticas à legalidade, à segurança jurídica e à democracia no processo de avaliação.

Ao apresentar o capítulo, Addor traz a discussão sobre a origem e a função da CAPES, como uma fundação pública instituída pelo Poder Executivo, mas que se aproxima de outras entidades da Administração Pública indireta, na qualidade de uma agência reguladora.

Fato é que a CAPES disciplina as atividades anteriormente citadas. Primeiro, ela fiscaliza uma atividade administrativa notadamente considerada como serviço público exercível pela Administração Pública e por particulares, que é a educação superior em nível de pós-graduação stricto sensu. Segundo, estabelece diversas políticas para fomento e fiscalização da atividade privada por meio da avaliação dos programas de pós-graduação e da concessão de bolsas e auxílios financeiros para projetos de pesquisa nas instituições de ensino superior. (^{ADDOR, 2019}, p. 88).

Para o autor, o direcionamento dos Programas de Pós-Graduação e das políticas editoriais das revistas científicas por meio da avaliação constitui um mecanismo de regulação estatal e torna a CAPES o órgão estatal regulador da Pós-Graduação stricto sensu no Brasil. Para Dias Sobrinho (2003), o processo de avaliação da Educação Superior brasileira é utilizado como um instrumento privilegiado de regulação, que ultrapassa as barreiras burocráticas de controle, de modelação e de fiscalização.

Ainda em tom de crítica, ^{Addor (2019, p. 111)} afirma que “[...] outro fator que o Qualis periódicos desconsidera em seu modelo de avaliação é a segurança jurídica, que necessariamente deveria imperar no estabelecimento dos critérios e do processo de análise das revistas científicas”. Nesse aspecto, o pesquisador usa da especificidade de sua área de formação e apresenta elementos considerados, em sua opinião, contraditórios ao modelo avaliativo dos periódicos com a ordenação jurídica e administrativa.

O quarto capítulo - Ponderações estruturais sobre o processo avaliativo - apresenta considerações sobre a disparidade do procedimento avaliativo entre as áreas de conhecimento e a indispensável mudança na divisão das áreas de conhecimento. Um dos elementos destacados é a utilização da lógica de mercado:

Uma proporção considerável das áreas de avaliação utiliza estritamente a dimensão de qualidade de mercado para a estratificação, visto que a utilização de um critério quantitativo de avaliação dos cientistas é um meio de impulsionar o aumento do número de artigos científicos e de novos periódicos. (^{ADDOR, 2019}, p. 117).

Entretanto, há quatro dimensões básicas de qualidade dos periódicos científicos, segundo Piotr ^{Trzesniak (2006)}. Seriam eles: “a dimensão de adequação técnico-normativa do produto, a dimensão de finalidade do produto, a dimensão de processo de produção e por último a dimensão de mercado” (^{TRZESNIAK, 2006}, p. 348).

Outra problemática citada por ^{Addor (2019)} está novamente relacionada à falta de transparência quanto aos critérios utilizados para a avaliação dos periódicos. A questão central aqui é a disparidade entre os procedimentos adotados pelas áreas de conhecimento do Qualis periódicos. Consoante o autor:

Se cada área organiza o modo como a avaliação será realizada pela comissão e, ao mesmo tempo, não a especifica claramente, os periódicos científicos, principalmente aqueles que são classificados em numerosas áreas do conhecimento, não terão segurança para estabelecer uma estratégia de qualidade da revista de forma eficiente devido ao grande número de fatores omissos que deverão considerar. (^{ADDOR, 2019}, p. 119).

Quando observamos as listas do Qualis periódicos, conseguimos perceber tal problemática. Um mesmo periódico apresenta estrato diferente em cada uma das áreas que é avaliado, reforçando a tese do autor de que há disparidade entre os procedimentos e os critérios adotados pelas áreas. Esse fator dificultaria o planejamento das revistas para a obtenção da qualidade desejada. Essa questão também foi resolvida no ciclo seguinte, pois, atualmente, o Qualis é único.

A segunda parte do capítulo apresenta uma discussão sobre a divisão das áreas. Ainda que seja algo em construção, as mudanças propostas para o quadriênio de 2017-2020, no modelo de avaliação, apontam para tentativas de diminuir os problemas gerados pela divisão das áreas. O centro dessa mudança está no fato de que o Qualis passa a ser um só, e não mais um para cada área. O autor não trata desse aspecto, mas sua apresentação levanta o problema oferecendo reflexões contundentes.

A terceira parte do livro - Análise dos Periódicos Científicos avaliados pelo Qualis - apresenta o capítulo 5, intitulado Levantamento do Qualis periódicos: análise dos resultados obtidos, que traz a metodologia adotada para coleta e seleção dos periódicos e apresenta uma análise global dos periódicos mapeados, bem como uma análise por Colégios e grandes áreas. O capítulo termina com um olhar mais atencioso para o Colégio de Humanidades. Nessa parte, são apresentadas, ainda, inúmeras tabelas e gráficos com os dados levantados pelo pesquisador, por meio dos quais ele discute os números absolutos e percentuais da distribuição dos periódicos pelos estamentos do Qualis periódicos. A forma como o autor organizou e apresentou os dados possibilita, ao leitor, perceber como estão organizadas as revistas científicas nos estratos do Qualis periódicos da CAPES.

O capítulo 6 - Parecer crítico quanto às revistas científicas mapeadas - é a parte mais objetiva da obra. Apresenta duas críticas substanciais ao modelo avaliativo do Qualis Periódicos. A primeira diz respeito a fidedignidades nas informações fornecidas pela base de dados; e a segunda, ao atraso no desenvolvimento digital do Qualis. Nesse capítulo, Addor aprofunda o debate sobre as críticas ao sistema de avaliação e em relação à influência que este tem nos Programas de Pós-Graduação no Brasil.

Em sua opinião, o Qualis Periódicos vem se constituindo na principal forma de regulação da pesquisa no Brasil. Isso se dá devido à relevância que os periódicos científicos têm para a comunicação científica, sendo o principal alicerce dos cientistas na divulgação de pesquisas e seus resultados. O periódico científico fundamenta-se em quatro funções elementares: estabelecimento de uma ciência certificada, pois, para ser publicada, precisa do aval da comunidade científica; canal de comunicação entre pesquisadores para divulgar, de forma ampla, a ciência; arquivo ou memória cientifica, de modo a possibilitar que outros cientistas em tempo e lugares distintos conheçam o que foi e como foi produzido pela ciência; periódico em registro de autoria da descoberta científica.

Segundo ^{Addor (2019, p. 26)}, “[...] o aval da comunidade se faz um importante requisito do periódico científico, considerando que uma característica inerente à ciência é a confiabilidade, que a distingue do conhecimento popular não científico”. Nesses termos, a pesquisa precisa, além da utilização de metodologia científica consistente, que seus resultados sejam submetidos ao crivo da comunidade científica por meio da divulgação e da crítica dos pares.

Na mesma direção, “[...] a qualidade do pesquisador passa a ser avaliada por sua produção” (^{ADDOR, 2019}, p. 26). A padronização da produção possibilita a mensuração, tornando-se requisito da própria ciência para publicação de suas descobertas, ao mesmo tempo que mede a produtividade do pesquisador.

A avalição dos Programas de Pós-Graduação é realizada com a periodicidade atual de quatro anos, e o Qualis periódico é uma das ferramentas utilizadas no processo. O aspecto regulador da CAPES para com os Programas compõe o quadro administrativo do Estado, sendo responsável pelo fomento, pelas orientações e pela fiscalização da sua qualidade.

De forma geral, o livro Qualis Periódicos: a regulação da pesquisa no Brasil, de Nicolas Addor, contribui significativamente com o debate sobre as avaliações da Pós-Graduação no Brasil, oportunizando aos interessados no assunto uma visão genérica da problemática, com incursões cirúrgicas para o debate crítico sobre o sistema. Recomendamos a leitura do livro a todos os pesquisadores, leitores e, principalmente, aos coordenadores de Programas de Pós-Graduação e editores de revistas. A leitura é agradável e pode contribuir com a melhoria da qualidade das revistas científicas e da Pós-Graduação de modo geral.