texto em 
Inglês (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
Introdução
O Qualis-Periódicos é muito mais do que um portal organizado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para chancelar um ranqueamento nacional de revistas de uma determinada área do conhecimento, já que, ao classificar e valorar os veículos de comunicação científica, passa a ser utilizado para qualificar a produção dos docentes vinculados ao Sistema Brasileiro de Pós-graduação, interferindo diretamente na pontuação quadrienal dos Programas de Pós-Graduação. Assim, os periódicos bem avaliados transferem valor a seus autores, melhorando a nota de seus programas e permitindo maiores recursos de agências financiadoras e melhor autonomia de gestão sobre os gastos realizados.
A CAPES, portanto, cria uma métrica nacional para enfrentar esse quesito específico da avaliação - independente das diferenças regionais ou históricas -, de modo que retorne à sociedade o investimento feito na academia, mediante a indicação dos resultados da Pós-graduação na geração de recursos humanos e no desenvolvimento de novos produtos e processos (MONTEIRO; FURLAN; SUAREZ, 2017).
Contudo, a gestão das revistas frente às métricas adotadas pelo sistema avaliativo - pelo Qualis-Periódicos - tem como resultado um ambiente extremamente competitivo devido à imposição de travas estatísticas que perpetuam desigualdades ou desclassificam periódicos através dos estratos avaliativos fixados, em nome de preservar a qualidade da produção científica nacional e dos veículos científicos, cada vez mais internacionalizados. Por mais que seja possível reconhecer que o Qualis tem sido um dos elementos responsáveis pelo aprimoramento dos periódicos nacionais, o clima competitivo dificulta que as competências da equipe editorial estejam totalmente voltadas à seleção e circulação do conhecimento científico relevante produzido na academia ou nos laboratórios e centros de pesquisa.
Tomando a Área de Educação como referência, vários autores têm se debruçado sobre a política de produção do Qualis pela CAPES, enfocando diferentes aspectos: os impactos no processo de gestão editorial de periódicos (SANTOS CRUZ, 2020; PONCE et al., 2017); os indicadores mais adequados à métrica de avaliação (SANTOS CRUZ; SANTOS; BIZELLI, 2019; SOUZA et al., 2018); os efeitos da utilização de um fator de impacto internacionalizado sobre o sistema de pós-graduação (BIZELLI, 2017); o processo de avaliação dos periódicos em estratos específicos e períodos determinados (RIBEIRO; ALENCAR; COUTO, 2016); os contornos e limites do processo Qualis (BARRADAS BARATA, 2016).
O presente artigo, porém, traça uma comparação entre os processos avaliativos que vão de 2010 a 2018 - ou seja, compreende o triênio 2010-2012; o quadriênio 2013-2016 e a avaliação de meio termo que aconteceu em 2019 -, percorrendo indícios que apontem para o motivo das mudanças realizadas nos critérios de classificação e suas consequências para as revistas. Assim, busca entender a tendência em internacionalizar os periódicos brasileiros para consolidar um modelo de política científica, como apontam Frigeri e Monteiro (2014).
Segundo Gil (2002, 2008), é possível dizer que a pesquisa é explicativa, ou seja, procura identificar os motivos para a ocorrência dos fatos; de cunho descritivo; e utiliza-se de fontes documentais de informação: documentos oficiais da CAPES (MARCONI; LAKATOS, 2002). A finalidade, portanto, é contribuir para a compreensão, o fortalecimento e o aperfeiçoamento do sistema de avaliação da produção acadêmica, no Brasil, rumo às melhorias que se façam necessárias, sob a ótica discursiva construída pelo presente texto.
Por que avaliar periódicos?
Entre dezembro de 2019 e novembro de 2020, a produção científica brasileira ultrapassou 275 mil artigos publicados (NATURE INDEX, 2021). Os números agregam um conjunto expressivo de instituições como universidades, centros de pesquisas, com ou sem apoio de agências de fomento, esparramadas em milhares de periódicos científicos que publicizam o conhecimento construído.
Todo esse universo está submetido a regras que medem a regularidade dos veículos de publicação; a normalização dos artigos; a verificação da originalidade da produção, entre outros procedimentos. Avaliar, portanto, faz-se necessário para orientar políticas públicas para o incentivo do setor acadêmico. Contudo, avaliar a produção de conhecimento pode ser abstrato e de difícil execução (YAMAMOTO, 2001); ou, ainda, avaliar propicia horizontes diferentes: pode prever punição por ações estratégicas implantadas no passado; mas também pode promover reflexões positivas sobre como agir no futuro, oferecendo estabilidade ao próprio sistema de avaliação, desde que seja visível e permita as correções necessárias para ajustes e melhorias (PONCE et al., 2017).
A garantia de que um trabalho publicado contribua para a construção do conhecimento científico, que siga os métodos de pesquisa reconhecidos em sua execução e que esteja apresentado dentro das normas nacionais ou internacionais de padronização é dada pela confiabilidade e prestígio que a revista alcança no sistema avaliativo, retribuindo ao autor reconhecimento por suas descobertas. É fundamental que o sistema tenha rigor de critérios para aferir a qualidade do veículo científico, muito embora as métricas de avaliação estejam historicamente em constante aprimoramento.
No Brasil, o sistema de avaliação de periódicos é responsabilidade da CAPES, fundação do Ministério da Educação (MEC), que tem entre seus papéis institucionais avaliar, expandir e consolidar a Pós-graduação stricto sensu. Fazem parte das atribuições da CAPES:
avaliação da pós-graduação stricto sensu;
acesso e divulgação da produção científica;
investimentos na formação de recursos humanos de alto nível, no país e exterior;
promoção da cooperação científica internacional;
indução e fomento da formação inicial e continuada de professores para a educação básica nos formatos presencial e a distância (BRASIL, 2020).
O Qualis-Periódicos, portanto, é um dos instrumentos de avaliação do Sistema Nacional de Pós-graduação (AZEVEDO; OLIVEIRA; CATANI, 2016), já que é o principal medidor da produção dos docentes que pertencem à Pós-graduação (CAPES, 2021). Por princípio, o Qualis mede a qualidade dos artigos científicos, como foi dito, pelo prestígio do veículo de divulgação usado pelos autores.
A estratificação proposta pela agência foi modificada dentro do período de análise deste artigo. No triênio 2010 a 2012 e no quadriênio 2013 a 2016 os estratos eram: A1; A2; B1; B2; B3; B4; B5 e C, e na avaliação de meio termo (2019) foi utilizada a mesma classificação que orientará o período 2017 a 2020 - a ser publicizada em 2021 -, assim estabelecida: A1; A2; A3; A4; B1; B2; B3; B4 e C. Em verdade, os estratos A1; A2 e B1 do antigo Qualis foram transformados em A1; A2; A3 e A4, enquanto os outros estratos transformaram-se em B1; B2; B3; B4 e C, conforme será percentualmente explicado mais adiante.
Outra mudança interessante a ser anotada sobre os períodos citados - 2010 a 2016 e 2017 em diante - foi sobre a amostra classificada nas áreas. Fazem parte da amostra analisada pela comissão de cada área de conhecimento todos os periódicos citados pelos professores de Pós-graduação daquela área, no período avaliado . Até 2016, os periódicos tinham Qualis diferentes em diferentes áreas de conhecimento. Depois disso, criou-se o conceito de área-mãe, ou seja, os periódicos seriam analisados na área onde fossem mais citados - esta seria a área mãe do periódico - e esta classificação - Qualis-único - valeria para todas as demais áreas .
É importante reafirmar a necessidade de que os indicadores de qualidade sejam claros e estáveis: no caso da Educação, quanto mais qualitativos - e não quantitativos -, ampliam a possibilidade de diálogo com o Sistema de Avaliação, enfrentando questões como as travas estatísticas (SANTOS CRUZ, 2020). Os resultados da avaliação de um determinado período não funcionam apenas como indicador de prestígio de um veículo, mas transferem prestígio a autores e artigos publicados em revistas de Qualis mais elevado (SILVA, 2009). Segundo Frigeri e Monteiro (2009, p. 311), o Qualis é, cada vez mais, empregado como indicador:
[...] que auxilia na concessão de financiamentos, na inclusão de títulos em bibliotecas e indexadores, na orientação de pesquisadores e leitores durante a escolha de títulos, na submissão de trabalhos e na pesquisa de material bibliográfico, além de estimular os editores a elevar o padrão de qualidade dos seus periódicos.
Outro ponto a ser lembrado é que todas as exigências do Qualis influenciam nos processos de gestão dos periódicos, tanto em suas práticas de produção, como na qualidade da publicação, ou mesmo na busca por atender demandas da indexação, incutindo nos editores padrões para manter a revista em destaque na área. Fora que a manutenção dos critérios do sistema de avaliação da CAPES é instável, o que diminui a colaboração entre editores, pois fomenta um ambiente competitivo (BIZELLI; SANTOS CRUZ, 2016; PONCE et al., 2017).
No Brasil, porém, os periódicos científicos não dispõem das mesmas condições de trabalho e principalmente não possuem os mesmos orçamentos: as Agências de Fomento exigem, por exemplo, que o periódico esteja no topo da classificação para receber recursos, fortalecendo os mais fortes e desincentivando os mais fracos que precisam crescer. A abertura de um diálogo permanente com as agências poderia criar formas de suporte para que as equipes editoriais não se sentissem tão prejudicadas nos processos de avaliação.
A CAPES, por sua vez, minimiza o papel do Qualis no quadro da avaliação científica brasileira, frisando sua origem e função. Esclarece, portanto, que o Qualis não é, por exemplo, um indexador - embora muitos editores queiram ver seus periódicos “indexados” no instrumento avaliativo -, não é uma base bibliométrica, mas diz respeito à produção docente nos cursos de Pós-graduação. Assim, não é objetivo do Qualis classificar periódicos, ou atestar sua qualidade e muito menos ser utilizado fora do escopo fixado pelo Sistema de Avaliação da Pós-graduação brasileira.
Como observa Barradas Barata (2016), a submissão de artigos em periódicos considera aspectos relativos à revista, além de seu estrato Qualis, tais como: público-alvo, credibilidade e escopo. Reitera a autora que o Qualis não foi desenvolvido para avaliar o desempenho científico individual de autores - ele não tem a capacidade para tal -, já que foi pensado para avaliar e analisar a produção coletiva de um programa de Pós-graduação. Aponta também que o instrumento de medida é pouco sensível a revistas que alteram seus indicadores de modo acelerado, já que o período de utilização é datado (triênio ou quadriênio), cabendo correções apenas para a próxima avaliação.
Daí o volume de reclamações sobre a falta de diálogo entre CAPES e editores, que normalmente procuram obter melhor classificação a fim de incrementar positivamente sua capacidade de alcançar fontes de fomento. É importante frisar que as Agências de Fomento brasileiras são as primeiras a incentivar este comportamento competitivo ao exigir, com já foi dito, que as revistas agraciadas por seus editais estejam no topo do Qualis.
Analisando os dados
Segundo os objetivos traçados pela pesquisa, fixamos como objeto de análise o Qualis-Periódicos, da área da Educação, trabalhando com as constantes transformações sofridas pelo indicador rumo a diminuir as diferenças entre os critérios das diversas áreas de avaliação e rumo à internacionalização da produção científica nacional. Metodologicamente, tratou-se de explicar e descrever os fenômenos que envolveram o objeto de estudo, identificando fatores determinantes e pressupostos (GIL, 2002), com instrumentos de pesquisa comparativos, avaliando similaridades e dessemelhanças (GIL, 2008). A principal fonte de dados foi a documentação oficial da CAPES (MARCONI; LAKATOS, 2002).
Os dados se referem aos períodos avaliativos do triênio de 2010-2012, momento de tendência à internacionalização amena; o quadriênio 2013-2016, quando se busca a internacionalização com maior rigor; e a avaliação de meio termo (2017-2018), quando internacionalizar passa a significar encontrar um índice de impacto. Coletados, os resultados da aplicação dos critérios foram transformados em gráficos para facilitar as análises.
Toda a discussão observada no triênio 2010 a 2012 resulta em um conjunto de orientações que busca se afastar da determinação de um fator de impacto que pudesse, como critério único, orientar a avaliação da produção científica publicada em periódicos. Havia uma orientação para a internacionalização, mas que se concretizava em exigir das revistas um corpo editorial internacionalizado, pareceristas que fossem filiados a instituições internacionais e um percentual de artigos com autores estrangeiros. Como já existia um movimento pela diversidade institucional dos veículos de divulgação científica, é possível perceber movimentos de cooperação com grupos internacionalizados.
Embora já houvesse um incentivo à indexação das revistas, a partir do quadriênio 2013-2016, os estratos superiores do Qualis passaram a exigir quantidades numéricas de determinados indexadores: Web of Science; Scopus; Scielo BR; Educ@; Social Sciences Citation Index; Redalyc; DOAJ; IRESIE; BBE; Latindex e Clase. Na avaliação de meio-termo (2017-2018), o critério de número de indexadores permanece, só que para o estrato A1 eles passam a ser mais restritos: Web of Science; Scopus e Scielo BR. Ao mesmo tempo, um indicador de impacto é utilizado pela primeira vez: o h5 do Google Scholar.
Ao lado dos indicadores mais rígidos, boas práticas de editoração passaram a ser valorizadas na classificação do triênio 2013-2016, tais como: artigos cadastrados no sistema DOI (Digital Object Identifier), composto por uma série de números e letras que identificam e legitimam a publicação; a modalidade de publicação ahead of print, que dá agilidade na publicação e aumenta o tempo de exposição do artigo para citações, possibilitando que o material aprovado ganhe divulgação e companha posteriormente um número publicado em fascículo; edições com baixa endogenia e alta proporção de artigos em língua estrangeira ou, mais especificamente, inglesa. Quanto à classificação de meio termo (2017-2018), aprofundou-se a questão das boas práticas editoriais - qualidade gráfica, transparência na gestão editorial e na série histórica do periódico - e passou-se a exigir a identificação Orcid (Open Researcher and Contributor ID) dos autores.
A comissão de avaliação de periódicos educacionais do quadriênio 2013-2016 (CAPES, 2017) observou que houve inclusão de indexadores nos critérios de estratificação porque na classificação anterior revistas A1 ou A2 necessitavam estar indexadas no Scielo, medidor considerado muito restritivo. Em verdade, no triênio 2010-2012 não havia nenhuma exigência quanto a indexadores específicos. Com relação aos demais critérios, a avaliação 2013 e 2017 manteve-se inalterada. Até 2016, os periódicos eram classificados com base nas travas obrigatórias que determinavam que 25% deveria ser A1 + A2, sendo que A1 deveria ser menor que A2; 25% deveria ser B1 e 50% estavam direcionados aos estratos: B2, B3, B4 e B5 (CAPES, 2021). Para a classificação 2017-2020 - e para a análise feita em 2019, considerando o período 2017 e 2018 - há uma reorganização dos estratos, como dissemos, e se propõe que A1 < A2; A1 + A2 < A3 + A4; A1 + A2 + A3 + A4 ≤ 50%, assim, os demais periódicos estariam nos estratos B1, B2, B3 e B4. Aqueles que não fossem considerados revistas científicas estariam no estrato C (CAPES, 2019).
A partir de todas estas alterações - seja nos critérios de indicadores, seja nos mais recentes padrões de estruturação: Qualis referência para cada área mãe e nova estratificação - é possível visualizar e comparar o impacto dessa alteração na classificação dos periódicos no Tabela 1.
Tabela 1: Comparativo da quantidade de periódicos avaliados pelo Qualis-Periódicos Educação 2010-2012, 2013-2016 e 2017-2018.
| Estratos | Qualis-Periódico Educação 2010-2012 (a) | Qualis-Periódico Educação 2013-2016 (b) | Qualis-Periódico Educação 2017-2018 (c) | Diferença entre a e b | Diferença entre b e c |
| A1 | 115 | 121 | 37 | + 6 periódicos | - 84 periódicos |
| A2 | 170 | 380 | 39 | + 210 periódicos | - 341 periódicos |
| A3 | Não possuía | Não possuía | 47 | + 47 periódicos | |
| A4 | Não possuía | Não possuía | 65 | + 65 periódicos | |
| B1 | 322 | 542 | 74 | + 223 periódicos | - 468 periódicos |
| B2 | 378 | 425 | 89 | + 47 periódicos | - 336 periódicos |
| B3 | 390 | 357 | 62 | + 33 periódicos | - 295 periódicos |
| B4 | 455 | 307 | 115 | + 148 periódicos | - 192 periódicos |
| B5 | 485 | 782 | Não possui | + 297 periódicos | - 782 periódicos |
| Total | 2315 | 2914 | 528 | + 599 periódicos | - 2386 periódicos |
Fonte: Elaboração dos autores a partir dos Relatórios Qualis-Periódicos Educação 2013, 2017 e 2019.
É possível observar que muitos periódicos conseguiram melhor classificação durante o quadriênio 2013-2016, mesmo com exigências mais objetivas, com critérios que passaram a ser mais específicos. No entanto, muitos periódicos desapareceram do conjunto avaliado em Educação, no meio termo (2019): com a ideia da área mãe, foram avaliados em outras áreas do conhecimento. Nesse sentido, o Gráfico 1 ilustra o impacto da medida para periódicos classificados nos estratos A1 e A2, estratos que identificam os melhores periódicos no transcorrer de todo o período 2010 a 2018.
Fonte: Elaboração dos autores a partir dos Relatórios Qualis-Periódicos Educação 2013, 2017 e 2019.
Gráfico 1: Comparação entre os estratos A1 e A2 na classificação do triênio 2010-2012; quadriênio 2013-2016 e meio termo 2017-2018.
Vale lembrar que na avaliação de meio termo (2017 e 2018) foi utilizado, para a área de Educação, o índice h (PUCRS, 2019) do Google Scholar, como medidor de impacto, ou de citação. A escolha recaiu sobre este indicador já que os periódicos nacionais de humanidades têm baixa presença nas bases Scopus e Web of Science. Dessa forma, para a avaliação realizada em 2019 foi aceito o cálculo de impacto pelo h 5 do Google Scholar, enquanto se discute no Colégio de Humanidades um método padrão de avaliação para o final do atual quadriênio (2017-2020), aproximando metodologia utilizada por todas as áreas (CAPES, 2021).
Para a avaliação final do quadriênio 2017 a 2020, haverá ainda um recorte linguístico para a utilização do h index: o idioma predominante do periódico passa a separar as revistas nacionais das demais , ou seja, atende-se à diferença, por exemplo, entre uma revista predominantemente constituída por artigos em português - que deve atender ao h 5 - e outra constituída por artigos em inglês - que deve atender ao Fator de Impacto. O h 5 dos periódicos nacionais passam a ser corrigidos pelo software Harzing’s Publish or Perish. Determinou-se, também, que periódicos com o h index igual a zero ficariam classificados em C, sendo que os demais estratos foram divididos em oito grupos com a média de 12,5% por grupo, em que o mais elevado era aquele com maior h index (CAPES, 2021).
Resumindo, na avaliação proposta para o quadriênio 2017 a 2020, além dos periódicos serem avaliados por suas áreas mãe ou irmãs, serão classificados conforme seu impacto, pelo idioma em que publicam, diminuindo consideravelmente o número de revistas avaliadas e, portanto, diminuindo as revistas dos estratos A1 e A2, criando alta expectativa sobre os resultados do Qualis 2021.
Conclusão
Por tudo que foi dito, configura-se a importância do Qualis-Periódicos para a avaliação da produção docente vinculada aos programas de Pós-graduação stricto sensu, no Brasil. Mesmo assumindo muitas funções para as quais não foi criado, o instrumento permanece influenciando a direção de pesquisas científicas e interferindo em todo o campo editorial, uma vez que induz práticas de como o conhecimento científico de qualidade deve ser publicado (FRIGERI; MONTEIRO, 2014).
Assim, a análise comparativa dos dados sobre as classificações feitas nos três períodos - no triênio 2010-2012, no quadriênio 2013-2016 e na avaliação de meio termo (2017 e 2018) - demonstra que mudanças de critérios entre o primeiro e o segundo período tornaram a classificação mais objetiva, facilitando a estratificação dos periódicos e melhorando a posição relativa de muitos deles. Diferentemente, a transição de 2013-2016 para 2017-2018 foi realizada com um novo diferenciador - um medidor de impacto - que embora não tenha sido utilizado como fator único, criou condições para conduzir a próxima avaliação (2021).
Restam avaliar os efeitos da mudança, justamente, em 2021. O h index veio para ficar e seus efeitos serão materializados, enquanto equipes editoriais passam a se preocupar com a possibilidade de diálogo após a classificação e coordenadores de Pós-graduação passam a se preocupar com os efeitos da avaliação da produção docente no resultado da avaliação dos programas. Toda a comunidade científica, porém, olha com preocupação para a pontuação Qualis, já que esta orienta escolhas em outras agências, como quando um docente pede uma Bolsa de Pesquisador ao CNPq.
Embora seja possível pensarmos que parâmetros de avaliação como o Qualis-Periódicos sejam recentes - a série histórica montada para este artigo conta nove anos - e que os critérios ainda estejam em uma fase incremental, não é assim: por um lado, 2021 trará uma ruptura, um novo medidor, abandonando a tendência incremental; por outro lado, percebe-se um movimento dentro dos setores de avaliação para a extinção do Qualis. É preciso compreender e refletir mais sobre o sistema de avaliação de periódicos e sobre os indicadores que valorizam a produção docente no país, afastando os interesses particulares de grupos de interesse ou de indivíduos que desejam nortear a pesquisa brasileira.
