Introdução

A experiência brasileira de pós-graduação nos últimos anos é a coisa mais positiva da história da educação superior no Brasil e é também a que tem que ser levada a sério.

(Darcy Ribeiro)

Practising what you preach and promise.

(Center for Science and Technology Studies, Leiden University)

A pós-graduação (PG) brasileira é reconhecida internacionalmente pela sua qualidade. O atual sistema de PG é um dos mais robustos e sofisticados do mundo. Os aprimoramentos introduzidos ao longo das décadas promoveram elevados padrões de estabilidade, organização e transparência (Balbachevcki, 2005; Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [Capes], 2018; ^{Martins, 2018}; ^{Saviani, 2000}, 2003, 2020; ^{Verhine; Dantas, 2009}). Como destaca Martins (2018, p. 24), a PG se consolidou como “[...] a dimensão mais exitosa do sistema de ensino no país”. Diferentemente do que ocorre na maioria dos países, todos os cursos de Mestrado e de Doutorado do país integram um sistema centrípeto, centralizado, comparativo, baseado no desempenho e orientado a promover maior homogeneização interna e menor diferenciação. Como destaca a literatura sobre o tema, o Sistema Nacional de Pós-Graduação (SNPG) é organizado, regulado e reproduzido de cima para baixo e do todo em direção às partes. Com tais características, ele pode ser definido como um sistema top-down (^{Brasil; Trevisol; Drooge, 2022}; Martins, 2018; Saviani, 2000, 2003, 2020; Trevisol, 2025; Trevisol; Brasil, 2023; Verhine, 2008; Verhine; Freitas, 2012).

A avaliação e o financiamento são os pilares centrais do sistema. A retroalimentação entre essas duas dimensões tem sido diretamente responsável pela melhoria da qualidade dos cursos e pelo desenvolvimento da pesquisa no país. A PG responde por cerca de 95% da produção científica brasileira (Balbachevcki, 2005; ^{Brasil, 2020}; Capes, 2018, 2020; ^{Verhine; Dantas, 2009}). De acordo com o relatório publicado pela Clarivate em 2024, denominado Panorama das Mudanças da Pesquisa no Brasil (Clarivate, 2024), nos últimos cinco anos (2019-2023) o Brasil publicou cerca de 458.370 artigos, uma média anual de 91.600 produtos. A posição que o Brasil tem ocupado no ranking da produção científica mundial - entre a 13ª e 14ª posição - se deve, em grande medida, à PG. Como destaca ^{Martins (2018}), a PG contribuiu para modernizar a Educação Superior e institucionalizar a pesquisa no interior das Instituições de Ensino Superior (IES). Segundo o autor, a PG consolidou-se como “[...] a dimensão mais exitosa do sistema de ensino” brasileiro (Martins, 2018, p. 24).

O inegável êxito do SNPG deve ser compreendido como parte de um processo mais amplo, ao longo do qual as políticas de PG foram continuamente avaliadas e aprimoradas. O SNPG não nasceu pronto e acabado. As mudanças e as melhorias introduzidas ao longo dos últimos 60 anos (1965-2025) definiram o formato, as características e as especificidades do atual SNPG. A historicidade ajuda a compreender o que foi incorporado e aprimorado ao longo do tempo, assim como identificar o que foi negligenciado, esquecido ou rechaçado. A identificação do que está, total ou parcialmente, ausente é tão importante quanto o que está presente. É relevante perguntar por que determinados aspectos ou dimensões demoraram para serem incluídos ou nunca foram incorporados. O diagnóstico das ausências é, nesse sentido, tão importante quanto o das emergências. Como propõe Boaventura de Sousa ^{Santos (2004}), a compreensão da realidade social e política deve ser feita por meio de um duplo e associado exercício de interpretação, denominado pelo autor de “sociologia das ausências” e “sociologia das emergências” (Santos, 2004, p. 799).

O duplo exercício de interpretação proposto acima inspirou a realização de uma análise sobre as políticas de avaliação da PG brasileira implementadas nos últimos 60 anos, sobretudo a partir de 1975, ano em que foi realizada a primeira coleta de dados para a avaliação da qualidade dos cursos (^{Viana, 2018}), concluída no ano seguinte (^{Siqueira, 2019}). Por meio da análise das ausências e das emergências, foi possível identificar os avanços e as melhorias introduzidas ao longo do tempo, assim como as dimensões que o sistema de avaliação negligenciou ou inseriu de forma parcial. No que tange às ausências, a pesquisa documental revelou, entre outros aspectos, a frágil presença da autoavaliação (AA) nas políticas da PG ao longo das décadas. Essa constatação suscita inúmeras indagações, entre as quais: (i) Por que as políticas de avaliação tardaram a reconhecer o potencial da AA?; (ii) Que relações esse fato guarda com o modelo top-down de avaliação implantado no Brasil?; e (iii) Que fragilidades a ausência da AA introduziu no SNPG?

O primeiro documento da Capes a reconhecer claramente a importância e a necessidade da AA na PG é recente, tendo sido aprovado pelo Conselho Superior em 2018, sob o título Proposta de Aprimoramento do Modelo de Avaliação da PG: Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020 - 10/10/2018 (Capes, 2018). O referido documento reconheceu que essa ausência/lacuna fragilizou o papel do planejamento institucional e contribuiu para tornar os processos avaliativos verticalizados, demasiadamente quantitativos e alheios às diferentes vocações dos Programas de Pós-Graduação (PPGs). O diagnóstico, realizado entre 2017 e 2018, apontou que “[...] o atual sistema avaliativo atingiu um ponto de esgotamento, devendo ser conceitual e objetivamente repensado e aprimorado” (Capes, 2018, p. 3). O documento final indicou, ao menos, dez eixos a partir dos quais as mudanças e as melhorias no sistema de avaliação devem ser concebidas e implementadas. A AA (Eixo 1) foi recomendada como uma ação permanente, que deve ser devidamente institucionalizada no âmbito das IES.

Tendo em vista a incipiente cultura da AA no SNPG, a recente emergência do tema introduz dimensões que desafiam o conjunto das IES e dos PPGs. As IES, em particular, têm sido desafiadas a, entre outras ações: (i) elaborar o planejamento institucional da PG; (ii) conceber e aprovar as políticas institucionais de AA como uma dimensão permanente e integrada aos demais processos de avaliação institucional; (iii) definir, em conjunto com os programas de PG, os objetivos, os procedimentos e os principais resultados do processo de autoavaliação; e (iv) conceber a AA em uma perspectiva multidimensional. A implementação tem exigido mudanças importantes nas políticas institucionais da PG.

Além dos desafios institucionais, a emergência do tema tem colocado desafios teóricos, analíticos e metodológicos para os pesquisadores que desenvolvem estudos sobre a avaliação. A produção científica sobre o assunto é fundamental, sobretudo no atual contexto de formulação e implementação das políticas institucionais de AA. Essas razões motivaram o desenvolvimento da presente pesquisa, cuja principal característica é a sua natureza comparada. Os estudos comparados oferecem elementos que permitem compreender os temas a partir de perspectivas e ângulos raramente observados. Eles possibilitam e estimulam olhares que se movem, simultaneamente, de “dentro para fora” e “de fora para dentro”, permitindo leituras e interpretações que vão além do espaço/tempo em que se está cotidianamente inserido. Similar ao que ocorre quando distintas imagens são projetadas em um mesmo espelho, a comparação oferece parâmetros para a compreensão das especificidades. Os estudos comparados ampliam a nossa percepção da realidade e nos estimulam a realizar uma espécie de hermenêutica da suspeição. O conhecimento obtido é, de alguma maneira, autoconhecimento. A compreensão das semelhanças, diferenças e especificidades dos temas/objetos comparados é movida e regada, quase sempre, pelo interesse e pela necessidade de produzir discernimento sobre a realidade analisada, como aspectos positivos, negativos, virtudes, limitações, vantagens, desvantagens etc.

A pesquisa foi desenvolvida em dois países muito distintos - o Brasil e os Países Baixos - que realizam a avaliação da PG de maneira muito diferente. A experiência internacional escolhida para contrastar com o modelo brasileiro é reconhecida internacionalmente pelo uso sistemático e institucionalizado da AA. Ao longo das décadas, a experiência holandesa tem inspirado instituições de diversos países, inclusive do Brasil. Além da AA, o país destaca-se pelo uso do modelo U-Multirank, uma metodologia desenvolvida em 2014 pelo Centro de Educação Superior em Gütersloh (Alemanha) e pelo Centro de Estudos sobre Políticas em Educação Superior da Universidade de Twente (Países Baixos). Atualmente, o modelo é utilizado por universidades de 96 países. Os Países Baixos adotam um modelo bottom up e descentralizado, fundamentado no princípio de que a avaliação deve ser realizada a partir da missão, das metas e das estratégias que as unidades avaliadas estabelecem para si mesmas. A AA é a espinha dorsal do processo avaliativo. A despeito de ser um país significativamente menor que o Brasil - o território e a população dos Países Baixos correspondem a cerca de 0,48% e 8% do Brasil, respectivamente - a Holanda ocupa atualmente a 14ª posição no ranking da produção científica mundial (Clarivate, 2024). A pesquisa in loco foi desenvolvida junto ao Center for Science and Technology Studies (CWTS) da Universidade de Leiden (Países Baixos), entre 2021 e 2022.

O presente artigo apresenta uma síntese dos principais resultados da pesquisa. O texto visa, de modo mais específico, (i) apresentar as principais características e especificidades dos modelos brasileiro (top-down) e holandês (bottom up) de avaliação; (ii) analisar o papel e a importância que os sistemas top-down e bottom up atribuem à autoavaliação; (iii) identificar as principais fragilidades e limites que decorrem da ausência da AA na PG; e (iv) apresentar as principais lições que o modelo holandês oferece para os países, como o Brasil, que, gradativamente, vêm adotando formatos mais híbridos, baseados no equilíbrio entre a avaliação interna e externa.

Os modelos top-down e bottom up de avaliação

Tendo em vista os propósitos deste artigo, o detalhamento das características e das especificidades dos modelos top-down e bottom up cumpre uma importante função heurística. Embora não sejam os únicos, os referidos modelos resultam de duas concepções muito distintas de avaliação e de autonomia universitária, cujas origens remontam ao século XIII. De acordo com ^{Amaral (2009}), ^{Cobban (2017}) e ^{Vught (1995}), as universidades europeias criadas sob a influência francesa concebiam a avaliação como uma espécie de prestação de contas às autoridades superiores externas - geralmente ligadas à Igreja Católica -, responsável pela chancela/autorização/concessão da licença para ensinar (licentia ubique docendi). As universidades de tradição anglo-saxônica, criadas sob a influência inglesa, tinham como principal característica o autogoverno. Elas gozavam de elevado grau de autonomia. A avaliação era realizada pelos pares. Os colegiados tinham o direito de avaliar os colegas e, quando necessário, substituí-los (Amaral, 2009).

Com base na literatura internacional sobre o tema - sobretudo os trabalhos de ^{Brasil, Trevisol e Drooge (2022}), ^{Capano (2010}), Drooge et al. (2013), ^{Hicks (2012}), ^{Leeuw e Furubo (2008}), ^{Lepori, Reale e Spinello (2018}), Molas-Gallart (2012), Molas-Gallart e Davies (2016), ^{Morriello (2019}), ^{Ochsner et al. (2020}), Ochsner, Kulczycki e Gedutis (2018), ^{Verhine e Freitas (2012}) - é possível afirmar que os princípios/pressupostos acima referidos continuam, de alguma maneira, inspirando as políticas de avaliação nos mais variados países.

As nações inspiradas na concepção top-down organizaram sistemas fortemente alicerçados na avaliação externa, realizada periodicamente por agências públicas ou privadas de regulação, avaliação e/ou financiamento. Nesses países, a avaliação da pesquisa e da PG é centralizada, padronizada e baseada no desempenho. Os indicadores são geralmente utilizados para calcular e definir a distribuição de recursos orçamentários. A vinculação entre avaliação e financiamento deu origem ao que a literatura chama de performance-based financing system (^{Hicks, 2012}; Molas-Gallart, 2012; ^{Ochsner; Kulczycki; Gedutis, 2018}).

A tradição bottom up, por sua vez, inspirou modelos descentralizados, menos quantitativos e alicerçados no princípio de que a avaliação da qualidade deve ser feita pelas próprias instituições acadêmicas e pelos pares. Quanto menos performática e somativa, mais a avaliação contribui para o fortalecimento da missão e do planejamento estratégico das IES (^{Drooge et al., 2013}; ^{Weert; Boezerooy, 2007}).

Tendo isso presente, o Quadro 1 oferece elementos para compreender as especificidades de modelos que se organizaram a partir de distintas culturas de avaliação. Além de clarear as notáveis diferenças entre os sistemas brasileiro (top-down) e holandês (bottom up), a análise comparada contribui para evidenciar que a AA é parte de um longo e complexo debate sobre os fins da avaliação.

A AA nos modelos bottom up: a experiência holandesa

O documento intitulado Higher Education and Research Act, do Ministerie van Onderwijs, Cultuur en Wetenschap (OCW) [Ministério da Educação, Cultura e Ciência] (OCW, 1992), e as seis edições do Strategy Evaluation Protocol publicadas entre 1993 e 2020 (VSNU, 1993, 1998; VSNU; KNAW; NWO, 2004, 2009, 2014, 2020) consolidaram os princípios de que a avaliação deve: (i) ser concebida como uma dimensão inerente ao princípio da autonomia e do planejamento estratégico das instituições; (ii) ser realizada pelas próprias instituições e unidades que desenvolvem a atividade acadêmica; (iii) ser realizada pelos pares, de forma independente, imparcial e transparente; (iv) conjugar processos de avaliação interna e externa (peer review); (v) ser conduzida sem a interferência e o controle do governo e das agências financiadoras; (vi) ter um propósito formativo, voltado à melhoria da qualidade das unidades avaliadas (^{Drooge, 2021a}, 2021b, 2021c, 2021d; ^{Trevisol; Brasil, 2023}; VSNU; KNAW; NWO, 2020).

O processo avaliativo é, nesse sentido, uma prática de autogoverno, autogestão e planejamento institucional. Ele é contextual, processual, participativo e essencialmente formativo, realizado a partir da identidade, dos objetivos e das estratégias de cada unidade avaliada (^{Amaral, 2009}; ^{Brennan; Shah, 2000}; ^{Drooge, 2021a}, 2021b; ^{Verhine; Freitas, 2012}; VSNU; KNAW; NWO, 2020; ^{Vught; Westerheijden, 2012}; ^{Weert; Boezerooy, 2007}). A avaliação é, assim, uma dimensão estreitamente vinculada ao planejamento estratégico da unidade avaliada.

Com base nesses princípios, a AA consolidou-se como a espinha dorsal do sistema. Ela perpassa e articula os princípios, os objetivos, os critérios e o modus operandi de todo o processo avaliativo. De acordo com o SEP 2021-2027 (VSNU; KNAW; NWO, 2020, p. 19, tradução própria), a AA possibilita uma reflexão “[...] sobre as estratégias que a unidade adotou, assim como os efeitos que elas produziram [...]”. O núcleo central da avaliação são os objetivos, as metas e as estratégias que a unidade estabeleceu para si mesma. Como destaca o SEP 2021-2027, a AA se inicia no momento em que a unidade redige e “[...] explicita a sua estratégia e os seus objetivos” (VSNU; KNAW; NWO, 2020, p. 19, tradução própria). Por meio dela, a unidade: (i) analisa os resultados obtidos a partir da missão e dos objetivos que estabeleceu para si mesma; (ii) identifica os pontos fortes e as fragilidades; e (iii) define as mudanças e as melhorias que precisam ser implementadas. A unidade avaliada é, simultaneamente, o sujeito e o objeto do processo educativo; é o ponto de partida e de chegada.

A AA é, dessa forma, uma dimensão transversal em torno da qual as diferentes etapas se articulam e se retroalimentam. Cada instituição tem autonomia para organizar o processo de acordo com as suas especificidades. As fases não são rígidas. Como é possível observar no Quadro 2, a AA perpassa as diferentes etapas.

A despeito da importância de cada uma das etapas descritas acima, a elaboração do relatório de AA pode ser considerada a fase mais importante do processo avaliativo. Nesse momento, cada unidade avaliada é desafiada a: (i) analisar a adequação e a pertinência das estratégias e das metas estabelecidas pela unidade nos últimos seis anos; (ii) explicitar claramente as estratégias e os objetivos que orientarão as ações e as atividades da unidade no próximo ciclo avaliativo; (iii) apresentar os principais avanços, fragilidades e melhorias em cada um dos critérios e subcritérios de avaliação estabelecidos pelo SEP e pela própria unidade; e (iv) evidenciar os principais resultados nos últimos seis anos em cada um dos critérios e subcritérios da avaliação (^{Trevisol; Brasil, 2023}; VSNU; KNAW; NWO, 2020, p. 6, 9, 10, 13, 19, 20 e 21).

O relatório deve ser consistente, fundamentado em evidências quantitativas e qualitativas, estudos de caso, benchmarking e outras informações consideradas relevantes. O documento deve avaliar se a estratégia adotada ao longo do período foi adequada e se os objetivos previamente estabelecidos foram, integral ou parcialmente, atingidos (VSNU; KNAW; NWO, 2020, p. 32). O relatório é, simultaneamente, uma peça de avaliação e de planejamento. Por meio dele, a unidade concebe a estratégia e define as metas para o próximo período avaliativo (VSNU; KNAW; NWO, 2020, p. 6).

A autoavaliação nos modelos top-down: a experiência brasileira

Como destacado anteriormente, as concepções top-down deram origem a modelos predominantemente alicerçados na avaliação externa. Nos países que adotam essa perspectiva, como o Brasil, a avaliação interna tem sido historicamente tratada de forma secundária e periférica. Como apontado, as políticas de avaliação da PG implementadas nos últimos 60 anos não atribuíram um papel relevante à avaliação interna. Apenas recentemente o tema ganhou centralidade. Diferentemente do que ocorreu com a graduação - que vem recomendando a AA desde o Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) e o Sistema Nacional de Avaliação da Educação Superior (SINAES), publicados, respectivamente, em 1993 e 2004 (^{Balsanello; Trevisol, 2024}; Capes, 2019a; Trevisol; Balsanello, 2022) -, as políticas de PG não estimularam nem induziram fortemente a AA. A ausência de diretrizes nacionais, ao longo de décadas, (re)produziu, na prática, uma frágil e descontinuada conexão entre a avaliação interna e externa. A avaliação interna manteve-se como uma atividade esporádica, descontínua e circunscrita a um número restrito de IES (Leite et al., 2022).

A absoluta maioria das IES brasileiras não institucionalizou políticas de AA. Ao longo de décadas, prevaleceu o entendimento de que a avaliação era uma espécie de “prestação de contas” à Capes. O propósito principal dos relatórios - regularmente elaborados e enviados à agência avaliadora externa por meio do denominado “Coleta Capes” - era apresentar evidências e indicadores sobre o desempenho dos PPGs no período avaliado. Nesse contexto, os relatórios periódicos raramente foram objeto de análise e debate no âmbito das políticas institucionais de AA nas IES (Trevisol; ^{Brasil, 2020}).

O estudo desenvolvido por ^{Masetto (2004}) - a despeito de não apresentar dados detalhados sobre o conjunto das IES brasileiras - reforça as teses apresentadas acima. A primeira experiência de AA na PG brasileira foi realizada, segundo o autor, em 1983 pelo Programa de Pós-Graduação em Educação da Pontifícia Universidade Católica de São Paulo (PUC-SP). Entre 1987 e 1995, há registros de outras experiências institucionais implementadas pela Universidade Federal de Minas Gerais (UFMG), pela Universidade Federal do Ceará (UFC) e pela Universidade Estadual de Campinas (Unicamp). As referidas experiências foram concebidas no bojo dos debates que vinham ocorrendo nas décadas de 1980 e 1990 sobre avaliação emancipatória. De acordo com o livro sobre o tema publicado por Ana Maria ^{Saul, em 1991}, o propósito principal da AA é “[...] fazer com que as pessoas direta ou indiretamente envolvidas em uma ação educacional escrevam sua própria história e gerem as próprias alternativas de ação” (Saul, 1991, p. 61).

O debate acadêmico, apesar de não ser recente, tardou a repercutir no plano das políticas de avaliação. Em trabalho publicado em 2002, Saul registrou as resistências que o tema enfrentou nas primeiras décadas. A AA era vista como um mecanismo de autoproteção dos PPGs frente aos eventuais resultados negativos da avaliação externa. De acordo com a autora, a AA era “[...] veementemente contestada por aqueles que propugnavam a objetividade na avaliação e, por isso mesmo, defendiam exclusivamente um modelo de avaliação externa [...]” (Saul, 2002, p. 100).

Ainda que sucinto, o relato acima ajuda a compreender a tardia incorporação da AA nas políticas de avaliação da PG. Como destacado na introdução, o primeiro documento da Capes a recomendar a institucionalização dos processos de AA na PG foi aprovado pelo Conselho Superior da Capes em 2018 (Capes, 2018). O reconhecimento da relevância e da centralidade do tema deu-se no bojo de um processo de revisão e de aggiornamento das políticas de avaliação, coordenado pela Comissão Especial de Acompanhamento do PNPG. Em 2017, a referida comissão desencadeou um conjunto de diálogos com os Ministérios: Ministério da Educação (MEC), Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) e Ministério da Indústria, Comércio e Serviços (MDIC); com as agências de regulação e de fomento: Capes, Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e Financiadora de Estudos e Projetos (Finep); e com as principais associações científicas do país: Academia Brasileira de Ciências (ABC), Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd), Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior (Andifes), Associação Brasileira dos Reitores das Universidades Estaduais e Municipais (Abruem), Associação Brasileira das Universidades Comunitárias de Educação Superior (ABRUC), Conselho Nacional das Fundações Estaduais de Amparo à Pesquisa (CONFAP), Conselho Nacional de Secretários Estaduais para Assuntos de Ciência, Tecnologia e Inovação (Consecti), Conselho Técnico-Científico da Educação Superior da Capes (CTC/Capes), Fórum Nacional de Pró-Reitores de Pesquisa e Pós-Graduação (FOPROP) e Sociedade Brasileira para o Progresso da Ciência (SBPC), com o propósito de repensar e aprimorar o modelo de avaliação (^{Trevisol, 2022}). Após meses de trabalho, o documento final reconheceu que “[...] o atual sistema avaliativo atingiu um ponto de esgotamento, devendo ser conceitual e objetivamente repensado e aprimorado” (Capes, 2018, p. 3).

A AA foi reconhecida como uma das principais lacunas do sistema de avaliação. Segundo o documento, intitulado Proposta de Aprimoramento do Modelo de Avaliação da PG: Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020 - 10/10/2018 (Capes, 2018), a ausência da AA fragilizou o papel do planejamento institucional e contribuiu para tornar os processos avaliativos verticalizados, demasiadamente quantitativos e alheios às diferentes vocações dos PPG. A AA foi recomendada como uma prática institucionalizada, permanente, independente, participativa e qualificada. Segundo o documento, a AA deve ser realizada por meio de

[...] processos participativos, baseados em diversas estratégias, técnicas e instrumentos, gerando relatórios analíticos que apontam potencialidades e fragilidades do programa e que revelam políticas e ações de correção e consolidação. Quando bem estruturada, a autoavaliação promove processos de autoconhecimento, criando uma cultura avaliativa e permitindo um olhar qualitativo e holístico do programa que contempla processos de formação e de outras dinâmicas inerentes à pós-graduação brasileira (Capes, 2018, p. 19).

Com base nessas recomendações, em 4 de julho de 2018 a Capes atribuiu a um Grupo de Trabalho - GT (Portaria nº 148/2018) a tarefa de elaborar uma proposta de operacionalização técnica da AA. O relatório final do referido GT, publicado em 2019, intitulado Autoavaliação de Programas de Pós-Graduação, apresenta uma proposta baseada no princípio de que a AA “[...] é o processo de se avaliar a si próprio [...]. Seu principal objetivo é formativo, de aprendizagem. [...] é um processo avaliativo conceituado e autogerido pela comunidade acadêmica. A comunidade tem a titularidade da avaliação” (Capes, 2019a, p. 7). Segundo o documento:

O ponto crucial da sistemática da avaliação aqui proposta é a mudança do foco do processo avaliativo: ao invés da CAPES receber os resultados da autoavaliação realizada pelos programas, a Agência deverá acompanhar como os programas de pós-graduação estão conduzindo suas autoavaliações (Capes, 2019a, p. 9).

No ano seguinte, em 2020, o relatório da Comissão Especial de Acompanhamento do PNPG também reforçou os potenciais da AA. De acordo com o relatório de 2019, a AA contribui para: (i) tornar o sistema de avaliação mais ajustado às diferentes vocações dos PPGs; (ii) introduzir um maior equilíbrio entre as dimensões qualitativas e quantitativas; (iii) fortalecer o planejamento estratégico das IES e dos PPGs; e (iv) materializar a perspectiva multidimensional da avaliação. Como destaca o relatório, a AA dos PPGs é “[...] um componente importante da avaliação de cada dimensão no modelo multidimensional” (Capes, 2020, p. 24).

Esse conjunto de documentos introduziu inúmeros desafios, entre os quais a necessidade de rever a ficha adotada para a avaliação quadrienal. Em resposta a essa necessidade, a Capes instituiu, por meio da Portaria nº 148, publicada em 14 de julho de 2018, o GT responsável pela elaboração da nova ficha (Capes, 2019c). Após inúmeras reuniões de trabalho, seminários e discussões, o CTC/Capes aprovou mudanças importantes na ficha de avaliação a ser adotada na avaliação quadrienal 2017-2020, cabendo destaque para a redução - de cinco para três - do número de quesitos. Os itens “planejamento institucional” e “autoavaliação” foram contemplados no item 1, denominado “Programa”. A incorporação alterou substancialmente o tratamento conferido a esses itens pelo conjunto dos atores que integram o SNPG. A partir da aprovação e da adoção da nova ficha, os processos, os procedimentos e os resultados da autoavaliação ganharam importância e peso na avaliação de permanência dos PPGs.

A partir de 2019, as Áreas de Avaliação reorganizaram os seus Documentos de Área e definiram o peso e a importância da avaliação interna. A Área 38 (Educação), por exemplo, definiu a AA como “[...] um exercício de autonomia responsável” (Capes, 2019b, p. 10). De acordo com o documento, cabe aos PPGs “[...] um delineamento de AA apto a captar aspectos pertinentes à sua missão e seus objetivos, incluindo aqueles relativos à sua inserção no contexto social/internacional e às suas escolhas científicas específicas” (Capes, 2019b, p. 10).

As IES e os PPGs, por sua vez, foram desafiados a elaborar as suas políticas institucionais, definir os procedimentos para a realização periódica da AA, delinear a missão e os objetivos dos programas e envolver os diferentes atores (docentes, discentes, egressos, servidores técnico-administrativos e stakeholders) nos processos de AA.

Lições e aprendizados da experiência internacional

O estudo realizado estimulou a análise dos modelos brasileiro e holandês de avaliação sob a perspectiva da pertinência e da adequação. A análise sobre os aspectos positivos e as fragilidades de cada sistema precisa, no entanto, vir acompanhada de alguns cuidados. É fundamental ter presente que as políticas de avaliação são construções históricas. Elas são parte de um amplo e complexo processo político, cultural, social e acadêmico. Elas foram concebidas e aprimoradas a partir das características e das necessidades de cada nação. As virtudes e as limitações de cada modelo devem ser compreendidas a partir do contexto que lhes deu origem. Os aspectos positivos de cada sistema podem estimular e orientar boas práticas, mas a introdução de melhorias e de aprimoramentos nunca acontece de forma imediata. Compete a cada país avaliar a pertinência, o momento e a forma - disruptiva ou incremental - de realizá-los.

Essas ressalvas e esses cuidados ajudam a retomar a pergunta enunciada no subtítulo deste artigo. A resposta à pergunta “O que a experiência internacional nos ensina?” é afirmativa. Os elevados níveis de estabilidade e de confiança que o sistema holandês atingiu ao longo das décadas oferecem insights, lições e perspectivas para os países que pretendem adotar formatos mais híbridos de avaliação, baseados no equilíbrio entre: (i) as dimensões qualitativas e quantitativas; (ii) os processos internos e externos de avaliação; e (iii) as dimensões formativas e somativas. A experiência holandesa contribui, nesse sentido, com o esforço em curso no Brasil de introduzir e institucionalizar dimensões até recentemente negligenciadas pelas políticas de avaliação.

O olhar “de fora para dentro”, oportunizado pela pesquisa in loco realizada no Centre for Science and Technology Studies, oferece uma riqueza de elementos para identificar as fragilidades e os limites que decorrem da ausência da AA e, não menos importante, reconhecer e valorizar as potencialidades que emergem de sua presença.

O estudo realizado evidenciou, em primeiro lugar, que a AA não é uma prática recente. Ela tem raízes em uma cultura de avaliação de longa data. Os países que a adotam também consolidaram sistemas de avaliação confiáveis, estáveis e com elevados níveis de reputação internacional e de integridade acadêmica. A prática regular, permanente e institucionalizada da AA não comprometeu a qualidade da pesquisa e da PG nos países que a adotam, como Holanda, Finlândia e Reino Unido. Nesses países, a AA é o instrumento por meio do qual as IES asseguram e atestam a sua própria qualidade. A avaliação externa (consultores convidados) é, no fundo, uma análise da confiança e da integridade das informações prestadas (^{Alderman; Brown, 2005}; Capes, 2019a). A experiência internacional evidencia que a institucionalização da AA é crível e viável, razão pela qual o ceticismo em relação à sua viabilidade e pertinência deve ceder espaço para políticas e práticas que integrem, entre outros aspectos, a avaliação interna e externa.

A perspectiva comparada ofereceu elementos para, em segundo lugar, perceber o reconhecimento tardio da importância da AA nas políticas de avaliação da PG. Apenas recentemente as IES e os PPGs foram estimulados a elaborar os planejamentos estratégicos e as políticas de AA. A ausência de diretrizes claras em âmbito nacional contribuiu para manter a AA entre as dimensões de pouca relevância e centralidade. As IES, por conseguinte, acostumaram-se a delegar e transferir para a Capes a tarefa de avaliar a qualidade dos cursos, tanto na fase de entrada (ex ante) quanto na de permanência (ex post). A hegemonia da avaliação externa e o reduzido protagonismo das IES retroalimentaram-se ao longo do tempo. A frágil presença da AA alimentou um enorme desperdício dos potenciais que a avaliação interna pode oferecer para as IES e para todo o SNPG. Essa ausência precisa ser reconhecida e reparada.

A pesquisa mostra, em terceiro lugar, que a AA e o planejamento institucional são dimensões correlatas. A presença ou ausência da primeira incide diretamente sobre a segunda, e vice-versa. Os sistemas top-down geralmente não induzem nem estimulam as IES a conceberem a expansão e a avaliação de seus PPGs no âmbito do Plano de Desenvolvimento Institucional (PDI) e do planejamento estratégico da PG. O Brasil é um exemplo típico de sistema que promoveu a expansão da PG sem a devida e necessária articulação/conexão com o planejamento institucional. A decisão sobre a criação de novos cursos (avaliação de ingresso) ficou predominantemente concentrada na Capes. Por meio das diretrizes e dos critérios estabelecidos pelos Documentos de Área, o sistema de avaliação externo induziu fortemente a homogeneização e a modelagem dos cursos em âmbito nacional. A inexistência e/ou fragilidade da cultura de planejamento permitiu o surgimento de cursos de Mestrado e de Doutorado sem a necessária conexão com o plano institucional de desenvolvimento da PG. O planejamento institucional é, nesse sentido, imprescindível. Por meio dele, as IES exercem o princípio da autonomia e chamam para si o poder de decidir, em primeira instância, o perfil dos cursos que pretendem criar.

As experiências bottom up evidenciam, em quarto lugar, que a missão e os objetivos dos cursos precisam ser claramente definidos desde a fase inicial de elaboração dos projetos. Essa tarefa compete às instituições que elaboram e submetem os projetos para a avaliação de entrada/credenciamento junto à Capes. O planejamento institucional e a AA são instrumentos valiosos por meio dos quais as IES podem planejar cuidadosamente a expansão, evitando a criação de cursos sem demanda, distantes das necessidades das regiões onde estão inseridas e com baixa inovação no que tange às linhas de pesquisa e aos resultados que pretendem alcançar. O planejamento introduz e fortalece o protagonismo institucional. Assim como as Áreas de Avaliação da Capes não devem definir o perfil dos cursos e dos egressos a serem formados, a elaboração dos projetos dos novos PPGs também não pode ocorrer de forma alheia ao planejamento institucional. Por meio do planejamento, as IES conseguem vocacionar melhor a sua PG e lidar cotidianamente com as pressões oriundas dos grupos que propõem projetos de cursos, para contemporizar conflitos e interesses no interior dos grupos de pesquisa, departamentos, unidades acadêmicas etc.

O processo avaliativo não pode ser concebido como “prestação de contas”. Essa é a quinta importante lição que os modelos bottom up oferecem para o sistema brasileiro. O desempenho deve ser avaliado regularmente, mas a avaliação precisa ter uma finalidade claramente formativa. Ela deve estar estreitamente conectada aos objetivos, às metas e às estratégias que cada PPG estabelece para si no âmbito do seu planejamento estratégico. A identidade, a diversidade e a heterogeneidade não podem ser engolidas pelos processos avaliativos que primam pela padronização, homogeneização e comparabilidade entre os cursos (benchmarking). A avaliação pode ser exercida de forma compartilhada entre as instâncias internas e externas, porém os PPGs e as IES não podem declinar dessa atribuição e transferi-la para uma instituição externa. Por meio da AA, as IES e os PPGs identificam as fortalezas, as fragilidades, as ameaças e os aprimoramentos que precisam ser implementados. Os cursos devem ser o ponto de partida e o ponto de chegada do processo avaliativo.

Considerações finais

Ao longo deste texto, sustentou-se, ora de forma explícita, ora de maneira implícita, que os sistemas de avaliação top-down, como o brasileiro, podem se beneficiar com a institucionalização da AA. Esta fortalece a autonomia e o planejamento institucional e contribui para reduzir a histórica assimetria existente entre a avaliação externa e a interna. Por meio dela, as IES e os PPGs reassumem uma atribuição/competência que nunca deveria ter sido retirada/enfraquecida. O fortalecimento da AA no âmbito das políticas (nacionais e institucionais) de avaliação introduz, na prática, mecanismos de reparação/correção de uma lacuna historicamente produzida. Tendo em vista a sofisticação e o elevado estágio de refinamento da avaliação externa coordenada pela Capes, o SNPG mostra-se suficientemente estável e maduro para acolher novas prioridades e reposicionar o pêndulo na direção da avaliação interna. A corresponsabilização, o envolvimento e o protagonismo das IES e dos PPGs nos processos de avaliação apresentam um grande potencial de inovação e de rejuvenescimento do SNPG. As experiências de AA que acontecem na base do sistema não podem ser desperdiçadas; precisam ser potencializadas.

As políticas de avaliação da PG brasileira devem impulsionar um maior equilíbrio e integração entre a avaliação interna e a externa. Defende-se, nesse sentido, que essas duas dimensões sejam concebidas e operacionalizadas como etapas distintas, porém complementares. Diferentemente do que é praticado atualmente, não basta - como propõe o documento da Capes intitulado Autoavaliação de Programas de Pós-Graduação (Capes, 2019a, p. 9) - conceder a “titularidade da autoavaliação” para as IES e acompanhar “[...] como os programas de pós-graduação estão conduzindo suas autoavaliações”. É preciso ir além. O SNPG deve ampliar os papéis e o peso que a AA cumpre, do início ao fim, no processo avaliativo. Nessa perspectiva, propõem-se, em síntese, as seguintes mudanças e aprimoramentos: (i) os processos de AA devem ser realizados a partir de diretrizes nacionais; (ii) os relatórios de AA de cada PPG devem servir de base para a avaliação de “meio termo” realizada em âmbito nacional; (iii) a avaliação de “meio termo” deve ser realizada a cada três anos, e a avaliação de permanência, a cada seis anos; (iv) a visita in loco de consultores externos (nacionais ou estrangeiros) deve ser incentivada pelo SNPG, contribuindo para a análise do relatório de AA e para a troca de experiências entre os PPGs consolidados e os em processo de consolidação; (v) a AA deve concentrar-se, prioritariamente, na análise da vocação, das metas e das estratégias que os PPGs estabelecem para si mesmos no período avaliado; e (vi) o foco central da avaliação interna deve ser, especialmente, o impacto social da PG e da pesquisa.

A temática dos impactos da pesquisa e da PG na sociedade oferece materialidade para que as IES e os PPGs definam, no âmbito dos seus planejamentos estratégicos, a missão e os objetivos que orientam as suas atividades. Os desafios locais e globais do nosso tempo impõem às universidades a necessidade de repensar permanentemente a formação e a pesquisa que desenvolvem. O impacto científico e o impacto social da pesquisa devem ser tratados como dimensões simétricas e correlatas (^{Drooge; Jong; Smit, 2022}). A avaliação interna deve impulsionar os debates sobre esse universo de temas. Sem isso, a avaliação externa corre o risco de priorizar as métricas e os indicadores quantitativos que medem a repercussão da produção científica no interior das áreas e subáreas do conhecimento.

Esses são alguns dos prementes desafios que perpassam a Educação Superior, a ciência, a tecnologia e a inovação no Brasil na atualidade. A pesquisa relatada inscreve-se no esforço de compreender esses desafios para além do contexto brasileiro. Buscou-se, aqui, alargar a compreensão e a inteligibilidade sobre o tema. Realizou-se, na prática, um exercício de tradução. Considera-se que o conhecimento das melhores experiências de AA no mundo pode motivar e orientar a implementação de boas práticas no Brasil.