a) Antecedentes

As ideias que fundamentaram a inserção da autoavaliação no âmbito da PG stricto sensu estão associadas às práticas de avaliação da Educação Superior brasileira advindas, principalmente, do SINAES, que já possuía uma vasta experiência acerca dos processos de avaliação e autoavaliação institucional, como explicou o Entrevistado A. O SINAES evoluiu a partir dos avanços das políticas de Avaliação Educacional, tendo como uma das frentes de atuação a autoavaliação, conduzida pelas Comissões Próprias de Avaliação (CPA) de cada Instituição de Ensino Superior (IES) em conformidade com as diretrizes e as normas da Avaliação Institucional da Comissão Nacional de Avaliação da Educação Superior (CONAES) (^{Griboski; Peixoto; Hora, 2018}).

A Entrevistada B lembrou que essas experiências progrediram a partir das práticas originárias do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), da década de 1990, que "[...] foi um Programa que é de dentro das Universidades e as Universidades, os reitores das Universidades e entidades, e nós, os docentes que trabalhavam em avaliação, fizemos o Programa pensando no envolvimento dos atores, na participação dos atores". Ou seja, objetivava a construção de um modelo de avaliação coletivo, confiável, ajustável e transparente, com foco na avaliação qualitativa e autoavaliação, dentro das IES (^{Griboski; Peixoto; Hora, 2018}).

Ao longo dos anos de 2012 e 2013, a CONAES promoveu uma série de seminários sobre autoavaliação, buscando enfatizar a relevância desse processo no ensino superior, especialmente, no âmbito da graduação, haja vista certa fragilidade observada. "O ENADE [Exame Nacional de Desempenho dos Estudantes] funcionava, essas visitas funcionavam, mas a avaliação institucional, autoavaliação institucional, era o ponto fraco e deveria ser o ponto central" (Entrevistado A).

Isso porque a avaliação institucional, implementada nas IES, não se esgota em si mesma, deve ser concebida como uma parte importante de um conjunto de políticas públicas que contribuem com um processo mais abrangente voltado à revalorização da educação de nível superior e ao desenvolvimento social brasileiro (^{Falleiros; Pimenta; Valadão Júnior, 2016}).

Nesse contexto, umas das vias de transposição desse know-how se deu por meio de profissionais especialistas em Avaliação Educacional, como os Entrevistados A e B e seus pares, que transitaram entre as experiências de avaliação do ensino superior em nível de graduação e de pós-graduação, atuando nesse segundo momento, especialmente, no âmbito do Sistema de Avaliação e/ou no próprio GT de Autoavaliação da CAPES.

Em 2015, a CAPES estruturou uma Comissão para repensar o seu processo de avaliação externa. Observando as deficiências que tal processo possuía diante das diferentes críticas da comunidade acadêmica e considerando as experiências exitosas observadas no SINAES, a Comissão passou a promover a ideia da autoavaliação. Nas palavras do Entrevistado A,

[...] em 2015, eu fui convidado para participar numa Comissão que a CAPES criou, naquela época, para repensar a avaliação da CAPES [...] e nessa Comissão [...] resolvemos "vamos promover esta ideia de autoavaliação?" [...]. E a gente... [...] promoveu essa ideia [que] ficou como parte do relatório da Comissão que foi concluído em 2016.

O relatório final da Comissão foi apresentado e apreciado pelo Ministério da Educação (MEC), contudo, devido ao cenário político da época², esses resultados se perderam, tendo em vista a reorganização política nas frentes de atuação governamentais na esfera pública.

Posteriormente, em 2018, com a modificação da Diretoria de Avaliação e presidência do Conselho Técnico-Científico da Educação Superior (CTC) da CAPES, abriu-se espaço para que profissionais e especialistas pudessem retomar as discussões acerca da autoavaliação, considerando a visão já constituída em momentos anteriores. Foi neste momento, que a CAPES instituiu, entre outros grupos de trabalho, o GT de Autoavaliação, designando uma equipe composta por dez profissionais com experiências voltadas à área de Avaliação Educacional, como os Entrevistados A e B.

Nessa rota, o GT trabalhou no desenvolvimento de um estudo de forma contributiva para a construção das concepções e diretrizes da autoavaliação. Para tanto, por meio dos seminários, diferentes pesquisadores e especialistas sugeriram melhorias que foram analisadas ao longo das reuniões do grupo. Inclusive, patrocinados pela CAPES, alguns coordenadores estiveram na Alemanha e Holanda, com o intuito de explorar as práticas internacionais acerca da avaliação na pós-graduação, como relatou a Entrevistada B.

O resultado desses esforços culminou na elaboração de um documento que indicava a importância da inserção da autoavaliação como política no âmbito dos PPGs. Considerando o cenário de mudanças no Sistema de Avaliação da CAPES e como outros GTs estavam trabalhando em outras frentes, como na reformulação da própria Ficha de Avaliação, houve o alinhamento para a inserção desse elemento na nova ficha. Ou seja, "[...] foram muitas questões para chegar a esta confluência de sair a autoavaliação dentro da ficha" (Entrevistada B).

Em consulta ao relatório final do GT de Autoavaliação, constatou-se os argumentos em defesa da inserção da autoavaliação como componente da avaliação externa, como expresso nos seguintes trechos:

[...] com o amadurecimento do seu processo de avaliação, a CAPES entende ser necessário ampliar o foco, reconhecendo que é a autoavaliação, hoje muito utilizada nas experiências internacionais, que pode trazer mais subsídios para o desenvolvimento do Sistema com qualidade (^{CAPES, 2019b, p. 4-5}).

Sem dúvida, a avaliação externa assegura padrões básicos, o que é importante em um país continental, mas tem limitações. Uma delas é o fato de não ser formativa, em que os que estão no processo se envolvam também na solução dos problemas identificados (^{CAPES, 2019b, p. 5}).

Assim, a autoavaliação, desenvolvida de forma sistemática e contínua, é a abordagem a ser enfatizada, pois assegura proximidade entre avaliador e avaliado e permite aprofundamentos de natureza qualitativa e contextualizada (^{CAPES, 2019b, p. 5}).

Em paralelo às atividades do GT, considerando que o PNPG 2011 -2020 (^{CAPES, 2010}) estava sendo finalizado, a comissão responsável pelo seu acompanhamento também tinha a incumbência de propor melhorias na Ficha de Avaliação e no processo avaliativo. Então, diferentes reuniões foram realizadas e a comissão recebeu sugestões de entidades como a Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior (ANDIFES), o Sindicato Nacional dos Docentes das Instituições de Ensino Superior (ANDES), dentre outras instituições. Conforme destacou a Entrevistada B, "[...] por incrível que pareça, todas [as sugestões] falavam em autoavaliação". À vista disso, a comissão responsável pelo acompanhamento do PNPG também produziu um estudo que resultou em um documento aprovado pela CAPES, naquele mesmo ano, que também promovia a ideia de autoavaliação.

Em acesso ao Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020, contendo a proposta de aprimoramento do modelo de avaliação da PG, identificou-se, de fato, a autoavaliação como um dos temas convergentes propostos por pelo menos 75% das entidades consultadas, conforme expresso no seguinte trecho:

O sistema de avaliação da pós-graduação deve usar a autoavaliação do programa como aspecto fundamental do processo avaliativo. Ainda que atualmente a CAPES incentive as autoavaliações dos programas, as mesmas não são demandadas oficialmente, não são valorizadas pelo processo avaliativo formal e não são subsidiadas por orientações fornecidas externamente, pela CAPES ou qualquer outra entidade especializada no assunto. Recomenda-se, assim, que a autoavaliação tenha caráter regular e que os programas recebam orientações e instrumentos que os ajudem a concretizá-la com êxito (^{CAPES, 2018, p. 19}).

Ressalta-se que, mesmo antes dessas discussões, já existia no Relatório Sucupira um campo direcionado à inclusão de informações acerca da autoavaliação. Contudo, o Entrevistado A ponderou que os programas, de um modo geral, apresentavam resultados poucos sistematizados, sem muita reflexão, compreendendo uma ação apenas com o objetivo de realizar o preenchimento desse campo obrigatório no relato. No sentido contrário, como observado na literatura, a perspectiva central promovida pela agência é a definição de uma política de autoavaliação enquanto instrumento de melhoria interna para cada programa em particular (^{CAPES, 2019b}; ^{Leite et al. 2020}). Nas palavras do Entrevistado A,

a gente não quer saber os resultados, a gente quer saber se o programa tem uma política, um projeto de autoavaliação, se eles conseguem conceituar autoavaliação. Eles podem conceituar o que é sua visão de qualidade, eles podem conceituar os seus instrumentos e procedimentos que vão utilizar, periodicidade etc., os resultados e usos dos resultados [...].

Dessa forma, as evidências direcionam para uma compreensão de que a ideia é, por um lado, avaliar se existe uma política institucionalizada de autoavaliação no âmbito dos PPGs lidando com tais elementos, e, por outro lado, promover avanços em conformidade com melhores práticas de Avaliação Educacional por meio da participação da comunidade acadêmica mais ativamente (^{Leite et al., 2020}). Ou seja, enquanto item a ser julgado na avaliação externa da PG, busca-se com o processo de autoavaliação realçar o caráter qualitativo, onde serão analisadas a transparência e consistência de aspectos acerca das políticas, procedimentos e usos da autoavaliação implementados por cada programa (^{CAPES, 2020}).

Isso remonta as concepções acerca dos fundamentos das práticas democráticas de avaliação (^{Leite, 2006}) e a reflexão acerca da constituição de um processo avaliativo em que avaliador e avaliado direcionam esforços em busca de mudanças qualitativas (^{Andriola; Souza, 2010}).

b) Conceito e Política de Autoavaliação

A concepção acerca da autoavaliação observada nas evidências vai em direção aos sentidos vistos na literatura. A percepção de autoavaliação está ancorada na compreensão da avaliação interna enquanto um processo construído pela própria organização - entidade, instituição, programa ou curso -, podendo haver diferentes níveis de avaliação, "[... ] com a busca de identificar problemas e identificar soluções e acompanhar essas soluções para ver se elas estão dando o efeito desejado" (Entrevistado A), ou, em outras palavras, para possibilitar a "[... ] melhoria da qualidade do seu fazer institucional" (^{Leite, 2006, p. 466}). Ou seja, adota-se o conceito da autoavaliação como um processo autogerido de reflexão interna que deve resultar na construção de conhecimentos sobre o programa e suas diferentes interlocuções, permitindo a identificação de fragilidades, potencialidades e propostas de melhorias, sob o prisma dos atores organizacionais (^{CAPES, 2019b}; ^{Leite et al. 2020}; Entrevistados A e B).

As evidências apontam alguns aspectos a serem observados no processo de implantação da política de autoavaliação. Um deles é que os programas devem produzir suas políticas de autoavaliação, criar suas comissões para coordenar o processo autoavaliativo e estabelecer seus procedimentos, instrumentos e discussões acerca dos resultados (^{CAPES, 2019b}). De maneira articulada, é importante estabelecer um contato direto com as pró-reitorias de PG, para o alinhamento acerca das políticas institucionais, e as CPAs das IES, haja vista a vasta experiência na condução de processos avaliativos em nível institucional, como observado na fala do Entrevistado A:

Essa CPA que vocês têm desde 2004, 2005 lá na sua instituição, já tem uma grande experiência fazendo autoavaliação em nível da instituição, mas a gente tem que trazer isso para os programas e também para os cursos, porque, normalmente, esses CPAs não estão promovendo autoavaliação a nível do curso, estão apenas trabalhando com autoavaliação em nível da instituição. Então, essa interação com a pró-reitoria e essa interação com a CPA também é muito importante [...].

Da mesma forma, salienta-se a relevância do compartilhamento de experiências junto a outros PPGs, principalmente com aqueles que possuem uma aproximação maior com a temática, como a área de Administração, como exemplificado pela Entrevistada B, e, assim, um know-how a ser compartilhado.

Pondera-se, ainda, a relevância de se construir um processo participativo, incluindo atores internos e externos ao programa para contemplar diferentes olhares. Além de considerar essas organizações como ponto de referência, internamente se reforça a importância do papel do aluno e do egresso, ao observar as suas trajetórias. As informações advindas desses dois atores compõem aspectos fundamentais para aferir a qualidade do programa, capaz de absorver diferentes perspectivas contributivas para o desenvolvimento institucional.

Outro aspecto essencial diz respeito à articulação da autoavaliação ao planejamento estratégico, tendo em vista que esses dois mecanismos atuam em conjunto com a finalidade da busca de melhorias e qualidade por parte dos programas, como revela a fala do Entrevistado A:

[... ] com o planejamento você está incluindo a autoavaliação como elemento do plano, usando autoavaliação para acompanhar o plano e para até construir o plano. Autoavaliação serve para fazer o diagnóstico. [... ] ao invés de ser cobrado esta melhoria, através de uma avaliação externa, você, internamente, busca sua melhoria a partir de uma compreensão de sua realidade própria e você faz isto em conjunto com o plano e essas duas coisas em conjunto, nós achamos que é fundamental para a melhoria dos programas.

Uma vez estabelecida claramente sua missão, objetivos, metas e seu compromisso institucional, os programas adquirem condições qualificadas para realizar uma análise da sua realidade, o que está relacionado ao planejamento estratégico. Em consonância, a ideia é que os PPGs tenham autonomia para definir sua missão e trabalhar de forma sistemática para o seu alcance, visto que, por meio da autoavaliação, eles contextualizarão suas realidades em função da sua missão.

Assim como a educação, a avaliação se constitui enquanto um ato político que influencia a vida daqueles que estão sendo avaliados, desde sujeitos a programas ou políticas públicas (^{Leite et al., 2020}). Esse processo pode ser constituído sob o ponto de vista da manifestação autoritária do poder de julgar ou, em contrapartida, pode representar a busca por avanços qualitativos mediante a colaboração entre avaliador e avaliado (^{Andriola; Souza, 2010}).

Frente a essas considerações e ao observar relatório final da comissão do PNPG 2011-2020, destaca-se, por fim, a relevância de fortalecer essa articulação entre programas e Universidade, como expresso no trecho do documento:

Também houve convergência no entendimento que as Universidades devem ser mais protagonistas de seu próprio planejamento e avaliação da PG, inserida em seu contexto e no seu território de atuação (auto avaliação é importante, mas deve obrigatoriamente referir-se e referenciar-se ao plano estratégico institucional da respectiva instituição), promovendo e valorizando parcerias estratégicas e arranjos institucionais para aumentar a qualidade, eficiência e eficácia do SNPG, gerando estímulos para a organização de PPGs mais robustos e com atuação conectada, simultaneamente, com as políticas institucionais e as políticas de desenvolvimento das regiões onde atuam (^{CAPES, 2018, p. 9}).

Nessa seara, o Entrevistado A avaliou que a expectativa é que as experiências concretas comecem a emergir a partir de 2022, tendo em vista a condução da Avaliação Quadrienal (2017-2020) em 2021. Isso justifica o fato de a autoavaliação, como visto em ^{CAPES (2019b)}, compor um peso relativamente baixo na Ficha de Avaliação, variando entre 10% e 20% a depender da área do conhecimento. A tendência é que, ao longo do tempo, esse peso aumente e a autoavaliação passe a ser cada vez mais enfatizada (^{Barata, 2019}).

c) Motivações

Conforme observado ao longo da análise das entrevistas, as motivações para a inserção da autoavaliação no Sistema de Avaliação da CAPES estão associadas, à princípio, a fatores que têm o intuito de impulsionar o desenvolvimento qualitativo dos PPGs. Além de possibilitar uma agenda de melhorias nos programas, a autoavaliação surge como instrumento de aprimoramento do Sistema de Avaliação, bem como a valorização da prática democrática, ao ampliar o papel de participação da comunidade acadêmica (^{Leite et al., 2020}).

A avaliação interna lida com questões que a avaliação externa não consegue alcançar, como o próprio processo de formação, as relações em sala de aula, as práticas entre alunos e orientadores e o desenvolvimento de pesquisas científicas, que são aspectos essencialmente qualitativos. A avaliação externa da CAPES avalia produtos, em grande escala, e não processos. Essa perspectiva reponde, justamente, às críticas relacionadas à ênfase da avaliação externa aos indicadores quantitativos, considerando seu uso indiscriminado como meio de avaliar a qualidade dos processos formativos, das produções científicas e do impacto à sociedade (^{Verhine; Dantas, 2009}; ^{Alves; Oliveira, 2014}). Contudo, ambas as formas avaliativas podem funcionar em conjunto como a melhor forma de realizar uma avaliação, como defende o Entrevistado A:

Avaliação interna pode lidar com processos, avaliação externa não consegue lidar com processos. Um processo mais importante em um Programa de Pós-Graduação é a questão de formação, e formação é um processo, mas essa avaliação externa da CAPES não capta processos, né?! Capta produtos. Então, você não sabe o que acontece na sala de aula, você não sabe o que acontece na relação entre aluno e orientador etc. Essas coisas você não sabe a partir de um relatório que você apresenta para a CAPES, mas você pode saber isso internamente. E se você está preocupado com a sua qualidade, então você vai estar tentando melhorar o ensino, melhorar a orientação, melhorar a pesquisa, a oportunidade de pesquisa, os incentivos para a pesquisa, mas tudo de uma forma interna. Agora, nós entendemos que as duas coisas funcionam em conjunto.

Logo, depreende-se que há a emergência da valorização dos processos, em especial o da formação, no âmbito da avaliação externa. E, como visto a partir das evidências, a autoavaliação possui um potencial para contribuir nesse sentido, como é ressaltado no relatório final do GT de Autoavaliação: "[...] a avaliação deve captar essa dimensão, que é essencialmente um processo e não só um produto" (^{CAPES, 2019b, p. 5}).

Considerando a perspectiva futura de que a autoavaliação se torne muito mais importante no cenário da PG brasileira, exemplifica-se que em muitos países, como nos Estados Unidos, a avaliação externa costuma ocorrer a cada dez anos, enquanto a avaliação interna compreende um processo constante, pois há uma preocupação primeira das instituições em manterem seus padrões de qualidade (^{Barata, 2019}). Desse modo, estabelece-se uma crítica de que a "autoavaliação como sendo o elemento central da avaliação de cursos de Pós-Graduação [...] existe mundialmente, é o Brasil que está atrasado nesse sentido, de começar a enfatizar a autoavaliação agora" (Entrevistado A).

Em acordo, a Entrevistada B afirmou que a autoavaliação é utilizada em diferentes países para a acreditação, diferente, talvez, da perspectiva que a CAPES está adotando. No exterior, existem agências acreditadoras, não há controle governamental da PG e todos os programas são autônomos, mas se quiserem acreditar-se é sine qua non a elaboração de um relatório de autoavaliação. Ela conclui que "[... ] como essa característica brasileira acredita, financia e avalia e... tudo uma única instituição, é um pouco complicada", contudo, essa reflexão acerca da autoavaliação já demonstra um certo avanço no âmbito do SNPG brasileiro (Entrevistada B).

Você pode ver que no SINAES, [...] a autoavaliação é muito enfatizada. O PAIUB [... ] enfatiza a autoavaliação, mas a CAPES nunca enfatizou a autoavaliação porque usou a avaliação para distribuir recursos e prezava por uma escala para distribuir recursos. E a autoavaliação não tem essa finalidade de colocar programas em uma escala, tem a finalidade apenas de identificar problemas e soluções para os problemas (Entrevistado A).

Ainda que já tenha se passado cerca de quarenta anos de existência do SNPG, essa problemática é observada desde a criação do Sistema de Avaliação, na década de 1970, onde o objetivo principal era o estabelecimento de critérios para orientar a distribuição de bolsas de estudo (^{Castro; Soares, 1983}; ^{Balbachevsky, 2005}). Ou seja, com vistas à concessão de recursos públicos para estimular a produção científica por meio do ranqueamento dos PPGs, o processo avaliativo assumiu uma natureza somativa (^{Patrus; Shigaki; Dantas, 2018}; ^{Maldonado; Bitencourt, 2019}). O resultado disso, foi a ampliação das assimetrias regionais e a institucionalização dos "centros de excelência" e dos "cursos periféricos" (^{Verhine; Dantas, 2009}; ^{Alves; Oliveira, 2014}; ^{Nobre; Freitas, 2017}; ^{Tavares, 2019}).

a) Aprendizagem e Inovação

A observância dessa articulação emergiu a partir da leitura do relatório final do GT de Autoavaliação da CAPES, compreendendo os resultados que a autoavaliação poderia propor em termos de geração do conhecimento e observando nuances que indicavam a associação a aspectos de Aprendizagem e Inovação Organizacional.

Quando questionados acerca da contribuição do processo de autoavaliação para a aprendizagem e inovação no âmbito dos programas, os Entrevistados A e B revelaram uma associação factível. De acordo com o Entrevistado A, tanto a aprendizagem quanto a inovação são vertentes apropriadas a serem discutidas nesse contexto, visto que a ênfase da autoavaliação está, justamente, direcionada à aprendizagem dos programas, assim como a geração de insumos que permitam a tomada de decisões de melhorias, o que tende a ser construída ao longo das experiências. Em suas palavras,

[...] nossa esperança [...] é a criação de uma cultura que valorize a autoavaliação como forma de captar aprendizagem [... ] e também a forma de fornecer subsídios para tomada de decisões de melhorias. Então, suas duas vertentes [... ] são muito apropriadas (Entrevistado A).

Diante disso, a Entrevistada B concebeu a autoavaliação como um "organizador qualificado" à medida que auxilia a construção de um conhecimento sobre o programa e para o programa a partir do levantamento de dados e informações, o que tende a culminar em um conhecimento compartilhado no interior dos PPGs. Em outras palavras, viabiliza a coleta e sistematização de dados em função dos interesses daqueles que produzem e participam do processo avaliativo e com "[... ] esses dados tu produzes uma informação e dessa informação tu faz um conhecimento. Isso que eu chamo da sequência de aprendizagem" (Entrevistada B).

Dessa forma, "[...] a gente acha a autoavaliação importante para captar aprendizagem porque aprendizagem é um processo que a gente não capta bem a partir de uma avaliação externa, principalmente, o tipo de avaliação da CAPES" (Entrevistado A). Portanto, o objetivo da autoavaliação é formativo, conforme ^{CAPES (2019b)}, e deve auxiliar as reflexões acerca do contexto e políticas adotadas, além da sistematização de dados que subsidiem processos decisórios, o que vem a balizar, talvez, o caráter somativo da avaliação externa, como já problematizado por ^{Patrus, Shigaki e Dantas (2018)} e ^{Maldonado e Bitencourt (2019)}.

Ainda no que concerne à aprendizagem, a Entrevista B acrescentou que:

Eu acho que a principal aprendizagem é a aprendizagem de democracia, a gente tem que escutar o outro para pode chegar a uma conclusão, como é que vai fazer uma avaliação. A gente tem que ouvir o outro, tem que ouvir o estudante, tem que ouvir o funcionário, os técnicos que estão conosco, se possível nossos empregadores, e tem que ouvir os nossos egressos.

Ou seja, tanto a autoavaliação quanto a Aprendizagem Organizacional possuem a premissa básica do envolvimento de diferentes agentes no desenvolvimento do conhecimento, uma vez que a Aprendizagem Organizacional pode ser compreendida como uma prática que articula a criação, apreensão e institucionalização do conhecimento no nível organizacional (^{Basten; Haamann, 2018}; ^{Patky, 2020}), baseada nas interações entre os sujeitos (^{Abel, 2015}). O relatório final do GT da Autoavaliação, inclusive, ao tratar da operacionalização técnica da autoavaliação, considerando-a como um processo de aprendizagem, no âmbito da etapa de Meta-avaliação, direciona o entendimento quanto ao uso dos resultados voltados à identificação de um "[... ] rol de mudanças e inovações a serem implementadas" (^{CAPES, 2019b, p. 15}).

No que tange às inovações, conforme ^{Damanpour (2014)}, as organizações, enquanto sistemas adaptativos, tendem a realizar mudanças organizacionais tanto em resposta a pressões externas quanto de acordo com suas expectativas internas em busca de melhorias em desempenho. Dito de outro modo, a adoção de inovações objetiva garantir o comportamento adaptativo para assegurar a eficácia. Assim, observa-se uma relação fundamental a partir da aproximação entre avaliador, avaliado e tomador de decisão para o impulsionamento de mudanças organizacionais. Isto é,

[... ] nós estamos entendendo que a forma melhor para provocar mudanças é através da autoavaliação porque o próprio programa percebe seus problemas, percebe e constrói coletivamente não apenas a visão do problema, mas a visão da solução. E tendo a visão da solução construída em comum, a probabilidade de, realmente, realizar essa solução fica bem maior (Entrevistado A).

[... ] com essa informação, nós vamos conseguir entender alguma coisa que está acontecendo. Então, esse novo conhecimento ele vai nos ajudar a enxergar uma situação. Quando a gente enxerga alguma situação, [... ] a gente começa a ver as fragilidades (Entrevistada B).

Essas fragilidades, normalmente, estão relacionadas ao próprio desempenho do programa mediante seus processos internos, o que só pode ser identificado a partir da observação das experiências concretas no âmbito dos PPGs. Dessa forma, a compreensão é que:

[... ] os próprios programas tenham uma noção do que eles estão buscando. [... ] se eles estão conseguindo alcançar o que eles estão buscando e, se não estão alcançando, como é que você pode identificar esses entraves que estão limitando esse alcance e como é que você pode quebrar os entraves para aumentar o desempenho do programa (Entrevistado A).

A partir dessas nuances que as inovações podem emergir nos PPGs, visto que a "[... ] aprendizagem injeta novas ideias para a organização [...], ou seja, favorece a presença de inovação" (^{Padilha et al., 2016, p. 329}).

Antes de tudo, a Entrevistada B destacou a questão da mudança de paradigma no Sistema de Avaliação da CAPES no tocante à implementação da própria política de autoavaliação. Quer dizer, há um choque de paradigmas, o paradigma de cima para baixo, do controle explícito do poder executivo de um país em controlar suas instituições, passa a dar espaço, ainda que de forma tímida, a um paradigma de participação democrática, que vem de baixo para cima, como reflexo da autoanálise das pessoas e dos atores em função da busca pela compreensão da sua própria condição enquanto organização. E, dessa forma, quando há uma mudança paradigmática, abre-se um caminho para outro processo de criação de novas possibilidades, como expressou a Entrevistada B:

Então, a autoanálise que precisa fazer, os diagnósticos que são necessários serem feitos, eles introduzem uma outra maneira de pensar, eles invertem... uma coisa é responder um questionário feito, outra coisa é tu estruturar esta situação e tu organizar a situação, aí é outro paradigma. E neste paradigma que entra o processo democrático (Entrevistada B, grifos nossos).

Além disso, considerando que os objetivos acerca da formação de docentes e pesquisadores no Brasil, como previsto no Parecer Sucupira (^{Brasil, 1965}), já foram alcançados, a Entrevistada B observou que é necessário ir além das áreas sociais e direcionar ações para a formação pós-graduada que contemplem outras áreas como as empresariais, de negócios e as industriais. Ou seja, chega-se a uma fase, inclusive, em termos das necessidades sociais, econômicas e culturais, e isso vem sendo, paulatinamente, pontuado pela comunidade acadêmica, em que a CAPES precisa realizar mudanças de forma a ampliar a atuação e objetivos do SNPG. E uma das vias para isso, é que a autoavaliação possa contribuir para promover essa evolução, no sentido de direcionar estratégias que contemplem outros processos para além da formação de pessoal para as IES.

Na trilha desses fatos, quanto às perspectivas para a inovação, evidencia-se uma relação plausível com a autoavaliação, uma vez que aqueles programas que se apoderarem desse processo de autoanálise podem chegar a um resultado superior àquele exigido na Ficha de Avaliação da CAPES. Ou seja, a questão central está em como cada PPG desenvolverá sua política para o benefício próprio, de modo a identificar oportunidades de melhorias e desenvolver mudanças inovadoras no programa, como realçou a Entrevistada B.

b) Contexto Emergente

Diferentes argumentações proferidas pelos Entrevistados A e B convergiram para uma compreensão acerca da importância do contexto particular de cada PPG, que pode ser evidenciado a partir da autoavaliação. Essas evidências foram organizadas de forma representativa nesta categoria denominada Contexto Emergente.

Inicialmente, o Entrevistado A ponderou que é necessária a compreensão da existência de apenas um sistema de PG no Brasil, ao contrário do ensino superior, que possui dois (federal e estadual), e da educação básica, que existem vários. Portanto, há padrões mínimos de qualidade para a avaliação de todos os PPGs, "[...] porque [...] aquele diploma que cada aluno recebe tem o mesmo valor em qualquer lugar do país. Então, você não pode imaginar que a gente vai dar um conceito maior para um programa ruim só porque existe um lugar mais difícil, né?! Isso não faz sentido". Todavia, a avaliação externa foi concebida assentada em um padrão unificado que pouco considera as particularidades regionais e os contextos emergentes de diferentes programas (^{Verhine; Dantas, 2009}; ^{Patrus, 2018}), o que, segundo ^{Patrus (2018)}, acentua as desigualdades observadas no SNPG até os dias atuais.

Há expectativas de que, por meio de autoavaliação, os PPGs possam evidenciar suas realidades e suas contribuições dentro do seu contexto de atuação "[... ] porque com a autoavaliação você vai contextualizar sua realidade [... ] em função de sua missão" (Entrevistado A), de modo que a CAPES possa captar as dificuldades enfrentadas em diferentes regiões e direcione ações mais específicas no sentido de contribuir com o desenvolvimento desses programas e localidades. Em contrapartida, a Entrevistada B avaliou que não sabe se a autoavaliação poderia contribuir para a diminuição das desigualdades na PG e exemplificou sua fala ilustrando a experiência vivenciada junto a um PPG em Educação, no interior do estado do Mato Grosso. Em função da sua missão, o programa desenvolvia diferentes ações

[... ] trabalhando com ribeirinhos, trabalhando com as necessidades daquela comunidade, trabalhando com escolas dentro dos assentamentos, um problema de educação, trabalhando com docentes das escolas indígenas, com toda aquela dificuldade. É uma instituição que tem vários campi pelo interior do estado [...]. Então, para atingir um campus e voltar, por exemplo, para uma reunião da pós-graduação, que na época se fazia presencial, um docente tinha que, muitas vezes, viajar de barco, viajar pela estrada, às vezes de avião, às vezes não chegava a tempo... quer dizer, todas as dificuldades que se pode imaginar para poder fazer o ensino nesse país se apresentavam naquele Programa de Pós-Graduação. Inclusive, posso te contar, assim, que até a língua indígena, as línguas indígenas, porque não há uma só, são várias, poderiam ser dificultosas para quem queria fazer um programa de educação adequado (Entrevistada B).

Mediante esse contexto, os produtos resultantes dessas ações, além do próprio processo formativo para o desenvolvimento das comunidades, eram, por exemplo, as cartilhas em diferentes línguas indígenas. "Então tu podes imaginar o que é esse trabalho, fazer uma cartilha na língua indígena, decifrar, fazer adequado" (Entrevistada B).

A Entrevistada B avaliou que, embora o PPG desenvolvesse um trabalho totalmente integrado à comunidade, isso não era reconhecido pelo Sistema de Avaliação da CAPES, tendo em vista os critérios estabelecidos em uma Ficha de Avaliação, que, muitas vezes, os PPGs de instituições do interior dificilmente conseguem alcançar. E por essa falta de reconhecimento, a pontuação dos docentes, da produção intelectual, da produção dos estudantes, sempre esteve abaixo daquilo que se esperava ser "meritada", tendo em vista que aquele produto não consistia em "[...] uma publicação de tantas páginas, quanto a CAPES poderia exigir, não era uma publicação em língua inglesa, como a CAPES poderia exigir, não era uma publicação internacional, como a CAPES poderia exigir", criticou a Entrevistada B. Ou seja, "[...] a avaliação é algo muito chocante porque ela pode, muitas vezes, não reconhecer uma realidade que é riquíssima e passar sobre ela e ignorá-la" (Entrevistada B).

Rememora-se que, ao observar a literatura acerca dos fundamentos das políticas de Avaliação Educacional, ^{Belloni (1999)} as apresenta sob duas tendências: avaliação como melhoria e mudança; e avaliação como controle e hierarquização. Verifica-se na avaliação da CAPES um alinhamento à tendência da política de avaliação como controle e hierarquização, fazendo predominar a lógica da regulação e do controle quanto ao cumprimento de requisitos e normas. Isso reflete, inclusive, a problematização trazida por ^{Bertero (2009)}, quanto ao papel coercitivo da CAPES, ao considerar a possibilidade de descredenciamento de um programa, haja vista todas as consequências associadas a essa ação, especialmente, a perda do suporte da própria agência para o seu progresso.

Diante disso, as evidências apontam para a necessidade de a CAPES realizar investimentos diretos na melhoria dos programas, especialmente de regiões mais problemáticas, e a autoavaliação pode contribuir para evidenciar esses contextos. Assim, o Entrevistado A afirmou,

[... ] eu acho que a CAPES deveria estar desvinculando esse financiamento, que eles fazem, da avaliação. Quer dizer, eles criam uma situação em que você faz os programas fortes mais fortes, os programas fracos mais fracos porque você dá mais dinheiro para os fortes e menos dinheiro para os fracos.

E sugeriu que esse financiamento aos programas pudesse estar ligado a projetos de melhorias, ou seja, "[...] um projeto de consolidação que o programa apresente para a CAPES, em que ele, o programa, concebe o que precisa fazer para se consolidar e a CAPES financia esse projeto a partir de uma avaliação, evidentemente, para garantir que o projeto é bem-conceituado etc." (Entrevistado A).

Pelo contrário, pode-se depreender que, ainda que o processo autoavaliativo venha a evidenciar essas nuances, não se chegou ainda a um modelo de avaliação que balize as desigualdades observadas no cenário da PG brasileira, apesar das ações empreendidas nesse sentido, a exemplo dos mestrados e doutorados interinstitucionais (MINTER e DINTER), como colocado por ^{Verhine e Dantas (2009)}, ^{Vogel (2015)} e ^{Patrus (2018)}. Dessa maneira, a Entrevistada B não se demonstrou muito esperançosa e ponderou que os comitês avaliadores seguem uma lógica das ciências "duras", mas nutre a expectativa da mudança do olhar para as diferenças, no sentido de que se possa valorizar as particularidades de formas diferentes, como questão central. Nas palavras da Entrevistada B,

[... ] eu tenho expectativa de que os grupos avaliadores, os nossos colegas avaliadores sejam sensíveis à diferença. Nós estamos vivendo um momento em que... por favor, é a televisão batendo na diferença... todas as entidades mostrando as diferenças. Vai ser somente na pós-graduação que nós não vamos notar que existem diferenças? É impossível!

Esses aspectos podem apontar uma importante oportunidade com relação à valorização das identidades organizacionais de cada programa, haja vista a possibilidade de os PPGs expressarem, mediante seus processos de autoavaliação, suas particularidades, individualidades e contextos em função da sua missão e objetivos institucionais. Além disso, a autoavaliação pode conformar um componente essencial para o processo de reconstrução das identidades dos programas.

Portanto, faz-se necessário reavaliar o Sistema de Avaliação da CAPES, com base nos fundamentos das políticas de Avaliação Educacional, uma vez que, como posto por ^{Belloni (1999, p. 38)}, a avaliação de instituições educacionais está associada à análise do seu desempenho em função dos seus objetivos e missão, observando-se o contexto social, econômico, político e cultural em que a organização está inserida, e com o objetivo de identificar "[... ] os fatores favoráveis ao bom andamento e aqueles responsáveis pelas dificuldades, com vistas à sua superação".

Por fim, o Quadro 1 apresenta uma síntese acerca dos principais achados da pesquisa.