Contexto, desafios e tendências no sistema avaliativo da Capes

O sistema de avaliação da pós-graduação no Brasil tem passado por mudanças significativas nos últimos anos, impulsionadas pela necessidade de um processo mais participativo e formativo. A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) implementou, a partir de 2018, a autoavaliação como parte do processo avaliativo da pós-graduação, com o objetivo de fomentar a reflexão crítica interna dos Programas de Pós-Graduação (PPGs) e garantir o maior envolvimento da comunidade acadêmica na análise de seus próprios desafios e de suas potencialidades. A autoavaliação foi incorporada como um dos eixos fundamentais do processo avaliativo, conforme estabelecido na Proposta de Aprimoramento do Modelo de Avaliação da Pós-Graduação, elaborada pela Comissão Nacional de Acompanhamento do Plano Nacional de Pós-Graduação (PNPG) 2011-2020 (Brasil, 2018). No entanto, esse processo ainda enfrenta desafios, especialmente no que se refere à sua institucionalização, devido à sua natureza autogerenciada e à necessidade de engajamento ativo dos diferentes atores institucionais (^{Silva; Luft; Olave, 2024}).

Embora a autoavaliação já esteja incorporada ao processo avaliativo da Capes, sua consolidação ainda apresenta desafios importantes, especialmente no que se refere à ausência de diretrizes mais claras e à limitação de experiências consolidadas que orientem sua aplicação nos PPGs. Conforme apontam ^{Trevisol e Pinto (2020}), a literatura sobre autoavaliação no contexto do Sistema Nacional de Pós-Graduação (SNPG) ainda é escassa, e o sistema praticamente não tinha experiência consolidada com essa prática. Os autores ainda afirmam que, apesar de as Instituições de Ensino Superior (IES) elaborarem periodicamente seus Planos de Desenvolvimento Institucional (PDIs), esse conhecimento raramente era incorporado ao planejamento e monitoramento dos PPGs. Esse fato é bastante problemático, pois incumbe à comunidade acadêmica de cada PPG pensar sua autoavaliação sem um direcionamento institucional, o que, por vezes, pode gerar enormes discrepâncias nos processos autoavaliativos dos PPGs de uma mesma instituição.

O olhar institucional para a autoavaliação, bem como a necessidade de uma abordagem multidimensional, tornou-se, nos últimos anos, um tema central nos debates sobre a reformulação do modelo avaliativo, visando, por um lado, conduzir ao atendimento de diretrizes da Capes e, por outro, também reconhecer e valorizar as particularidades dos PPGs. ^{Trevisol e Pinto (2020}) destacam que essa última demanda surgiu da percepção de que a avaliação vigente tem promovido uma homogeneização excessiva do sistema científico, fazendo com que os programas repliquem os modelos dos que possuem melhor desempenho, em detrimento da valorização de suas especificidades institucionais. Além disso, a expansão do SNPG dificultou a aplicação de um modelo único de avaliação centralizada, uma vez que não consegue captar a diversidade e a complexidade das diferentes realidades dos PPGs. Nesse contexto, a importância da construção de uma estratégia de autoavaliação que possibilite uma análise mais contextualizada dos programas e sua adequação às necessidades institucionais é ressaltada.

A literatura aponta que a autoavaliação pode ser um recurso estratégico para a aprendizagem organizacional e institucional, ao permitir que os programas construam conhecimentos sobre sua trajetória e direcionem as ações para melhorias internas (^{Leite et al., 2020}; ^{Silva; Luft; Olave, 2024}). A experiência internacional mostra que a autoavaliação também pode estar diretamente relacionada à avaliação de capacidades acadêmicas e formativas, como demonstrado no estudo realizado em universidades canadenses (^{Goff et al., 2015}).

O estudo de ^{Goff et al. (2015}) evidenciou a importância da autoavaliação das dissertações de Mestrado e das teses de Doutorado, estruturando esse processo por meio de rubricas bem definidas para avaliar habilidades essenciais, como pensamento crítico, escrita acadêmica e comunicação oral. De acordo com os autores, a introdução de um formulário de autoavaliação permitiu que os estudantes refletissem sobre suas produções antes da defesa, estimulando um aprimoramento contínuo de suas práticas acadêmicas. Outro exemplo é a experiência de benchlearning¹ adotada pela Finlândia (^{Leite et al., 2020}) e pelos Países Baixos, onde a autoavaliação é o eixo central do processo avaliativo nacional e um instrumento essencial para o aprimoramento das unidades de pesquisa (^{Trevisol; Pinto, 2020}). Ampliando essa percepção, a Capes menciona que:

Em alguns países, por exemplo Holanda, a autoavaliação é única, não existe avaliação externa. Em outros, por exemplo a Finlândia que se inspirou na Holanda, a autoavaliação constitui o fundamento que embasa o asseguramento da qualidade e a gestão de uma instituição, agência ou empresa. No Reino Unido, por sua vez, a avaliação externa da educação superior, denominada Auditoria (Audit), focaliza, quase exclusivamente, as estruturas e mecanismos adotados pela instituição para assegurar sua qualidade (Capes, 2019, p. 5).

Esses estudos têm sido apontados como referências para a construção de práticas mais integradas e formativas. Nessas experiências, a autoavaliação não se limita ao monitoramento institucional, mas se estabelece como um recurso estratégico para a melhoria contínua, promovendo um ambiente de aprendizado colaborativo entre os programas e as instituições. Assim, observamos que, independentemente do contexto nacional, a autoavaliação vem sendo cada vez mais reconhecida como um componente essencial para garantir a evolução e o fortalecimento dos PPGs.

Entretanto, é fato que a implementação da autoavaliação é um processo árduo, contínuo e que enfrenta muitos desafios. No Brasil, um dos principais obstáculos está na dificuldade de articulação com o planejamento estratégico dos programas (^{Pinho, 2024}; ^{Trevisol; Pinto, 2020}) e na própria complexidade de olhar para si sendo protagonista de sua autoanálise. Em que pese tais dificuldades, elas também ganham em importância, visto que, como pontua Leite (2018 apud Capes, 2019, p. 8), “[...] o ato de conhecer é, em si, uma responsabilidade social, profissional e pública de um programa ou instituição”.

Outro aspecto fundamental da discussão sobre a autoavaliação na pós-graduação refere-se às críticas ao modelo avaliativo vigente, que, segundo ^{Afonso (2024}), refletiu uma forte influência eurocêntrica e positivista. O autor destaca que a autoavaliação, quando conduzida apenas como um instrumento técnico e burocrático, pode reforçar a colonialidade epistêmica e contribuir para a manutenção de desigualdades dentro da academia. Afonso (2024) argumenta que a autoavaliação deveria ser encarada como um processo de resistência e emancipação, capaz de promover uma avaliação mais dialógica e comprometida com a justiça social. Esse debate é particularmente relevante no contexto da Educação Superior brasileira, que historicamente teve sua estrutura avaliativa moldada por influências externas e por modelos de controle institucional pouco sensíveis às realidades locais.

^{Souza (2024}) aprofundou essa discussão ao apresentar publicação com diferentes experiências institucionais de autoavaliação na pós-graduação no Brasil. Os capítulos abordaram casos de PPGs que vêm implementando metodologias de autoavaliação participativas, com o envolvimento de docentes, discentes e egressos. Em algumas instituições, como a Universidade Estadual de Ponta Grossa (UEPG) e a Pontifícia Universidade Católica de Campinas (PUC-Campinas), observa-se a construção de políticas institucionais que buscam integrar a autoavaliação ao planejamento estratégico dos programas (^{Brandalise, 2024}; ^{Tassoni; Rios; Mendonça, 2024}). Na Universidade Federal do Triângulo Mineiro (UFTM), a autoavaliação tem sido utilizada para reestruturar as atividades acadêmicas e promover maior alinhamento entre os objetivos dos programas e as diretrizes da Capes (Prata-Linhares; Sivieri-Pereira; Barros, 2024).

Acrescenta-se a pesquisa desenvolvida por ^{Magalhães, Garcia e Huet (2024}), que discute a “Avaliação, autoavaliação e planejamento de Programas de Pós-Graduação: desdobramentos e possibilidades na Região Norte”, e traz uma análise aprofundada sobre como a avaliação da Capes influencia as práticas internas de autoavaliação e planejamento nos PPGs, especialmente na Região Norte. Os autores argumentam que, embora a autoavaliação seja promovida como uma ferramenta de melhoria institucional, ela ainda é fortemente induzida por pressões externas, limitando sua autonomia e efetividade. O estudo destaca que a autoavaliação e o planejamento são frequentemente vistos como processos dissociados, o que compromete a capacidade de os programas se organizarem estrategicamente para atender tanto às exigências avaliativas quanto às suas próprias necessidades acadêmicas. Magalhães, Garcia e Huet (2024) também sugerem que a autoavaliação precisa ser mais bem integrada às práticas institucionais e não apenas ser uma resposta às exigências regulatórias.

Esses estudos evidenciam que, apesar das dificuldades, há esforços concretos para consolidar a autoavaliação como uma prática formativa e reflexiva. Pensamos, assim, que a autoavaliação deve ser compreendida não apenas como um instrumento de prestação de contas, mas como um meio de fortalecer a governança dos PPGs, estimulando uma cultura de avaliação mais democrática e alinhada às especificidades de cada contexto institucional. É a partir desse contexto que a autoavaliação se torna “[...] um exercício de autonomia responsável” (Capes, 2019, p. 11), indissociável do planejamento estratégico dos PPGs e das diretrizes institucionais das IES de que fazem parte.

Dito isso, este estudo tem como objetivo analisar, a partir da avaliação realizada pela Capes, como os Programas de Pós-Graduação em Educação (PPGE) das IES da região do Triângulo Mineiro, Minas Gerais, têm implementado a autoavaliação. A escolha desse recorte geográfico se justifica pela região ser um polo educacional relevante no Brasil, abrigando diversas instituições públicas e privadas que oferecem PPGs. Outro motivo dessa escolha é a possibilidade de olhar para programas que fazem parte da mesma região do Brasil, influenciados por necessidades e perspectivas, até certo ponto, similares, buscando pontos de convergência e divergência para uma análise do impacto social dos PPGEs da região. Essa diversidade institucional possibilita uma análise de diferentes abordagens adotadas na condução da autoavaliação.

A pergunta central deste estudo é: Como os PPGEs das IES situados na região do Triângulo Mineiro têm trabalhado a autoavaliação, a partir da perspectiva da Capes? Para respondê-la, a pesquisa utilizou o software Iramuteq para a análise textual dos dados e fundamentou-se na metodologia da tematização proposta por ^{Fontoura (2011}), permitindo a construção de categorias emergentes e indicadores a partir dos dados analisados. Os resultados visam contribuir para um olhar aos processos avaliativos nos PPGEs, assim como para o possível aprimoramento dos processos.

Entre o ideal e a prática: perspectivas críticas sobre a autoavaliação na pós-graduação

A prática da autoavaliação no sistema educacional brasileiro vem sendo retratada, de forma enfática ou sutil, a partir dos estudos e trabalhos desenvolvidos por Paulo ^{Freire, falando em aprendizagem significativa. Freire (2019}) defendeu, em primeiro lugar, que a aprendizagem só se concretiza plenamente quando o que se aprende faz sentido na vida do aprendente, quando faz morada em si, nos aspectos cognitivo, social e afetivo. Nesse raciocínio, Paulo Freire disse, ainda, que o significado é dado quando o aluno entende o que, como, para que e por que aprendeu aquilo, e a melhor maneira de se fazer isso é se conhecendo, avaliando o que aprendeu, se autoavaliando. Tais reflexões rompem fronteiras delimitadas por manuais e estruturas organizacionais da educação, podendo ser pensadas também na autoavaliação dos PPGs. Assim, nos PPGs, a “[...] autoavaliação torna-se um ato empreendedor quando, após debates e análises, for sucedida por ações de melhoria” (^{Leite et al., 2020}, p. 348).

Ao seguir a linha de Paulo Freire, defendemos que a avaliação, de um modo geral, deve sair do lugar de apenas fotografar o fenômeno para, de acordo com ^{Sacristán e Gómez (2000}), ser um recurso de aprimoramento dos processos pedagógicos, tornando-se um processo pós-ativo de reflexão sobre o ocorrido. Entende-se que, dessa forma, a avaliação estimula aprendizagens significativas, auxiliando a configuração do ambiente educativo, inspirando o diálogo e a criticidade. Estamos, então, olhando para o processo e não apenas para o resultado, exigindo a descrição e a interpretação, ou seja, um olhar qualitativo, superando o quantitativo. Como pontuam ^{Leite et al. (2020}), uma autoavaliação realizada de forma cuidadosa gera conhecimentos sobre uma determinada realidade, construída a partir da perspectiva dos sujeitos que a vivenciam e a constituem em um contexto específico, situado historicamente. Produzir esse conhecimento - ou seja, o próprio processo de conhecer - configura-se como uma responsabilidade que é, ao mesmo tempo, social, profissional e pública da instituição ou do programa.

^{Afonso (2024}) entende que, na atualidade, coexistem, no estudo da cientificidade da avaliação, visões diversas, que tanto trazem uma ideia da necessidade de dados objetivos, quantificáveis e mensuráveis, quanto compreendem posições avaliativas que consideram as dimensões políticas, éticas, culturais, sociais e contextuais, valorizando a subjetividade e a reflexividade. Esse viés dúbio de pensar a autoavaliação permite recuperar a “[...] legitimidade na produção do conhecimento avaliativo, [essas dimensões] abriram as portas para uma maior receptividade a versões dialógicas, de negociação, de interpretação e de validação intersubjetiva, às quais, entre outros, o paradigma construtivista e a teoria crítica deram centralidade” (Afonso, 2024, p. 2).

Nessa esteira, a autoavaliação na pós-graduação tem sido discutida sob diferentes perspectivas. A literatura aponta para sua importância como recurso formativo e estratégico para o planejamento institucional (^{Leite et al., 2020}; ^{Silva; Luft; Olave, 2024}; ^{Pinho, 2024}), além de destacar sua dimensão política e social, uma vez que permite aos programas ajustarem-se às demandas da Capes sem perderem suas especificidades institucionais.

Para o professor Ângelo Ricardo de ^{Souza (2024}), atual coordenador da área de Educação da Capes, ao ampliar a presença da autoavaliação na pós-graduação, valorizar-se-á o particular ou o que é específico de cada programa, sua identidade frente ao contexto em que está inserido. Souza (2024) afirma que o ponto de partida de uma boa política de autoavaliação são os objetivos declarados pelo programa. Ao partir do objetivo geral de qualquer pós-graduação, que é formar cada vez mais e melhor pessoas altamente qualificadas por meio da e para a pesquisa, cada programa define seus objetivos específicos, que se tornam o roteiro para sua autoavaliação. Cada programa, no seu processo de autoavaliação, deve se perguntar o quanto tem trabalhado para alcançar esses objetivos, que, consequentemente, estão diretamente conectados à geração de impacto e inserção social.

Nesse sentido, o diálogo com a sociedade, a comunidade que compõe o entorno do programa, é critério indispensável para o processo de autoavaliação, visto que, como pontua ^{Leite (2006}apud Leite et al., 2020, p. 342), a autoavaliação é um “[...] processo de autoanálise realizado pela comunidade envolvida, destacando pontos fortes e pontos fracos de suas realizações com vistas à melhoria da qualidade do seu fazer institucional, com vistas à superação de fragilidades e dificuldades diagnosticadas”. Assim, a autoavaliação deve servir para identificar os problemas e suas causas e, em estreita relação com o planejamento estratégico, retomar a discussão, criando estratégias em busca de soluções.

Ao corroborarmos ^{Leite et al. (2020}), entendemos que é fato que a autoavaliação por si só não dará conta de todas as demandas dos programas - e nem é essa a sua função. Um dos grandes fins da autoavaliação é, portanto, ser um momento reflexivo da comunidade que constitui o PPG: “A autoavaliação [AA] poderá apontar realidades distintas como componentes de um sistema organizado e indutor. Por si só, a AA não faz milagres e, tal como a avaliação em geral, poderá ser apenas aquele organizador qualificado” (Leite et al., 2020, p. 347).

Sem desconsiderar a inegável contribuição e importância dos processos de autoavaliação nos PPGs, importa também argumentar que são muitos os desafios e entraves enfrentados no que se refere à sua implementação, sejam eles de ordem cultural, estrutural, de gestão ou ainda metodológica (^{Leite et al., 2020}; ^{Mesquita; Lima; Leite, 2023}; ^{Pinho, 2024}; ^{Silva; Luft; Olave, 2024}).

Dentre os aspectos culturais, destacamos a resistência à mudança e a falta de engajamento dos participantes (aqui entendidos como egressos, discentes, docentes e técnicos administrativos), pois a cultura da autoavaliação ainda não está plenamente internalizada nas instituições, gerando resistência à participação ativa e à implementação de mudanças com base nos resultados.

Muitos docentes, discentes e técnicos administrativos entendem a autoavaliação como mera formalidade burocrática imposta pela Capes, com ações e prazos a serem cumpridos rigorosamente. Resulta desse fato uma frágil participação dos atores, com pouca contribuição significativa. Percebemos também alguns entraves, como: a diversidade regional e a heterogeneidade dos programas, que são complicadores para o alcance de alguns objetivos propostos pela Capes; e a ênfase em métricas, com pressão por resultados quantitativos, desviando o foco da autoavaliação de aspectos qualitativos, como a formação integral dos egressos e o impacto social das pesquisas. Tais dificuldades ofuscam a importância da autoavaliação, não permitindo, por vezes, desbravar caminhos até então inexplorados no processo de se autoconhecer.

No que se refere às questões estruturais e de gestão, ressaltamos: a falta de recursos humanos, financeiros e tecnológicos adequados para conduzir a autoavaliação de forma eficiente e contínua; a sobrecarga de trabalho - percebe-se que coordenadores e comissões de avaliação frequentemente acumulam múltiplas funções, o que compromete a dedicação necessária para um processo avaliativo robusto; o despreparo dos envolvidos - a autoavaliação exige conhecimentos atualizados em avaliação institucional, que muitas vezes não são proporcionados de forma sistemática; e a divulgação insuficiente e falta de feedback - os participantes, muitas vezes, não recebem feedback sobre como suas contribuições foram utilizadas, o que desmotiva a participação futura.

Por fim, as dificuldades metodológicas abarcam o fato de que os indicadores de qualidade sugeridos pela Capes nem sempre são adaptados às realidades locais e específicas dos PPGEs, o que pode gerar distorções na avaliação. Somamos a isso a complexidade da mensuração: aspectos subjetivos, como o impacto social das pesquisas, a formação ética dos egressos e a contribuição para o desenvolvimento regional, são difíceis de mensurar de forma objetiva. Talvez o ponto mais importante a se destacar seja a desconexão com o planejamento estratégico do programa e o planejamento institucional, percebendo-se uma lacuna entre a autoavaliação e o planejamento, o que limita o impacto das ações propostas. Esse fato repercute na deficiência de aplicação prática e na subutilização dos resultados da autoavaliação.

Para superar esses entraves, é necessário investir na construção de uma cultura avaliativa participativa e reflexiva, capacitar os atores envolvidos, garantir a utilização efetiva dos resultados e adaptar os processos às realidades locais. Além disso, é fundamental promover maior integração entre os programas, as instituições e a Capes, de modo a alinhar as diretrizes nacionais com as necessidades específicas de cada contexto. A autoavaliação, quando bem implementada, pode se tornar uma ferramenta poderosa para o aprimoramento contínuo dos PPGEs no Brasil.

Com o exposto, e fazendo um recorte das discussões para uma área em suas especificidades, elegemos, para uma análise com mais afinco, os PPGEs do Triângulo Mineiro, dentre os quais os autores desta comunicação fazem parte. Assim, na sequência, apresentamos os aspectos metodológicos que sustentam nossa construção de dados em um viés de abordagem qualitativa de pesquisa; os critérios de seleção das fichas de avaliação da Capes; e o uso do Iramuteq para análise dos dados. Por fim, trazemos, em resultados e discussão, os principais achados da pesquisa, sintetizados nas considerações finais.

Desenho metodológico da pesquisa

Este estudo tem abordagem qualitativa, com foco na análise documental das fichas de avaliação de seis PPGEs pertencentes a IES localizadas na região do Triângulo Mineiro, Minas Gerais, disponibilizadas pela Capes, referentes ao período da avaliação quadrienal 2017-2020.

As fichas, que constituem a principal fonte de dados da pesquisa, foram obtidas diretamente no site oficial da Capes, na seção destinada à Avaliação da Pós-Graduação, e correspondem aos relatórios elaborados por comissões avaliadoras, nos quais são descritos e avaliados os diversos aspectos dos programas, incluindo os processos de autoavaliação. Por tratar-se de documentos institucionais públicos e padronizados, as fichas oferecem uma base confiável e comparável para a análise dos critérios utilizados pela Capes e das práticas institucionais descritas pelos programas.

Cabe, neste momento, contextualizarmos a ficha de avaliação da Capes. A ficha é dividida em três quesitos bem delineados, além de anexos a serem incluídos pelos PPGs no momento do envio do relatório quadrienal, neste caso referente ao quadriênio 2017-2020². Os quesitos são: Programa, Formação e Impacto na Sociedade, os quais, em linhas gerais, abarcam:

De maneira resumida, essa é a configuração da ficha de avaliação da Capes (2017-2020), acrescida de seus anexos referentes à relação de defesas que geraram produção científica no programa, ao destino e à atuação de egressos na sociedade e aos destaques do programa, que diz respeito à qualidade das produções intelectuais mais importantes dos egressos.

Destacamos que a avaliação da Capes classifica cada um dos indicadores que integram os quesitos acima com conceitos que variam entre Muito Bom (MB), Bom (B), Regular (R) e Fraco (F). No entanto, todos os três quesitos avaliativos têm o mesmo peso na composição da nota/conceito do PPG (aproximadamente 33,3%), sendo esse percentual distribuído entre os indicadores que compõem o quesito. Ressaltamos ainda que alguns itens têm avaliação qualitativa dos dados (por exemplo, autoavaliação e planejamento estratégico), enquanto outros são analisados de forma quantitativa (por exemplo, produção intelectual docente). Do exposto, o cerne do presente artigo situa-se no quesito “Programa”, mais especificamente no indicador 1.4, destinado às ações de autoavaliação do PPG. A autoavaliação representa 15% da nota do quesito “Programa”, sendo esperado, para esse indicador, que o PPG demonstre seis vertentes de atuação:

1.4.1. Desenvolvimento de políticas e ações de autoavaliação observando: a) a continuidade b) a consistência c) a coerência d) a articulação com as diretrizes da CPA e/ou Pró-Reitoria ou equivalente. 1.4.2. Política sistemática de acompanhamento das metas do PPG ao final do quadriênio, destacadamente da formação e produção intelectual dos discentes. 1.4.3. Avaliação docente: política sistemática de credenciamento, acompanhamento, recredenciamento e descredenciamento de docentes. 1.4.4. Política sistemática de escuta aos alunos e egressos sobre o processo formativo. 1.4.5. Grau de comunicação entre docentes e coordenação do PPG, na forma de canal de comunicação efetivamente utilizado para a indicação de críticas e sugestões para o PPG. 1.4.6. Incentivo à presença de membros externos nos processos de autoavaliação (Capes, 2025a, p. 6).

Para compreender o que mostram os conteúdos dessas fichas, utilizamos o software Iramuteq (www.iramuteq.org) - Version 0.7 alpha 2 - Laboratoire LERASS REPERE - Licence GNU GPL - © 2008-2014 Pierre Ratinaud. O Iramuteq (Interface de R pour les Analyses Multidimensionnelles de Textes et de Questionnaires) é um software francês voltado à análise textual. Pesquisadores de diferentes áreas o utilizam amplamente para identificar padrões e estruturas em dados textuais oriundos de pesquisas qualitativas. Ele se destaca pela possibilidade de realizar análises de textos, permitindo a avaliação de materiais verbais transcritos, desde que sejam do mesmo idioma e possuam características semelhantes. Ainda sobre o software Iramuteq, ^{Camargo e Justo (2013}, p. 513) afirmam: “Pelo seu rigor estatístico, pelas diferentes possibilidades de análise, interface simples e compreensível, e, sobretudo, por seu acesso gratuito, o Iramuteq pode trazer muitas contribuições aos estudos em Ciências Humanas e Sociais”.

Neste estudo, utilizamos dois recursos analíticos disponibilizados pelo Iramuteq: a nuvem de palavras, que evidencia os termos de maior frequência no corpus textual; e a análise de similitude, que permite visualizar as conexões entre as palavras com base em sua coocorrência, fornecendo pistas sobre os sentidos predominantes atribuídos aos termos-chave nas avaliações examinadas.

Apresentação dos resultados compilados

Nesta pesquisa, compilamos em um único texto todas as fichas de avaliação dos seis PPGEs das IES do Triângulo Mineiro que continham informações sobre o indicador: “Os processos, procedimentos e resultados da autoavaliação do programa, com foco na formação discente e produção intelectual”. Em seguida, extraímos do texto todas as afirmações relacionadas à autoavaliação, adotando como critério de seleção a presença da palavra “autoavaliação”. Esse conteúdo, transcrito em um bloco de notas, foi então processado no software Iramuteq. O processamento resultou em um corpus de 969 palavras. Após a eliminação das palavras que não possuíam significado para a pesquisa, o número de formas ficou definido em 302 palavras. Destas, 172 apresentaram frequência igual a um, correspondendo a 56,95% do total de palavras do corpus e a 17,75% do número de formas identificadas, como mostra a Tabela 1

Desse processamento, obtivemos a lista das palavras mais citadas pelos avaliadores (Tabela 2).

Para as análises, procuramos compreender o sentido, o significado e a relação estabelecida entre as palavras mais citadas pelos avaliadores: “autoavaliação”, “programa”, “processo”, “indicador”, “discente”, “docente”, “política”, “relatório” e “presença”, “ação”, “meta”, “incentivo” e “externo”, que obtiveram frequência maior que seis, como pode ser observado na nuvem de palavras (Figura 1) e na análise de similitude (Figura 2).

Ao ser analisado pelo Iramuteq, o texto foi organizado de maneira hierárquica, com palavras dispostas em diferentes tamanhos. Essa distribuição gráfica ocorre com base na frequência de ocorrência, possibilitando a identificação das palavras-chave no corpus. Os termos mais relevantes aparecem próximos ao centro da figura e são exibidos em fontes maiores, refletindo o número de vezes em que foram mencionados.

Fonte: Extraída do Software Iramuteq. Dados da pesquisa.

Figura 1 Nuvem de palavras 

No Iramuteq, a nuvem de palavras é uma representação gráfica que destaca os termos mais frequentes em um conjunto de dados textuais. Essa técnica possibilita a identificação rápida das palavras mais recorrentes, proporcionando uma visão geral do vocabulário predominante no material analisado. A nuvem é gerada a partir de análises lexicais que contabilizam a frequência de cada termo dentro do corpus. Sua disposição visual segue um critério proporcional: quanto maior a palavra na nuvem, maior sua incidência no texto. Esse recurso facilita a identificação intuitiva dos termos mais relevantes, auxiliando na interpretação do conteúdo textual.

No Iramuteq, a árvore máxima de similitude, também chamada análise de similitude, é um método que representa visualmente as relações entre as palavras ou categorias dentro de um corpus textual, com base em sua coocorrência. Essa árvore é construída a partir de um cálculo de similitude, que identifica os termos que aparecem juntos com maior frequência no mesmo contexto. Fundamentada na teoria dos grafos, essa técnica permite ao pesquisador explorar as conexões entre os termos e personalizar a visualização por meio de edições gráficas, como ajuste de cores, tamanho do texto e espessura das arestas.

Fonte: Extraída do Software Iramuteq. Dados da pesquisa.

Figura 2 Análise de similitude 

De posse das informações contidas na nuvem de palavras e na análise de similitude, procedemos à análise das palavras mais citadas. Essas palavras - “autoavaliação”, “programa”, “processo”, “indicador”, “discente”, “docente”, “política”, “relatório” e “presença”, “ação”, “meta”, “incentivo” e “externo” - guardam uma forte ligação entre si. O conjunto de sentidos e significados atribuídos a elas pode traduzir a compreensão de como os PPGE das IES do Triângulo Mineiro têm implementado a autoavaliação e, por conseguinte, como têm sido avaliados. As análises realizadas são apresentadas na sequência do texto.

Discussões e reflexões: o que os dados evidenciaram?

Antes de analisarmos cada palavra e suas conexões, é importante destacarmos que, embora essas informações não tenham sido processadas em um texto único, estamos examinando um conjunto de programas que receberam as seguintes avaliações no indicador “os processos, procedimentos e resultados da autoavaliação do programa, com foco na formação discente e produção intelectual”: dois programas com conceito Muito Bom, dois com Regular e dois com Bom.

A palavra “autoavaliação”, a mais citada pelos avaliadores, de acordo com a nuvem de palavras e a análise de similitude, mostra uma relação muito estreita com as palavras “programa” e “processo”, sinalizando uma complementação do sentido atribuído à autoavaliação - “o processo de autoavaliação dos programas”. Já a palavra “programa” encontra-se ligada, principalmente, às palavras “discente”, “docente”, “política”, “externo”, “incentivo”, “membro”, “presença” e “meta”. Nessa mesma linha de raciocínio, a palavra “processo” relaciona-se diretamente à palavra “autoavaliação”. Podemos observar que essas palavras mais citadas, de acordo com o contexto em que aparecem no texto das fichas de avaliação, evidenciam não só a compreensão de como os PPGEs da região do Triângulo Mineiro têm implementado a autoavaliação, mas também a avaliação que tem sido atribuída a eles pela Capes.

Os fragmentos a seguir, extraídos do texto único que reúne as fichas de avaliação dos seis PPGEs participantes, evidenciam a presença das palavras mais citadas e as informações observadas indicadas pelos avaliadores:

O Programa foi avaliado como MUITO BOM neste indicador, pois sua proposta apresenta e descreve claramente o processo de autoavaliação.

O relatório descreve de forma clara os processos de autoavaliação do PPGEB [Programa Pós-Graduação em Educação: formação docente para a educação básica], ressaltando seu caráter contínuo e sistemático, com envolvimento de docentes, discentes, egressos e técnicos.

Quanto ao desenvolvimento de metas e ações de autoavaliação foi possível observar: continuidade; consistência; coerência; e articulação com as diretrizes da CPA [Comissão Própria de Avaliação] [...].

O relatório descreve de forma clara os processos de autoavaliação do programa, ressaltando seu caráter contínuo e sistemático, com envolvimento de docentes, discentes, egressos e técnicos.

O indicador que busca analisar o incentivo do programa à presença de membros externos nos processos de autoavaliação, o desempenho do programa foi INSUFICIENTE, de acordo com os critérios da área, pois não há evidências no relatório de incentivo e da presença de participação de membros externos.

O indicador que busca analisar o incentivo do programa à presença de membros externos nos processos de autoavaliação foi avaliado MUITO BOM, pois verificou-se a presença de palestrantes internacionais e nacionais que dialogaram com a comunidade do PPG.

O programa necessita fazer o registro atualizado, na Plataforma Sucupira, dos projetos de pesquisa dos docentes e a inserção deles nas atividades da graduação. Merece atenção do programa o detalhamento da proposta de autoavaliação e do planejamento estratégico.

O relatório menciona metas alcançadas pelo PPGET [Programa de Pós-Graduação em Educação Tecnológica] ao final do quadriênio e elenca metas para o quadriênio subsequente; informa a existência de uma política sistemática de acompanhamento de metas, focadas na formação e na produção intelectual discente, que inclui: autoavaliação bienal, iniciada em 2018.

Embora o programa relate que tenha realizado processos de autoavaliação com a participação em colegiado e em assembleias com docentes e discentes, de forma a identificar potencialidades e dificuldades, não explicita detalhes desse processo, tais como: qual a periodicidade, mecanismos utilizados para fomentar a participação dos envolvidos, ou, ainda, de sistematização do material coletado e divulgação dos resultados.

A avaliação aponta algumas limitações no que se refere ao alinhamento do Plano Estratégico e o Processo de Autoavaliação do Programa, a saber: o Plano Estratégico explicita poucas ações do programa, e com detalhamento sucinto de como serão executadas.

Os resultados da autoavaliação serão utilizados enquanto ferramenta de gestão, permitindo a atuação para minimizar as dificuldades identificadas.

Recomendações da comissão ao programa: aprimorar e consolidar a política de acompanhamento de egressos e o processo de autoavaliação, bem como garantir que estejam alinhadas ao planejamento estratégico do programa.

De acordo com esses fragmentos, podemos compreender, a partir das palavras mais citadas nas avaliações e indicadas pelo Iramuteq, como os programas analisados têm implementado a autoavaliação e como têm sido avaliados. Foi possível verificarmos também os aspectos observados pelos avaliadores no item 1.4: “Os processos, procedimentos e resultados da autoavaliação do programa, com foco na formação discente e produção intelectual”. Essa avaliação busca identificar se há evidências de que a autoavaliação ocorre de forma processual e contínua; se os procedimentos adotados estão claramente definidos e sistematizados; e se a prática avaliativa gera resultados concretos, passíveis de análise e utilização para a melhoria institucional.

Para a compreensão dessa etapa da análise, as avaliações foram previamente organizadas com base nos descritores do item 1.4, intitulado - “processos”, “procedimentos” e “resultados” da autoavaliação do programa -, os quais foram definidos como categorias analíticas. A categorização seguiu os procedimentos da tematização propostos por ^{Fontoura (2011}), iniciando-se pela organização do material avaliativo e sua distribuição nas três categorias/temas estabelecidos. Essa sistematização permitiu estruturar os dados conforme os focos previstos na avaliação, viabilizando a análise qualitativa dos conteúdos em cada categoria.

Os “processos” referem-se ao conjunto de ações organizadas e contínuas para a realização da autoavaliação. Estão presentes nas seguintes afirmações dos avaliadores:

O programa foi avaliado como MUITO BOM neste indicador, pois sua proposta apresenta e descreve claramente o processo de autoavaliação.

O relatório descreve de forma clara os processos de autoavaliação do PPGEB, ressaltando seu caráter contínuo e sistemático, com envolvimento de docentes, discentes, egressos e técnicos.

Embora o Programa relate que tenha realizado processos de autoavaliação com a participação em colegiado e em assembleias com docentes e discentes, de forma a identificar as potencialidades e dificuldades, não explicita detalhes desse processo, tais como: qual a periodicidade, mecanismos utilizados para fomentar a participação dos envolvidos, ou ainda, de sistematização do material coletado e a divulgação dos resultados.

Recomendações da comissão ao programa: aprimorar e consolidar a política de acompanhamento de egressos e o processo de autoavaliação, bem como garantir que estejam alinhadas ao planejamento estratégico do programa.

Os “procedimentos” envolvem as metodologias e as práticas adotadas para a realização da autoavaliação e são contempladas nas seguintes afirmações dos avaliadores:

Quanto ao desenvolvimento de metas e ações de autoavaliação, foi possível observar: continuidade; consistência; coerência; e articulação com as diretrizes da CPA [...].

O indicador que busca analisar o incentivo do programa à presença de membros externos nos processos de autoavaliação, o desempenho do programa foi INSUFICIENTE, de acordo com os critérios da área, pois não há evidências no relatório de incentivo e da presença de participação de membros externos.

O indicador que busca analisar o incentivo do programa à presença de membros externos nos processos de autoavaliação, foi avaliado MUITO BOM, pois verificou-se a presença de palestrantes internacionais e nacionais que dialogaram com a comunidade do PPG.

A avaliação aponta algumas limitações no que se refere ao alinhamento do plano estratégico e o processo de autoavaliação do programa, a saber: o plano estratégico explicita poucas ações do programa, e com detalhamento sucinto de como serão executadas.

Os “resultados” referem-se às conclusões e aos impactos da autoavaliação na gestão do programa e no aprimoramento da formação discente e da produção intelectual. São eles:

O programa necessita fazer o registro atualizado, na Plataforma Sucupira, dos projetos de pesquisa dos docentes e a inserção deles nas atividades da graduação. Merece atenção do programa o detalhamento da proposta de autoavaliação e do planejamento estratégico.

O relatório menciona metas alcançadas pelo PPGET ao final do quadriênio e elenca metas para o quadriênio subsequente; informa a existência de uma política sistemática de acompanhamento de metas, focadas na formação e na produção intelectual discente, que inclui: autoavaliação bienal, iniciada em 2018.

Os resultados da autoavaliação serão utilizados enquanto ferramenta de gestão, permitindo a atuação para minimizar as dificuldades identificadas.

Quanto aos “processos”, observamos que, em geral, foram bem avaliados quando descritos de forma clara, com evidências de continuidade e com a participação de diferentes segmentos da comunidade acadêmica (docentes, discentes, egressos e técnicos). Programas que apresentaram práticas sistematizadas e realizadas com regularidade receberam avaliações positivas, como a menção ao conceito “Muito Bom”. Em contrapartida, quando os relatos se mostraram genéricos ou pouco detalhados, os avaliadores recomendaram aprimoramentos, sobretudo no que diz respeito ao alinhamento com o planejamento estratégico e ao fortalecimento da participação coletiva. Os dados também evidenciam que os avaliadores atribuem valor a processos de autoavaliação que sejam contínuos, sistemáticos e participativos. Exemplos como “[...] sua proposta apresenta e descreve claramente o processo de autoavaliação” e “[...] ressaltando seu caráter contínuo e sistemático, com envolvimento de docentes, discentes, egressos e técnicos” reforçam esse entendimento. Contudo, foram apontadas fragilidades, como a ausência de periodicidade definida, o pouco detalhamento metodológico e a limitada socialização dos resultados - aspectos que, segundo ^{Leite et al. (2020}), podem comprometer o caráter formativo e o potencial institucional da autoavaliação.

No que se refere aos “procedimentos”, a análise evidenciou uma diversidade de estratégias adotadas pelos programas, como a participação de membros externos, a articulação com comissões internas e a definição de metas vinculadas ao planejamento institucional. Programas que apresentaram metodologias bem estruturadas, integradas às diretrizes da Comissão Própria de Avaliação (CPA) e com envolvimento qualificado de atores externos receberam avaliações positivas. No entanto, foram identificadas limitações em casos nos quais não se apresentaram evidências concretas da implementação dessas práticas, resultando, em alguns casos, na atribuição do conceito “Insuficiente”. Também observamos que muitos programas descrevem ações avaliativas sem explicitar como elas contribuem para os processos decisórios, o que pode caracterizar uma prática burocrática e pouco dialógica. Tais fragilidades estão em consonância com as observações de ^{Souza (2024}), que ressalta a necessidade de alinhar a autoavaliação aos objetivos institucionais, e com as críticas de ^{Afonso (2024}), ao apontar a ausência de reflexão crítica como um dos limites da avaliação interna.

Em relação aos “resultados” da autoavaliação, os dados revelam que alguns programas já utilizam os achados como subsídio para a gestão acadêmica, indicando metas alcançadas e projetando ações futuras com base nas avaliações internas. No entanto, essa prática ainda se mostra incipiente em grande parte dos casos, sobretudo quando os registros são genéricos, desatualizados ou carecem de articulação com o planejamento estratégico e a gestão do programa. Embora haja referências ao uso dos resultados para o redirecionamento de metas e políticas, essas menções frequentemente carecem de profundidade analítica, limitando-se a descrições operacionais. A recorrência de termos como “meta” e “ação” sugere uma orientação para resultados imediatos, mas nem sempre articulados a uma abordagem reflexiva e transformadora. Tal cenário reforça a necessidade de fortalecer a vinculação entre autoavaliação, planejamento estratégico e tomada de decisão institucional, em consonância com a crítica de ^{Freire (2019}), que propõe uma perspectiva avaliativa comprometida com a transformação pedagógica e com a complexidade das práticas institucionais.

A análise de similitude e a nuvem de palavras permitiram compreender como as palavras mais citadas se inter-relacionam no discurso avaliativo da Capes, refletindo tanto o esforço de consolidação da autoavaliação quanto as tensões envolvidas nesse processo. Chamamos a atenção para a centralidade das palavras “meta” e “ação”, por exemplo, que evidenciam o foco em resultados operacionais, mas não necessariamente formativos, o que pode limitar o potencial crítico e transformador da autoavaliação como instrumento de aprendizagem institucional.

Em síntese, os resultados apontam para uma compreensão ainda em construção sobre o papel da autoavaliação na pós-graduação. Embora se observem avanços importantes em alguns programas, ainda há espaço para ampliar as práticas de autoavaliação que sejam mais formativas, dialógicas e alinhadas às especificidades institucionais, de modo a fortalecer sua função estratégica no contexto da pós-graduação. A interlocução com o referencial teórico proposto por autores como ^{Afonso (2024}), ^{Freire (2019}), ^{Leite et al. (2020}) e ^{Souza (2024}) contribuiu para ampliar a compreensão dos processos avaliativos, ao sugerir caminhos possíveis para o fortalecimento de uma cultura institucional mais dialógica, contextualizada e sensível às demandas da justiça social, da diversidade e da formação crítica dos sujeitos.

Considerações finais

A presente investigação, ao analisar a implementação da autoavaliação nos PPGEs das IES do Triângulo Mineiro, contribui para o debate em torno da institucionalização de práticas avaliativas mais formativas, participativas e alinhadas às especificidades locais. Ao utilizar o software Iramuteq como ferramenta para a análise lexical e de similitude, aliado à categorização qualitativa dos fragmentos extraídos das fichas de avaliação da Capes, foi possível evidenciar que a autoavaliação, embora reconhecida como relevante pelos programas e avaliadores, apresenta distintas formas de consolidação. As palavras mais recorrentes - como “autoavaliação”, “programa”, “processo”, “docente”, “discente”, “meta” e “incentivo” - revelam um campo semântico que aponta para um entendimento da autoavaliação como instrumento institucional estratégico, mas também indicam os desafios quanto à sua efetividade prática e à sua integração ao planejamento estratégico dos programas.

Observamos que os processos de autoavaliação, em muitos casos, ainda carecem de sistematização, envolvimento pleno da comunidade acadêmica, detalhamento metodológico e aproveitamento efetivo dos resultados na reorientação das ações pedagógicas e gerenciais. Além disso, as avaliações atribuídas aos programas - variando entre Muito Bom, Bom e Regular - revelaram uma heterogeneidade que, longe de ser um problema, traz à tona a necessidade de políticas mais sensíveis às singularidades institucionais e regionais.

Não foi objetivo deste estudo generalizar os resultados obtidos, uma vez que a análise esteve restrita a um recorte geográfico específico - o Triângulo Mineiro - e a um conjunto delimitado de PPGs. O foco foi compreender como a autoavaliação tem sido vivenciada, nesse contexto particular, a partir da perspectiva dos avaliadores da Capes, considerando suas potencialidades, limitações e variações internas. Os achados contribuem para ampliar a reflexão sobre a implementação dessa prática em realidades semelhantes, oferecendo pistas e questionamentos relevantes para outros estudos e ações institucionais. Segundo a Capes (2025b, p. 13-14):

Diferentemente da avaliação externa, a autoavaliação é um processo formativo, em que os que estão no processo se envolvam também na solução dos problemas identificados. Neste sentido, a autoavaliação favorece a construção da identidade, heterogeneidade e envolvimento dos programas avaliados, para além dos padrões mínimos garantidos pela avaliação externa.

Apesar das contribuições, esta pesquisa apresenta algumas limitações que precisam ser consideradas. A análise concentrou-se apenas nas fichas de avaliação da Capes da quadrienal 2017-2020, o que impede uma visão longitudinal mais abrangente do processo de consolidação da autoavaliação. Também não foram considerados os relatos internos dos programas, como os relatórios de autoavaliação produzidos pelas comissões locais, que poderiam enriquecer a compreensão sobre os sentidos atribuídos a essa prática pelas próprias instituições.

Diante dessas limitações, sugerimos como temas para futuras pesquisas: (1) estudos comparativos entre as diferentes regiões brasileiras, com o objetivo de mapear as especificidades regionais na condução da autoavaliação; (2) investigações de caráter longitudinal, que acompanhem a evolução da institucionalização da autoavaliação ao longo de diferentes períodos avaliativos; (3) pesquisas que incorporem a perspectiva de distintos atores institucionais - como docentes, discentes, técnicos e egressos - para compreender suas percepções e níveis de engajamento com o processo; (4) análises sobre os impactos da autoavaliação na reformulação curricular, na redefinição de objetivos institucionais e na melhoria das práticas formativas; e (5) estudos que explorem como a autoavaliação pode dialogar com outros instrumentos de avaliação institucional e contribuir para práticas mais emancipatórias e comprometidas com a justiça social.

Dessa forma, esta pesquisa reforça a importância da autoavaliação como instrumento de fortalecimento institucional, de qualificação da formação discente e da produção intelectual, além de destacar seu potencial como estratégia de governança acadêmica comprometida com a melhoria contínua, com a justiça social e com os contextos específicos em que os programas estão inseridos. Para isso, é fundamental que a autoavaliação deixe de ser apenas um requisito formal e se consolide como cultura avaliativa participativa, democrática e crítica no âmbito da pós-graduação brasileira.