Introdução

Os sistemas nacionais de credenciamento, de avaliação e de autorização de funcionamento das instituições de ensino superior, e de seus cursos, passaram por contínuas transformações nas últimas décadas em vários países, com impactos que se intensificaram como consequência da pandemia de covid19. Resguardadas as diferenças, os países criaram ou modificaram os sistemas nacionais de avaliação e de credenciamento muito antes da pandemia, com a implantação de órgãos governamentais, ou de entidades acreditadoras independentes, e definiram, ou estão definindo, novos padrões para avaliar a qualidade das atividades no ensino superior e os impactos gerados por elas (^{Santiago et al., 2008}).

Em muitos países, os governos e as agências reguladoras estão alterando os mecanismos de avaliação, que focalizam o desempenho de programas e/ou cursos, para assumirem um papel estratégico e relevante no processo de formulação de políticas públicas. Essa estratégia é a adotada, por exemplo, pelo Quality Assurance on the European Higher Education - ESG -¹, que serve de referência para 48 países da área europeia de ensino superior, e se desdobra em normas específicas de cada país (Uvalic-Trumbic, 2016; ^{Aleu et al., 2021}; ^{Pereira et al., 2020}). A literatura reconhece a importância das próprias instituições em se responsabilizar pela qualidade de seus programas, deixando os esforços da avaliação das instituições para os órgãos externos.

Na América Latina e no Caribe, iniciativas nacionais de avaliação surgiram a partir dos anos de 1980, com base em critérios próprios de avaliação e de qualidade (^{Herrera e Aguilar, 2009}; ^{Bernasconi e Celis, 2017}). Alguns países criaram agências públicas nacionais de avaliação, como é o caso, por exemplo, da Colômbia (^{Almeida e Catani, 2009}). Além dessas, estão sendo criadas agências internacionais de acreditação latino-americanas e caribenhas, como é o caso do Conselho de Avaliação e Acreditação - Ceai². O Ceai atua como uma agência internacional que estimula o processo de melhoria contínua das IES, com um modelo próprio de avaliação e de acreditação, que respeita e valoriza a diversidade e as características locais (^{Delgado e Ramirez, 2018}). Três termos estão frequentemente presentes nesses processos: certificação, acreditação e avaliação. A certificação equivale a um processo baseado em padrões e critérios objetivos para assegurar, garantir e reconhecer a qualidade de uma instituição, curso ou programa educativo (^{Almeida e Catani, 2009}). Já a acreditação consiste em assegurar a qualidade, enquanto a avaliação compreende a melhoria, em processos de indução a um aperfeiçoamento contínuo das instituições (^{Dias Sobrinho, 2005}).

Dentre os desafios de sistemas de credenciamento e de avaliação, destacam-se: avaliar com efetividade a qualidade, permitindo a uma compreensão da pluralidade das atividades exercidas, em particular nas universidades compreensivas - comprehensive university; responder adequadamente aos stakeholders³, envolvendo-os durante todo o processo de avaliação, para que assim possam desde o início participar da formulação das questões e categorias que compõem o processo avaliativo (^{Choudhury, 2015}; ^{Monticelli et al., 2021}). Tendo em vista que o significado de qualidade para cada stakeholder os impacta de modo distinto, fica mais evidente a importância dessa participação desde o início do processo, pois assim será possível que percepções e expectativas sejam expostas, compreendidas e assimiladas por todos. Paralelamente a isso, também é necessário reconhecer que há diferenças entre os tipos de impactos e resultados entre as áreas tecnológicas em comparação com as áreas de humanidades, ciências sociais e a produção artística (^{Benneworth e Jongbloed, 2010}). De modo similar, são diferentes as formas de mensuração e de apresentação dos impactos socioeconômicos (^{Atvars et al., 2020}a) em relação à mensuração de impacto dos trabalhos nas outras áreas. Nesse sentido, as dimensões e os respectivos critérios de avaliação de uma IES dependem de suas atividades substantivas, devem ser sempre abrangentes, multidimensionais e intrinsecamente dependentes da missão institucional.

Internacionalmente, os mecanismos de regulação e de avaliação de IES estão se tornando mais descentralizados, permitindo uma atuação mais autônoma das universidades, os quais exigem processos internos de garantia de qualidade cada vez mais estruturados, disseminados e assimilados pela comunidade (^{Amaral e Magalhães, 2001}). Dessa forma, a tendência internacional é que as agências acreditadoras se tornem cada vez mais independentes dos governos nacionais para que tenham autonomia para avaliar, como é o caso da ESG 2015 (2015) que define os padrões e recomendações para a garantia da qualidade da Comunidade Europeia e das normas ISO 9001# adotada por vários países. No contexto do exercício pleno da autonomia permite que cada IES deve buscar o equilíbrio entre os extremos da excessiva regulação estatal e da completa subordinação ao mercado, o que requer uma atuação proativa das respectivas gestões, sugerindo que “no modelo de estado supervisor, a administração governamental minimiza sua interferência no dia a dia da instituição, dando-lhe autonomia, e tentando promover a capacitação para a autorregulação, e limitando a atuação do acompanhamento à distância” (Amaral e Magalhães, 2001, p. 3).

No caso das universidades públicas brasileiras, destaca-se que

o Estado não tem clara a medida do controle que deve exercer sobre as universidades. Executivo e Legislativo, nesse diapasão, atuam mais como tutores repressivos do que como coordenadores da política de educação, ou como articuladores de diferentes níveis e sistemas de ensino, o que é o seu papel constitucional (^{Raniere; Lufait, 2019}, p. 4)

Por outro lado, em relação aos recentes desequilíbrios orçamentários das universidades públicas paulistas - Unesp, Unicamp e USP -, esses mesmos autores destacam que “o regime de autonomia de gestão financeira e patrimonial exige, sobretudo, responsabilidade institucional” (^{Ranieri, 2018}, p. 954) e que essa responsabilidade objetiva dos dirigentes são componentes da autonomia e requerem atenção permanente sob pena de não realização do Direito. Portanto, parece claro que o cerne do conceito de autonomia universitária, está no equilíbrio entre o papel do Estado e a autorregulação das universidades públicas, ainda longe de ser atingido, mesmo no sistema paulista de universidades públicas.

No pleno exercício da autonomia, os requisitos de planejar, executar e avaliar tornam-se elementos essenciais de uma gestão universitária pautada pela eficiência, eficácia, responsabilidade financeira e orçamentária e pelo cumprimento de sua missão substantiva. A autonomia se concretiza na medida em que a IES comprova sua eficácia e qualidade aferidas pelos processos de avaliação.

O sistema de avaliação do ensino superior no Brasil é segmentado por atividade/dimensão - ensino de graduação presencial e remoto, ensino de pós-graduação, acreditação da instituição etc. -, não existindo uma avaliação abrangente da instituição, isto é, uma avaliação global com análise de todas as suas atividades, como proposto por ^{Dia Sobrinho (2005}) e ilustrado por ^{Monticelli et al. (2021}). O Brasil instituiu, pela lei n. 10.861, em 2004, a Comissão Nacional de Avaliação do Ensino Superior - Conaes - para implantar um Sistema Nacional de Avaliação da Educação Superior - Sinaes - que define as normas para os processos de avaliação e de credenciamento das IES (^{Brasil, 2004}). De abrangência nacional, manteve as atribuições dos conselhos estaduais de educação no que diz respeito à: autorização e funcionamento de instituições e de cursos, e credenciamento e recredenciamento das IES estaduais e municipais. Os processos estaduais não são, necessariamente, similares aos estabelecidos pelo Sinaes.

Apesar do conceito de qualidade estar expresso no parágrafo 1º do artigo 1º da lei n. 10.861, o qual recomenda o aprofundamento dos compromissos e das responsabilidades sociais das IES, esse compromisso não aparece claramente nos índices estabelecidos pelo Sinaes⁴, como será visto na sequência. Desta forma, concentram-se mais numa parte da cadeia de avaliação. Além disso, o Sinaes prioriza a avaliação dos cursos de graduação, enquanto a Capes avalia e credencia programas de pós-graduação stricto sensu. Não há avaliação ou credenciamento externo dos programas pós-graduação lato sensu. Nenhuma destas duas agências conseguiu avançar no cumprimento dos requisitos de accountability, de auditorias internas e de sustentabilidade financeira e orçamentária, e apenas marginalmente avaliam resultados de impacto social. Além disso, as universidades públicas são auditadas pelo TCU - federais -, TCEs - estaduais - e TCM - municipais -, mas apenas as auditorias do TCU, inicialmente centradas no desempenho financeiro, têm incluído avaliação de gestão e desempenho (^{Brasil, 2022}). Chama a atenção a análise realizada pelo TCU sobre o Sinaes (^{TCU, 2018}).

As três universidades públicas estaduais paulistas - Unesp, Unicamp, USP -, por exemplo, que são as únicas do país que dispõem de autonomia com vinculação orçamentária, são avaliadas em ciclos longos de dez anos. Para fins de recredenciamento pelo CEE/SP e, até onde se tem notícia, nenhuma recomendação foi feita em relação à sustentabilidade financeira, apesar dos déficits orçamentários do período 2013 a 2017 (^{Atvars, 2020}; ^{Buccelli et al., 2020}; ^{Sassaki, 2017}) ou mesmo impacto social decorrentes dos ambiciosos processos de inclusão implantados nas três universidades principalmente a partir de 2015.

Nesta linha, o processo de avaliação institucional deveria ser o mais amplo possível, contemplando todas as atividades das IES; e o mais participativo e plural possível, incluindo a comunidade interna e os demais membros relevantes de stakeholders de forma ampla, não só na coleta de dados e na divulgação, mas também na concepção e execução da avaliação para acolher suas demandas, perguntas e preocupações (^{Silva et al., 2020}). Finalmente, ao se encerrar o processo, todos deveriam acompanhar as ações efetivas de transformação organizacional, numa abordagem não tecnicista de gestão da qualidade.

Nesse sentido, propõe-se a responder algumas questões: sob quais condições a avaliação institucional é, efetivamente, um processo de gestão da qualidade em instituições públicas brasileiras? Como validar e legitimar o processo de avaliação institucional de modo que os resultados da avaliação sejam utilizados na tomada de decisão e no planejamento estratégico? Que estratégias de governança são necessárias para que a avaliação seja parte integrante da autogestão?

A Unicamp vem realizando processos de autoavaliação desde 1992, com instrumentos próprios, num processo bastante abrangente, indo além das avaliações dos cursos de graduação e pós-graduação. Esse texto descreve a dinâmica com a qual o processo tem evoluído, relata as limitações ainda existentes, tendo em vista as premissas e as questões acima.

Utilizou-se como metodologia a pesquisa descritiva com análise de publicações, relacionados à avaliação e à governança⁵; a análise documental dos resultados da avaliação e seus respectivos resultados e os planejamentos estratégicos da Unicamp.

Após uma análise do Sinaes e do sistema paulista de credenciamento, buscou-se analisar os desafios do processo de autoavaliação utilizando a Unicamp como estudo de caso. Documentos oficiais e de acesso público referentes a cinco ciclos mostram que os processos avaliativos se tornaram mais abrangentes, coerentemente com a premissa de uma avaliação mais global. Porém, destacam-se as limitações operacionais que ainda restringem a amplitude global da avaliação. Por meio de questões presentes no instrumento de avaliação institucional, formuladas às comissões internas de cada órgão avaliado, prospectou-se a percepção da comunidade sobre a importância dos processos de avaliação dos períodos 2009 a 2013 e 2014 a 2018 e dos decorrentes planejamentos estratégicos. Neste último quinquênio (2014-2018), a análise das respostas, em conjunto com os pareceres das comissões externas, mostra que houve, de fato, uma alimentação do planejamento estratégico (Planes 2021-2025).

O Sinaes e o sistema paulista de avaliação

O principal documento requerido pelo Sinaes é o plano de desenvolvimento institucional - PDI -, que deve conter a autoavaliação e informações sobre “missão, diretrizes pedagógicas, estruturas organizacionais e atividades acadêmicas que a instituição desenvolve e pretende desenvolver” (^{Brasil, 2007}, § 9). Deve também incluir cronograma e metodologia de implementação dos objetivos e metas das IES. Desta forma, deveria corresponder à formalização do planejamento estratégico das IES (^{Cipriani, 2014}; ^{Falqueto, 2012}). Em 2004, foi incluído outro documento no Sinaes, o relatório institucional - RI -, o qual é um relato sobre quais ações foram executadas a partir das avaliações - interna e externa - anteriores (^{Brasil, 2004}; ^{Inep, 2014}). Vários autores apontam que a inclusão do RI no Sinaes implica no reconhecimento de que o PDI se tornou em um documento proforma, com baixa eficiência na qualificação das próprias IES (^{Silva e Gomes, 2015}; ^{Soares et al., 2017}; ^{Fernandes e Brun, 2019}; ^{Brito et al., 2021}; ^{Magalhães e Rodrigues, 2021}).

O Sinaes também contempla uma série de indicadores e índices. Dentre eles, o resultado do Exame Nacional de Desempenho de Estudantes - Enade. O Sinaes vem sendo amplamente analisado desde sua implantação com muitas críticas a sua configuração. De acordo com ^{Silva e Gomes (2015}), o uso de índices acentua o viés classificatório da avaliação realizada pelo Sinaes e deixa de enfatizar a avaliação global das IES. Já ^{Soares et al. (2017}) apontam que, apesar dos indicadores permitirem análises objetivas e interessantes, não necessariamente garantem a qualidade e, por si só, não geram contribuições para seu aperfeiçoamento. Segundo ^{Heiderscheidt e Forcellini (2021}), se a preocupação for apenas pelo cumprimento de regras e de entrega de dados ao Inep, o sistema não agrega valor, principalmente em universidades abrangentes e intensivas em pesquisa. No quadro 1 apresenta-se algumas das principais críticas sobre o Sinaes e seus indicadores/índices.

No geral, o Sinaes falha ao não contemplar como critérios: conteúdo; conhecimento pedagógico dos docentes; avaliação por parceiros e empregadores; qualidade dos candidatos; formas de recrutamento e seleção; impacto dos programas; forma de garantia da qualidade implantada pelas IES; capacidade fiscal e administrativa da IES e os registros de compliance (^{Caep, 2018}). Poderíamos adicionar também o engajamento local da universidade como um critério igualmente importante.

A proposta de compliance do ^{Caep (2018)} enfatiza a necessidade de consulta a vários stakeholders, principalmente aos egressos que atuam no mundo do trabalho, aos respectivos supervisores e aos dirigentes de empresas ou organizações empregadoras (^{Caep, 2018}). Portanto, dar o maior peso a critérios baseados numa prova ou enquetes aplicadas aos alunos, não é a forma mais relevante de obter informações substantivas sobre o desempenho global de uma instituição.

Em resumo, o Brasil possui o Sinaes, focado principalmente na avaliação dos programas de graduação, ao qual se submetem, obrigatoriamente, as IES federais e privadas. Esse sistema vem se tornando cada vez mais automatizado, utilizando cada vez mais índices de mensuração. Vem sofrendo críticas quanto ao seu propósito de estimular a melhoria contínua das instituições, caminhando cada vez mais na direção do controle sobre a educação superior. No Brasil, a quase totalidade das instituições são recredenciadas automaticamente, demonstrando a pouca seletividade do processo (^{Lemaitre et al., 2018}, p.15).

Para implementar o processo de autoavaliação, o Sinaes estabelece que o processo deve ser conduzido pela Comissão Própria de Avaliação - CPA -, com atuação autônoma dentro da instituição. A composição da CPA, prevista no artigo 11 da lei n. 10.861 (^{Brasil, 2004}), deve assegurar “a participação de todos os segmentos da comunidade universitária e da sociedade civil organizada”, “vedada a composição que privilegie a maioria absoluta de um dos segmentos”, tendo “atuação autônoma em relação a conselhos e demais órgãos colegiados existentes na instituição de educação superior”. Além disso, no contexto geral do Sinaes, há controvérsias sobre o papel da CPA e sua capacidade de articular e de executar a avaliação, de definir o PDI e de executar/acompanhar os planos de ação decorrentes da autoavaliação e das recomendações das comissões externas (^{Brito et al., 2021}; ^{Fernandes e Brun, 2019}; ^{Magalhães e Rodrigues, 2021}; ^{Silva e Gomes, 2015}; ^{Soares et al., 2017}). Parece haver uma crescente perda de relevância das CPA em decorrência de um modelo cada vez mais baseado em índices gerados automaticamente pelo Inep a partir de dados fornecidos pelas CPAs. Desse modo, as CPAs passam a ter, na opinião dos próprios gestores universitários, uma baixa representatividade, baixa autonomia, limitação na sua importância interna corporis e um papel cada vez mais burocrático:

Entrevistas conduzidas pela equipe de revisão da OCDE em várias instituições sugerem que as comissões internas de avaliação se concentram principalmente em garantir o cumprimento das regras do Sinaes e entrega dos dados ao Inep, em vez de desenvolver sistemas internos de qualidade adaptadas às necessidades institucionais ou promover inovações e melhorias de qualidade. (^{Lemaitre et al., 2018}, p. 41)

Universidades com processos de autoavaliação consolidados, com procedimentos próprios historicamente internalizados, buscaram incorporar a CPA em suas estruturas de gestão estratégica, viabilizando dessa forma a articulação entre avaliação e ações estratégicas institucionais (^{Magalhães e Rodrigues, 2021}; ^{UFSC, 2021}).

Em relação à governança do processo autoavaliação, para além das críticas já apresentadas, constata-se que as instituições não necessariamente consideram os relatórios de autoavaliação e da avaliação externa em seus planejamentos e processos de tomada de decisão. Com isso, as instituições não se apropriam dos resultados e, da mesma forma, a burocracia administrativa, no nível das gerências, não utiliza as informações para qualificar os processos de trabalho (^{Falleiros et al., 2016}).

Diferentemente das IES federais e privadas, a avaliação, o credenciamento e as autorizações de funcionamento de cursos de graduação e o recredenciamento das instituições públicas estaduais e municipais são realizados pelos conselhos estaduais de educação e, no caso da Unicamp, pelo Conselho Estadual de Educação do Estado de São Paulo - CEE/SP. A norma mais recente que dispõe sobre o processo de autoavaliação da IES vinculada ao CEE/SP é a deliberação n. 160/2018, de 7 de fevereiro de 2018, sendo a autoavaliação o documento imprescindível para o recredenciamento institucional - art. 3º, incisos I a VII) (^{CEE/SP, 2018}). Segundo essa norma, as dimensões a serem avaliadas são, no mínimo, as seguintes:

A autoavaliação institucional deverá contemplar a análise global e integrada das atividades, estruturas, relações, compromisso social, finalidades e responsabilidades sociais da instituição e seus cursos, considerando minimamente os seguintes aspectos:
I. Eficácia e eficiência de seu ensino e formação profissional;
II. Condições gerais e específicas dos cursos de graduação e de pós-graduação;
III. Valorização da extensão e interação com a comunidade;
IV. Pertinência de seus programas de pesquisa; V. Relevância de sua produção cultural e científica;
VI. Qualidade da gestão administrativa e financeira, incluindo a gestão de recursos humanos docentes e administrativos;
VII. Aderência dos cursos de licenciatura à realidade da educação básica. (^{CEE/SP, 2018})

Como visto neste artigo, as orientações estabelecidas pelo CEE/SP diferem das propostas apresentadas pelo Sinaes, estando mais alinhadas à avaliação de resultados e à maior responsabilização social, uma tendência internacional cada vez mais explícita (^{Eidt e Calgaro, 2021}; ^{Douglass, 2016}). Diferentemente de deliberações anteriores, e seguindo as mesmas orientações do Sinaes, o artigo 5º da deliberação n. 160/2018, estabeleceu que o processo de autoavaliação seja coordenado e executado por uma comissão permanente de avaliação institucional.

A avaliação e planejamento estratégico na Unicamp

A Unicamp realiza processos quinquenais de autoavaliação desde 1989. A partir dos anos 2000, tem se submetido aos processos de recredenciamento institucional junto ao CEE/SP - Deliberações n. 17 de 1997, Deliberação n. 04/2000 -, o que inclui o envio dos relatórios junto com outros documentos. Os instrumentos da avaliação foram desenvolvidos pela própria instituição e são revistos a cada ciclo. Essa evolução fica evidente na análise documental da série histórica de autoavaliação⁶.

O processo de autoavaliação iniciou-se em 1989, com dupla finalidade. No caso dos centros e núcleos interdisciplinares de pesquisa - C&N - para avaliar a produção acadêmica e, a partir dela, decidir pela continuidade ou encerramento das atividades de cada um. Para isso foi constituída uma comissão, presidida pelo oró-reitor de Desenvolvimento Universitário - PRDU - denominada Comissão de Atividades Interdisciplinares - CAI⁷. Simultaneamente, a universidade desenvolvia o processo de avaliação das unidades de ensino e pesquisa - institutos e faculdades - UEP -, dos Colégios Técnicos - CT - e da área da saúde, coordenada pelo pró-reitor de Pós-Graduação - PRPG. O destaque importante dessa avaliação é que ela se iniciava por uma autoavaliação no âmbito do órgão a ser avaliado, realizada por comissões internas, na sequência esses eram avaliados por uma comissão externa formada por pares.

Nesse processo, as coordenações da PRPG e da PRDU atuavam na análise dos resultados da avaliação interna e na consolidação os documentos que se constituiriam no relatório da avaliação institucional, com as informações das comissões internas e comissões externas - UEP, CT e área da saúde - e dos C&N (Dias Sobrinho, 1994). Posteriormente, a CAI passou a ser presidida pelo coordenador da Coordenadoria de Centros e Núcleos - Cocen -, mantendo suas atribuições. Em 2001, foi instituída a Comissão de Planejamento Estratégico - Copei -⁸, com uma dupla missão, a de coordenar a avaliação da universidade, excluídos os C&N, e de elaborar, implantar e acompanhar a execução do planejamento estratégico institucional.

A Copei é um órgão colegiado, formado por um subconjunto do Conselho Universitário e é presidida pelo coordenador geral da Universidade - CGU - e vice-reitor. É um órgão estatutário, da estrutura organizacional, como recomendam as boas práticas de

gestão estratégica (^{Zimmernan, 2015}), diretamente vinculado à esfera estratégica da gestão universitária, facilitando a articulação entre avaliação e planejamento, para melhor encaminhar as soluções das fragilidades diagnosticadas.

Constata-se que as normas da universidade estabeleceram um sistema dual na coordenação das avaliações internas dos órgãos. Por um lado, a Copei é responsável pela coordenação da avaliação institucional da universidade e de avaliação interna dos órgãos, à exceção dos C&N, pela elaboração do planejamento estratégico institucional e pela análise e aprovação de ações para o processo de gestão estratégica de toda a Universidade.

Por outro lado, a avaliação interna dos C&N é de responsabilidade da CAI. Esta dualidade gera dois processos de avaliação que percorreram trajetórias, com metodologias e relatórios distintos o que dificulta a integração das informações. Por isso, esforços vêm sendo feitos no sentido de integrar melhor os dois processos, respeitando as atribuições de cada uma das comissões. Isso vem ocorrendo ao longo do tempo, com mais sucesso no último ciclo de avaliação de 2014-2018, no qual instrumentos de avaliação foram discutidos conjuntamente, os relatórios parciais foram consolidados pelos pró-reitores em um único documento e esses foram enviados a uma mesma comissão externa. O planejamento estratégico foi elaborado sob a coordenação da Copei. Fica evidente, portanto, que a universidade avança no sentido da integração dos processos, respeitando a institucionalidade que lhe é própria e, dessa forma, as avaliações internas de todos os órgãos avaliados passam a compor o documento de avaliação institucional da IES, e, como consequência, geram o planejamento, assumindo-se que as atribuições de avaliação institucional e de planejamento integram etapas de um mesmo processo, na perspectiva da gestão da qualidade para melhoramento contínuo.

Destaca-se que, enquanto a USP⁹ e Unesp¹⁰ possuem comissões denominadas CPA, com atribuições exclusivas de avaliação institucional, a Unicamp possui duas comissões, a CAI e a Copei, com atribuições de coordenar as avaliações internas, e uma comissão, a Copei, responsável pelo planejamento. Nenhuma das comissões destas três instituições, regimentalmente constituídas, possuem a composição definida pelo Sinaes para as CPA, o que não impede que, no pleno exercício de suas autonomias, sejam realizados os respectivos processos de avaliação e de planejamento. A qualificação dessas instituições é inclusive atestada por rankings nacionais e internacionais que as classificam entre as melhores instituições da América Latina.

A figura 1 apresenta uma linha do tempo relacionada aos ciclos de avaliação dos UEP, CT e Profis e dos C&N e o relacionamento com a elaboração do planejamento estratégico. Até o ciclo de 2009-2013, não havia sincronismo e, portanto, integração, e a incorporação das evidências da avaliação institucional e planejamento era indireta.

Fonte: autores

Figura 1 Esquema com a cronologia dos processos de AI e Planes da Unicamp a partir de 1992. 

Focando no ciclo AI/2009-2013, como nos ciclos anteriores, novos aperfeiçoamentos do instrumento ocorreram (^{Monticelli et al., 2021}): na dimensão do Ensino, houve a inclusão da avaliação do curso sequencial Programa de Formação Interdisciplinar Superior - Profis; houve a incorporação das dimensões - Internacionalização e Inovação -; procurou-se realizar um maior detalhamento da dimensão da Gestão; no relatório final foi incorporado um resumo executivo da avaliação dos C&N; os projetos prioritários das unidades levantados durante a avaliação foram sistematizados, o que gerou linhas de ações abrangentes no Planes/2016-2020; implantação do sistema web de tramitação documentos e dos dados no caso das avaliações internas das UEP, CT e Profis.

Em termos de processo, depois da preparação, ocorreu a avaliação interna de forma descentralizada de cada UEP, CT, ProFIS e C&N. Na sequência houve a avaliação externa também descentralizada. Esse processo foi realizado por 23 comissões das UEP, 21 comissões dos C&N, duas comissões dos CT e uma comissão do Profis, resultando em 47 pareceres. Cada UEP, C&N, CT e Profis elaborou um parecer em resposta ao parecer da comissão externa. Ao final foram preparados dois relatórios de Avaliação Institucional, sendo um dos C&N, sob a responsabilidade da CAI, e o outro elaborado sob a responsabilidade da Copei. Os relatórios foram aprovados pelo Consu e enviados ao CEE/SP. Ao final, houve a revisão do Planes/2011-2015⁷ gerando o Planes 2016-2021⁷, a partir da sistematização dos projetos estratégicos apresentados na AI/2009-2013, iniciando-se dessa forma a integração do planejamento à avaliação (^{Monticelli et al., 2021}).

Buscando uma avaliação mais ampla da universidade, o ciclo mais recente AI/2014-2018 incorporou novas dimensões: o Ensino Pré-Universitário composto pelas atividades de Educação Infantil e formação complementar, além do ensino médio técnico dos CT já presentes no processo AI/2009-2013; a Cultura, além da Extensão já presente na AI/2009-2013; a Inovação Social além da Tecnológica já presente na AI/2009-2013; maiores detalhamentos da gestão financeira e orçamentária, de recursos humanos, e da avaliação do desempenho de alguns órgãos da administração na Gestão; os Egressos.

O quadro 3 resume todas as etapas e dimensões da avaliação. Buscou-se, também, identificar as causas da crise financeira e os impactos das decisões institucionais a partir de 2017 visando a sustentabilidade financeira, conforme estabelece o CEE/SP no art. 3º, inciso VI (^{CEE/SP, 2018}).

Em termos de processo, houve uma inversão nas etapas. Por um lado, considerou-se que a avaliação externa descentralizada resultava em informações fragmentadas e de difícil sistematização, tanto em termos de relatório, quanto em termos de insumos para o planejamento. Por outro lado, foi considerado que pela heterogeneidade das informações das comissões externas não foi possível estabelecer uma forma de acompanhamento em relação às sugestões oferecidas por estas comissões. Por isso, após a avaliação interna descentralizada, houve a sistematização de seus relatórios que foi insumo para a avaliação externa.

Desta forma, visando a identificar mais claramente os pontos fortes e as oportunidades de melhoria da instituição, foram constituídas apenas duas comissões de avaliação externa no processo AI/2014-2018. A primeira avaliou o ensino pré-universitário - CT, Educação Infantil e formação complementar - e foi formada por especialistas brasileiros. A avaliação, realizada de forma presencial no final de fevereiro de 2020, analisou os relatórios elaborados pelas comissões internas, visitou cada órgão e dialogou com as respectivas administrações e comunidades - alunos, funcionários técnico-administrativos e docentes. A segunda avaliou as demais atividades da universidade e foi formada por membros da comunidade internacional. Estava prevista uma visita presencial da comissão para análise in loco e para diálogo com a comunidade. Entretanto, devido a pandemia, a atividade foi substituída por reuniões virtuais com a alta administração analisando cada dimensão do relatório (^{Atvars e Carneiro, 2020}).

Os informes das duas comissões permitiram uma visão mais estruturada da universidade, sem a fragmentação por órgão, com pareceres mais detalhados sobre os resultados alcançados, viabilizando uma discussão objetiva dos desafios, conforme constatado pela comissão internacional: “as lideranças da universidade e as pessoas diretamente envolvidas se empenharam nessa autoavaliação e se abriram às críticas e sugestões dos pares avaliadores externos, o que confirma a reputação da Unicamp como uma IES de excelência no Brasil, na América Latina e globalmente” (AI/2014-20187, p. 735). Por fim, os pareceres das duas comissões, bem como as respostas da administração, foram, pela primeira vez, incorporados ao relatório, que foi então aprovado pelo Consu e encaminhado ao CEE/SP, após passar nas duas comissões. A incorporação dos pareceres ao relatório buscou dar transparência e ampliar a comunicação com as comunidades interna e externa. Outra inovação do período foi a realização de uma meta-avaliação da AI por um grupo de trabalho interno, visando aperfeiçoar o processo para o próximo ciclo, tendo em vista também as novas deliberações do CEE/SP. A figura 2 mostra a estrutura do relatório final de avaliação institucional da Unicamp, disponível em acesso aberto.

Fonte: adaptado pelos autores

Figura 2  Estrutura do relatório final de avaliação institucional 2014-2018. 

Dentre as observações dos avaliadores externos, foram destacados projetos bem-sucedidos diretamente vinculados aos objetivos estratégicos: equilíbrio financeiro e orçamentário, melhoria da gestão, a inclusão e a diversidade, ações para permanência estudantil, projetos estratégicos de internacionalização, linhas de pesquisa com importância estratégica regional e nacional, pertinência dos projetos de Inovação Social e de Cultura, o esforço por avaliar os resultados dos egressos, dentre outros (^{Atvars e Carneiro, 2020}).

A análise realizada dos vários ciclos mostra a evolução crescente do papel que a avaliação teve em gerar diagnósticos, que por sua vez permitiram a revisão do planejamento e o estabelecimento de novas estratégias, com ciclos sucessivos de aprimoramentos. Em todos os ciclos, ocorreram avanços no desenvolvimento institucional, em ambas as áreas acadêmicas e administrativas, no qual a Copei tem sido protagonista na condução da avaliação e na efetiva implantação de ações e projetos.

Desafios do processo de avaliação

Um dos desafios sempre presentes em processos de avaliação se relaciona à participação da comunidade (^{Dias Sobrinho, 1994}). No processo de avaliação implantado pela Unicamp, a participação acontece a partir dos órgãos colegiados que coordenam o processo - Copei e CAI. A representação da comunidade interna e externa se apresenta nesses órgãos colegiados. Também ocorre, de forma mais intensa, nas comissões de avaliação interna que, por recomendação da Copei, devem ter representantes de gestores, docentes, funcionários e alunos e além disso, devem dialogar com suas instâncias colegiadas internas: comissões de graduação, pós-graduação, pesquisa, extensão e outras próprias de cada órgão. Além disso, as análises realizadas pelas comissões externas incluem visitas presenciais, exceto em 2020, e entrevistas com os membros dos vários segmentos.

Com o objetivo de avaliar a percepção da comunidade sobre o processo de avaliação institucional e sobre as transformações da universidade que dela decorreram, demandou-se que as comissões de avaliação interna, nos processos de AI/2009-2013 e AI/2014-2018, relatassem os aspectos positivos e negativos, as dificuldades encontradas e apresentassem sugestões para o seu aperfeiçoamento. As respostas das 24 UEP e dos 2 CT foram agrupadas por similaridade e sistematizadas em aspectos positivos, aspectos negativos e a melhorar, e resumidas nos quadros 4 e 5, respectivamente.

Vários dos pontos fracos ou a melhorar identificados no processo AI/2009-2013 foram incorporados, mesmo que parcialmente, no processo subsequente (AI/2014-2018): avaliações sobre a articulação entre as unidades e a administração, disponibilização dos dados referentes aos dois quinquênios, disponibilização permanente dos relatórios -AI/2009-2013 e AI/2014-2018 - para consulta do órgão, preservação do histórico dos processos, ampliação do escopo da avaliação para as áreas administrativas e de serviços.

Nota-se, da análise das respostas, uma grande heterogeneidade na incorporação da cultura da avaliação das unidades para a execução da avaliação interna. Por isso, alguns comentários aparecem como pontos fortes, pontos fracos ou a melhorar a depender da unidade. O mapa das respostas permite que a administração aborde com maior efetividade os problemas locais, separando-os dos problemas de cunho mais geral. Por exemplo, há um único relato de que houve falta de apoio técnico e operacional no processo AI/2014-2018, o que talvez evidencie um problema pontual. Por outro lado, há vários relatos sobre redundâncias e inconsistência dos dados, indicando que há necessidade de novos aperfeiçoamentos na apresentação dos mesmos, evidenciando problemas de caráter geral.

Aquelas unidades que já incorporaram a cultura de avaliações, passaram a demandar indicadores, métricas e metas para avaliação de desempenho, bem como a possibilidade de realizar benchmarking entre unidades e com outras instituições.

É interessante chamar a atenção para o comentário de que “o planejamento foi muito sobreposto à discussão dos programas de gestão dos candidatos à reitoria, diminuindo muito a capacidade da universidade de propor e implantar melhorias substanciais no cotidiano da universidade.” Esse comentário explicita um dos problemas de governança institucional: a avaliação e a revisão do planejamento estratégico competem com a discussão dos programas de gestão de candidatos a reitor, que possuem agendas próprias, em busca de apoio para vencer a consulta à comunidade. Isto decorre do que ^{Balbachevsky e Kerbauy (2016}) denominam de modelo democrático de governança, no qual os atores têm percepções conflitivas sobre normas e objetivos e as dinâmicas institucionais são determinadas por fatores internos. Neste modelo, a lógica é baseada na representação de interesses, sendo organizada pela eleição das autoridades universitárias; a qualidade é determinada pela acomodação dos interesses e sua dinâmica se dá pela barganha interna.

Neste sentido, a agenda estratégica e as ações de médio e longo prazos estão em permanente risco de descontinuidades, e na Unicamp não é diferente. Por exemplo, o sistema de gestão de projetos estratégicos¹¹ da Unicamp mostra que, no período entre 2017 e 2021, foram propostos mais de setenta projetos associados ao Planes/2016-2020, a grande maioria deles concluídos. Entretanto, não há registros de novos projetos e nem de projetos associados ao Planes/2021-2025, mesmo que esse planejamento e suas prioridades tenham sido aprovados pelo Consu.

Considerações finais

Por meio deste artigo, buscou-se apresentar uma experiência na qual a universidade pública como um processo que evolui a cada ciclo, num exercício autônomo de implantação de instrumentos próprios de avaliação que resultam na revisão do planejamento estratégico. Na Unicamp, a periodicidade desses processos é quinquenal. No último ciclo, duas comissões externas independentes avaliaram a instituição e os dois pareceres emitidos compuseram o relatório final da AI/2014-2018, que foi aprovado pelo Consu e encaminhado ao CEE/SP. Muitas das recomendações foram incorporadas ao Planes/2021-2025. Cumpriu-se dessa forma as duas finalidades, a de recredenciamento e a de subsídio para o planejamento. Esses processos foram operacionalizados por dois órgãos colegiados da instituição: pela Copei que atua, também, no desdobramento e no acompanhamento das ações estratégicas, e pela CAI, responsável pela coordenação das avaliações dos C&N.

A cada ciclo de avaliação, houve aperfeiçoamento do instrumento, incorporando novas dimensões rumo a uma avaliação global das atividades da Unicamp. Vale destacar que o último ciclo de avaliação avançou no processo de incorporação dos critérios do ^{Caep (2018}), mencionados anteriormente, como qualidade dos candidatos; formas de recrutamento e seleção; impacto dos programas e a capacidade fiscal e administrativa da IES. Como evidenciado, trata-se de um processo que ainda necessita de aprimoramento. A inclusão de novas dimensões é um tema complexo, pois demanda a disponibilização dos respectivos dados, um assunto desafiador em uma instituição como a Unicamp carente de sistemas estruturados de apoio gerencial (^{Geus et al., 2020}). Neste sentido, e coerentemente com o objetivo estratégico Unicamp Digital do Planes/2016-2020, instituiu-se, em 2019, o Escritório de Dados (^{Beppu et al., 2019}; ^{Atvars et al., 2021}a), emulando um Institutional Research, responsável por estruturar e disponibilizar os dados necessários ao processo. Por isso, duas grandes dimensões ainda não são avaliadas: as complexas atividades da área da saúde e as atividades desenvolvidas pelos órgãos da administração, para as quais há se requer o desenvolvimento de instrumentos específicos e a geração de dados associados ao processo.

Os relatórios de avaliação institucional mostraram impactos produzidos pela execução do Planes. Entretanto, esses processos ainda precisam ser mais amplamente incorporados na cultura institucional, em todos os seus níveis hierárquicos. O fato de o Consu aprovar o relatório e o planejamento não está garantindo que os gestores se apropriem dos resultados, para que sejam, na prática, instrumentos de gestão. Esse é um desafio na Unicamp e também em outras instituições.

Como visto, os critérios de eficiência, eficácia, resultados e sustentabilidade financeira e orçamentária são exigidos pelo CEE/SP e devem ser vinculados à avaliação institucional. Esses tópicos estão alinhados com os critérios estabelecidos pelo CEE/SP relacionados à eficácia, eficiência, relevância e pertinência dos resultados alcançados pela instituição. Alinham-se também aos critérios sugeridos pelo ^{TCU (2018}) para a avaliação do setor público. Desta forma, esses indicadores deveriam estar publicamente disponíveis, o que ainda não ocorre no caso da Unicamp. Por isso, se pode afirmar que a Unicamp está em um período de transição entre “um modelo pré-performance”, caracterizado “pela ausência de uma agenda estratégica, com estrutura autocentradas e ausência de mecanismos de monitoramento e de avaliação”, e o modelo de “governança para o desempenho, com integração de agendas, alinhamento de estruturas implementadoras, com mecanismos claros de monitoramento e de avaliação” (^{Bouckaert e Halligan, 2009}). A completa transição entre esses dois modelos depende, fundamentalmente, da governança institucional. Para avançar, será necessário adotar como mandatória a efetiva implantação de uma gestão estratégica dentro dos princípios basilares da boa governança pública (^{Palulo; Oliveira, 2021}, p. 24), também descrita em guias referenciais da administração pública brasileira (Brasil, 2009).

Sumarizando, e respondendo às questões formuladas inicialmente:

Todos esses processos devem acontecer no exercício da autonomia universitária, junto com a consolidação de mecanismos da autorregulação e de accountability baseada no impacto social da instituição.