1 Introdução

A expansão da educação superior no Brasil, em especial após a Reforma Universitária de 1968, gerou a necessidade de um acompanhamento sistemático e avaliativo para esse nível de ensino, para garantir a qualidade determinada pela constituição. Esse movimento avaliativo foi iniciado em 1977 pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), com o Sistema de Avaliação de Programas de Pós-Graduação Stricto Sensu, o qual foi evoluindo e sendo aprimorado no decorrer do tempo. Nesse percurso de tempo, até 2004, surgiram vários programas de avaliação da educação superior, mas nenhum como um sistema nacional.

Foi, somente, com a Lei n.º 10.861, de 2004, que instituiu o atual Sistema Nacional de Avaliação da Educação Superior - SINAES (^{BRASIL, 2004a}), que o Brasil passou a ter um sistema nacional de avaliação da educação superior, abrangendo todas as categorias de organizações acadêmicas.

O SINAES propõe três principais processos de avaliação: Avaliação Institucional, que se subdivide em Avaliação Externa e Avaliação Interna (também chamada de Autoavaliação); Avaliação de Cursos de Graduação e o Exame Nacional de Desempenho dos Estudantes - ENADE.

Segundo ^{Souza et al. (2018}), o procedimento avaliativo, especificamente a autoavaliação institucional, deve também ser transformado, frequentemente, para buscar a melhoria contínua de seus processos, aprimorando as abordagens, os instrumentos e o próprio objeto a ser avaliado. É por isso que a avaliação deve, também, ser avaliada, para mensurar sua qualidade e se, de fato, está trazendo os resultados e informações esperados. Este processo é denominado meta-avaliação, prevista na regulamentação do SINAES, cujo termo foi definido literalmente por ^{Scriven (1991}) como a avaliação da avaliação.

Este estudo aborda a avaliação da autoavaliação institucional - realizada pelas instituições de Ensino Superior no âmbito do SINAES, considerando sua importância para o desenvolvimento e melhoria da qualidade da educação superior brasileira.

Mesmo observando-se a preocupação das IES em realizar a meta-, ainda “existe uma lacuna quanto à disseminação de relatórios de meta-avaliação e de referências teórico-metodológicas de como conduzi-la” (^{DAVOK, 2006}, p. 85).

Por isso, verificou-se a necessidade de se definir um instrumento para verificação da autoavaliação institucional, que contenha atributos, critérios e indicadores que possibilitem operacionalizar a meta-avaliação em instituições de educação superior, tendo como responsáveis as comissões próprias de avaliação (CPA).

Desta forma, para que seja possível elaborar este instrumento, a presente pesquisa partiu da seguinte questão: Quais os atributos, critérios e indicadores são apropriados para a estruturação de um instrumento de operacionalização da meta-avaliação, inerente ao processo e aos resultados da autoavaliação institucional em instituições de Educação Superior brasileiras?

Para responder ao problema de pesquisa, definiu-se o seguinte objetivo geral: propor um instrumento de meta-avaliação para utilização na avaliação do processo e dos resultados da autoavaliação institucional de IES brasileiras.

A fundamentação teórica contemplou os estudos efetuados acerca dos seguintes temas: Autoavaliação Institucional; Meta-avaliação; Atributos das Práticas de Avaliação Educacional; e Indicadores da Avaliação Externa, conforme o SINAES.

2 Meta-avaliação

De modo geral, a meta-avaliação existe desde o início de qualquer avaliação, pois sempre há formação de opinião sobre a qualidade do processo avaliativo, ainda que não formalizada. Uma boa avaliação requer que seu próprio esforço seja avaliado. Muitas coisas podem sair e, frequentemente, saem errado em sua realização.

Portanto, é necessário checar problemas como vieses, erros técnicos, dificuldades administrativas e organizacionais e uso inadequado dos resultados da avaliação (^{STUFFLEBEAM, 2011}).

^{Stufflebeam (2000}) apresenta dois tipos de meta-avaliação: as formativas e as somativas. As meta-avaliações formativas são realizadas no planejamento de uma avaliação ou enquanto ela está em andamento, ajudando os avaliadores a planejar, conduzir, melhorar, interpretar e relatar seus estudos de avaliação.

É formativa quando ocorre durante o processo avaliador, visando verificar se a condução da avaliação está sendo apropriada e se as informações produzidas estão atendendo às necessidades dos stakeholders e tem a função de fornecer informações para que decisões sejam tomadas a fim de melhorar o processo avaliador (^{DAVOK, 2006}).

Sendo assim, “a meta-avaliação transforma-se em uma atividade essencial para o fortalecimento de uma cultura de avaliação consolidada por um referencial teórico consistente e por uma prática não punitiva, que visa ao desenvolvimento da IES” (^{GIMENES, 2007}, p. 229). Nota-se, então, que a meta-avaliação proporciona mecanismos para aferir a importância das ações avaliativas desenvolvidas, além de apontar a relevância, o mérito e os fatores que necessitam de melhorias.

Embora haja esforços, como os do MEC, para a institucionalização da meta-avaliação no Brasil, “ainda não foram desenvolvidos estudos capazes de oferecer diretrizes, critérios e orientações procedimentais e instrumentais compatíveis com as especificidades do Estado e das políticas públicas brasileiras” (^{OLIVEIRA, 2017}).

Segundo ^{Elliot (2011}), para cada tipo de avaliação, há determinados tipos de procedimentos meta-avaliativos que podem ser aplicados mais adequadamente. Estes procedimentos podem ser encontrados na literatura internacional e o Joint Committee on Standards for Educational Evaluations- JCSEE, é um dos principais marcos nesta área. Outras obras como as de Daniel Stufflebeam, organizador dos padrões publicados pelo JCSEE e Michael Scriven também são referenciais internacionais acerca do assunto.

As obras desses autores corroboram com os processos avaliativos da autoavaliação institucional, que tem por objetivo avaliar as instituições sob a ótica de vários públicos e à luz das dez dimensões do SINAES.

3 Atributos das práticas de avaliação educacional

O Comitê Conjunto de Padrões para Avaliação Educacional - Join Committee on Standards Educational Evaluation - JCSEE, é a fonte oficial de padrões de avaliação nos Estados Unidos e no Canadá. A comissão é composta por representantes de organizações profissionais e especialistas no assunto, com a tarefa de rever, atualizar, desenvolver e disseminar padrões para atender as necessidades do campo da avaliação.

Os critérios do JCSEE são formados por trinta tópicos, devidamente fundamentados com suas respectivas definições, diretrizes, apontamentos de erros comuns e exemplos de aplicabilidade. Além disso, com base na discussão sobre diretrizes, o JCSEE desenvolveu o conceito de que “a qualidade de um estudo avaliatório pode ser determinada por sua utilidade, viabilidade, propriedade e precisão” (^{JCSEE, 2019}).

A partir desta definição, foram agrupadas as trinta diretrizes conforme sua contribuição para cada um desses cinco atributos. A última revisão dos Padrões de Avaliação apresentada pelo JCSEE, em 2011, incluiu o atributo de responsabilização. Desta forma, os Padrões de Avaliação Educacional, passaram a contemplar 5 (cinco) atributos: utilidade, viabilidade, adequação, precisão e responsabilização (grifo nosso), com os 30 (trinta) critérios distribuídos entre eles (JCSEE, 2019).

Vale destacar que estes padrões foram desenvolvidos para aplicação nos Estados Unidos e Canadá. Por isso, o próprio Joint Committee recomenda a observação do contexto para utilização destes critérios, considerando a cultura e a adequação destes ao tipo de avaliação e também à realidade local.

Meta-avaliação é definida por ^{Stufflebeam (2001, p. 185}) como:

o processo de delineamento, obtenção e aplicação de informações descritivas e de julgamento - sobre a utilidade, viabilidade, propriedade e precisão de uma avaliação e sua natureza sistemática, conduta competente, integridade/honestidade, respeito e responsabilidade social - para orientar a avaliação e o avaliador e/ou relatar seus pontos fortes e fracos.

Nessa mesma linha, Stufflebeam (2001) argumenta que ao ser possível a ocorrência de problemas durante o processo avaliativo - tais como: viés, erro técnico, dificuldades administrativas, uso impróprio das informações - é importante que se avaliem as avaliações para melhorar os processos avaliativos em andamento ou aferir o mérito de avaliações já finalizadas. Para tanto, o autor entende que a meta-avaliação deve julgar o processo avaliador com vistas a quatro critérios de adequação técnica, seis critérios de utilidade, bem como um critério de custo-benefício, conforme são apresentados na Figura 1.

Fonte: Adaptado e traduzido de STUFFLEBEAM, Daniel L. Meta-Evaluation. Journal Of Multidisciplinary Evaluation, Kalamazoo, EUA, v. 7, n. 15, p. 101-104, fev. 2011.

Figura 1 Critérios de meta-avaliação 

Para Stufflebeam (2001), uma meta-avaliação pode ser dividida em onze tarefas principais, conforme segue (tradução nossa):

A lista de tarefas considera diferentes arranjos e procedimentos que podem ajudar na conduta das tarefas de meta-avaliação e, quando viável, mostrar formas opcionais de abordagem de diferentes tarefas. Claramente, o contexto é importante para definir quando um determinado procedimento é ou não aplicável e provavelmente eficaz. Portanto, a lista de tarefas propõe um caminho para a condução do processo de meta-avaliação, mas pode ser reorganizada sempre que necessário.

Segundo ^{Scriven (1991}), ao verificar e mensurar a qualidade dos processos avaliativos, assim como seus resultados e análises, a meta-avaliação se apresenta como uma obrigação ética e científica, uma vez que há envolvimento do bem-estar de outras pessoas.

A Lista Chave de Verificação de Avaliação (Key Evaluation Checklist), foi criada e revisada periodicamente por ^{Scriven (2007}). Trata-se de um quadro de referência que pode ser aplicado tanto em avaliações diversas, quanto em meta-avaliações. Segundo ^{Elliot (2011}, p. 944), a Lista Chave, em relação à meta-avaliação, “é utilizada para avaliações somativas uma vez que seu objetivo é apresentar os principais pontos de verificação do relatório de avaliação”.

A Lista Chave de Verificação de Avaliação busca, a partir do quadro de referência, analisar a qualidade do relatório de avaliação, apresentando seu diagnóstico, desmembrado nos quatro níveis de abordagem, proposto por ^{Scriven (2007}): preliminares, fundamentos, sub-avaliações e conclusões. Essas abordagens são desdobradas 3 pontos preliminares e mais 15 pontos de verificação, os quais abrangem todas as etapas de uma avaliação, com foco no resultado final.

4 Indicadores da avaliação externa - SINAES

Em 2017 foram publicados os novos instrumentos de avaliação externa para atos de autorização e reconhecimento de cursos e de credenciamento e recredenciamento institucional, respectivamente. Em todos os instrumentos utilizados para avaliações externas in loco a autoavaliação é mencionada e verificada de alguma forma, no entanto, o que avalia mais a fundo esse item é o instrumento de avaliação externa de recredenciamento institucional.

O eixo 1 do instrumento de avaliação institucional externa (IA) para ato de recredenciamento e transformação de organização acadêmica aborda o planejamento e avaliação institucional e é composto por um indicador inicial que avalia a evolução institucional a partir do Relato Institucional - o qual é elaborado a partir dos relatórios da autoavaliação - e por outros três indicadores que se referem, especificamente, sobre a Autoavaliação Institucional.

Mais uma vez se evidencia a centralidade da autoavaliação para a melhoria contínua das IES, bem como sua relevância no processo avaliativo da Educação Superior brasileira. Por essa razão, faz-se necessário uma atenção também para o processo e resultados da avaliação interna, para que, de fato, possam trazer os benefícios propostos por essa ação.

5 Procedimentos metodológicos

Tratando-se de uma pesquisa que tem como proposta a produção de uma ferramenta de utilização prática - um instrumento para meta-avaliação, do ponto de vista de sua natureza, é considerada uma pesquisa aplicada.

Para atender aos objetivos do estudo, foram utilizadas três etapas. A estruturação dos procedimentos metodológicos utilizados encontra-se definida na figura 2 a seguir:

Fonte: Elaborada pela autora.

Figura 2 Procedimentos metodológicos quanto aos meios 

Com o intuito de mapear e analisar as publicações técnicas e científicas existentes sobre o tema, foi realizada uma revisão sistemática utilizando as seguintes bases de dados: Catálogo de Teses e Dissertações da CAPES, SciELO, Ebsco e Base, além das bibliotecas Person e UFSC. Optou-se por essas bases pelo número de publicações em português, uma vez que o assunto é de interesse nacional e não há indicativos de números significativos de publicações internacionais.

O resultado desta revisão totalizou 138 trabalhos, incluindo artigos, teses e dissertações, dos quais após a leitura dos resumos, pela aderência ao tema, foram selecionados 61 materiais que tratavam especificamente da meta-avaliação relacionada a autoavaliação institucional de IES. Para o presente trabalho em especial, esta etapa foi de fundamental importância, uma vez que, por meio da pesquisa bibliográfica foi possível verificar os fundamentos e as metodologias utilizadas na meta-avaliação pelos autores mais referenciados da área, conforme constatado na revisão da literatura.

Utilizou-se para efetuar o trabalho de campo a pesquisa do tipo Survey, o qual, de acordo com ^{Pinsonneault e Kraemer (1993}), se apresenta como forma de obtenção de dados ou informações sobre características, ações ou opiniões de um determinado grupo de pessoas, que representam uma população. Assim sendo, optou-se por utilizar esse tipo de pesquisa por viabilizar o acesso às CPAs do Estado de Santa Catarina, a fim de investigar suas experiências com a meta-avaliação na autoavaliação institucional e também coletar suas opiniões sobre a proposta de atributos, critérios e indicadores que comporão um instrumento de meta-avaliação específico para avaliar o trabalho dessas comissões, em atendimento ao objetivo geral deste trabalho.

Todas as CPAs devem elaborar um relatório anual que é enviado ao MEC, anualmente, com os resultados da avaliação interna e o plano de ação de melhorias para o próximo ano. A Nota Técnica INEP/DAES/CONAES nº 065, publicada em 09 de outubro de 2014 (^{BRASIL, 2014}) é o documento que estabelece o Roteiro para o Relatório de Autoavaliação Institucional.

Considerando a importância desses relatórios, foi realizada a análise destes documentos, em especial no que diz respeito à existência ou não de um processo de meta-avaliação praticado nas instituições de ensino superior de Santa Catarina, mesmo que não formalizado ou estruturado, mas mencionado de alguma forma no relatório da autoavaliação institucional.

Para realização desta análise, foi utilizada a Lista Chave de Verificação da Avaliação proposta por ^{Scriven (2007}), a qual é voltada a relatórios e resultados de avaliações, conforme citado anteriormente, utilizando também a legenda proposta por ^{Davidson (2005}, p. 217):

No entanto, como trata-se de um relatório amplo e relacionado às dimensões do SINAES e ao instrumento de avaliação externa do INEP, foi realizada uma adaptação da Lista Chave, focando a análise desses documentos nos itens que são mais aderentes ao processo de meta-avaliação, considerando o objetivo desta pesquisa. São eles:

Estes são os itens da Lista Chave (^{SCRIVEN, 2007}), utilizados para a análise dos relatórios a fim de investigar a presença da meta-avaliação nos processos de avaliação interna das IES.

Segundo o Censo da Educação Superior, promovido pelo INEP em 2019, o Brasil contava com 2.608 instituições de Educação Superior, ofertando 40.427 cursos de graduação. Em Santa Catarina, campo de estudo desta pesquisa, conforme Tabela 1, haviam 100 IES atuantes em 2019.

As 100 IES ativas em Santa Catarina, em 2019, cada uma com sua CPA com atuação nesse período, atendiam 385.950 matrículas em cursos de graduação. Segundo a legislação do SINAES, cada IES precisa ter ao menos uma CPA constituída. Assim sendo, esta pesquisa abrangeu as IES de Santa Catarina dada a sua representatividade e pela acessibilidade aos dados necessários.

Considerando que se optou por aplicar a pesquisa somente no Estado de Santa Catarina, em relação ao cenário nacional, esta pesquisa trabalhou com uma amostragem, por conveniência, que são as IES catarinenses, representando um percentual de aproximadamente 4% do total de IES do Brasil.

Já que a pesquisa abrangeu as CPAs de Santa Catarina, pode-se dizer que o Survey foi censitário, ou seja, foram pesquisadas todas as IES catarinenses. O questionário foi encaminhado por e-mail à presidência das CPAs de cada instituição, sendo coletada uma resposta por IES, representando a opinião de cada comissão em relação ao processo de autoavaliação institucional.

O instrumento de coleta de dados da pesquisa foi questionário estruturado e teve como principal finalidade investigar junto às CPAs seu nível de conhecimento sobre o processo de autoavaliação e coletar opiniões acerca da sua experiência relacionada ao processo de avaliação externa de modo a possibilitar a identificação dos atributos, critérios e indicadores que devem compor um instrumento de meta-avaliação, que possa ser utilizado para o no processo e dos resultados da avaliação interna das IES.

Desta forma, para construção do instrumento de pesquisa se levou em consideração a legislação vigente inerente ao SINAES sobre o processo de autoavaliação; os principais atributos e critérios elaborados pelo JCSEE; as considerações de ^{Scriven (2007}) e; como indicadores principais, os critérios de adequação técnica e a lista de tarefas para meta-avalição de Stufflebean (2001), conforme destacado na fundamentação teórica.

As questões do instrumento aplicado foram elaboradas a partir das 2 partes do processo: (1) Processo e (2) Resultados da Autoavaliação Institucional, com base nos critérios estabelecidos por Stufflebean (2011). Depois foram correlacionadas às “Tarefas/Procedimentos”, baseadas na Lista de Tarefas para Meta-Avaliação de Stufflebean (2001).

A primeira parte do questionário estava relacionada ao Processo de Autoavaliação Institucional. Esta parte do questionário foi estruturada em sete grupos de perguntas, seguindo os critérios e as tarefas/procedimentos apresentados anteriormente, trazendo nas perguntas a realidade da autoavaliação institucional em suas diversas etapas, a partir do que é estabelecido pela legislação, pelos documentos orientadores e pelo que consta no Instrumento de Avaliação Institucional Externa.

Esta estrutura do instrumento de pesquisa, correlaciona critérios de adequação técnica e tarefas/procedimentos da meta-avaliação à prática da autoavaliação institucional exercida pelas CPAs, visando coletar as informações necessárias para subsidiar a elaboração do protótipo de instrumento de meta-avaliação a ser utilizado na autoavaliação institucional, produto final desta pesquisa.

6 Apresentação dos resultados

Durante a pesquisa constatou-se que das 100 IES catarinenses declaradas no Censo da Educação Superior do ano de 2019, quatro estavam em situação inativa ou em processo de descredenciamento e duas delas não tiveram seus websites encontrados. Assim sendo, a pesquisa realizou-se com 94 instituições ao todo.

A etapa de análise documental consistiu na análise dos relatórios de autoavaliação disponibilizados pelas IES em seus respectivos sites institucionais, a partir dos critérios mencionados anteriormente.

De acordo com as orientações constantes na Nota Técnica nº 65/2014, os relatórios devem ser publicados durante o Ciclo Avaliativo, com duração trienal, sendo duas versões parciais e uma integral (BRASIL, 2014). Há que se ressaltar que haviam IES cujos relatórios tinham acesso restrito, ou seja, em ambientes exclusivos à alunos e/ou professores por meio de login e senha; algumas IES estavam com relatórios disponíveis de anos anteriores a 2018; muitas IES não disponibilizam os relatórios para acesso público em seus websites; houveram IES com códigos diferentes no censo que tinham relatório único/repetido.

Desta forma, foram encontrados 38 relatórios disponíveis para download ou consulta, em condições de serem analisados, o que consiste em 40,42% do total de 94 IES pesquisadas.

Dentre os principais resultados apresentados na tabela 2, pode-se destacar que 89% das CPAs se preocupam e cumprem com as orientações legais e favorecem a interpretação da comunidade acadêmica (item 2).

Já, no que diz respeito ao item 9, observa-se um total de 63% das CPAs que apresentam estas comparações entre os relatórios do ciclo avaliativo, bem como com outras avaliações internas e externas da IES. Essas comparações facilitam as análises e evidenciam o processo contínuo e progressivo da autoavaliação institucional.

Embora muitas comissões apresentem nos seus relatórios a utilização de documentos de apoio e a correlação da autoavaliação com o PDI e demais documentos da IES, pode-se notar que ainda há certa fragilidade neste item, visto que 18% dos relatórios não apresentam de forma clara essa relação e a utilização de documentos de apoio.

Considerando os conceitos C, D e E, 87% dos relatórios analisados não apresentam, ou apresentam de forma deficitária a presença da meta-avalição do processo de autoavaliação institucional. É o resultado que mais chama a atenção, uma vez que é pressuposto do MEC e que é um processo que corrobora com a busca pela melhoria contínua da qualidade das IES.

As CPAs são responsáveis por colocar em prática os pressupostos legais, de modo a estabelecer o objeto, os procedimentos, os objetivos e o próprio uso do processo avaliativo. Nesse sentido, a proposta do questionário foi trazer um olhar valorativo, ou seja, conhecer a realidade para então propor o instrumento de meta-avaliação, a partir da vivência dos respondentes.

De maneira geral, as CPAs demonstraram estar buscando atender o que preconiza a legislação no que diz respeito ao processo de autoavaliação. Ou seja, a maioria das respostas apontaram o atendimento aos itens questionados, embora ainda exista uma minoria que apresenta algumas fragilidades.

Nos primeiros sete grupos de perguntas, destacam-se algumas fragilidades que serão levadas em consideração na construção do instrumento de meta-avaliação proposto por essa pesquisa:

A análise dos resultados dos questionários, comparada à análise dos relatórios realizada anteriormente demonstra algumas incompatibilidades. Um exemplo de divergência é quanto a realização de meta-avalição ao processo de autoavaliação institucional. Apesar de apenas 17,5% dos respondentes do questionário afirmarem que não há este processo em suas respectivas IES, cerca de 87,5% dos relatórios analisados não apresentam esta ação, ou apresentam de forma não explícita a meta-avaliação realizada pelas CPAs. Assim sendo, trata-se de um ponto fundamental para a construção do instrumento proposto por este estudo, já que poderá contribuir, inclusive, com a mensuração deste processo nas IES.

A segunda parte do instrumento de pesquisa era voltada aos resultados da autoavaliação nas IES, tratando mais especificamente dos instrumentos, análise dos dados, elaboração dos relatórios e apresentação dos resultados. Nesta parte, ficou evidenciada a dificuldade das comissões na apresentação dos resultados e na discussão com os públicos envolvidos, especialmente com a comunidade externa.

Quanto a existência de criação de mentoria junto aos segmentos da comunidade (INTERNA) para analisar os resultados da autoavaliação, a pesquisa apresentou como resultado 10% de respostas que não se aplica/não sei responder e 22,5% responderam como Insatisfatório/ insatisfatoriamente/ não contempla. O mesmo ocorre com a questão referente a existência de alguma ação para auxílio à comunidade (EXTERNA) a interpretar e analisar os resultados da autoavaliação, onde 10% dos respondentes apontaram como não se aplica/não sei responder e 30% das respostas foram insatisfatório/ insatisfatoriamente/ não contempla.

Segundo os comentários dos próprios respondentes, a comunicação com a comunidade externa e egressos ainda é uma fragilidade e um desafio para as CPAs, pois ainda faltam estratégias para levar ao conhecimento dos stakeholders a importância deste processo para garantia da qualidade da educação superior.

7 Instrumento de meta-avaliação

O objetivo geral deste estudo é, justamente, elaborar um instrumento de meta-avaliação aplicável a autoavaliações institucionais de IES brasileiras, que pertençam ao sistema federal de ensino e, portanto, sigam as diretrizes e regulamentações do SINAES.

Assim, a partir da pesquisa bibliográfica que apontou os principais autores da área, subsidiando com suas teorias e conceitos a análise dos relatórios de autoavaliação das IES catarinenses e a aplicação dos questionários das CPAs das mesmas IES, foi possível chegar aos atributos, critérios e indicadores que serviram de base para a elaboração do instrumento de meta-avaliação. Além disso, as principais fragilidades encontradas tanto na análise dos relatórios, quando nos resultados dos questionários aplicados são os pontos de atenção para a meta-avaliação do processo de avaliação interna.

A organização do instrumento considerou, dentre o que foi estudado, o que é cabível a um instrumento para meta-avaliação da autoavaliação institucional, ou seja, adaptações, interpretações e realocações foram necessárias para estabelecer os parâmetros.

Portanto, o instrumento proposto foi organizado da seguinte forma:

Como conceitos para mensurar cada uma das questões, optou-se pela classificação de ^{Davidson (2005}), que traz as letras A, B, C, D e E, e suas respectivas classificações na legenda.

Foi com esse intuito que o instrumento de meta-avaliação foi elaborado, como uma ferramenta que possibilite auxiliar as CPAs na sua importante missão diante da gestão educação superior brasileira.

A seguir, uma parte da proposta de Instrumento de Meta-Avaliação para a Autoavaliação Institucional que possa ser aplicado nas IES a fim de corroborar com a legislação vigente que determina o processo das avaliações internas (Quadro 1). A íntegra do instrumento pode ser consultada na dissertação intitulada “AVALIAÇÃO INSTITUCIONAL: proposta de instrumento de meta-avaliação para a avaliação interna de IES” (^{ZIMMERMANN, 2021}), disponível no repositório de Teses e Dissertações da Biblioteca Universitária da Universidade Federal de Santa Catarina.

Como qualquer outro tipo de avaliação, a meta-avaliação pode ter um papel formativo ao ajudar uma avaliação a obter sucesso; e um papel somativo ao ajudar as partes interessadas a julgar o mérito da autoavaliação e seu valor diante dos seus objetivos. Por isso, é um campo com muitas possibilidades de desenvolvimento e atuação.

Fonte: Elaborado pela autora.

Quadro 1 Parte do instrumento de meta-avaliação para a autoavaliação institucional de IES 

O instrumento apresentado é um protótipo desenvolvido a partir dos estudos desta pesquisa, no entanto, poderá ser complementado e ajustado por meio de estudos futuros, à medida que for aplicado pelas CPAs.

8 Considerações finais

Com a realização deste estudo sobre meta-avaliação e sua relação com o processo avaliativo de IES, tendo por base os principais estudiosos da área, o estudo dos relatórios da avaliação interna das IESs e o levantamento de opiniões de uma amostragem significativa de membros das CPAs, acredita-se ter respondido a pergunta de pesquisa: Quais os atributos, critérios e indicadores são apropriados para a estruturação de um instrumento de operacionalização da meta-avaliação, inerente ao processo e aos resultados da autoavaliação institucional em instituições de Educação Superior brasileiras?

A partir das três etapas previstas na metodologia, verificou-se que, adaptando e correlacionando o que apresenta a literatura internacional e nacional com a legislação educacional brasileira, documentos orientadores e instrumentos de avaliação externa, foi possível construir este instrumento para atender a necessidade de avaliar o processo de autoavaliação institucional.

O desafio para a aplicação desta proposta é o engajamento dos membros das CPAs, e a adesão necessária à cultura avaliativa que, ainda, não está bem consolidada nas IESs. Diante da possibilidade de serem avaliados, talvez possa haver algum tipo de resistência dos próprios avaliadores. Portanto, é importante pensar também no desenvolvimento de estratégias para garantir o comprometimento das comissões nessa tarefa de meta-avaliar seu trabalho.

O instrumento de meta-avaliação para a autoavaliação institucional, resultante desta pesquisa, é apenas o início de um amplo campo de possibilidades de estudos e aprofundamentos acerca do tema. Assim sendo, recomenda-se a continuidade da pesquisa com a aplicação deste instrumento às CPAs de todas as IES brasileiras, como forma de testagem e abertura para novas discussões sobre o assunto.

Também, sugere-se que o INEP, responsável pela coordenação e supervisão da avaliação institucional (interna e externa) no Brasil, desenvolva algum sistema em que seja permitido que os resultados das meta-avaliações das IESs, coordenado pelas CPAs, “converse” com os relatórios das avaliações externas de cursos e instituições. Se isso vier a ocorrer, talvez seja possível dispensar os relatórios parciais e integral das CPAs, que são disponibilizados anualmente no Sistema e-MEC, pois todos os aspectos necessários já estarão contemplados num único local.

Este estudo não teve a intenção de apresentar uma proposta definitiva de meta-avaliação, mas sim, favorecer o debate sobre a sua importância para o aperfeiçoamento da autoavaliação institucional e para a qualificação da educação superior no Brasil, no sentido de promover o desenvolvimento de processos avaliativos mais consistentes nas instituições de educação superior capazes de gerar transformações e melhorias no âmbito institucional e social.