SciELO - Scientific Electronic Library Online

 
vol.35CONCEPCIONES DE DOCENTES DEL IDIOMA PORTUGUÉS SOBRE LA EVALUACIÓNRÚBRICA: RECURSO PARA EVALUAR EL APRENDIZAJE DE ANAMNESIS EN EL CURSO DE MEDICINA índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.35  São Paulo  2024  Epub 31-Mayo-2024

https://doi.org/10.18222/eae.v35.10631 

ARTIGOS

META-AVALIAÇÃO DE ASPECTOS EMANCIPATÓRIOS: UMA PROPOSTA TEÓRICO-METODOLÓGICA

METAEVALUACIÓN DE ASPECTOS EMANCIPATORIOS: UNA PROPUESTA TEÓRICO-METODOLÓGICA

META-EVALUATION OF EMANCIPATORY ASPECTS: A THEORETICAL-METHODOLOGICAL PROPOSAL

IVAN DOS SANTOS OLIVEIRAI 
http://orcid.org/0000-0002-2202-9926

JOSÉ CARLOS ROTHENII 
http://orcid.org/0000-0002-5360-1913

IInstituto Federal do Piauí (IFPI), Teresina-PI, Brasil;

IIUniversidade Federal de São Carlos (UFSCar), São Carlos-SP, Brasil;


RESUMO

O objetivo deste trabalho é apresentar proposta de instrumento meta-avaliativo de aspectos emancipatórios em autoavaliações institucionais, no âmbito do Sistema Nacional de Avaliação da Educação Superior. Foram elaborados 14 parâmetros, sendo 11 de mérito (dialogicidade, participação, pluralidade, negociação, globalidade, formatividade, comparabilidade, legitimidade, identidade e missão, compromisso, publicidade) e 3 de valor (autoconhecimento, potencialidade crítico-transformadora e aplicabilidade ou relevância). Consideramos que o arcabouço analítico-metodológico formulado pode ser muito útil para o aperfeiçoamento da prática autoavaliativa e para a formação de cultura avaliativa emancipatória.

PALAVRAS-CHAVE AVALIAÇÃO INSTITUCIONAL; AUTOAVALIAÇÃO; META-AVALIAÇÃO; EMANCIPAÇÃO.

RESUMEN

El propósito de este trabajo es presentar una propuesta de instrumento metaevaluativo de aspectos emancipatorios institucionales, en el ámbito del Sistema Nacional de Avaliação da Educação Superior [Sistema Nacional de Evaluación de la Educación Superior]. Han sido elaborados 14 parámetros, 11 de ellos de mérito (dialogicidad, participación, pluralidad, negociación, globalidad, formatividad, comparabilidad, legitimidad, identidad y misión, compromiso, publicidad) y 3 de valor (autoconocimiento, potencialidad crítico-transformadora y aplicabilidad o relevancia). Consideramos que la estructura analítico-metodológica formulada puede ser muy útil para perfeccionar la práctica autoevaluativa y para formar la cultura evaluativa emancipatoria.

PALABRAS CLAVE EVALUACIÓN INSTITUCIONAL; AUTOEVALUACIÓN; METAEVALUACIÓN; EMANCIPACIÓN.

ABSTRACT

This paper aims to present a proposal for a meta-evaluation tool of emancipatory aspects in institutional self-evaluations, within the scope of the Sistema Nacional de Avaliação da Educação Superior [National Higher Education Evaluation System]. Fourteen parameters were developed, eleven of them are merit-based (dialogicity, participation, plurality, negotiation, globality, formativeness, comparability, legitimacy, identity and mission, commitment, publicity) and three are value-based (self-knowledge, critical-transformative potential and applicability or relevance). We believe that the analytical-methodological framework developed may be very useful for improving self-evaluation practices and shaping an emancipatory evaluation culture.

KEYWORDS INSTITUTIONAL EVALUATION; SELF-EVALUATION; META-EVALUATION; EMANCIPATION.

INTRODUÇÃO

O termo meta-avaliação (metaevaluation) foi cunhado pelo pesquisador Michael Scriven, da Claremont Graduate University, no artigo “An introduction to metaevaluation” (Scriven, 1969). Na ocasião, havia sido solicitado que o autor trabalhasse com a não comparabilidade de avaliações para projetos habitacionais, encomendadas por um instituto norte-americano (Scriven, 2009). Stufflebeam (2002) esclarece que o termo foi novamente utilizado e, dessa vez, conceituado na literatura especializada, quando Scriven se propôs a analisar mais acuradamente avaliações duvidosas de produtos educacionais de qualidade inferior, preocupado com os aspectos éticos e políticos que os resultados das avaliações traziam e com os efeitos delas nas ações e escolhas dos consumidores desses produtos.

Embora haja registro da expressão avaliação de avaliações (evaluation of evaluations) na literatura dos anos 1940 (Cook & Gruder, 1978 como citado em Furtado & Laperrière, 2012), o termo meta-avaliação é o mais utilizado na literatura especializada, sendo desenvolvido e discutido, no contexto norte-americano, desde a década de 1970 por pesquisadores e especialistas da área da avaliação e aplicado nos mais diversos contextos referentes à avaliação de pessoas, produtos, sistemas educacionais, projetos e programas.

No Brasil, conforme lembra Elliot (2011), os estudos sobre o tema da meta- -avaliação ainda são parcos, concentrando-se principalmente no campo acadêmico, em pesquisas de mestrado e doutorado, que, apesar de apresentarem qualidade, não constituem um quadro de uma prática difundida e consistente de avaliadores profissionais.

Daniel Stufflebeam (2002) aponta para o fato de que toda avaliação pode ser suscetível a falhas e erros das mais variadas ordens, o que contribui para estabelecer qualidades de avaliações que podem ser enquadradas como boas, ruins, razoáveis ou algum ponto entre esses descritores, a depender da forma como esses problemas repercutem nos resultados da avaliação e na apresentação destes aos clientes, público-alvo ou consumidores.

Conforme explica o autor, as avaliações podem ter falhas devido a foco inadequado, critérios impróprios, descobertas tendenciosas, erros técnicos, conclusões injustificadas, descobertas ambíguas, recomendações injustificadas, custos excessivos, interpretação inadequada para os usuários ou interferência contraproducente nos programas que estão sendo avaliados. Assim, se esses fatores não são identificados e resolvidos durante o processo, as informações fornecidas e os achados da avaliação podem levar a falsos resultados ou a informações não condizentes com a realidade avaliada.

Além disso, ratifica o autor, “se relatórios defeituosos são emitidos sem serem expostos a meta-avaliações sólidas, audiências de avaliação podem tomar decisões erradas com base nas descobertas erradas” (Stufflebeam, 2001, p. 184, tradução nossa). Nesse sentido, chega-se ao entendimento de que as avaliações também carecem de ser avaliadas, constituindo, assim, um tipo específico de avaliação que é a meta-avaliação sólida das informações e dos resultados divulgados por avaliações.

No contexto da educação superior brasileira, as instituições de ensino superior (IES) e seus cursos ofertados são submetidos a avaliações externas e internas periódicas, dentro da sistemática do Sistema Nacional de Avaliação da Educação Superior (Sinaes). Os resultados dessas avaliações repercutem de diferentes formas nessas realidades educacionais e são motivo de interesse para os milhares de sujeitos que de algum modo usufruem dos serviços dessas IES.

As avaliações internas, ou autoavaliações institucionais, são realizadas com a finalidade principal de promover o autoconhecimento das instituições e potencializar o aperfeiçoamento dos processos acadêmicos, pedagógicos, de gestão e de planejamento desenvolvidos nesses contextos (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Inep], 2009). Esse momento avaliativo foi inicialmente idealizado como uma avaliação de caráter formativo, a fim de incentivar o desenvolvimento do senso crítico dos sujeitos participantes e transformações nas IES, ou seja, a emancipação dos sujeitos e das instituições. Vale ressaltar que a realização de práticas meta-avaliativas para esses processos é frequentemente recomendada pelos documentos orientadores da autoavaliação institucional.

Tendo isso em vista, este trabalho apresenta uma proposta de instrumento meta-avaliativo de aspectos emancipatórios em autoavaliações institucionais, no âmbito do Sinaes. O referido instrumento foi concebido como um potencial recurso para as equipes avaliadoras interessadas em aperfeiçoar suas práticas autoavaliativas, objetivando incentivar o desenvolvimento de aspectos emancipatórios da avaliação - como o diálogo, a participação, a pluralidade de ideias, a negociação, a potencialidade crítico-transformadora, a formatividade, entre outros - nos ciclos avaliativos.

A proposta parte de uma concepção avaliativa de perspectiva democrático-subjetivista, que considera a integração das características técnico-objetivas com as ético-políticas da avaliação, tendo o paradigma crítico-transformador da educação e da sociedade como justificativa e fundamento para práticas avaliativas potencialmente emancipadoras dos sujeitos e das instituições.

Assim, neste trabalho abordamos, de forma sucinta, alguns entendimentos a respeito do que seja meta-avaliação, bem como seus principais objetivos, além de algumas observações de ordem prático-metodológicas, a fim de situar o(a) leitor(a) sobre o tema. Em seguida, fazemos a caracterização e a apresentação do instrumento meta-avaliativo elaborado, destacando as questões meta-avaliativas, os parâmetros, a lista de verificação e a escala de níveis com suas devidas justificativas.

Ainda, cabe destacar que este artigo é baseado na tese de doutoramento Panorama da autoavaliação institucional nos Institutos Federais de Educação, Ciência e Tecnologia: Uma meta-avaliação de perspectiva emancipatória (Oliveira, 2023), apresentada ao Programa de Pós-Graduação em Educação (PPGE) da Universidade Federal de São Carlos (UFSCar), na qual pode ser verificada a aplicação do instrumento meta-avaliativo e os resultados obtidos.

ASPECTOS CONCEITUAIS, FUNCIONAIS E METODOLÓGICOS DA META-AVALIAÇÃO

Scriven (2009) reconhece haver três categorias de questões que comumente surgem sobre a meta-avaliação. São elas: indagações sobre o que exatamente é (aspectos conceituais), como pode ser justificada (aspectos funcionais e contextuais) e quando e como deve ser usada (aspectos metodológicos). Dessa forma, procuraremos, nesta seção, tratar de forma sucinta desses questionamentos, a fim de esclarecer o que diz a literatura revisada a respeito da meta-avaliação.

Scriven inicialmente define o termo como “qualquer avaliação de uma avaliação, sistema de avaliação ou dispositivo de avaliação” (Stufflebeam, 2002, p. 458, tradução nossa). Posteriormente, estende a abrangência da meta-avaliação como sendo também “indiretamente, a avaliação de avaliadores - e representa uma obrigação ética, bem como científica, quando envolve o bem-estar de outras pessoas” (Scriven, 2018). Como bem se nota, o enfoque dessa abordagem são as decorrências ético-políticas derivadas das avaliações, principalmente daquelas que não atendem às condições de integridade e confiabilidade nos seus resultados. Argumenta-se que a emissão de informações imprecisas ou tendenciosas pode fortemente induzir consumidores, especialmente no campo da educação, a consumir serviços e produtos de má qualidade.

Em outra perspectiva, meta-avaliação é definida por Stufflebeam como “o processo de delinear, obter e aplicar informações descritivas e informações de julgamento sobre a utilidade, viabilidade, propriedade e precisão de uma avaliação” (2001, p. 185, tradução nossa). O conceito definido por Stufflebeam para meta- -avaliação deixa claro que esse é um processo composto de etapas específicas, bem delimitadas e bem organizadas que objetivam, ao final, emitir julgamento de valor e de mérito de uma avaliação, baseado em critérios predefinidos.

Para Furtado e Laperrière (2012, p. 695), “a avaliação da avaliação não é um simples jogo de palavras ou uma indagação sobre quem avalia a avaliação. Muito mais do que isso, trata-se de avaliar os diversos componentes de um processo avaliativo e os próprios avaliadores”. Reconhecendo a abundância de possibilidades metodológicas e, principalmente, que o campo da avaliação é uma área marcada por interesses políticos, os autores contribuem para o desenvolvimento da temática ao conferir à meta-avaliação a potencialidade de promover rigor ético e científico nas práticas avaliativas, por meio da interação entre a produção teórica e a prática de campo.

O fato de envolver diferentes atores com opiniões diversas e, por vezes, divergentes faz com que o campo da avaliação seja permeado por forte componente político. Dessa forma, para os autores, não é realista conceber como igual a participação de todos os autores envolvidos, assim como os procedimentos, as técnicas e os critérios estabelecidos não podem ser compreendidos como neutros, pois o que de fato delineia as opções e os modelos utilizados são as situações específicas, ou seja, o contexto prático, que comumente diverge do contexto teórico e de planejamento de programas e de avaliações (Furtado & Laperrière, 2012).

As razões e justificativas para o uso de meta-avaliações são das mais diversas ordens, entretanto podemos sintetizá-las em três funções principais: as que dizem respeito à verificação da qualidade de avaliações; as que se referem à melhoria das avaliações por meio da verificação de seus pontos fortes e vulnerabilidades; e as que apontam para o atestado da utilidade das avaliações para o público interessado.

Cooksy e Caracelli entendem que, depois da verificação da qualidade, “o segundo objetivo principal para submeter um conjunto de estudos à meta-avaliação é identificar pontos fortes e fracos na prática de avaliação, a fim de desenvolver a capacidade de avaliação” (2005, p. 32, tradução nossa). Dessa forma, os autores convergem para o entendimento de Stufflebeam (2001, 2002) referente à potencialidade da meta-avaliação em promover melhorias nas avaliações ou nos sistemas de avaliação. Para esse autor, a detecção dos pontos fortes e fracos de uma avaliação ou sistema tem relação com o grau de aderência aos padrões e princípios adotados, ou seja, com o mérito da avaliação. A partir disso, tanto os interessados nos resultados da avaliação quanto os avaliadores podem atestar a integridade do processo avaliativo e a justiça das informações fornecidas.

Sobre a função de apontar a utilidade de determinada avaliação, Stufflebeam (2001) deixa claro que esse aspecto está relacionado ao valor que os resultados ou as informações advindas da avaliação tem para o público de interesse, bem como à capacidade de utilizá-los de forma adequada.

Cada abordagem meta-avaliativa pode delimitar as etapas e o tempo do processo avaliativo. Em sua concepção metodológica, Stufflebeam (2002) sintetiza, a partir de experiências prévias de meta-avaliações, uma sistemática geral para o planejamento e a realização de meta-avaliações. Para o autor, são tarefas do meta-avaliador: determinar e organizar a interação com as partes interessadas da meta-avaliação; estabelecer uma equipe qualificada de meta-avaliação; definir as perguntas de meta-avaliação; definir os padrões para julgar o sistema de avaliação ou avaliação específica; negociar o contrato de meta-avaliação; coletar e revisar as informações disponíveis pertinentes; coletar novas informações conforme necessário, incluindo, por exemplo, entrevistas, observações e pesquisas no local; analisar as informações qualitativas e quantitativas e julgar a aderência da avaliação aos padrões de avaliação selecionados; preparar e enviar os relatórios necessários; e ajudar o cliente e outras partes interessadas a interpretar e aplicar as descobertas.

Tendo isso em mente, com base nas proposições anteriormente apontadas, resolvemos sistematizar as etapas e as tarefas do meta-avaliador, para efeito de proposta de um instrumento facilitador da organização e do planejamento de meta- -avaliações somativas (Tabela 1).

TABELA 1 Quadro resumo da meta-avaliação e do processo analítico 

1. Partes interessadas na meta-avaliação e interação:
- Público de interesse direto: descrever os grupos que têm interesse direto ou que são diretamente atingidos pela avaliação ou seus resultados.
- Público de interesse indireto: descrever os grupos que têm interesse indireto ou que são indiretamente atingidos pelo processo avaliativo ou seus resultados.
Interação: definir e descrever de que forma ocorrerá a interação com os públicos de interesse direto ou indireto da avaliação meta-avaliada.
2. Tipo de meta-avaliação: somativa ou formativa.
3. Equipe de meta-avaliação: definir e descrever a equipe que realizará a meta-avaliação.
4. Princípios: definir e descrever em qual paradigma avaliativo se fundamenta a meta-avaliação, bem como em qual paradigma se fundamentam os critérios ou parâmetros de mérito e de valor.
5. Critérios ou parâmetros de determinação de mérito: listar os critérios que embasarão a análise do mérito da avaliação.
6. Critérios ou parâmetros de determinação de valor: listar os critérios que embasarão a análise do valor da avaliação
7. Questões meta-avaliativas:
Requisitos de mérito: como a avaliação analisada atende aos princípios em que está orientada? Requisitos de valor: como a avaliação analisada atende às necessidades do público interessado?
Como a avaliação analisada atende às suas finalidades?
8. Contrato de meta-avaliação: descrever em que condições será realizado o trabalho de meta-avaliação, bem como as exigências que se fizerem necessárias entre as partes (equipe de meta-avaliação e contratante).
9. Coleta e revisão das informações: definir as fontes primárias e secundárias, descrever como será a coleta de dados.
10. Análise das informações: definir e descrever como será realizada a análise dos dados, se a abordagem será qualitativa, quantitativa ou mista. Definir e descrever o instrumento de análise e a escala de aderência dos critérios ou padrões estabelecidos.
11. Resultados: descrever como serão apresentados, discutidos e organizados os resultados da meta-avaliação.
12. Revisão por pares: definir se haverá revisão por pares e como os procedimentos, instrumentos e resultados serão revisados.
13. Publicidade (ou transparência, prestação de contas à sociedade): definir e descrever como os resultados da meta-avaliação serão publicados e como a equipe poderá auxiliar o público interessado na interpretação dos resultados.

Fonte: Elaboração dos autores (2022).

CARACTERIZAÇÃO DO INSTRUMENTO META-AVALIATIVO

Com a finalidade de avaliar os níveis de atendimento dos aspectos emancipatórios observáveis em processos de autoavaliação institucional, foram elaborados 14 parâmetros de aspectos emancipatórios, os quais são inter-relacionados, sendo 11 de mérito (dialogicidade, participação, pluralidade, negociação, globalidade, formatividade, comparabilidade, legitimidade, identidade e missão, compromisso, publicidade) e 3 de valor (autoconhecimento, potencialidade crítico-transformadora e aplicabilidade ou relevância). Esses parâmetros foram organizados a partir da sistematização e interpretação do paradigma da educação crítico-libertadora de Paulo Freire (1987, 1996, 2001, 2006), da abordagem da avaliação emancipatória de Ana Maria Saul (2010), dos pressupostos da avaliação institucional de perspectiva democrático-subjetivista de Dias (2003), Isaura Belloni (1999), Dilvo Ristoff (2003) e Heloísa Luck (2012) e do documento formulado pela Comissão Especial de Avaliação (CEA) para a implementação do Sinaes (Inep, 2009). Também, a partir do mesmo quadro conceitual, foram pensadas e estruturadas as questões meta-avaliativas, bem como o instrumento de análise, com suas escalas, para a realização de meta-avaliação somativa, ou seja, a meta-avaliação de uma avaliação já finalizada.

Para Paulo Freire, importa uma prática educativa que liberte os seres humanos de tudo o que lhes impede de serem mais e lhes proporcione os meios de compreender sua realidade, criticá-la e agir rumo à transformação em uma sociedade melhor e mais justa. Uma formação crítica e abrangente de cidadãos plenamente éticos, com senso de justiça social e de profissionais detentores do conhecimento científico e da cultura acumulada, completamente habilitados para exercerem suas profissões, mas também seres munidos da possibilidade da mudança (Freire, 1996).

Saul (2010) conceitua sua abordagem como “um processo de descrição, análise e crítica de uma dada realidade, visando transformá-la” (p. 65), a qual destina-se à avaliação de programas educacionais e sociais, com particular deferência aos primeiros. Visa a dar protagonismo aos envolvidos direta ou indiretamente em uma ação educacional, possibilitando despertar-lhes o exercício da crítica à realidade, de forma que possam libertar-se e emancipar-se de condicionamentos deterministas.

O enfoque democrático-subjetivista de avaliação abarca, como pilares teóricos e práticos, valores vinculados à participação, ao fomento da democracia, à cooperação, à qualidade localmente referenciada e à transformação ou melhoria dos trabalhos e dos processos nos contextos escolares, ou seja, reconhece, para além das técnicas e instrumentos avaliativos, as dimensões política e ética indissociáveis de qualquer processo presente no fenômeno educativo, sem desconsiderar, no entanto, os aspectos objetivos inerentes das avaliações. Constitui-se fundamentalmente como avaliação interna, mas procura conjugar autoavaliação com avaliação externa, comunidade interna e demais setores da sociedade. Nesse enfoque, a comunidade institucional é que deve tomar para si o protagonismo do processo avaliativo e o controle das intervenções formativas nos processos pedagógicos e administrativos da instituição (Dias, 2003).

Nesse entendimento, temos como questões meta-avaliativas para os requisitos de mérito:

A1 - A avaliação é dialógica? Pretende-se verificar se a avaliação buscou estabelecer a locução ou a mediação com a realidade social em que a IES está inserida e se buscou estabelecer o diálogo entre os diferentes sujeitos participantes, bem como entre a Comissão Própria de Avaliação (CPA), a comunidade interna e a gestão; verificar como ocorreu a comunicação entre os sujeitos do processo.

B1 - A avaliação é participativa? Pretende-se verificar se e de que formas a avaliação estimulou a participação dos diversos segmentos da comunidade interna nas etapas ou momentos do processo.

C1 - A avaliação reconhece ou respeita a pluralidade? Pretende-se verificar se a avaliação respeita ou acolhe as ideias diferentes, ou divergentes, ou seja, a diversidade de ideias, no sentido de formarem-se consensos.

D1 - A avaliação evidencia os processos de negociação? Pretende-se verificar se a avaliação evidencia acordos ou como foram equacionados os impasses, no sentido de atender ao interesse comum.

A2 - A avaliação é global? Pretende-se verificar se a avaliação abrange todas as dimensões da instituição, e se reconhece ou evidencia o nível de integração das partes em um todo coerente.

B2 - A avaliação é formativa? Pretende-se verificar se a avaliação é formativa, permanente, dinâmica e pedagógica, a fim de introjetar cultura avaliativa no cotidiano das práticas internas; se os instrumentos e métodos são contínuos; e se produz evolução e desburocratização do processo.

C2 - Os métodos e resultados são comparáveis? Pretende-se verificar se a avaliação é potencialmente capaz de fornecer resultados e indicadores que possam ser comparados e que confiram a confiabilidade dos instrumentos e dos resultados; bem como se esclarece a evolução das referências e dos resultados.

D2 - A avaliação apresenta legitimidade? Pretende-se verificar se a avaliação envolve a participação responsável dos sujeitos integrantes da comunidade no processo avaliativo; se a legitimidade dos condutores dos processos avaliativos é reconhecida por todos; se há competência técnica por parte dos condutores; se produz informações fidedignas; e se há credibilidade na metodologia do processo.

A3 - A avaliação promove o desenvolvimento da identidade e da missão institucional? Pretende-se verificar se a avaliação busca contemplar e respeitar as características próprias da IES; e se esclarece como a IES exerce seu mandato social.

B3 - A avaliação é compromissada? Pretende-se verificar se a avaliação reconhece e evidencia compromisso com um projeto de sociedade crítico-transformador, com uma visão de educação crítico-emancipatória, com o processo avaliativo formativo e com o aperfeiçoamento das práticas internas.

C3 - A avaliação é transparente? Pretende-se verificar como a avaliação promove a divulgação de seus resultados ao público interessado e aos demais segmentos da sociedade e como se dá o acompanhamento do uso das informações produzidas.

Para os requisitos de valor, temos como questões meta-avaliativas:

V1 - A avaliação produz autoconhecimento? Pretende-se verificar como a avaliação ilumina a realidade no levantamento dos pontos fortes e fracos da IES e se promove autorreflexão das causas e das razões das potencialidades e das dificuldades da realidade pesquisada.

V2 - A avaliação aponta soluções para os problemas? Pretende-se verificar como a avaliação aponta e analisa soluções para o aperfeiçoamento dos pontos fracos levantados e se discute mudanças de estratégias malsucedidas, objetivando a melhora das práticas internas da IES, bem como se apresenta compromisso com uma educação crítico-transformadora.

V3 - A avaliação é relevante? Pretende-se verificar se a avaliação articula-se com o Plano de Desenvolvimento Institucional (PDI) e se produz subsídios capazes de nortear a tomada de decisão e o planejamento.

A partir dos parâmetros e questões acima estabelecidos, elaboramos a escala de verificação, detalhada na Tabela 2. É relevante destacar que a formulação da escala que se segue teve como inspiração outros instrumentos avaliativos, aos quais tivemos acesso.

A primeira inspiração advém da Matriz de Referência para correção de redações do Exame Nacional do Ensino Médio (Enem) (Inep, 2020). Esse instrumento de avaliação possibilita a análise de estruturas textuais e discursivas, as quais podem ser alocadas em níveis de 0 a 5 dentro de 5 competências avaliadas. Destarte, podemos formular, de maneira análoga, estratégias para verificação quanto à menção, à presença ou ao desenvolvimento dos critérios elencados na escala, no corpo textual dos relatórios a serem analisados.

Outra referência para a construção da escala foi o Instrumento de avaliação institucional externa presencial e a distância (Inep, 2017), o qual aprecia as dez dimensões estabelecidas pela Lei do Sinaes, agrupadas em cinco eixos, por meio de indicadores distribuídos em cada eixo. Esse instrumento foi significativo para formular mecanismos discursivos de distinção entre os níveis da escala, uma vez que, no instrumento do Inep, os indicadores fazem distinção entre os níveis (neles organizados sob a forma de conceitos de 1 a 5) por meio da presença ou não, da conjugação ou da alternância, da descrição e da abrangência dos critérios estabelecidos.

Também foram úteis para a definição dos níveis da escala os instrumentos meta-avaliativos do Joint Committee on Standards for Educational Evaluation (JCSEE, 2018) e o da Análise dos relatórios de autoavaliação das instituições de educação superior (Inep, 2011), os quais estabelecem distinção entre os níveis de seus indicadores pelo grau de atendimento dos critérios elencados. Essa escolha pela distinção entre os níveis por grau de atendimento é pertinente, pois, diferentemente do que fazem os outros dois instrumentos anteriormente citados, não produz conceitos numéricos quantificáveis, com potencial para a promoção de possíveis ranqueamentos. A intenção é manter a coerência crítica à competitividade advinda de avaliações e estimular avaliações que sejam potencialmente geradoras de melhorias dos contextos avaliados.

Ainda, não menos importante, foi de grande inspiração o instrumento meta-avaliativo criado por Ana Oliveira (2015), a qual desenvolveu uma lista de verificação que possibilita a análise qualitativa de princípios emancipatórios nos relatórios de avaliação interna de IES no contexto do Sinaes, entre outros aspectos. Essa lista foi elaborada com base em um conjunto de padrões sistematizados e organizados em um quadro de critérios com 38 indicadores distribuídos em 5 categorias. Esse instrumento também não trabalha com conceitos, mas sim com a presença ou não dos critérios elencados. Desse modo, a pesquisa de Ana Oliveira (2015) foi fundamental para a inspiração da formulação de alguns dos parâmetros elencados pela presente pesquisa e para sua escala.

Assim, apresentamos, a seguir, a tabela referente à escala formulada para a meta-avaliação de aspectos emancipatórios em autoavaliações institucionais.

TABELA 2 Escala: Parâmetros, níveis e critérios de verificação 

PARÂMETROS AVALIAÇÃO CRITÉRIOS DE ANÁLISE
A1 - DIALOGICIDADE
A avaliação busca estabelecer a locução ou a mediação com a realidade social em que a IES está inserida. Pretende promover o diálogo entre os diferentes sujeitos participantes, bem como a equipe responsável estabelece comunicação eficaz entre os sujeitos do processo.
Não atende O relatório não menciona as ações de promoção do diálogo entre a avaliação e a realidade social e/ou as ações de diálogo e de comunicação entre os sujeitos participantes no relatório.
Atende parcialmente O relatório faz menção às ações de promoção de diálogo entre a avaliação e a realidade social e/ou entre os sujeitos participantes, e/ou à comunicação entre os sujeitos participantes.
Atende plenamente O relatório descreve em detalhes a locução ou a mediação entre avaliação e a realidade social, as ações de diálogo estabelecido entre os diferentes sujeitos participantes, entre a CPA e a comunidade interna e com a gestão, bem como evidencia a comunicação entre todos os sujeitos do processo.
B1 - PARTICIPAÇÃO
A avaliação estimula a participação dos diversos segmentos da comunidade interna nas etapas ou momentos do processo.
Não atende O relatório não menciona estratégias variadas de incentivo à participação dos sujeitos na avaliação e/ou apresenta baixas percentagens de participação.
Atende parcialmente O relatório faz menção às estratégias variadas de incentivo à participação dos sujeitos na avaliação e/ou apresenta boas percentagens de participação.
Atende plenamente O relatório descreve em detalhes estratégias variadas de incentivo à participação dos sujeitos nas etapas ou momentos do processo avaliativo e apresenta altas percentagens de participação de todos os segmentos da comunidade interna.
C1 - PLURALIDADE
A avaliação respeita ou acolhe as ideias diferentes, ou divergentes, ou seja, a diversidade de ideias dos grupos envolvidos no processo, no sentido de formarem-se consensos.
Não atende O relatório não esclarece como foram respeitadas e/ou acolhidas as ideias diferentes, ou divergentes, ou seja, a diversidade de ideias de grupos envolvidos no processo avaliativo e não esclarece como se formaram consensos.
Atende parcialmente O relatório faz menção a impasses e/ou divergências entre grupos participantes nas etapas, ou momentos do processo avaliativo, mas não esclarece como se formaram consensos.
Atende plenamente O relatório esclarece como foram respeitadas e/ou acolhidas as ideias diferentes, ou divergentes, ou seja, a diversidade de ideias de grupos envolvidos no processo avaliativo e como se formaram consensos.
D1 - NEGOCIAÇÃO
A avaliação evidencia acordos ou a forma como equaciona impasses entre as ideias dos grupos envolvidos, no sentido de atender ao interesse comum.
Não atende O relatório não menciona acordos e consensos entre grupos participantes e/ou a equipe avaliadora e/ou como foram equacionados os impasses provenientes do aspecto pluralidade nos momentos ou etapas do processo avaliativo.
Atende parcialmente O relatório faz menção a acordos e consensos entre grupos participantes e/ou a equipe avaliadora, mas não esclarece como foram equacionados os impasses provenientes do aspecto pluralidade nos momentos ou etapas do processo avaliativo.
Atende plenamente O relatório evidencia acordos e/ou consensos entre grupos e/ou a equipe avaliadora e como foram equacionados os impasses, no sentido de atender ao interesse comum.
A2 - GLOBALIDADE
A avaliação abrange todas as dimensões da instituição, e reconhece ou evidencia o nível de integração das partes em um todo coerente.
Não atende O relatório não evidencia como são avaliadas as dimensões da instituição e/ou não reconhece e/ou não evidencia o nível de integração das partes.
Atende parcialmente O relatório evidencia a avaliação de algumas dimensões da instituição e/ou reconhece e/ou evidencia o nível de integração das partes.
Atende plenamente O relatório evidencia como todas as dimensões da instituição são avaliadas, e reconhece ou evidencia o nível de integração das partes em um todo coerente.
B2 - FORMATIVIDADE
A avaliação é formativa, permanente, dinâmica e pedagógica, introjeta cultura avaliativa no cotidiano das práticas internas; seus instrumentos e métodos são aperfeiçoados; produz evolução e desburocratização do processo.
Não atende O relatório não evidencia o caráter formativo da avaliação e/ou não faz menção à evolução dos instrumentos e métodos e/ou evolução e desburocratização do processo avaliativo.
Atende parcialmente O relatório evidencia o caráter formativo da avaliação, mas não/ou apenas faz menção à evolução dos instrumentos e métodos e/ou à evolução e desburocratização do processo avaliativo.
Atende plenamente O relatório evidencia o caráter formativo da avaliação, como contribui para a construção de cultura avaliativa no cotidiano das práticas internas, bem como esclarece a evolução dos instrumentos, dos métodos e do processo avaliativo.
C2 - COMPARABILIDADE
A avaliação é potencialmente capaz de fornecer resultados e indicadores que possam ser comparados e que confiram a confiabilidade dos instrumentos e dos resultados; esclarece a evolução das referências e dos resultados.
Não atende O relatório não apresenta comparação entre os resultados e informações da avaliação com outras avaliações anteriores e/ou não esclarece a evolução das referências e dos resultados em um período determinado.
Atende parcialmente O relatório faz menção a resultados e informações de avaliações anteriores, a título de comparação, mas não esclarece a evolução das referências e dos resultados em um período determinado.
Atende plenamente O relatório apresenta comparação, na maior parte das análises, entre os resultados e informações da avaliação com outras avaliações anteriores e esclarece a evolução das referências e dos resultados em um período determinado.
D2 - LEGITIMIDADE
A avaliação envolve a participação responsável dos sujeitos integrantes da comunidade no processo avaliativo; a legitimidade dos condutores dos processos avaliativos é reconhecida por todos; há competência técnica por parte dos condutores; produz informações fidedignas; há credibilidade na metodologia do processo.
Não atende O relatório apresenta baixas percentagens de participação; e/ou não evidencia a capacidade técnica da equipe avaliadora; e/ou não
apresenta objetividade nas análises; e/ou
não esclarece a metodologia do processo avaliativo.
Atende parcialmente O relatório apresenta boas percentagens de participação; e/ou evidencia a capacidade técnica da equipe avaliadora; e/ou apresenta objetividade nas análises; e/ou esclarece a metodologia do processo avaliativo.
Atende plenamente O relatório apresenta altas percentagens de participação; evidencia a capacidade técnica da equipe avaliadora; apresenta objetividade nas análises; e esclarece a metodologia do processo avaliativo.
A3 - IDENTIDADE E MISSÃO
A avaliação busca contemplar e respeitar as características próprias da IES; esclarece como a IES exerce seu mandato social.
Não atende O relatório não faz menção à identidade institucional e/ou não evidencia como a avaliação contempla a identidade institucional; e/ou não faz menção e/ou não evidencia a missão institucional.
Atende parcialmente O relatório faz menção à identidade institucional, mas não evidencia como a avaliação contempla a identidade institucional; e/ou faz menção, mas não esclarece como a IES exerce sua missão institucional.
Atende plenamente O relatório evidencia a identidade institucional, esclarece como a avaliação contempla a identidade institucional e esclarece como a IES exerce sua missão institucional.
B3 - COMPROMISSO
A avaliação reconhece e evidencia compromisso com um projeto de sociedade crítico-transformador, com uma visão de educação crítico-
-emancipatória, com o processo avaliativo formativo e com o aperfeiçoamento das práticas internas.
Não atende O relatório não faz menção a um projeto de sociedade crítico-transformador e/ou a uma visão de educação crítico-emancipatória; e/ou não evidencia comprometimento com o aperfeiçoamento das práticas internas.
Atende parcialmente O relatório faz menção a um projeto de sociedade crítico-transformador e/ou a uma visão de educação crítico-emancipatória, mas não esclarece de que forma se compromete com esses princípios; e/ou evidencia comprometimento com o aperfeiçoamento das práticas internas.
Atende plenamente O relatório reconhece e evidencia compromisso com um projeto de sociedade crítico-
-transformador, com uma visão de educação crítico-emancipatória, com o processo avaliativo formativo e com o aperfeiçoamento das práticas internas.
C3 - PUBLICIDADE
A avaliação promove a divulgação de seus resultados ao público interessado e aos demais segmentos da sociedade e faz o acompanhamento do uso das informações produzidas.
Não atende O relatório não esclarece como promove a divulgação de seus resultados ao público interessado e aos demais segmentos da sociedade e/ou não esclarece como faz o acompanhamento do uso das informações produzidas.
Atende parcialmente O relatório esclarece como promove a divulgação de seus resultados ao público interessado e aos demais segmentos da sociedade, mas não esclarece como faz o acompanhamento do uso das informações produzidas, ou vice-versa.
Atende plenamente O relatório esclarece como promove a divulgação de seus resultados ao público interessado e aos demais segmentos da sociedade, e esclarece como faz o acompanhamento do uso das informações produzidas.
V1 - AUTOCONHECIMENTO
A avaliação ilumina a realidade no levantamento dos pontos fortes e fracos da IES e promove autorreflexão das causas e das razões das potencialidades e das dificuldades da realidade pesquisada.
Não atende O relatório não faz menção e/ou não evidencia as potencialidades e as fraquezas da instituição e/ou não discute as causas e/ou as razões dos problemas levantados.
Atende parcialmente O relatório faz menção e/ou evidencia as potencialidades e as fraquezas da instituição, mas não discute as causas e/ou as razões dos problemas levantados.
Atende plenamente O relatório evidencia as potencialidades e as fraquezas da instituição e discute as causas e/ou as razões dos problemas levantados.
V2 - POTENCIALIDADE CRÍTICO-
-TRANSFORMADORA
A avaliação aponta e analisa soluções para o aperfeiçoamento dos pontos fracos levantados e discute mudanças de estratégias malsucedidas, objetivando a melhora das práticas internas da IES, bem como apresenta compromisso com uma educação crítico-transformadora.
Não atende O relatório não aponta e/ou não analisa soluções para o aperfeiçoamento dos pontos fracos levantados; e/ou não aponta mudanças de estratégias malsucedidas; e/ou apresenta não atendimento do critério de compromisso com a educação crítico-transformadora.
Atende parcialmente O relatório aponta e/ou analisa soluções para o aperfeiçoamento dos pontos fracos levantados; e/ou discute mudanças de estratégias malsucedidas; e/ou apresenta atendimento parcial do critério de compromisso com a educação crítico-transformadora.
Atende plenamente O relatório aponta e analisa soluções para o aperfeiçoamento dos pontos fracos levantados, discute mudanças de estratégias malsucedidas e apresenta pleno atendimento do critério de compromisso com a educação crítico-
-transformadora.
V3 - APLICABILIDADE ou RELEVÂNCIA
A avaliação se articula com o PDI e produz subsídios capazes de nortear a tomada de decisão e o planejamento.
Não atende O relatório não evidencia como a avaliação se articula com o PDI e/ou apresenta baixas taxas de participação e/ou não atendimento dos critérios de globalidade, comparabilidade e legitimidade.
Atende parcialmente O relatório evidencia como a avaliação se articula com o PDI e/ou apresenta boas taxas de participação e/ou atendimento parcial dos critérios de globalidade, comparabilidade e legitimidade.
Atende plenamente O relatório evidencia como a avaliação se articula com o PDI, apresenta boas taxas de participação e pleno atendimento dos critérios de globalidade, comparabilidade e legitimidade.

Fonte: Elaboração dos autores (2022).

Feito desse modo, produziu-se a seguinte lista de verificação ou checklist (Tabela 3):

TABELA 3 Lista de verificação 

PARÂMETROS DE MÉRITO NÃO ATENDE ATENDE PARCIALMENTE ATENDE PLENAMENTE JUSTIFICATIVA
A1 - DIALOGICIDADE
B1 - PARTICIPAÇÃO
C1 - PLURALIDADE
D1 - NEGOCIAÇÃO
A2 - GLOBALIDADE
B2 - FORMATIVIDADE
C2 - COMPARABILIDADE
D2 - LEGITIMIDADE
A3 - IDENTIDADE E MISSÃO
B3 - COMPROMISSO
C3 - PUBLICIDADE
Subtotal de quantidade de critérios de mérito
V1 - AUTOCONHECIMENTO
V2 - POTENCIALIDADE CRÍTICO-
-TRANSFORMADORA
V3 - APLICABILIDADE ou RELEVÂNCIA
Subtotal de quantidade de critérios de valor
Quantidade de parâmetros
Análise dos pontos fortes e fracos:
Sugestões de melhoria e aperfeiçoamento do processo avaliativo:

Fonte: Elaboração dos autores (2022).

CONSIDERAÇÕES FINAIS

No contexto da avaliação institucional das IES brasileiras, o instrumento que sobressai como potencializador da avaliação formativa é a etapa da autoavaliação, que corresponde ao momento em que a comunidade exerce o protagonismo do processo avaliativo interno (Leite, 2005). Essa etapa pressupõe, como garantia de sucesso, a participação da comunidade interna, a democratização do processo, o cuidado com a qualidade do processo, o cuidado com a acurada e real conformidade dos instrumentos de coleta, o aperfeiçoamento contínuo de cultura avaliativa local, a fidedignidade na análise e na publicação dos resultados, a discussão coletiva dos resultados e dos problemas sistêmicos observados, a integração dos resultados com as ações de gestão e de planejamento, além da meta-avaliação do próprio processo de autoavaliação institucional (Inep, 2009).

A despeito dessas potencialidades adjacentes aos processos de autoavaliação institucional, não são poucos os relatos e estudos que apontam as fragilidades desses processos, os quais, se não realizados sob a perspectiva emancipadora da prática social avaliativa das instituições e dos sujeitos participantes, podem realizar-se como mera prática burocrática (Dias, 2008), com o objetivo frio de dar cumprimento aos dispositivos legais e satisfação aos instrumentos de avaliação externa, esvaziando-se de seus aspectos formativos, bem como de sua devida importância para os processos internos, para a melhoria e aperfeiçoamento das IES.

Nesse entendimento é que se verifica a importância de um instrumento meta-avaliativo capaz de iluminar a presença e os níveis de aspectos potencialmente emancipadores nessas práticas avaliativas.

Consideramos que o instrumento analítico meta-avaliativo apresentado neste trabalho traz importantes contribuições, tanto para a prática autoavaliativa nas IES nacionais como para o contexto teórico; e que o arcabouço analítico-metodológico formulado pode ser muito útil para o aperfeiçoamento da prática autoavaliativa, se utilizado pelas CPAs interessadas em tornar autoavaliações institucionais mais dialógicas, democráticas, participativas, que contribuam para a formação de cultura avaliativa, para a melhoria e para o aperfeiçoamento das práticas internas de suas instituições.

O arcabouço teórico, metodológico, instrumental e analítico da meta-avaliação de aspectos emancipatórios em autoavaliações institucionais, apresentado neste trabalho, contém certo grau de inovação, haja vista serem escassos os trabalhos acadêmicos que utilizam abordagens meta-avaliativas, tendo como objeto avaliações educacionais e com foco nesses aspectos, principalmente.

Além de servir para verificar as potencialidades e as fragilidades das autoavaliações institucionais, no que se refere aos aspectos emancipatórios nelas observáveis, e, assim, fornecer subsídios para o melhoramento delas, o arcabouço metodológico-analítico também mostra-se muito eficaz para a resolução de incoerências discursivas que, com frequência, se apresentaram na análise dos parâmetros, uma vez que o julgamento final de um parâmetro é baseado na totalidade das evidências advindas dos demais parâmetros analisados.

Finalmente, como é de caráter de qualquer instrumento meta-avaliativo, o apresentado neste trabalho pode ser também mais bem desenvolvido, adequado ou aperfeiçoado por interessados em utilizá-lo em suas pesquisas ou práticas avaliativas.

COMO CITAR:Oliveira, I. dos S., & Rothen, J. C. (2024). Meta-avaliação de aspectos emancipatórios: Uma proposta teórico-metodológica. Estudos em Avaliação Educacional, 35, Artigo e10631. https://doi.org/10.18222/eae.v35.10631

REFERÊNCIAS

Belloni, I. (1999). Avaliação institucional: Um instrumento de democratização da educação. Linhas Críticas, 5(9), 7-30. https://doi.org/10.26512/lc.v5i9.2752Links ]

Cooksy, L. J., & Caracelli, V. J. (2005). Quality, context, and use: Issues in achieving the goals of metaevaluation. American Journal of Evaluation, 26(1), 31-42. https://doi.org/10.1177/1098214004273252Links ]

Dias, J., Sobrinho. (2003). Avaliação: Políticas educacionais e reformas da educação superior. Cortez. [ Links ]

Dias, J., Sobrinho. (2008). Qualidade, avaliação: Do SINAES a índices. Avaliação: Revista da Avaliação da Educação Superior, 13(3), 817-825. https://doi.org/10.1590/S1414-40772008000300011Links ]

Elliot, L. G. (2011). Meta-avaliação: Das abordagens às possibilidades de aplicação. Ensaio: Avaliação e Políticas Públicas em Educação, 19(73), 941-964. https://doi.org/10.1590/S0104-40362011000500011Links ]

Freire, P. (1987). Pedagogia do oprimido (17a ed.). Paz e Terra. [ Links ]

Freire, P. (1996). Pedagogia da autonomia: Saberes necessários à prática educativa (36a ed.). Paz e Terra. [ Links ]

Freire, P. (2001). Política e educação (5a ed.). (Coleção Questões da Nossa época, Vol. 23). Cortez. [ Links ]

Freire, P. (2006). Pedagogia da esperança: Um reencontro com a Pedagogia do oprimido (13a ed.). Paz e Terra. [ Links ]

Furtado, J. P., & Laperrière, H. (2012). Parâmetros e paradigmas em meta-avaliação: Uma revisão exploratória e reflexiva. Ciência & Saúde Coletiva, 17(3), 695-705. https://doi.org/10.1590/S1413-81232012000300016Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2009). Sinaes - Sistema Nacional de Avaliação da Educação Superior: Da concepção à regulamentação. Inep. [ Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2011). Sistema Nacional de Avaliação da Educação Superior (Sinaes): Análise dos relatórios de autoavaliação das instituições de educação superior (Vol. 3). Inep. https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_superior/sinaes_2011_volume_3_analise_dos_relatorios_de_autoavaliacao_das_ies.pdfLinks ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2017). Instrumento de avaliação institucional externa presencial e a distância: Credenciamento. Inep. https://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2017/IES_credenciamento.pdfLinks ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2020). A redação no Enem 2020: Cartilha do participante. Inep. https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/a_redacao_do_enem_2020_-_cartilha_do_participante.pdfLinks ]

Joint Committee on Standards for Educational Evaluation (JCSEE). (2018). Checklist of the program evaluation standards statements. JCSEE. https://wmich.edu/evaluation/checklistsLinks ]

Leite, D. (2005). Reformas universitárias. Avaliação institucional participativa. Vozes. [ Links ]

Luck, H. (2012). Perspectivas da avaliação institucional da escola. Vozes. [ Links ]

Oliveira, A. C. de A. M. (2015). Avaliação institucional interna no âmbito do Sinaes [Dissertação de mestrado profissional]. Fundação Cesgranrio. [ Links ]

Oliveira, I. dos S. (2023). Panorama da autoavaliação institucional nos Institutos Federais de Educação, Ciência e Tecnologia: Uma meta-avaliação de perspectiva emancipatória [Tese de doutorado, Universidade Federal de São Carlos]. Repositório Institucional da UFSCar. https://repositorio.ufscar.br/handle/ufscar/18894Links ]

Ristoff, D. I. (2003). Algumas definições de avaliação. Avaliação: Revista da Avaliação da Educação Superior, 8(1), 19-30. https://periodicos.uniso.br/avaliacao/article/view/1220/1210Links ]

Saul, A. M. (2010). Avaliação emancipatória: Desafio à teoria e a prática de avaliação e reformulação de currículo (8a ed.). Cortez. [ Links ]

Scriven, M. (1969). An introduction to meta-evaluation. Educational Products Report, 2, Article 3638. [ Links ]

Scriven, M. (2009). Meta-evaluation revisited. Journal of MultiDisciplinary Evaluation, 6(11), 3-8. https://journals.sfu.ca/jmde/index.php/jmde_1/article/download/220/215/0Links ]

Scriven, M. (2018). Avaliação: Um guia de conceitos. Paz e Terra. (E-book, edição do Kindle). [ Links ]

Stufflebeam, D. L. (2001). The metaevaluation imperative. American Journal of Evaluation, 22(2), 183-209. https://doi.org/10.1016/S1098-2140(01)00127-8Links ]

Stufflebeam, D. L. (2002). The methodology of metaevaluation. In D. L. Stufflebeam, G. F. Madaus, & T. Kellaghan (Eds.), Evaluation models, viewpoints on educational and human services evaluation (2a ed.). Kluwer Academic Publishers. [ Links ]

Recebido: 28 de Setembro de 2023; Aceito: 07 de Dezembro de 2023

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons.