SciELO - Scientific Electronic Library Online

 
vol.30 número74POLÍTICAS DE CUOTAS: UN ESTUDIO DE METAEVALUACIÓN EN LAS UNIVERSIDADES PROVINCIALES DE PARANÁ índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.30 no.74 São Paulo mayo/ago 2019  Epub 22-Oct-2019

https://doi.org/10.18222/eae.v30i74.5870 

ARTIGOS

LIMITES DO SINAES NA PERSPECTIVA DE GESTORES DA EDUCAÇÃO SUPERIOR

LÍMITES DEL SINAES DESDE LA PERSPECTIVA DE GESTORES DE LA EDUCACIÓN SUPERIOR

LIMITS OF THE SINAES ON THE PERSPECTIVE OF HIGHER EDUCATION MANAGERS

ADEMILSON VEDOVATO CAVALCANTII 
http://orcid.org/0000-0002-4545-7931

ÉRIKA PORCELI ALANIZII 
http://orcid.org/0000-0002-8855-4045

MARIA ELIZA NOGUEIRA OLIVEIRAIII 
http://orcid.org/0000-0002-1771-1488

IUniversidade do Oeste Paulista (Unoeste), Presidente Prudente-SP, Brasil; ademilsonprofcavalcanti@gmail.com

IIUniversidade Estadual de Mato Grosso do Sul (UEMS), Campo Grande-MS, Brasil; a.porcelierika@gmail.com

IIIUniversidade do Oeste Paulista (Unoeste), Presidente Prudente-SP, Brasil; mariaeliza_oliveira@yahoo.com.br


RESUMO

O objetivo do artigo é analisar a influência da avaliação externa - parte integrante do atual Sistema Nacional de Avaliação da Educação Superior - realizada in loco em duas instituições de ensino superior, uma pública e uma privada, situadas no estado do Paraná. Trata-se de uma pesquisa empírica, cujos dados foram coletados por meio de entrevistas semiestruturadas realizadas com diretores institucionais e coordenadores de cursos de graduação. A análise nos permitiu verificar alguns limites do atual sistema de avaliação relacionados: ao desconhecimento dos pressupostos da avaliação pelos sujeitos participantes; ao tempo destinado ao processo avaliativo; ao método de escolha dos avaliadores em cada etapa; à ausência de políticas amparadas nos dados gerados pelo sistema; e à conversão, cada vez mais explícita, da avaliação em mecanismo de controle das práticas institucionais, que impossibilitam a autonomia dos sujeitos que atuam na educação superior.

PALAVRAS-CHAVE: AVALIAÇÃO DA EDUCAÇÃO; ENSINO SUPERIOR; SINAES; AVALIAÇÃO INSTITUCIONAL.

RESUMEN

El objetivo del artículo es el de analizar la influencia de la evaluación externa - parte integrante del actual Sistema Nacional de Evaluación de la Educación Superior - realizada in loco en dos instituciones de educación superior, una pública y otra privada, situadas en el estado de Paraná. Se trata de una investigación empírica, cuyos datos se recogieron por medio de entrevistas semiestructuradas realizadas con directores institucionales y coordinadores de cursos de graduación. El análisis nos permitió verificar algunos límites del actual sistema de evaluación relacionados al desconocimiento de las presuposiciones de la evaluación por los sujetos participantes; al tiempo destinado al proceso evaluativo; al método de elección de los evaluadores en cada etapa; a la ausencia de políticas amparadas en los datos generados por el sistema; y a la conversión, cada vez más explícita, de la evaluación en mecanismo de control de las prácticas institucionales, que imposibilitan la autonomía de los sujetos que actúan en la educación superior.

PALABRAS CLAVE: EVALUACIÓN DE LA EDUCACIÓN; EDUCACIÓN SUPERIOR; SINAES; EVALUACIÓN INSTITUCIONAL.

ABSTRACT

The aim of the present article is to analyze the influence of external assessment, an essential part of the current Sistema Nacional de Avaliação da Educação Superior [National System of Evaluation in Higher Education]. It was conducted in loco in two institutions of higher education, one public and one private, in the state of Paraná. It is an empirical study, and the data were collected through semi-structured interviews conducted with institutional directors and coordinators of graduate programs. The analysis permitted the authors to verify some limits of the current assessment system, related to: the participating subjects’ lack of knowledge of the assessment assumptions; the time allocated to the assessment process; the method of choice of evaluators at each stage; the lack of policies based on data generated by the system; and, the increasingly explicit conversion of assessment into a control mechanism of institutional practices, which makes the autonomy of the subjects, who work in higher education, impossible.

KEYWORDS: EDUCATION ASSESSMENT; HIGHER EDUCATION; SINAES; INSTITUTIONAL EVALUATION.

INTRODUÇÃO

Neste artigo, analisamos as implicações da atual política de avaliação da educação superior no Brasil consubstanciada no Sistema Nacional de Avaliação da Educação Superior (Sinaes) instituído e regulamentado pela Lei n. 10.861/2004 (BRASIL, 2004). Por meio de um estudo empírico realizado em duas instituições de ensino superior (IES), de natureza, formas de organização, gestão e estrutura administrativa e de poder distintas, levantamos dados que nos permitiram identificar e discutir os desafios para a consolidação desse modelo de avaliação, que, nos últimos anos, vem ganhando novos contornos e assumindo uma identidade muito próxima daquela dos programas de certificação de qualidade empresariais, que colocam em questão a pertinência do Sinaes no que diz respeito à sua finalidade de proporcionar a “melhoria da qualidade da educação superior” no país (BRASIL, 2004).

As primeiras propostas de avaliação do ensino superior brasileiro, formuladas na década de 1960, no bojo da reforma da educação superior empreendida pelo regime militar, foram construídas sob a justificativa de que seria necessário criar um instrumento voltado ao acompanhamento sistemático dos cursos, em conformidade com o compromisso governamental de prestar contas à sociedade dos investimentos realizados na oferta dos “serviços educacionais” voltados à modernização e ao desenvolvimento econômico do país.

Todavia, foi somente nas décadas de 1980 e 1990 que a avaliação do ensino superior passou a ser sistematizada, primeiramente, em nível de pós-graduação, pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e, posteriormente, nos cursos de graduação, com a implantação do Exame Nacional de Cursos (ENC-Provão), entre os anos de 1996 a 2003, quando esse foi substituído pelo atual Sinaes em abril de 2004.2

A avaliação institucional tem sofrido o forte impacto das políticas neoliberais delineadas sob influência dos organismos internacionais, entre eles o Banco Mundial, cujas propostas para a educação se inscrevem no marco da mundialização do capital, em que os mecanismos regulatórios ganham cada vez mais importância. Considerados ferramentas eficazes para a promoção da chamada “eficiência educativa”, esses mecanismos se assentam na lógica “custo-benefício” em que o Estado gerencial se organiza para reduzir gastos com financiamento na área da educação ao mesmo tempo em que pressiona as IES a gerar bons resultados - nas provas que atestam competências e habilidades profissionais - e a firmar parcerias e convênios com grupos empresariais que passam a apoiar projetos de ensino, pesquisa e extensão alinhados às suas demandas. Para Dias Sobrinho, por meio dessa proposta, as IES, públicas e privadas, são incentivadas a produzir conhecimentos úteis e rentáveis como condição de sua sobrevivência no mercado competitivo educacional. Mediante essas exigências, caberia ao sistema de avaliação institucional funcionar como um “instrumento de medida e controle, ou seja, uma avaliação que responde às expectativas de eficiência e produtividade que os estados controladores têm a respeito da educação superior”. (DIAS SOBRINHO, 2010, p. 10).

Com base nesses pressupostos, a avaliação passa, cada vez mais, a articular-se aos conceitos como “eficiência”, “qualidade” e “desempenho” e a converter-se em instrumento que busca a homogeneização e a padronização de critérios, bem como a quantificação e a mensuração de “produtos acadêmicos” (DOURADO; CATANI; OLIVEIRA, 2003). Em geral, sua função passa a ser a de fornecer dados objetivos e confiáveis para a efetividade de políticas governamentais de regulação do sistema com a intermediação técnica de agências nacionais e internacionais especialmente criadas para esse fim, as quais repassam as informações aos consumidores sobre os serviços educacionais prestados. Busca-se, por meio dos dados obtidos nos processos avaliativos, racionalizar os recursos existentes e subordinar o trabalho realizado nas IES às finalidades estabelecidas pelas políticas governamentais tanto nacionais quanto internacionais.

Após a implantação do Sinaes, o Brasil passou a contar com um conjunto de procedimentos avaliativos para o ensino superior assentados em pressupostos regulatórios, que englobam a avaliação institucional e de desempenho dos estudantes em provas aplicadas aos alunos concluintes de cursos de graduação. Inspirado no modelo anglo-americano, o Sinaes assume um caráter predominantemente quantitativo com o intuito de gerar resultados classificatórios. Sua sistemática de avaliação institucional é construída com base em três processos de avaliação: Avaliação da Instituição (Autoavaliação e Avaliação Externa); Avaliação do Desempenho dos Estudantes (Enade); e Avaliação dos Cursos de Graduação. Embora cada um dos processos necessite ser analisado em profundidade, de modo que sua capacidade de atribuir qualidade aos cursos seja comprovada ou contestada, o presente artigo é parte de um estudo cujo foco foi a avaliação in loco, que representa parte do sistema de avaliação do ensino superior atual. Trata-se de uma etapa da avaliação em que avaliadores externos - docentes de outras instituições preparados pelo Instituto Nacional de Estudos e Pesquisa Anísio Teixeira (Inep) - realizam um diagnóstico da realidade institucional e dos cursos, orientados pelos instrumentos de avaliação do Sinaes.

Para compreender as implicações, influências e contribuições da avaliação externa na gestão das IES, desenvolvemos um estudo em duas IES situadas no estado do Paraná, sendo uma pública e uma privada. Os dados foram coletados por meio de entrevistas semiestruturadas e nos permitiram identificar os limites do atual sistema de avaliação não apenas enquanto política avaliativa, mas também enquanto instrumento indutor de práticas que perspectivam consolidar modelos de cursos alinhados cada vez mais a uma determinada concepção de qualidade educacional.

O artigo se dividirá em três partes. Na primeira, discutiremos brevemente alguns aspectos referentes ao processo histórico de consolidação da política educacional de avaliação da educação superior no Brasil. Na segunda parte, apresentaremos alguns desafios e contradições do Sinaes identificados na análise dos diversos subsídios oficiais e dispositivos legais que norteiam seu processo de efetivação. Por fim, exporemos alguns dados coletados nas entrevistas que demonstram as implicações do sistema de avaliação nas IES mediante as condições materiais e objetivas que operam como elementos condicionantes das práticas nas realidades investigadas, apesar das especificidades de cada uma das instituições.

Breves notas sobre a política de avaliação da educação superior brasileira

Historicamente, a educação superior no Brasil se caracterizou como modelo de instituição social voltado à busca, à transmissão e ao domínio do saber. Desde o período colonial, o acesso à educação superior foi limitado pelas constantes interferências das classes dominantes, em que se incluem a imposição de práticas avaliativas excludentes em favor dos filhos das elites econômicas, para facilitar sua permanência no poder e dificultar o processo de democratização dessa modalidade de ensino, reconhecida por sua função de preparar sujeitos para ocupar os postos de trabalho mais valorizados em termos de reconhecimento social e remuneração (AMORIM, 1992).

Entre as décadas de 1940 a 1960, eclodiram movimentos contestadores, com destaque aos movimentos estudantis, que se contrapunham a esse caráter controlador e elitista das universidades brasileiras e defendiam a necessidade de reformá-las. Nesse momento histórico, influenciados por diversos movimentos protagonizados pelos jovens ao redor do mundo em diversos campos, os estudantes direcionaram suas lutas à conquista de liberdades democráticas e defesa das reformas de base, em especial a reforma universitária, que reuniam reivindicações como: o aumento de vagas no ensino superior, o co-governo das faculdades e universidades, predominantemente públicas, e a defesa do ensino público e gratuito.

Nesse contexto, contrapondo-se às demandas legítimas dos movimentos sociais e em atendimento às exigências das elites nacionais e às prerrogativas dos acordos firmados com organismos internacionais, o governo militar empreendeu um modelo de modernização da estrutura administrativa e acadêmica das universidades de caráter privatista - imposto sob forte repressão político-ideológica decorrente da aliança entre os militares governistas e o empresariado educacional -, que resultou na expansão massiva das instituições privadas, apoiada em ações remodeladoras do aparato jurídico legal que, entre outros aspectos, passou a garantir isenções fiscais para tais instituições. (CUNHA, 2014; VIEITEZ; DAL RI, 2011; MARTINS, 2009).

Para o momento, interessa-nos destacar que, no período em destaque, assistiu-se ao reforço do privatismo na educação superior, considerado por Cunha (2014) um dos maiores legados da ditadura militar à política educacional brasileira. Como resultado dessa simbiose Estado-capital, propiciou-se a abertura para a forte atuação do setor privado no ensino superior, provocando uma inversão na configuração desse nível de ensino no Brasil. De acordo com o autor, além da reformulação do sistema tributário que viabilizava a isenção fiscal para as escolas privadas, a forte ligação entre os governos militares e os dirigentes das instituições privadas do ensino superior fez com que o Conselho Federal de Educação assumisse progressivamente traços cada vez mais privatistas, resultando na crescente expansão do setor educacional privado no país, que avançou de 44% do total de número de matrículas, na década de 1960, para um percentual de 75,3%, na atualidade, segundo dados do Censo da Educação Superior de 2016.

Considerando a diversidade das IES em termos organizacionais, a partir da década de 1980, o tema da oferta de ensino de qualidade passou a ocupar um espaço cada vez mais expressivo nos debates em torno da definição de critérios e instrumentos avaliativos para a educação superior, tanto por parte dos governos quanto da comunidade acadêmica. Entretanto, vale ressaltar que, no percurso desses debates, registraram-se distorções e enfrentamentos decorrentes de disputas em torno de diferentes concepções de avaliação e qualidade - que ainda estão longe de ser superadas -, em que se evidenciam perspectivas cada vez mais alinhadas aos pressupostos gerencialistas e às demandas do capital que caminham de encontro àquelas amplamente assumidas pelos educadores e associações acadêmicas que acentuam a defesa de um modelo avaliativo mais democrático.

Nesse cenário de embates e oposições, foram gestadas diversas propostas de programas avaliativos, em consonância com a orientação política vigente, de onde emergiu a possibilidade de constituição de um sistema nacional de avaliação da educação superior. Como característica importante nessa trajetória, pode-se destacar o grande número de propostas e programas existentes na década de 1980 e 1990, bem como as dificuldades e incompatibilidades de implantação. A primeira proposta organizada foi o Programa de Avaliação da Reforma Universitária (Paru), seguido do Relatório da Comissão Nacional de Avaliação do Ensino Superior (CNRES), do Relatório do Grupo Executivo para a Reformulação da Educação Superior (Geres), do Programa de Avaliação Institucional das Universidades Brasileiras (Paiub), da Avaliação das Condições da Oferta dos Cursos (ACO) e do Exame Nacional de Cursos (ENC-Provão), substituído pelo atual Sinaes. Todos os programas e iniciativas foram de proposição do Estado, com alguns momentos de participação da comunidade acadêmica.

De maneira geral, todos os programas mencionados definiram modelos de avaliação, guardando, cada um deles, algumas especificidades. O Paru propunha uma avaliação interna com o objetivo de diagnosticar as condições do ensino ofertado. Os programas CRNES e Geres preconizavam uma avaliação externa focada no processo de regulação. Já o Paiub promoveria um processo avaliativo que conjugava avaliação interna e externa, possibilitando, assim, a promoção de um processo diagnóstico e formativo. Alinhado a uma proposta de regulação e controle, a proposta ENC/ACO promoveu uma avaliação externa pautada em exames aplicados aos estudantes. Por fim, o Sinaes, com base nas experiências anteriores, propôs a realização de uma avaliação mais integrativa, incorporando a avaliação institucional e integrando processos avaliativos externos e internos.

Com relação à condução dos processos, os programas traçaram e organizaram instrumentos avaliativos diversos. O Paru trazia como proposta a realização de um diagnóstico da educação superior com base em indicadores de qualidade e estudos de caso, considerando a amplitude do sistema educacional brasileiro, com o objetivo de construir um panorama geral a partir de casos específicos. O CRNES e o Geres propuseram uma avaliação reguladora, pautando-se na análise de indicadores de qualidade gerados por meio da avaliação externa, proporcionando, assim, uma análise da realidade das instituições. Da mesma maneira, o Paiub propôs utilizar como instrumento de avaliação indicadores de qualidade; todavia, estes seriam gerados por avaliações externas e internas, proporcionando maiores condições de reconhecimento das IES brasileiras e oportunizando, a partir de então, a reestruturação de políticas para a educação superior do país. O ENC/ACO realizou suas avaliações por meio da aplicação de exames de desempenho e indicadores gerados pelas provas aplicadas aos estudantes, proporcionando ao Ministério da Educação (MEC) amplo conhecimento das diferentes realidades entre as IES, crendo ser este instrumento suficiente para reconhecer o cenário do ensino superior brasileiro. O Sinaes, desvirtuando-se de sua proposta integral e formativa, adotou como instrumento de avaliação indicadores de desempenho gerados a partir de avaliações externas, atribuindo maior peso ao desempenho dos estudantes nos exames.

Da breve exposição aqui apresentada, observa-se que os programas de avaliação do ensino superior foram marcados por diversos momentos de rupturas e continuidades, com maior e menor participação da comunidade acadêmica nas decisões e nos processos de implementações. Nos limites deste artigo, não exporemos o processo de elaboração de cada uma dessas propostas, que podem ser conhecidas a partir da leitura de diversos estudos (ROTHEN; SANTANA, 2018; SOBRINHO, 2010), mas nos dedicaremos a expor o processo de implantação do Sinaes, não apenas por ser este o objeto de nossa pesquisa, mas por ser o primeiro sistema de avaliação da educação superior consolidado no Brasil, ultrapassando mais de uma década de vigência.

O Sistema Nacional de Avaliação da Educação Superior: aspectos gerais

A implantação do Sinaes começou a ser discutida ainda no processo eleitoral do primeiro mandato do Presidente Luiz Inácio Lula da Silva (2003 a 2006). Em seu plano de governo, reforçou-se a função do MEC de priorizar e intensificar a avaliação como proposta de reforma da educação superior (BRASIL, 2001a). No primeiro mandato do Presidente Lula, em 2003, o MEC, comandado pelo então Ministro Cristovam Buarque, propôs a realização de uma mudança sistemática na avaliação das IES brasileira, em consonância com o art. 4º da Lei n. 10.172/2001 (BRASIL, 2001b), que instituiu o Plano Nacional da Educação do período e atribuiu à União a responsabilidade pela coordenação do Sistema Nacional de Avaliação (SNA) em escala nacional.

Após sucessivas regulamentações, o art. n. 49 da Lei de Diretrizes e Bases (LDB) n. 9.394/96 (BRASIL, 1996) - que definiu o processo de avaliação externa como instrumento indispensável para concessões de autorizações, reconhecimentos de cursos de graduação, credenciamentos e recredenciamentos de instituições de educação superior - foi regulamentado pelo Decreto Federal n. 3.860/2001 (BRASIL, 2001a) e substituído pelo Decreto Federal n. 5.773/2006 (BRASIL, 2006), em vigor.

Como medida prioritária para a implantação do SNA, criou-se a Comissão Especial da Avaliação da Educação Superior (CEA), por meio da Portaria MEC/SESU n. 11, de 28 de abril de 2003 (BRASIL, 2003b), e n. 19, de 27 de maio de 2003 (BRASIL, 2003c), cujos objetivos eram oferecer recomendações, critérios e estratégias para a reformulação dos processos e políticas da avaliação da educação superior do país e promover uma revisão crítica dos instrumentos, das metodologias e dos critérios utilizados no processo de elaboração das propostas de avaliação até aquele momento.

Uma vez instituído no país, o Sinaes passou a contar com um conjunto de procedimentos avaliativos e regulatórios para o ensino superior, que envolve desde os aspectos organizacionais das instituições até aqueles relacionados ao desempenho dos estudantes em provas aplicadas individualmente. Esse processo, inspirado no modelo anglo-americano, baseia-se em sistemas predominantemente quantitativos, com o intuito de gerar resultados classificatórios, embora, por influência dos modelos de avaliação holandês e francês, combine dimensões quantitativas e qualitativas no processo de avaliação institucional (BRASIL, 2004).

De acordo com o documento síntese dos estudos realizados pelos membros da CEA, intitulado SINAES: bases para uma nova proposta de avaliação da educação superior (BRASIL, 2003a), o sistema de avaliação foi organizado a partir de ampla reflexão subsidiada por pesquisas desenvolvidas com expressiva participação da comunidade acadêmica. O processo de interlocução entre membros do MEC e estudiosos da área se deu a partir de diversas audiências públicas realizadas no âmbito do próprio Ministério, em Brasília, e reuniões com 38 entidades representativas de distintos setores da sociedade, especialmente as mais diretamente relacionadas com a educação superior. Além das audiências públicas, a CEA utilizou, como referência ao fortalecimento da proposta, dados provenientes da coleta de diversos depoimentos de estudiosos da área da avaliação da educação, além de informações levantadas por meio de efetiva aproximação dos técnicos com participantes de programas de avaliação da educação superior em funcionamento até aquele momento (BRASIL, 2003a).

Embora a CEA tenha sido constituída com o objetivo de elaborar um sistema de avaliação do ensino superior, o Congresso Nacional, ao consolidar a proposta expressa na Lei n. 10.861/2004 (BRASIL, 2004), realizou mudanças consideráveis na concepção de avaliação das IES em relação às propostas anteriores. Uma das mudanças mais significativas está deliberada nos arts. 3º, 4º e 5º da Lei n. 10.861/2004, que definem a avaliação da educação superior nos seguintes termos: a avaliação institucional (interna e externa), a avaliação dos cursos de graduação e a avaliação do desempenho dos estudantes de graduação pelo Exame Nacional do Desempenho do Estudante (Enade) (BRASIL, 2004). Ao depositar grande ênfase no Enade, a atual sistemática de avaliação institucional estabelecida pelo Sinaes, além de alterar o sentido originário da proposta, amplamente debatida e analisada por especialistas da área, reduz a importância dos demais processos que compõem o sistema avaliativo, tornando-o desacreditado por parte dos gestores das IES, que veem seus esforços voltados ao cumprimento das exigências das demais dimensões pouco valorizadas no conceito final atribuído aos cursos, conforme veremos mais adiante quando apresentaremos dados desta pesquisa.

Cabe ressaltar que o campo da avaliação educacional é sempre conflituoso e contraditório, não somente pelas dificuldades técnicas, no que diz respeito ao delineamento de instrumentos capazes de oferecer dados pertinentes que se convertam em ações necessárias à oferta de educação de qualidade para todos, mas, sobretudo, pela força política e diversidade de crenças presentes nos rumos da educação.

Na análise de Dias Sobrinho (2002), esse é um dos grandes desafios da avaliação da educação superior que pode ser superado com a ampliação da participação da comunidade acadêmica e científica nas discussões e decisões acerca dos rumos a serem tomados pelas IES, para que estas não se convertam em espaços privilegiados de obtenção de lucro por meio da venda de certificados (com qualidade “comprovada” nos rankings) e promessas de inserção dos alunos no mercado de trabalho cada vez mais escasso.

Com isso, queremos chamar a atenção para a força que o atual sistema avaliativo tem exercido na gestão das instituições de nível superior, que passam a organizar seus cursos visando à produção de conceitos gerados nos testes de desempenho escolar, abandonando outros elementos necessários à oferta de um ensino de qualidade - camuflados pelo próprio sistema centralizador -, que deveria ser atestado não apenas pelo mercado, mas por diversas instâncias que demandam pessoas formadas em nível superior para o exercício de atividades de grande relevância social que não estão voltadas apenas à geração de lucro.

Ao restringir a avaliação à classificação estandardizada, seguida de ampla divulgação das posições ocupadas pelos cursos nos rankings nacionais, distorce-se o sentido formativo que a ela foi atribuído inicialmente e esvazia-se sua função diagnóstica da realidade educacional brasileira, capaz de auxiliar profissionais da área responsáveis pelo delineamento de políticas efetivas para a educação superior. Outro aspecto que reforça a descaracterização da dimensão formativa do sistema de avaliação decorre do não envolvimento da comunidade acadêmica na definição do modelo de avaliação e seus critérios implantados pela proposta atual. A dimensão formativa da avaliação potencializa-se quando a comunidade acadêmica participa do processo de definição de seus critérios e assume a responsabilidade de protagonizar ações avaliativas desde as etapas de conceituação, escolha de metodologias, envolvimento nas práticas, discussão dos resultados e implementação de mudanças na prática.

Conforme indicamos na introdução deste artigo, com o objetivo de compreender o impacto do atual sistema de avaliação na gestão das IES, com especial atenção à avaliação externa, desenvolvemos uma pesquisa em duas instituições de natureza, forma de organização e política diferenciadas, uma pública e uma privada, cujos resultados serão apresentados na próxima seção.

Influência do Sinaes na gestão de instituições de ensino superior

Nesta seção, apresentaremos os resultados da pesquisa realizada em duas IES situadas no estado do Paraná. Antes de darmos início a esta apresentação, descreveremos brevemente o percurso metodológico da pesquisa e os procedimentos adotados no processo de levantamento e análise dos dados.

A pesquisa em questão está pautada em uma análise com aspectos qualitativos. A dimensão qualitativa neste estudo refere-se ao tratamento analítico e interpretativo dos dados coletados por meio de entrevistas semiestruturadas, bem como a preocupação em retratar o processo e a concepção dos sujeitos sobre o objeto selecionado, que, neste caso, diz respeito ao sistema atual de avaliação da educação superior.

As entrevistas semiestruturadas foram realizadas com o objetivo de coletar fatos, informações e significações contidas nas falas dos entrevistados e, dessa forma, compreender a influência da avaliação externa na gestão das duas IES. Com essa finalidade, foram entrevistados gestores das IES, sendo eles os coordenadores de cursos e o diretor da universidade pública e da faculdade privada. Procurou-se apreender, por meio das entrevistas, em que medida o processo pesquisado influencia a gestão interna das IES e verificar a compreensão dos gestores sobre o processo de avaliação externa e como eles se apropriam dos resultados alcançados. As entrevistas foram gravadas e transcritas na íntegra, a fim de obter maior integralidade e fidedignidade possível. Após transcritas, as entrevistas foram submetidas à análise, por meio do cotejamento do referencial teórico e documental previamente analisado com os dados empíricos. No que diz respeito às IES analisadas, consideramos importante apresentar brevemente algumas características.

A IES privada é mantida por uma empresa de sociedade limitada, composta por um grupo de investidores formado por 26 acionistas. A entidade mantenedora conta com um presidente que atua nas questões financeiras e administrativas da instituição. No período de desenvolvimento da pesquisa, a IES estava com cinco anos de funcionamento e contava com nove cursos de graduação autorizados pelo MEC.

Da leitura do Plano de Desenvolvimento Institucional (PDI) de 2015, apreendeu-se que a IES estava em fase de crescimento, contendo propostas de expansão, que incluíam a implantação da educação a distância (EAD) e de mais sete cursos de graduação ao longo de cinco anos a contar do ano de 2015. As atividades acadêmicas concentram-se diretamente no ensino e na extensão universitária, promovendo projetos de extensão e serviços prestados à comunidade da cidade e da região.

A IES pública é uma universidade tecnológica federal, cujo processo de expansão foi iniciado na década de 1990 por meio do Programa de Expansão e Melhoria do Ensino Técnico, que contribuiu com a implantação de diversas unidades voltadas à oferta educacional de nível superior por todo o interior do Paraná. Com a LDB n. 9.394/96, a oferta dos cursos técnicos integrados foi interrompida e deu-se início à abertura de cursos de nível médio e superior tecnológico na IES analisada. Em 1998, em virtude das legislações complementares à LDB n. 9.394/96, a diretoria estruturou um projeto de transformação da instituição em universidade tecnológica.

Decorridos sete anos de preparo, com o aval do governo federal, o projeto tornou-se lei, em 2005, e a IES passou ao status de universidade, tornando-se a primeira especializada do Brasil em ensino tecnológico. Atualmente, a universidade tecnológica conta com 13 campi distribuídos nas cidades de Apucarana, Campo Mourão, Cornélio Procópio, Curitiba, Dois Vizinhos, Francisco Beltrão, Guarapuava, Londrina, Medianeira, Pato Branco, Ponta Grossa, Santa Helena e Toledo.

No momento da pesquisa, o campus da universidade tecnológica federal contava com um quadro próprio de servidores, totalizando aproximadamente 63 técnicos administrativos e 119 docentes, e oferecia oito cursos regulares e seis cursos de especialização. Em seu plano de expansão, estava prevista, para os próximos dois anos, a implementação de novos cursos de graduação, que ampliaram o quadro de professores de 119 para 160 e de funcionários administrativos de 63 para 72.

Apesar do número de cursos regulares ofertados nas duas IES serem muito próximos, o número de funcionários e docentes na IES pública era consideravelmente maior, refletindo o trabalho precarizado das IES privadas que, em certa medida, se reflete na produção dos resultados nas avaliações, conforme veremos a seguir. A escolha dos sujeitos da pesquisa ocorreu a partir do nível de envolvimento dos membros das IES com o processo pesquisado. Assim, foi definido que as entrevistas ocorreriam com os gestores das instituições (diretores e coordenadores). A partir do número de diretores e coordenadores de cursos de cada instituição, optou-se por realizar a entrevista com os diretores e coordenadores que aceitassem respondê-las, sendo todos convidados.

As entrevistas do grupo de gestores foram realizadas com os três diretores da IES pública e com o diretor da IES privada. Já as entrevistas com os coordenadores ocorreram com oito indivíduos das duas instituições, sendo três da IES pública e cinco da IES privada. Os Quadros 1 e 2 apresentam dados e siglas utilizadas para cada um dos sujeitos, cujas identidades foram preservadas.

QUADRO 1 Sujeitos da pesquisa da universidade pública 

MEMBROS PARTICIPANTES Nº DE PARTICIPANTES SIGLAS
Diretores Diretor Geral 1 DU1
Diretor de Ensino 1 DU3
Diretor Administrativo 1 DU3
Coordenadores Coordenadores de Curso 3 CU1, CU2, CU3

Fonte: Elaborado pelos autores (2018).

QUADRO 2 Sujeitos da pesquisa da faculdade privada 

MEMBROS PARTICIPANTES Nº DE PARTICIPANTES SIGLAS
Diretor Diretor Geral 1 DF1
Coordenadores Coordenadores de Curso 5 CF1, CF2, CF3, CF4, CF5

Fonte: Elaborado pelos autores (2018).

Nas entrevistas concedidas por diretores e coordenadores de cursos, constatamos que a comunidade acadêmica pesquisada desconhece o processo de avaliação institucional do ensino superior em sua totalidade. Devido à reconhecida complexidade do processo avaliativo, constituído por diversos instrumentos imbuídos de razão técnica instrumental, observou-se certo descrédito no atual sistema no que diz respeito à sua capacidade de atestar a qualidade dos cursos. Os entrevistados apontaram que realizam, organizam e participam da avaliação, porém sem a devida compreensão acerca dos objetivos e justificativas do processo, conforme podemos verificar nos relatos a seguir:

[...] Olha, não tenho tanto conhecimento pela política de avaliação, conheço pelo que li, na própria página do MEC, e sei que se trata de um processo obrigatório para regulação dos cursos e das instituições. (CU1)

[...] O que sei é que são processos realizados pelo MEC, nos quais os avaliadores vêm e avaliam tanto o processo de autorização como o de reconhecimento de curso. (CF2)

[...] Olha, sei que se trata do sistema nacional de avaliação, mas ainda não é totalmente compreendido, e não sei direito como ocorre. (CF3)

Nas entrevistas, constatamos que a execução da avaliação institucional ocorre, muitas vezes, sem respaldo técnico e conhecimento das dimensões envolvidas no processo, dos seus objetivos e da sua funcionalidade. Em estudo realizado por Assis e Oliveira (2007), em que os autores analisaram os efeitos das políticas de avaliação sobre as práticas pedagógicas, constatou-se que cerca de 72% dos docentes desconheciam a proposta do Sinaes. Andriola (2008) também já havia chamado a atenção para esse fato, apontando a sensibilização da comunidade acadêmica e a participação dos atores institucionais como os principais desafios a serem enfrentados pelo Sinaes.

Apesar do desconhecimento do formato do Sinaes e seus componentes, os entrevistados destacaram a importância desse sistema, definindo-o como ferramenta que pode possibilitar a manutenção da qualidade da educação superior no país:

[...] Bom, o Sinaes, na minha opinião, é um sistema que funciona. Evidentemente, não há possibilidade de uma avaliação total, mas existe uma expectativa da sociedade em conhecer o ensino ofertado, e a avaliação gera resultados para o público e, dentro dessas etapas, a gente vem fazendo a coisa certa. (DU1)

[...] Compreendo a importância do processo, enquanto uma necessidade de busca de qualidade dos cursos. Compreendo como investimento do governo para manter a qualidade da educação superior. (CU2)

[...] O processo em si é um momento muito importante para a instituição e para o curso, pois é momento de reflexão dos nossos processos. O processo colabora muito e traz sem dúvidas mais benefícios. (CF1)

Observamos que, nas duas IES, os gestores se adaptaram ao processo e o compreendem como instrumento que motiva os cursos a produzir bons resultados para atestarem a sua qualidade. Embora sejam instituições distintas, no que se refere à sua natureza, modos de organização, estrutura administrativa e de poder e modos de organização, as respostas foram semelhantes, levando-nos a questionar: quais seriam as reais motivações capazes de conduzir a comunidade acadêmica à execução de um processo avaliativo cujo formato é desconhecido?

Analisando a proposta do Sinaes, é possível certificar que os critérios e os aspectos avaliados pelo sistema são consubstanciados em questões elaboradas por técnicos do MEC ou docentes especialistas convidados pelo governo a compor as comissões formadas especificamente para esse fim. Sem participar ativamente da elaboração dos instrumentos, fica a cargo da comunidade acadêmica a execução restrita à organização da instituição para receber in loco os avaliadores técnicos do MEC, buscando oferecer materiais capazes de produzir o melhor resultado possível em cada dimensão e item avaliado, nem sempre condizente com a realidade vivenciada no cotidiano.

A avaliação externa ocorre com base nos atos de credenciamento e recredenciamento em nível institucional e em nível de cursos de graduação, em atos de autorização, reconhecimento e renovação de reconhecimento dos cursos. Portanto, os processos ocorrem por meio de um ciclo avaliativo que pode submeter as instituições a várias avaliações durante um mesmo ano, às quais são dedicadas importantes parcelas de investimento e tempo. Conforme demonstraram as entrevistas, a cada avaliação externa, a rotina das instituições é alterada, com maior impacto no trabalho dos gestores, que passam a se dedicar integralmente à produção de resultados que gerem bons conceitos aos cursos ao final da avaliação:

[...] Aqui na instituição, há reuniões após os processos. O objetivo das reuniões é analisar e verificar as mudanças apontadas que poderão ser realizadas, sempre na busca de cada vez mais melhorar nossos resultados e a qualidade dos nossos cursos. (DF1)

[...] Realizamos uma organização total, pois temos a intenção de oferecer uma educação de excelência; diante disso, todos os olhares são importantes. (DU3)

[...] Preparamos algumas reuniões com a diretoria de graduação, que nos dá todo suporte e também da reitoria. Internamente, são realizadas várias reuniões com os professores dos cursos, apresentando os processos e, em seguida, subdividimos os processos e as responsabilidades pelos professores para que cada grupo busque sanar as dimensões que serão avaliadas. (CU1)

[...] Aqui na faculdade, buscamos manter as documentações em dia sempre; dessa forma, a preparação fica a cargo das conferências de documentações e reuniões preparatórias, mas a fim de sanar as dúvidas e esclarecer os processos. (DF1)

[...] Foram realizadas várias reuniões, organizando todo o processo, tudo isso em conjunto com os docentes, deixando claro que devemos de fato mostrar a verdade acima de tudo. Durante essa etapa, são esclarecidos vários aspectos da avaliação e tranquilizados os professores. Esse processo levou em minhas experiências vários meses de dedicação de todos. (CF4)

As falas indicam que, no momento em que a avaliação externa ocorre nos cursos ou na instituição, o grupo executor realiza diversas atividades que não fazem parte de seu cotidiano profissional; trata-se de um momento de encontros, debates, esclarecimentos, planejamento, envolvimento e análise das possibilidades de investimentos motivados pela forte preocupação em executar bem o processo, de modo que bons resultados sejam produzidos.

Em vários itens avaliativos, são encontradas dimensões quantificáveis, por exemplo, o eixo que avalia a titulação do corpo docente e suas produções científicas. A exigência da produtividade, a que estão submetidas as instituições, integra o processo de intensificação do trabalho docente iniciada no governo de Fernando Henrique Cardoso (1995-2002), como parte do processo de reestruturação produtiva do capitalismo, que elege “o conhecimento como elemento fundamental para o acúmulo de vantagens diferenciais em um cenário de competição global” (FONSECA; OLIVEIRA, 2010, p. 115). Neste quesito, é evidente que os docentes das instituições privadas encontram-se em desvantagem, devido ao regime de trabalho estabelecido em contrato (professor horista), em que as horas dedicadas à pesquisa não são remuneradas, mas passam a integrar a função do corpo docente controlada a partir da análise dos currículos acadêmicos em que as produções científicas são quantificadas. Uma vez que as instituições são cobradas a preencher esse item nas avaliações, há um aumento expressivo de contratação de mestres e doutores por parte das IES privadas, que se apropriam das produções e titulações sem necessariamente ter oferecido as mínimas condições para o desenvolvimento dos trabalhos de pesquisas.

Do exposto, pode-se inferir que o resultado da avaliação externa condiciona, em vários aspectos, a política de contratação docente, especialmente nas instituições privadas. Esse tipo de procedimento corrobora o fato de o corpo docente ter maior peso no processo avaliativo. Dessa forma, o quadro docente passa a ser organizado visando ao atendimento das demandas de titulação, produção científica e experiências acadêmicas e profissionais. Evidentemente que consideramos primordial a contratação de mestres e doutores para atuarem nas áreas de ensino, pesquisa e extensão das IES. Todavia, o diálogo estabelecido com os coordenadores e gestores permite-nos colocar em questionamento a pertinência de contratações realizadas apenas como estratégia de preenchimento dos requisitos dos processos avaliativos sem que sejam dadas, em contrapartida, as condições efetivas de trabalho para que esses docentes possam, de fato, dedicar-se à atividade científica, sem recair no processo de intensificação do trabalho apenas para certificar a “qualidade” do “serviço educacional” a ser ofertado:

[...] Em termos de investimentos, os mesmos são também alocados para atender às demandas da avaliação: alguns exemplos seriam a contratação de professores e estrutura de biblioteca. (CF5)

[...] O processo traz possibilidades de se debruçar sobre o curso, como, por exemplo, nos processos de contratação de professores levávamos em consideração as titulações. (CU2)

Uma vez definida como ferramenta de gestão, amplia-se a influência da avaliação externa nas decisões acadêmicas. Embora a avaliação não preveja a reflexão sobre as práticas acadêmicas com base na utilização dos dados coletados no processo avaliativo, as IES utilizam-nos como instrumento de mudanças e aprimoramento da gestão e planejamento das ações nas instituições, como podemos observar nos seguintes trechos das entrevistas:

[...] Em nosso planejamento estratégico, utilizamos como ferramenta de gestão a avaliação externa. (DU1)

[...] Há influência sim. Utilizo o instrumento em minhas decisões, analisamos os indicadores. Por exemplo, a exigência de NDE - Núcleo Docente Estruturante - funcionando somente após a avaliação, esse processo foi efetivado no nosso curso. Eu mudei enquanto coordenadora nas cobranças e nas funções administrativas. (CU1)

[...] A influência é praticamente total porque nós ficamos focados em atender às demandas do MEC. Temos sempre uma cobrança de estar com a documentação e as questões de acordo com a legislação. (CF5)

[...] Sem dúvidas interfere sim na gestão, pois geralmente temos que trabalhar para a busca de uma avaliação que possibilite o funcionamento dos cursos, precisamos de uma nota mínima para funcionar. (CF4)

[...] Há uma grande influência sim, uma boa parte das decisões na gestão é por conta das avaliações, por exemplo, a questão de gabinete de trabalho individual para professores. (DU2)

[...] Nossas decisões estão sim pautadas no que está dimensionado nos instrumentos de avaliação, como as questões estruturais de materiais, por exemplo, a estrutura laboratorial. (CF4)

As falas evidenciam a forte influência que o processo avaliativo exerce sobre os investimentos que as IES definem como prioritários. Observa-se que decisões importantes - como a organização de laboratórios, investimentos nas estruturas da biblioteca e demais espaços voltados às atividades acadêmicas, e a já mencionada contratação de professores - são deliberadas levando em consideração as dimensões e itens indicados na avaliação externa. Por um lado, pode-se considerar que essa influência é positiva para as condições de ensino ofertadas pelas IES. Porém, cabe refletir sobre a forma como esses investimentos ocorrem, podendo haver atendimento de algumas questões em detrimento de outras igualmente necessárias para as IES. Assim, as interferências em determinadas situações podem ser positivas e, em outros momentos, negativas, uma vez que cada instituição possui particularidades que são desconsideradas em avaliações padronizadas, cujas exigências seguem os mesmos parâmetros.

Com base nos dados analisados, é possível afirmar que as IES destinam recursos específicos para atender aos aspectos a serem contemplados pela avaliação externa. Tanto a universidade pública quanto a faculdade privada são avaliadas pelos mesmos instrumentos e ambas se ajustam às exigências provenientes das orientações normativas, como índice de mestres e doutores, quantidade e qualidade da bibliografia, qualidade da estrutura física, entre outros, com o objetivo de atingir bons resultados no processo, conforme apontado em uma das falas:

[...] Quanto às estruturas físicas, sempre nesses momentos conseguimos organizar algumas coisas, pois, no meu caso enquanto gestor, o momento propicia a negociação de investimentos com a mantenedora, quanto à contratação de docentes melhores titulados, reorganização e implantação de estruturas físicas necessárias para os cursos e complemento de bibliografias, que muitas vezes estão faltando. (DF1)

Este relato revela que, na IES privada, a avaliação externa se converte em uma oportunidade de negociação com a mantenedora da instituição, que, seguindo a lógica da maioria das IES pertencentes ao setor privado, atua com base no mínimo exigido pela legislação para se manter em funcionamento em relação ao corpo docente, às estruturas físicas e/ou organizações acadêmicas de formas geral. A avaliação passa, portanto, a exercer forte influência no que diz respeito à garantia, por parte das instituições, de condições de trabalho compatíveis com a oferta de cursos de qualidade. Entretanto, conjugada à influência do mercado, ela se converte em mecanismo regulatório que impõe a produção de resultados máximos em condições mínimas, cujas consequências já foram apontadas por diversos estudiosos da área (BOSI, 2007; FONSECA; OLIVEIRA, 2010; SGUISSARD; SILVA JÚNIOR, 2018).

Em comparação com a IES pública, os dados revelaram que a IES privada possui menor número de coordenadores e professores com tempo de dedicação integral, e nenhum profissional com regime de dedicação exclusiva. Todavia, nos momentos em que a instituição passa por processos avaliativos, amplia-se o tempo de dedicação da comunidade acadêmica aos seus respectivos cursos, resultando em uma atividade pontual e específica, que não é incorporada ao cotidiano de trabalho devido às condições diferenciadas e precárias de contratação ofertadas pela IES.

Baseando-nos nas entrevistas realizadas com os coordenadores de cursos e com diretores das duas IES, e apoiando-nos nas análises das informações contidas na página eletrônica do INEP/MEC, é possível considerar que os resultados gerados por meio da avaliação externa in loco não estão sendo utilizados de forma consistente. Todos os entrevistados apontaram que o MEC deveria, de fato, utilizar os resultados das avaliações externas para consolidar políticas públicas que venham suprir as necessidades das IES, especialmente no que diz respeito à destinação de recursos provenientes de fundos próprios para financiar os trabalhos de ensino, pesquisa e extensão e garantir as condições necessárias ao desenvolvimento dos trabalhos:

[...] O MEC deveria utilizar o processo com maior efetivação, principalmente para repensar as condições das IES públicas. Deveria haver sempre um cuidado em atualizar o processo e de fato utilizar esses indicadores como forma de verificar quais são as necessidades dessas instituições, principalmente no quesito investimento. (DU1)

[...] Sem dúvida o MEC deveria utilizar melhor, sim, os resultados; no nosso caso, instituição pública, não temos recursos e somos cobrados quanto à infraestrutura. Exemplo: sala de professores de tempo integral. Se o MEC exige, deve dar essa condição, pois os recursos que nos chegam são limitados. (CU2)

Após receberem as comissões de avaliação do MEC no processo de avaliação externa in loco, as IES recebem um relatório com os resultados gerados com base nos apontamentos dos avaliadores. Finalizada essa etapa, a avaliação continua tramitando nos órgãos do MEC, resultando nos conceitos da avaliação externa. Para os entrevistados, essa importante etapa da avaliação, muitas vezes morosa e custosa para as instituições, deveria ser mais valorizada na composição dos resultados, pois ela avalia pontos fundamentais para melhorar a oferta dos cursos:

[...] Sim, se o MEC executa uma avaliação como essa, que é custosa e morosa para ambas as partes, o processo poderia ter um peso maior nos índices que hoje importam de fato, que é o Conceito Preliminar de Cursos e o Índice Geral de Cursos; dessa forma, o processo poderia se fortalecer e seria mais justo com as instituições. (DF1)

[...] Sim, o MEC poderia utilizar esses resultados não apenas para regular as instituições, mas sim na busca de melhoria das políticas que envolvem o ensino superior. (CF4)

As respostas suscitam a necessidade de ampliarmos o debate em torno do cálculo feito para compor o Conceito Preliminar de Cursos (CPC). O CPC é um indicador de qualidade formado por

[...] oito componentes, agrupados em três dimensões que se destinam a avaliar a qualidade dos cursos de graduação: (a) desempenho dos estudantes; (b) corpo docente; e (c) condições oferecidas para o desenvolvimento do processo formativo. (BRASIL, 2017)

Apesar das várias alterações realizadas no cálculo do CPC desde 2007, observa-se que o peso da dimensão que avalia o “desempenho dos estudantes” se mantém significativo em relação aos demais itens, seguido da dimensão que avalia a qualidade do corpo docente, predominantemente a partir do componente referente à titulação. Juntas, as dimensões que avaliam o desempenho de estudantes no Enade e titulação do corpo docente compõem mais de 75% do CPC, ganhando maior atenção dos gestores das IES em relação a outros indicadores que, certamente, ajudam a conferir maior qualidade à educação superior.

QUADRO 3 Composição do CPC e pesos das suas dimensões e componentes 

DIMENSÃO COMPONENTES PESOS
Desempenho dos estudantes Nota dos Concluintes no Enade (NC) 20% 55%
Nota do Indicador da Diferença entre os Desempenhos Observado e Esperado (NIDD) 35%
Corpo docente Nota de Proporção de Mestres (NM) 7,5% 30%
Nota de Proporção de Doutores (ND) 15%
Nota de Regime de Trabalho (NR) 7,5%
Percepção discente sobre as condições do processo formativo Nota referente à organização didático-pedagógica (NO) 7,5% 15%
Nota referente à infraestrutura e instalações físicas (NF) 5%
Nota referente às oportunidades de ampliação da formação acadêmica e profissional (NA) 2,5%

Fonte: Nota Técnica Daes/Inep n. 38/2017 (BRASIL, 2017).

Os resultados de desempenho dos cursos subsidiam os atos de recredenciamento de IES e, de acordo com o MEC, servem para nortear políticas de expansão e financiamento da educação superior. Todavia, em decorrência dos sucessivos cortes no orçamento da educação brasileira, o que se observa é a conversão desse índice em recurso midiático de divulgação de listas classificatórias cujos efeitos na qualidade da educação superior são mínimos em comparação às perdas geradas aos profissionais que atuam nos cursos, que inevitavelmente veem-se pressionados a ir em busca de maior titulação - convertendo muitos programas de pós-graduação em verdadeiras fábricas de certificação - e a desenhar estratégias para o alcance de bons resultados no Enade, como treinamentos e simulados, quando, ao contrário, poderiam ser conduzidos a processos de reflexão e autoavaliação capazes de indicar a origem das defasagens de aprendizagem e a estimular a construção de políticas e reformas educacionais mais amplas, contrapondo-se à atual lógica da responsabilização.

Os processos avaliativos têm impactado fortemente as IES no que diz respeito à gestão e à organização dos cursos. Os doze entrevistados confirmaram a utilização dos resultados como parâmetro para traçar metas e ações, visando ao atendimento das demandas externas. Conquanto essa atitude possa, por um lado, suscitar reflexões importantes sobre os aspectos organizacionais, proporcionando benefícios às instituições e sua gestão interna, por outro lado, ela pode ferir a autonomia dos cursos, que se veem forçados a rever seus projetos pedagógicos com vistas à satisfação de exigências distantes dos anseios do público atendido, considerando as diversas demandas do contexto local:

[...] Após a chegada do relatório, o mesmo é encaminhado aos professores, e depois realizamos uma síntese dos resultados para nossa análise, além de encaminhar para análise da diretoria e reitoria. Aconteceram discussões e propostas de mudanças e de cobranças frente à reitoria e direção. (CU1)

[...] Inicialmente analisamos a fundo os relatórios em conjunto com as coordenações de cursos e CPA, e depois traçamos as mudanças possíveis dimensionadas a cada processo avaliativo; de fato, utilizamos e acatamos boa parte das questões dimensionadas. (DF1)

[...] Quando recebemos o relatório, é realizada uma reflexão e os pontos a serem mudados, corremos atrás para sanar todas as questões. Sejam financeiras, de investimentos e/ou didáticas e pedagógicas. Enfim, há, sim, uma grande análise do processo por intermédio do relatório encaminhado pelo MEC, após a avaliação externa. (CF5)

[...] ficamos surpresos quando passamos por uma avaliação de reconhecimento do curso de Psicologia na qual o avaliador não concordava com os títulos escolhidos pelo colegiado, sendo que essa condição é de autonomia dos docentes. (DF1)

Perante a interface entre avaliação e regulação, é fundamental compreender o significado e a função da avaliação inerente a cada um dos termos. Afonso (2010) reconhece dois padrões de avaliação que, para ele, contrapõem-se, mas também convivem e complementam-se. O primeiro é um modelo vertical, com características definidas em lei, portanto, impessoal, formal, centralizador e autoritário. O segundo, um modelo horizontal, constituído por uma pluralidade de atores, caracterizado por sua capacidade de se ajustar com base em negociações mútuas, num processo recíproco e multilateral. Para o autor, este último modelo possibilita a criação de novos processos de contrarregulação alternativos às restrições e imposições do atual sistema centralizador.

Ao tratar especificamente da avaliação da educação superior, podemos também apresentar outros conceitos e concepções que diferenciam os dois termos. A CEA, em suas concepções de avaliação da educação superior e proposição do Sinaes, defendia a ideia de que a avaliação deveria superar as concepções de práticas reguladoras:

A avaliação, foco central da proposta ora apresentada, orienta-se para a missão institucional da educação superior. Sendo a missão das instituições de Educação Superior matéria de Estado - e não de governo -, concebe-se a avaliação como um processo que procede sem desdobramentos de natureza controladora ou de fiscalização. Com transparência, no entanto, posto que ao Estado cabe garantir aos cidadãos a plena informação, por meio de variadas modalidades de aferição, sobre a qualidade, responsabilidade acadêmica das instituições de ensino. (CEA, 2004, p. 123-4)

Todavia, ao ser instituído em lei, o sistema de avaliação passa a atuar na perspectiva regulatória, conforme podemos observar no Parágrafo Único do art. 2º, que prevê os aspectos que devem ser assegurados na avaliação da educação superior, onde se reforça o vínculo da avaliação com a regulação:

Os resultados da avaliação referida no caput deste artigo constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação. (BRASIL, 2004, p. 24)

A força da lei recai sobre a concepção de avaliação compartilhada entre os entrevistados das duas instituições, compreendida como um processo de regulação e controle. Outro aspecto mencionado por um dos entrevistados diz respeito ao comprometimento do processo devido ao seu caráter punitivo e ao perfil dos avaliadores, cuja ausência de experiência, aliada a desconhecimento da realidade em que se insere a IES a ser avaliada, pode interferir nos resultados:

[...] há uma dificuldade de compreensão de nossos processos quando somos avaliados por docentes de IES privadas, que nos avaliam com um olhar punitivo no processo; outra questão é os avaliadores sem experiências. (DF1)

[...] a forma de escolha dos avaliadores deveria ter outros critérios para que os avaliadores fossem mais próximos das realidades das instituições e dos cursos. (DF1)

[...] Pensando nas avaliações de cursos, embora eles fiquem dois ou três dias, dependendo do processo, eu acho que é um número pequeno de dias para avaliar as fragilidades e potencialidades dos cursos e da instituição, até porque algumas situações podem ser meio que maquiadas. Então acredito que não dá para avaliar a real potencialidade de um curso. (DU2)

[...] Maior cuidado na escolha dos avaliadores, em que não somente as titulações fossem levadas em consideração, mas também a experiência, por exemplo. Acredito também que o período de permanência na instituição deveria ser maior para uma avaliação mais próxima da realidade. (CF2)

Os entrevistados reconhecem que as instituições de ensino têm, em sua estrutura, particularidades, que devem ser respeitadas. Para tanto, defendem que os avaliadores sejam escolhidos por meio de critérios que indiquem sua formação acadêmica e suas experiências no ensino superior, sendo valorizados aspectos como a proximidade com o perfil institucional da IES avaliada. Os relatos apontam, ainda, que o processo de avaliação externa ocorre em um período insuficiente para que, de fato, a instituição e/ou os cursos sejam avaliados. A avaliação externa está alicerçada em muitos eixos e itens, dos quais boa parte é analisada sob a óptica quantitativa, fragilizando os aspectos qualitativos, em que a totalidade pode ser mais bem apreendida:

[...] A avaliação externa deveria ocorrer de forma mais regionalizada, focada o máximo possível nos desafios regionais. Dessa forma, o processo estaria mais próximo de uma avaliação que respeitasse as instituições. (CU3)

[...] A promoção de uma avaliação descentralizada, de repente, em nível de secretarias estaduais, para que as realidades pudessem ser levadas mais em consideração, utilizar melhor esses resultados nos índices de curso e índices institucionais, não ser punitivo e sim pedagógico. (DF1)

Na proposta do Sinaes, a CEA apontava que a avaliação institucional deveria ser um processo que primasse pela qualidade e desenvolvimento da educação superior, levando em consideração suas particularidades e regionalidades, focando suas práticas em um processo participativo e emancipatório na busca de proporcionar maior autonomia às IES (BRASIL, 2003a). Com relação a esse aspecto, os entrevistados também apontaram a necessidade de o processo de avaliação externa ocorrer de forma processual e continuada:

[...] Mudariam os períodos de avaliação dos cursos, com a possibilidade dos avaliadores que autorizaram o curso também reconhecer para que acompanhassem de fato a evolução do curso. (CU2)

[...] A avaliação in loco é muito rápida, não dá tempo, de fato, de reconhecer o curso por inteiro; há apenas uma avaliação superficial, propensa a mascarar o processo se esse for o desejo. Acredito que poderia ser mais bem explorado. (CF1)

[...] Uma fragilidade que identifico na avaliação externa é a vinda de avaliadores diferentes nos atos de autorizações e reconhecimento. (DF1)

[...] Avaliações mais periódicas e em conjunto com os órgãos do curso, como conselho. Outra questão que poderia mudar seria que um mesmo avaliador acompanhasse os processos de um curso, para que de fato ele compreenda as mudanças ocorridas. (CF1)

Os entrevistados reconhecem uma limitação no processo que diz respeito à mudança dos membros das comissões no momento da autorização e do reconhecimento, descaracterizando o caráter processual da avaliação formativa, que possibilita uma análise mais ampla a respeito da evolução do curso. Apesar de estar alicerçado em questões técnicas, justificadas pela necessidade de conferir legitimidade à avaliação, o distanciamento entre os avaliadores e as instituições não pode resultar num afastamento amplo que venha a prejudicar o olhar sobre o curso avaliado devido ao desconhecimento do percurso percorrido de uma etapa para outra.

Dias Sobrinho (2010, p. 222) nos chama a atenção a respeito das limitações decorrentes da sobreposição do caráter técnico das avaliações ao caráter ético-político e filosófico da avaliação, que dizem respeito, justamente, à sua função de contribuir para a oferta de um modelo de educação superior voltado à promoção de uma formação integral e de elevação da humanidade:

[...] pois têm uma importante dimensão educativa, cultural e política que ultrapassam os interesses meramente economicistas. Por sua natureza e funções públicas, a universidade tem a responsabilidade de fomentar a integração das sinergias sociais que potenciam na medida do possível o desenvolvimento humano igualitário, sustentável, integral e ético.

Por fim, as entrevistas apontaram que a avaliação poderia se converter em uma oportunidade de se estabelecer uma comunicação prévia entre avaliador e IES. Ao fazer isso, o Estado, por meio do avaliador, deixaria de apenas constatar a realidade e passaria a ser promotor do conjunto da melhoria da IES junto à comunidade acadêmica:

[...] Melhoraria o processo de comunicação anterior à visita, até para que o processo seja mais fácil para ambas as partes. Outra situação seria a aproximação dos avaliadores na área do curso, para que se reduza a subjetividade. Mudaria também alguns critérios, por exemplo, laboratório de informática, neste momento em que toda a instituição deve ter um grande laboratório de informática, requer uma atualização do instrumento de avaliação. (CU1)

Em termos conclusivos, observamos que, em ambas as IES pesquisadas, a avaliação externa tem se caracterizado como um processo não dialógico, com poucas contribuições para o desenvolvimento da IES, que não constrói um diagnóstico capaz de promover mudanças efetivas consolidadas em políticas educacionais voltadas à ampla oferta de um ensino de qualidade para todos. Para os sujeitos da pesquisa, a avaliação institucional deveria se pautar em um processo integrado, estruturado e realizado por agentes internos e externos, por meio de uma avaliação processual, autônoma e voltada sobretudo à melhoria do ensino ofertado, em vez de se restringir à mera produção de resultados em atendimento aos índices.

Embora a proposta da CEA estivesse pautada em recursos e caminhos que poderiam transformar o sistema em um processo emancipatório, os dados demonstram que, com a atual estrutura do Sinaes, essas características se diluíram e o processo deixou de ser estruturado a partir da comunidade interna das instituições, passando seu controle exclusivamente aos agentes do Estado.

Desse modo, para remodelar o atual sistema avaliativo a partir das experiências aqui relatadas, conferindo a ele um viés formativo, três elementos, necessariamente, deverão ser reavaliados: primeiramente, a possibilidade de alteração expressiva da proposta da CEA a respeito da função e dos agentes da avaliação; em segundo lugar, a revisão dos objetivos que deverão nortear o processo de avaliação, atualmente voltado ao atendimento de interesses políticos e econômicos; por último, a revisão do papel do Estado nos processos de regulação da educação superior por meio da abertura de novos debates em torno de um projeto de contrarregulação que reestabeleça a autonomia das IES.

Concordamos com Dias Sobrinho (2016) que não há promoção da avaliação institucional sem a participação da comunidade acadêmica como protagonistas do processo. Consequentemente, somos todos convocados a despender nossos esforços para efetivar essa mudança crucial no campo da avaliação, reconhecendo a sua importância no delineamento de políticas educacionais que possam contribuir com avanço da educação superior no Brasil de maneira que ela venha a cumprir sua função científica e social.

REFERÊNCIAS

AFONSO, Almerindo Janela. Um olhar sociológico em torno da accountability em educação. In: ESTEBAN, Maria Teresa; AFONSO, Almerindo Janela (org.). Olhares e interfaces: reflexões críticas sobre a avaliação. São Paulo: Cortez, 2010. p. 147-170. [ Links ]

AMORIM, Antônio. Avaliação institucional da universidade brasileira. São Paulo: Cortez, 1992. [ Links ]

ANDRIOLA, Wagner Bandeira. Propostas estatais voltadas à avaliação do ensino superior brasileiro: breve retrospectiva histórica do período 1983-2008. Revista Electrónica Iberoamericana Sobre Calidad, Eficacia y Cambio en Educación, Chile, v. 6, p. 127-148, 2008. Disponível em: http://www.redalyc.org/articulo.oa?id=55160408. Acesso em: 26 ago. 2018. [ Links ]

ASSIS, Lucia Maria de; OLIVEIRA, João Ferreira. Repercussões das políticas públicas para a avaliação das IES na prática pedagógica de professores em instituições privadas. Avaliação: Revista da Avaliação da Educação Superior, Campinas, v. 12, n. 1, p. 111-131, mar. 2007. [ Links ]

BOSI, Antônio de Pádua. A precarização do trabalho docente nas instituições de ensino superior do Brasil nesses últimos 25 anos. Educação e Sociedade, Campinas, v. 28, n. 101, p. 1503-1523, set./dez. 2007. [ Links ]

BRASIL. Ministério da Educação. Grupo executivo para a reformulação da Educação Superior. Relatório GERES. Brasília: MEC, 1986. [ Links ]

BRASIL. Ministério da Educação e do Desporto. Secretaria da Educação Superior. Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB). Brasília: MEC, 1994. [ Links ]

BRASIL. Lei n. 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Seção 1, p. 27.833, 23 dez. 1996. Disponível em: https://www2.camara.leg.br/legin/fed/lei/1996/lei-9394-20-dezembro-1996-362578-norma-pl.html. Acesso em: 26 ago. 2019. [ Links ]

BRASIL. Decreto Federal n. 3.860, de 9 de julho de 2001. Dispõe sobre a organização do ensino superior, a avaliação de cursos e instituições, e dá outras providências. Diário Oficial da União, Seção 1, Eletrônico, p. 2, 10 jul. 2001a. Disponível em: https://www2.camara.leg.br/legin/fed/decret/2001/decreto-3860-9-julho-2001-342382-norma-pe.html. Acesso em: 26 ago. 2019. [ Links ]

BRASIL. Lei n. 10.172 de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação de dá outras providências. Diário Oficial da União, Seção 1, 10 jan. 2001b, p. 1. Disponível em: https://www2.camara.leg.br/legin/fed/lei/2001/lei-10172-9-janeiro-2001-359024-publicacaooriginal-1-pl.html. Acesso em: 26 ago. 2019. [ Links ]

BRASIL. Ministério da Educação. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma nova proposta de avaliação da educação superior brasileira. Brasília: Inep, 2003a. [ Links ]

BRASIL. Ministério da Educação. Secretaria de Educação Superior. Portaria SESU/MEC n. 11, de 28 de abril de 2003. Com a finalidade de analisar, oferecer subsídios, fazer recomendações, propor critérios e estratégias para a reformulação dos processos e políticas de avaliação da Educação Superior e elaborar a revisão crítica dos seus instrumentos, metodologias e critérios utilizados. Diário Oficial [da] República Federativa do Brasil, Poder Executivo, Brasília, DF, 30 abr. 2003b. Seção 2, p. 19. [ Links ]

BRASIL. Ministério da Educação. Secretaria de Educação Superior. Portaria SESU/MEC n. 19, de 27 de maio de 2003. Com a finalidade de analisar, oferecer subsídios, fazer recomendações, propor critérios e estratégias para a reformulação dos processos e políticas de avaliação da Educação Superior e elaborar a revisão crítica dos seus instrumentos, metodologias e critérios utilizados. Diário Oficial [da] República Federativa do Brasil, Poder Executivo, Brasília, DF, maio 2003c. [ Links ]

BRASIL. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras providências. Brasília, 2004. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm. Acesso em: 9 abr. 2018 [ Links ]

BRASIL. Decreto Federal n. 5.773, de 9 de maio de 2006. Dispõe sobre o exercício das funções de regulação, supervisão e avaliação de instituições de educação superior e cursos superiores de graduação e sequenciais no sistema federal de ensino. Diário Oficial da União, Seção 1, p. 6, 10 maio 2006. Disponível em: https://www2.camara.leg.br/legin/fed/decret/2006/decreto-5773-9-maio-2006-542125-norma-pe.html. Acesso em: 26 ago. 2019. [ Links ]

BRASIL. Instituto Nacional de Pesquisas Educacionais Anísio Teixeira. Nota técnica n. 38/2017. Brasília, 2017. Disponível em: http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2016/nota_tecnica_n38_2017_cgcqes_daes_calculo_cpc.pdf. Acesso em: 26 ago. 2019. [ Links ]

CUNHA, Luiz Antônio. O legado da ditadura para a educação brasileira. Educação e Sociedade, Campinas, v. 35, n. 127, p. 357-377, abr./jun. 2014. Disponível em: http://www.scielo.br/pdf/es/v35n127/v35n127a02.pdf. Acesso em: 9 jul. 2017. [ Links ]

DIAS SOBRINHO, José. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002. [ Links ]

DIAS SOBRINHO, José. Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES. Avaliação: Revista da Avaliação da Educação Superior, Campinas, v. 15, n. 1, p. 195-224, mar. 2010. [ Links ]

DIAS SOBRINHO, José. Autonomia, formação e responsabilidade social. Revista FORGES − Fórum da Gestão do Ensino Superior nos Países e Regiões de Língua Portuguesa, Ilhéus, v. 4, n. 2, p. 13-30, bianual 2016. Disponível em: http://www.aforges.org/wp-content/uploads/2017/01/Revista-Forges-v4-n2-2016.pdf. Acesso em: 26 ago. 2019. [ Links ]

DOURADO, Luiz Fernandes; CATANI, Afrânio Mendes; OLIVEIRA, João Ferreira de. (org.). Políticas e gestão da educação superior: transformações recentes e debates atuais. São Paulo: Xamã, 2003. [ Links ]

FONSECA, Marília; OLIVEIRA, João Ferreira de. A avaliação da pós-graduação e o seu impacto no trabalho acadêmico dos professores brasileiros. In: OLIVEIRA, João Ferreira; CATANI, Afrânio Mendes; CAPARETO, Naura Syria (org.). Pós-graduação e avaliação: impactos e perspectivas no Brasil e no cenário internacional. Campinas: Mercado das Letras, 2010. p. 109-130. [ Links ]

MARTINS, Carlos Benedito. A Reforma Universitária de 1968 e a abertura para o ensino superior privado no Brasil. Educação e Sociedade, Campinas, v. 30, n. 106, p. 15-35, jan./abr. 2009. [ Links ]

ROTHEN, José Carlos; SANTANA, Andréia da Cunha Malheiros. Avaliação da educação: referências para uma primeira conversa. São Carlos: EdUFSCar, 2018. [ Links ]

SGUISSARD, Valdemar; SILVA JÚNIOR, João dos Reis. O trabalho intensificado nas federais: pós-graduação e produtivismo acadêmico. 2. ed. Uberlândia: Navegando Publicações, 2018. [ Links ]

2Embora reconheçamos a importância de outros programas de avaliação amplamente discutidos no cenário nacional, como o Programa de Avaliação da Reforma Universitária (Paru - 1983) e o Programa de Avaliação Institucional das Universidades Brasileiras (Paiub - 1993), consideramos apenas os sistemas instituídos e regulamentados que foram aplicados efetivamente.

1A pesquisa que deu origem a este artigo foi submetida ao Comitê de Ética e Pesquisa e Plataforma Brasil com número de protocolo 2498.

Recebido: 15 de Julho de 2018; Aceito: 12 de Março de 2019

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons