SciELO - Scientific Electronic Library Online

 
vol.57 número53Educação para a compreensão humana: desenvolvimento da intersubjetividade a partir da complexidadeFormação docente e práticas pedagógicas multiculturais críticas índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Revista Educação em Questão

versão impressa ISSN 0102-7735versão On-line ISSN 1981-1802

Rev. Educ. Questão vol.57 no.53 Natal jul./set 2019  Epub 19-Set-2019

https://doi.org/10.21680/1981-1802.2019v57n53id17097 

Artigos

Políticas de qualidade no ensino superior na Alemanha e no Reino Unido: quo vadis?

Políticas de calidad de la educación superior en Alemania y Reino Unido: quo vadis?

Cleber Augusto Pereira1 
http://orcid.org/0000-0002-7704-2343

Joaquim Filipe Ferraz Esteves de Araújo1 
http://orcid.org/0000-0001-8531-6036

Maria de Lourdes Machado-Taylor2 
http://orcid.org/0000-0003-4774-2397

1Universidade do Minho (Portugal)

2Centro de Investigação em Políticas do Ensino Superior (Portugal)


Resumo

O objetivo deste estudo é discutir os sistemas de acreditação na Educação Superior (ES) atualmente na Europa. Os objetivos específicos incluem a descrição do contexto da ES na Alemanha e no Reino Unido identificando as principais políticas implementadas. Os estudos foram sistematicamente mapeados e contextualizados e analisam a garantia e a avaliação da qualidade. Esta pesquisa descreve a avaliação do fenômeno social e a acreditação da ES com base no desempenho das agências de avaliação da ES europeia. Este artigo também apresentará os principais pontos de ação das políticas de qualidade, as iniciativas das agências de qualidade do ES e seu desenvolvimento. Foi criado um mapeamento conceitual da ES nesses países e também foram discutidas as características, restrições e evolução dos processos de acreditação, avaliação e revisão por pares. Os principais pontos de ação das políticas de qualidade e agências de qualidade em ES e sua situação atual de desenvolvimento foram demonstrados.

Palavras-chave: Ensino Superior; Qualidade; Acreditação; Avaliação

Resumen

El objetivo de este estudio es discutir los sistemas de acreditación en la Educación Superior (ES) actualmente en Europa. Los objetivos específicos incluyen la descripción del contexto de la ES en Alemania y el Reino Unido identificando las principales políticas implementadas. Los estudios fueron sistemáticamente mapeados y contextualizados, y analizan la garantía y la evaluación de la calidad. Esta investigación describe la evaluación del fenómeno social y la acreditación de la ES en base al desempeño de las agencias de evaluación de la ES europeas. Este artículo también presentará los principales puntos de acción de las políticas de calidad y la calidad de las agencias de ES y su desarrollo. Se creó un mapeo conceptual de la ES en esos países y también se discutieron las características, restricciones y evolución de los procesos de acreditación, evaluación y revisión por pares. Los principales puntos de acción de las políticas de calidad y agencias de calidad en ES y su situación actual de desarrollo han sido demostrados.

Palabras clave: Enseñanza Superior; Calidad; Acreditación; Evaluación

Abstract

The objective of this study is to discuss the accreditation systems in Higher Education (HE) currently in Europe. The specific goals include describing the context of HE in Germany and the UK, identifying the main policies implemented. The studies are systematically mapped and contextualized and they will analyse quality assurance and evaluation. This research describes the assessment of the social phenomenon and the accreditation of HE based on the performance of European rating agencies. This paper will also present the main points of action of the quality policy and the quality of HE agencies and their development. It was created a concept mapping of HE in these countries and it was also discussed the characteristics, restrictions and evolution of the processes of accreditation, evaluation and peer review. The main points of action of quality policies and quality agencies in HE, and their current situation of development were demonstrated.

Keywords: Higher Education; Quality; Accreditation; Assessment

Introdução

Até os anos 90, as Instituições de Ensino Superior (IES) da Europa e da América do Sul chegaram a operar em um contexto de competitividade mínima, em que a demanda era maior que a oferta. Em relação às IES públicas europeias, o processo de reforma gerencial (MONTEIRO; PEREIRA; SOUZA, 2015) foi direcionado para a falta de recursos, o que impactou a demanda. Essa nova realidade do ensino superior, enraizada nos preceitos neoliberais, levou as IES a transitar de uma preocupação antes centrada exclusivamente no ensino para uma nova vertente voltada à prestação de serviços competitivos e dinâmicos, nos quais estavam envolvidos aspectos acadêmicos, administrativos e metodológicos.

Para adaptar-se a este novo cenário, as IES foram pressionadas a incorporar e buscar novos padrões de qualidade e excelência. Ao mesmo tempo, tiveram que responder ao mercado de forma cada vez mais rápida e eficiente para atender às expectativas de seus públicos e outras partes interessadas, como stakeholders, comunidade, professores e alunos.

Na busca constante pela excelência, a qualidade passou a ser o diferencial da IES para sua sobrevivência no mercado. Há uma gama de requisitos que devem ser atendidos para alcançar a excelência e um perfil público: de padrões estabelecidos por agências governamentais que fornecem monitoramento, acreditação e auditoria além de outros fatores diferenciadores, incluindo a gestão de cursos, infraestruturas e produção científica docente.

O objetivo geral deste estudo é discutir os sistemas de acreditação da ES atualmente em vigor na Europa. Os objetivos específicos incluem descrever o contexto da ES na Alemanha e no Reino Unido; identificar as principais políticas implementadas no ES, com ênfase especial em qualidade; elaborando um mapeamento conceitual da situação nesses países.

O estudo realiza um levantamento descritivo, no qual busca-se retratar conforme Knupfer e Mclellan (1996, p. 1197) "[...] o que existe hoje e agora em relação a um problema ou fenômeno" (MERTENS, 1998, p. 174). Foi realizada uma análise correlacional que busca encontrar e avaliar a relação entre as variáveis aqui representadas pelos órgãos e as políticas vigentes na ES (ANDERSON, 1999; MELTZOFF,1998).

Garantia de qualidade e avaliação do ensino superior

Esta seção discute a necessidade de técnicas mais refinadas para a garantia da qualidade e a devida necessidade de tornar públicos esses resultados na mídia. Os estilos adotados na Europa e nos Estados Unidos também serão estudados. A seguir, apresentamos uma visão geral do cenário na Alemanha e no Reino Unido.

Os estudos de Massy (1997, 2010) reiteram a necessidade de técnicas mais refinadas para garantia da qualidade em ES e são classificadas em três categorias: acreditação, padrão utilizado nos EUA; avaliação, de acordo com o estilo europeu; e processo de revisão por pares, também denominado auditoria da qualidade dos processos, que geralmente emprega uma combinação de indicadores de desempenho, auto estudo e revisão pelos pares.

Acreditação, Avaliação e Auditoria da Qualidade

A acreditação tem sido um elemento importante nas IES dos Estados Unidos (HARVEY, 2002; BRITTINGHAM, 2009; HARVEY, WILLIAMS, 2010) e, nos últimos anos, assumiu uma importância crescente em todo o mundo. Nos Estados Unidos, o termo acreditação refere-se aos resultados de um processo público que tem como objetivo determinar se a IES segue os padrões de qualidade estabelecidos. Alguns pesquisadores complementam o significado deste termo dizendo que melhorias na metodologia de ensino podem refletir em resultados positivos no credenciamento (PRINGLE, MICHEL, 2007; KELLEY, TONG, CHOI, 2010).

Segundo Massy (1997), as características gerais dos estilos de acreditação adotados nos EUA operam exclusivamente na educação. O credenciamento institucional é mais comum em cursos de graduação, comparando o desempenho das IES em relação a padrões predeterminados estabelecidos por órgãos governamentais ou agências de credenciamento.

O processo avalia se os objetivos de uma IES são apropriados ao grau ou nível em questão. Dado que é uma função de certificação, deve ser realizada por uma agência externa.

O processo de acreditação é realizado em ciclos e seu objetivo é garantir que padrões mínimos de qualidade sejam seguidos pelas IES. O resultado do processo de acreditação deve ser publicado, o que é um passo necessário para a implementação da função de certificação (HEQC, 1994).

Agências de acreditação institucional nos Estados Unidos, onde a tarefa é realizada por agências independentes e não-governamentais (instituições privadas), de acordo com Massy (1997) tradicionalmente se opõem à divulgação completa das informações. No entanto, conforme deliberado pelo Conselho de Credenciamento da Educação Superior (CCES), como órgão responsável pela acreditação nos EUA, a divulgação é obrigatória porque a confidencialidade prejudica a responsabilização pública (EATON, 2012).

A avaliação geralmente se concentra na qualidade de atividades educacionais específicas. A avaliação global utiliza alguns parâmetros de acreditação, combinando indicadores de desempenho, autoavaliação e revisão por pares. Essa combinação equilibrada de indicadores de desempenho a serem visitados pelos avaliadores institucionais é desejada, no entanto, devido à grande quantidade de IES existentes, é difícil de ser totalmente atendida.

Em primeiro lugar, a avaliação ocorre em um curso ou programa específico e, posteriormente, toda a IES é avaliada de forma global. Conforme definido pelo Conselho de Financiamento do Ensino Superior para a Inglaterra (HEFCE, 1992) no Reino Unido, as avaliações acontecem separadamente para o ensino e a pesquisa. Mais recentemente, foi divulgado que o objetivo principal é a produção de perfis de qualidade por meio de clareza, coerência, continuidade, credibilidade, eficiência, neutralidade, paridade e transparência (HEFCE, 2008).

As dimensões acadêmicas, gerenciais e pedagógicas com ênfase no mercado estabelecidas por Brennan e Shah (2000) são semelhantes às dimensões utilizadas pelos órgãos de credenciamento: a Faculdade, Coordenador, Projeto Educacional e Infraestrutura dos Cursos.

O processo de avaliação pode ser organizado pelo governo do país, por um consórcio institucional ou pela IES. Massy (1997) mencionou o exemplo da Grã-Bretanha e de Hong Kong, onde a qualidade do ensino é definida pela missão da IES e não se segue algum "padrão ouro" de excelência acadêmica. Em sua análise, Massy (2010, p. 203) critica mais uma vez a forma como a avaliação é realizada no país, executada pelo Hong Kong's University Grants Committee (HKUGC) que almeja ocorrer "sem tirar o poder das instituições, violando a sua autonomia, ou gastar muito em relação aos resultados alcançados".

Para que ocorra a responsabilização institucional, é necessário que os resultados da avaliação sejam publicados e expressos de tal forma que permitam a comparação entre instituições. Silva-Trivino e Ramirez-Gatica (2004) informaram que o Central American University Higher Council (CSUCA) abordou processos de avaliação orientados para o accountability externo e para um eventual sistema de acreditação regional. As experiências foram analisadas com diferentes focos: em nível institucional e a nível dos programas.

Um fato importante apresentado por Harvey (2008), menciona que na maioria dos casos em que a garantia de qualidade é focada na melhoria, mecanismos de pressão política podem ocorrer no sentido de "forçar" uma orientação de "responsabilidade" no processo. Para Amaral e Rosa (2008), esses tipos de problemas de definição podem criar problemas substanciais de transparência e comparabilidade na avaliação.

Em relação às restrições em seguir a garantia de qualidade, o ENQA (2006) apresenta um ponto de vista claro quando afirma:

Quando uma agência é considerada parcialmente compatível ou não compatível com um critério, esta razão deve ser explicada. O cumprimento total ou substancial pode ser impossível para algumas agências, devido a restrições impostas pela própria natureza de seu trabalho e/ou pela legislação vigente em seu(s) país(es). Ao considerar tais casos, o Conselho da ENQA levará em conta tais circunstâncias atenuantes (ENQA, 2006, p. 6, tradução nossa)1.

A avaliação externa ocorre em ciclos de tempo de cinco a dez anos, ciclos ligeiramente mais curtos do que os do credenciamento. Longos períodos de avaliação do ciclo são atribuídos aos custos de visitação e ao grande número de unidades de avaliação (MASSY, 1997). Em alguns países europeus onde o Processo de Bolonha está em vigor, o processo de avaliação externa exigiu apenas a apresentação de relatórios de autoavaliação para a dimensão interna de garantia de qualidade (RAUHVARGERS; DEANE; PAWELS, 2009).

Na auditoria de qualidade, a revisão dos processos de qualidade é centrada na análise da qualidade interna e na implementação de sistemas visando à melhoria dos processos. Estudos de diferentes partes do mundo relatam que a indução de treinamento pode levar a uma melhoria no ensino e na aprendizagem nas IES (DILL, 2000, 2000a; MASSY, 2005, 2010).

Esses procedimentos não avaliam a qualidade em si; em vez disso, eles se concentram nos processos que são credenciados para produzir qualidade e nos métodos usados pela IES para obter qualidade. Segundo Massy (1997), a qualidade do processo baseia-se no princípio de que bons profissionais, trabalhando com recursos adequados e usando bons processos produzirão bons resultados, mas processos defeituosos podem impedir que até bons profissionais com recursos abundantes produzam ótimos resultados.

As agências de acreditação e avaliação na Alemanha e no Reino Unido participaram em várias reuniões da Rede de Auditoria da Qualidade (Quality Audit Network) (KASTELLIZ; MITTERAUER, 2014), que estabeleceram um diálogo regular sobre modelos de auditoria de qualidade. Atualmente, o grupo é formado por 12 agências europeias de garantia da qualidade e publicou um estudo chave que permeia "[…] uma avaliação dos pontos fortes e fracos dos mecanismos de qualidade estabelecidos pela própria instituição para monitorar e melhorar continuamente as atividades e serviços de determinado programa, área, ou da instituição como um todo" (COSTES; CROZIER; CULLEN; GRIFOLL, 2008).

Meade e Woodhouse (2000) relataram a revisão da Unidade de Auditoria Acadêmica da Nova Zelândia por um grupo independente. O painel da revisão concluiu que os procedimentos de garantia de qualidade, incluindo a autoavaliação, têm sido um grande estímulo para a introdução de sistemas de qualidade eficazes. Confiança e respeito mútuo foram estabelecidas e há sinais promissores de que as universidades estão além da conformidade. De acordo com Kanji (1998), a fim de alcançar a excelência, muitas organizações de ES adotaram a abordagem do Scorecard para a excelência nos negócios como forma de melhoria nos processos. Kanji (1998) afirma que o valor da parte interessada é o resultado da excelência organizacional, que só pode ser alcançada pela realização dos elementos-chave, ou seja, a excelência dos processos, aprendizagem organizacional e interesse da parte envolvida.

A garantia da qualidade do processo pode ocorrer dentro da IES e, ao se tornar contínua, tende a melhorar a qualidade institucional; já que, teoricamente, tanto as ações quanto os resultados produzidos são avaliados, permitindo assim a institucionalização das ações a serem implementadas para garantir a qualidade.

O contexto Europeu

Os estudos apresentados nesta seção contextualizam os cenários de qualidade e avaliação em ES na Europa. Para tanto, foi realizada uma abordagem do cenário de qualidade envolvendo a Alemanha e o Reino Unido.

Alemanha

A Alemanha destacou-se como uma das cinco economias avançadas mais competitivas, alcançando o quarto lugar no Global Competitiveness Index 2015-2016 (SCHWAB; SALA-I-MARTIN; SAMANS; BLANKE, 2015). O sistema de inovação do país é caracterizado por altos níveis de gastos das empresas em Pesquisa e Desenvolvimento (P&D), um ambiente de pesquisa de apoio, incluindo colaboração de negócios com universidades e instituições de pesquisa científica fortes.

A avaliação da Alemanha em 2015 pelo Global Competitiveness Index, quando relacionada ao Ensino Superior e Treinamento (5º pilar avaliado), permitiu que ela atingisse a 17ª posição nos 140 países avaliados pelo Fórum Econômico Mundial (SCHWAB; SALA-I-MARTIN; SAMANS; BLANKE, 2015).

Na Alemanha, foram identificados estudos específicos sobre sistemas de ensino superior nas IES. Selecionamos estudos que abordaram a evolução desta questão na Alemanha no período entre 1997 e 2014 (EL HAGE, 1997; BERNER, RICHTER, 2001; HÜFNER, 2003; WARNING, 2004; FANDEL, 2007; HARRIS HUEMMERT, 2008; KEMPKES, POHL, 2010; ORR, HOVDHAUGEN, 2014).

Segundo El Hage (1997), uma análise sobre a situação da avaliação na ES traz uma realidade desestimulante na Alemanha, que foi exposta por relatos e pesquisas realizadas nas décadas de 80 e 90. Estes mostraram que se comparássemos um estudante alemão com outros estudantes europeus, notaríamos que estes precisavam de 3 a 5 semestres extras para se formar (EL HAGE, 1997). Isto levou a uma diminuição do investimento público em fundos científicos e educacionais por parte do governo nacional. Houve também sérios problemas quando se comparou o desempenho entre as universidades, que começaram a seguir as recomendações dos padrões sugeridos na Conference of Rectors and Vice Chancellors of the Universities and Higher Education Institutions, nos relatórios anuais sobre educação (EL HAGE, 1997). A criação do Centre for Development of Higher Education (Zentrum) localizado no distrito de Giitersloh na Alemanha, foi uma iniciativa para promover a qualidade em ES nas universidades alemãs através de avaliações internas e externas do desempenho do corpo docente. Embora algumas ferramentas tenham sido desenvolvidas para avaliar os cursos, sua implementação, significância e publicação de resultados comparáveis ainda eram muito controversos (EL HAGE, 1997).

Berner e Richter (2001) relataram que os dezesseis estados alemães haviam concordado com o estabelecimento dos programas de bacharelado e mestrado, para serem validados através de agências de credenciamento aprovadas por um conselho nacional de credenciamento. Esta implementação de procedimentos de acreditação marcou uma mudança fundamental na relação entre as IES e o Estado e colaborou na oferta de novas possibilidades para o desenvolvimento e modernização da ES alemã.

Hufner (2003) explicou o complexo processo de tomada de decisão em ES quando se tratou de requisitos legais e administrativos, planejamento e questões financeiras na República Federal da Alemanha. Ele analisou o aumento da privatização da ES e os problemas jurídicos e financeiros que se seguiram. A introdução de novos sistemas de trabalho baseados em indicadores de desempenho gerou grandes mudanças no status e nas estruturas legais de gestão da ES. Embora essas mudanças tenham levado a um aumento drástico do número de alunos no período entre 1975 e 2000, chegando a aproximadamente 1,8 milhão (HUFNER, 2003), as vagas para os alunos não sustentaram o crescimento, tampouco a quantidade de professores.

Algumas declarações públicas definiram este momento complexo na ES alemã e são apresentadas aqui. Michael Daxner, em 1996, ex-vice-chanceler da Universidade de Oldenburg, declarou que "[...] a universidade é um sistema extremamente complicado, no qual algumas partes funcionam muito bem, outras não, e outras permanecem estagnadas"; Dieter Simon, vice-chanceler do Wissenschaftsrat (Conselho de Ciência), disse que "[...] as universidades estavam podres ao seu lado" (HUFNER, 2003, p. 148).

A emenda de 1998 à Hochschulrahmengesetz (Lei Básica Federal do Ensino Superior) reformou o sistema de ES na Alemanha, criando concorrência e diferenciação através da desregulamentação, diretrizes de desempenho e com a introdução de incentivos de desempenho. Estas reformas fizeram parte da política para aumentar a competitividade em ES na Alemanha e fomentar importantes medidas de incentivo, tais como financiamento público das IES, alocação de recursos, em nível institucional e departamental, além disso, eles se basearam diretamente em indicadores de desempenho (HUFNER, 2003).

Segundo Santos (2001), a Conferência Permanente de Ministros da Educação e Assuntos Culturais (KMK) promoveu um certo alinhamento de políticas entre os diferentes Estados, embora suas deliberações não sejam vinculantes e só afetem as IES após refletirem-se nas políticas e normas de seus respectivos estados federais.

Procedimentos de avaliação para o ensino foram introduzidos pelas recomendações do Hochschulrektorenkonferenz, da Conferência Alemã de Reitores (HRK) e Wissenschaftsrat para promover a transparência, perfil, imagem e competitividade da ES alemã, fortalecer a responsabilidade institucional e apoiar as IES na introdução de medidas de promoção sistemática da qualidade.

Através de um acordo celebrado entre o HRK e o KMK foi criado um sistema de acreditação, o Akkreditierungsrat (Conselho de Credenciamento) e as agências começaram a ser credenciadas por ele. Todo o sistema de acreditação teve que ser projetado e construído do zero. Seis agências foram credenciadas com o direito de conceder o Siegel des Akkreditierungsrates, (Certificado de Qualidade da Akkreditierungsrat) para Bacharel e Mestrado das IES (ERICHSEN, 2004).

A investigação de Harris Huemmert (2008) criticou a Alemanha por não ter normas para a seleção de avaliadores de ES nem para avaliar seu desempenho. A análise contextualiza os processos de avaliação da ES na Alemanha, utilizando um estudo de caso de uma avaliação da ciência educacional em Baden Wurttemberg e explora a forma como os especialistas foram selecionados. Este estudo descreve os problemas encontrados e conclui sugerindo que poderia haver espaço para a introdução de normas na seleção de avaliadores no cenário de avaliação da ES na Alemanha.

Em um estudo atual, Orr e Hovdhaugen (2014) defenderam a ampliação do acesso à ES de acordo com a agenda política europeia, utilizando uma rota de "segunda chance" que eliminaria o critério de escolaridade no ensino médio como fator decisivo no acesso à ES. Esta análise compara a abordagem de rotas semelhantes na Alemanha, Noruega e Suécia, que apresentam diferentes formas, princípios e obrigações para as IES. Orr e Hovdhaugen (2014) avaliaram o impacto da implantação de segunda oportunidade de ampliar a participação na ES e discutiram a contribuição dessas medidas para o acesso à educação inclusiva no país.

A Figura 1 apresenta o mapeamento do sistema de acreditação alemão e detalha as influências formais e informais decorrentes da descentralização do modelo.

Fonte: Adaptado de Serrano-Velarde (2008) e Erichsen (2004).

Figura 1 Sistema de Acreditação na Alemanha e as influências formais e informais 

Reino Unido

Classificada em 10º lugar no Global Competitiveness Index 2015-2016, o Reino Unido se destacou pela forte capacidade de suas instituições públicas e privadas de atrair talentos do exterior, por ter algumas das melhores universidades do mundo e por seus altos níveis de adoção tecnológica (SCHWAB; SALA-I-MARTIN; SAMANS; BLANKE, 2015). Ainda de acordo com o Global Competitiveness Index 2015-2016, na categoria Ensino Superior e Treinamento, o país alcançou a 18ª posição no ranking, ficando atrás da Alemanha. Vale ressaltar que, no item Qualidade de Gestão das Escolas, alcançou a 3ª posição no ranking geral (SCHWAB; SALA-I-MARTIN; SAMANS; BLANKE, 2015).

A literatura sobre Garantia da Qualidade das IES no Reino Unido é bastante extensa (BARKER, 2007; ELTON, 2000; KOGAN, 1989; STEWART, 2005). A principal característica do Reino Unido é a vasta autonomia das universidades, que não são percebidas como instituições públicas. O governo não intervém diretamente na IES, mas indiretamente através de conselhos de pesquisa, que possuem um referencial externo para a atuação estratégica nas IES (SERRANO-VELARDE, 2008).

Nesta seção, foram considerados os cenários de qualidade e avaliação em ES no Reino Unido. A preocupação com os padrões de qualidade e avaliação utilizadas em ES foi destacada em várias abordagens (HARVEY, 1995, 2002; ATHANASSOPOULOS, SHALE, 1997; KANJI, MALEK, TAMBI, 1999; BLANDEN, MACHIN, 2004; JACKSON, BOHRER, 2010; MEDLAND, 2014; NAZARKO, ŠAPARAUSKAS, 2014).

Athanassopoulos e Shale (1997) realizaram um estudo comparativo em que mediram o desempenho corporativo de 45 IES no Reino Unido. Iniciativas governamentais neste setor deram ênfase à accountability, custo-benefício (Value for Money) e controle de custos, incentivadas pelos ideais da abordagem New Public Management (NPM) e sua derivação, no esquema oficial de atribuição de pesos seguido pela agência de financiamento para estabelecer medidas e critérios para a atribuição de recursos às universidades. Ao usar a abordagem do Value for Money, a qualidade passa a ser avaliada em termos de retorno do investimento ou despesas. Quando usamos a abordagem do Value for Money na educação, estamos enfatizando a responsabilidade. Nos serviços públicos, incluindo a educação, espera-se que as entidades que financiam e fomentam sejam responsáveis. Ao concentrar seu estudo no controle de custos, Athanassopoulos e Shale (1997) adotaram dois modelos distintos para a definição de desempenho: minimização de custos e maximização de resultados. Ambos os modelos devem ser complementares para medir a eficiência de custos nos resultados das IES. As estatísticas sobre as atividades nas universidades atingiram seu potencial máximo quando foram usadas para definir conceitos amplos de desempenho e alcance de metas, levando em consideração as missões institucionais. O estudo considerou seis universidades no Reino Unido como eficientes; estas IES demonstraram um desempenho individual satisfatório em todos os testes de acordo com a metodologia proposta (ATHANASSOPOULOS; SHALE, 1997).

Uma pesquisa sobre Gestão da Qualidade Total (GQT), realizado em ES no Reino Unido por Kanji, Malek e Tambi (1999) relataram que o uso de GQT é bastante lento, com apenas algumas universidades a utilizá-la. Essas IES se beneficiaram do uso de GQT (KANJI, 1998), semelhante às suas contrapartes nos EUA, quando se trata de desempenho dos alunos, melhoria de serviços, redução de custos e satisfação do cliente. Os autores consideraram como os princípios e conceitos da GQT foram medidos para fornecer um meio de avaliar a qualidade em vários aspectos dos processos internos nas IES. Os princípios e conceitos-chave da GQT provaram ser fatores críticos de sucesso e espelharam o desempenho das instituições. Durante o estudo, o Modelo de Business Excellence (KANJI, 1998) demonstrou várias vantagens e uma capacidade para resolver inúmeras insuficiências, que parecia melhor do que outros modelos.

Em um estudo de monitoramento externo da qualidade em ES, Harvey (2002) examinou as diferentes agências externas e seus modus operandi. Sua prerrogativa é que a avaliação externa legitima o status quo e se preocupa com o método, ignorando a natureza e os estilos de aprendizagem. Harvey critica o uso de indicadores estatísticos como ferramentas de avaliação, pois, segundo ele, estes têm limitações quando utilizados como medidas de desempenho de qualidade. Ele contesta que, para que a autoavaliação funcione, deve haver uma revisão por pares, mas, se for parcial, o julgamento pode ser distorcido, visto que se baseou em discrepâncias e no julgamento pessoal (HARVEY, 2002). Harvey (2002) é bastante radical quando propõe que as agências de monitoramento da ES precisam se preocupar com a qualidade e lidar com as implicações que a qualidade traz à aprendizagem dos alunos. De modo que deixem de ser agências preocupadas com responsabilidade e conformidade e comecem a levantar questões importantes sobre como melhorar o aprendizado dos alunos.

Fonte: adaptado de Jackson e Bohrer (2010).

Figura 2 Evolução do processo de avaliação da Agência de Garantia da Qualidade - (Quality Assurance Agency - QAA) 

Ao analisar a qualidade e os padrões em ES no Reino Unido, Jackson e Bohrer (2010) discutiram a responsabilidade de garantir a qualidade no país. O estudo destacou algumas características do sistema britânico, que é baseado em instituições autônomas e auto-reguladoras (Figura 2).

Durante a análise, Jackson e Bohrer (2010) questionaram o processo de transição durante a consolidação do ciclo de avaliação de 2006-2011. Também foi possível identificar o papel histórico desempenhado pela Agência de Garantia da Qualidade (QAA), que, inicialmente, foi dividida em avaliações institucionais e avaliações de cursos (programas). As primeiras foram realizadas por meio de auditorias do Conselho Superior de Qualidade da Educação (HEQC); as últimas foram realizados por meio de avaliação de qualidade, utilizando ferramentas subjetivas estabelecidas pelo Conselho de Financiamento da Educação Superior da Inglaterra (HEFCE).

Durante a abordagem histórica, Jackson e Bohrer (2010) também apresentaram as organizações que precederam a QAA, que estabeleceram tanto os sistemas quanto os processos atualmente usados para indicar a garantia de padrões acadêmicos no Reino Unido. Em suma, os processos de auditoria pela QAA são conduzidos por avaliadores que são altos funcionários nomeados por instituições e treinados pela agência. Eles analisam a documentação e se reúnem com funcionários e alunos para avaliar a eficiência dos sistemas de qualidade. Suas descobertas são disponibilizadas em relatórios publicados pela QAA. A partir de janeiro de 2010, os alunos se juntaram às equipes de auditoria em uma experiência piloto.

Estudos mais recentes no Reino Unido investigaram a capacidade de resposta das IES, o perfil dos administradores, a proporção e os problemas criados pelos estudantes estrangeiros, a prioridade e a resistência à avaliação e aos processos de garantia de qualidade em ES no país (HEMPSALL, 2014; HOGAN, 2014; LUCAS, 2014; MCDONALD, 2014; MEDLAND, 2014).

Ao estudar a liderança na IES, Hempsall (2014) foi incapaz de identificar um nível eficiente de prontidão ou capacidade de resposta que se esperaria na era do conhecimento nos EUA, no Reino Unido e na Austrália. Hogan (2014) examinou os administradores em ES no Reino Unido e notou que os perfis estão se tornando mais flexíveis. Funções administrativas são mais diversificadas. As mudanças tecnológicas criaram novos papéis e oportunidades e também a possibilidade de desenvolvimento de carreira para o pessoal. Os estudantes estrangeiros são responsáveis por uma parcela crescente da população estudantil no Reino Unido. Um estudo realizado por McDonald (2014) abordou as complicações adicionais trazidas pelo apoio a estudantes estrangeiros, com foco especial em questões culturais, e fez recomendações sobre como melhorar suas práticas no Reino Unido.

Ao enfatizar o papel da avaliação no apoio ao desenvolvimento do aluno durante os processos e práticas de avaliação em ES, Medland (2014) contribui para a discussão sobre avaliação em ES no Reino Unido, apresentando uma visão geral do papel da avaliação na mudança curricular atual como maneira de melhorar a avaliação. Analisou-se a resistência acadêmica aos processos de garantia de qualidade em ES e à avaliação do trabalho de pesquisa no Reino Unido. Os processos de qualidade foram vistos como uma tecnologia corretiva (BLACKMORE, 2009) e são uma parte importante da abordagem da NPM introduzida no setor. Os processos foram introduzidos para monitorar e controlar o trabalho acadêmico em relação ao ensino e pesquisa em IES no Reino Unido nos últimos 20 anos. Estudiosos de contextos específicos começaram a desafiar e resistir a discursos e posições (THOMAS; DAVIES, 2005) que lhes estavam sendo impostos (LUCAS, 2014).

Metodologia

Este estudo caracteriza-se como uma pesquisa descritiva, uma vez que buscou descrever o fenômeno social de avaliação e acreditação em ES com base na prática de agências de avaliação na Europa. Para apoiar a revisão de literatura sobre mecanismos de garantia da qualidade e cenários de ES, do ponto de vista da avaliação e qualidade, realizou-se pesquisa em bancos de dados de referência, baseada em artigos selecionados de periódicos relevantes da área de conhecimento da educação e ensino superior e com fator de impacto relevante. Ao analisar as dimensões discutidas nos artigos selecionados de diferentes países, foi possível identificar as principais questões referentes à qualidade e avaliação, nos estudos realizados ou aplicados em ES.

Foi adotado um modelo de diagramas hierárquicos para representar visualmente, nos enunciados, os elos significativos entre os conceitos descobertos. Trata-se de um mapa conceitual amplamente utilizado em estudos de gestão do conhecimento e pode ser entendido como um diagrama bidimensional, cuja principal função é apresentar conceitos organizados hierarquicamente e as relações entre os conceitos. As linhas de conexão representam a relação entre os conceitos (MOON; HOFFMAN; NOVAK, 2011). O software usado para criar os mapas conceituais foi o Cmap Tools Knowledge Modeling Kit. Esta é uma ferramenta metodológica que utiliza a teoria da assimilação para determinar o que se conhece ou se descobriu durante a revisão da literatura (CAÑAS; FORD; COFFEY; REICHHERZER; CARFF, 2000). O recente estudo de Hagemans, Van der Meij e de Jong (2013) relata a experiência de alunos que visualizaram o mapa conceitual e superaram alunos que realizaram apenas uma análise descritiva. Os resultados mostram que o uso de mapas conceituais ajuda a melhorar o aprendizado e a descobrir conexões entre conceitos.

A utilização de mapas conceituais para demonstrar conceitos e relações descobertos nos países estudados é justificada, ao levarmos em consideração as contribuições cognitivas dos mapas conceituais acima mencionados.

Discussão

Esta seção apresenta uma visão geral do processo de avaliação e credenciamento na Europa: os resultados identificados e o mapeamento do cenário europeu de garantia de qualidade e avaliação em ES nos países pesquisados.

Alemanha

Foi elaborada uma síntese bidimensional baseada nos achados da revisão de literatura, que será demonstrada através de um mapa conceitual da revisão da literatura (Figura 3).

Fonte: Elaborado pelos autores.

Figura 3 Concept mapping of quality and evaluation in European HE - Germany and United Kington 

O mapa tem como objetivo apresentar a avaliação da qualidade no cenário de ES na Alemanha e demonstra o desenvolvimento da avaliação, o aumento da ES privada no país e as reformas do ensino superior. Aborda a falta de normas no que diz respeito à seleção de avaliadores de Educação Superior, e políticas que visam expandir o ensino superior no país, incluindo o estabelecimento de rotas de acesso alternativas e inclusivas.

Particular atenção deve ser dada à resistência e às dificuldades encontradas no país no que diz respeito à publicação dos resultados da avaliação pelas IES, assim como a recusa em criar uma classificação pública por parte das autoridades e instituições governamentais. Há também a questão das marcantes diferenças na qualificação dos docentes internamente e entre as IES, o que é preocupante, e seu impacto deve ser analisado nas políticas de ES. A introdução de novas políticas de ES, com o apoio do financiamento público como forma de impulsionar o desempenho nas IES, é um fator relevante quando se trata de qualidade em ES no país.

Atualmente, de acordo com o IIE (2013), a Alemanha recebeu 6% do total de 4,5 milhões de estudantes matriculados no mundo, alcançando o quinto lugar como país anfitrião dos estudantes. Esse resultado pode confirmar o sucesso das políticas de internacionalização implementadas no país e explica alguns dos impactos citados na Tabela 1. Além disso, nas universidades voltadas para a tecnologia, a Technische Universitäten e nas faculdades menores, as Fachhochsulen, 40% dos Programas de Ensino Superior podem levar a um duplo diploma, incluindo em seus currículos um período de estudo no exterior (EPCCE, 2015).

Tabela 1 Visão Geral da Educação Superior na Alemanha 

Pontos Críticos - Resistência à política de publicação de classificações universitárias
- Resistência institucional e política à publicação de resultados de avaliação das IES
- Baixo financiamento de ES nos anos 80 e 90
- Diferenças marcantes na qualificação do corpo docente nas IES
- Condições precárias de ensino nas IES; poucas medidas para controle de qualidade
- Ausência de critérios específicos ao realizar avaliação interna e externa
- Sérios problemas ao comparar o desempenho entre universidades
Melhorias Aplicadas - Introdução de novos sistemas de financiamento como política para desenvolver a ES
- Novas políticas voltadas para o aumento da competitividade em ES
- Mudanças nos critérios de acesso à ES utilizados como incentivo - introdução de uma rota alternativa (second choice).
- Políticas baseadas em indicadores de desempenho na ES
- A mudança de 1998 para Hochschulrahmengesetz, que implementou uma reforma da ES na Alemanha
- Estabelecimento de normas para os relatórios anuais sobre educação sugeridos na Conferência dos Reitores e Vice-Chanceleres das Universidades e IES
- Fundação do Centro de Desenvolvimento do Ensino Superior (Zentrum), que visou promover a qualidade da ES através de avaliações internas e externas do desempenho do corpo docente.
Impactos Gerados pelas Mudanças - Aumento drástico do número de alunos até o ano 2000, atingindo 1,8 milhões de matrículas, mas o número de professores não sustentou esse crescimento
- A relação professor / aluno aumentou de 1/16 para 1/24
- Desregulamentação do ensino, ênfase em indicadores de desempenho e incentivos (aumento de recursos) com base no desempenho, criados pela Hochschulrahmengesetz (Lei Federal Básica do Ensino Superior).

Fonte: Produzido com base no mapeamento conceitual de qualidade e avaliação da ES na Alemanha (EL HAGE, 1997; HÜFNER, 2003; HARRIS HUEMMERT, 2008; ORR, HOVDHAUGEN, 2014).

A Tabela 1 apresenta uma visão geral textual e complementar das políticas de qualidade na ES da Alemanha. Foi elaborada com base nos estudos de El Hage (1997), Hüfner (2003), Harris Huemmert (2008) e Orr e Hovdhaugen (2014) e destaca os principais pontos críticos da ES na Alemanha, as iniciativas propostas e implementadas em busca de melhorias, e os principais impactos gerados pelas mudanças na ES.

A seção a seguir fornece uma visão geral das descobertas inerentes às políticas de qualidade na ES do Reino Unido.

Reino Unido

A Figura 3 apresenta o resultado da revisão de literatura no país através do diagrama bidimensional, as políticas da qualidade do Reino Unido são caracterizadas através do mapa conceitual. O mapeamento pretende apresentar o cenário da avaliação da qualidade em ES no Reino Unido de forma mais visual.

Os principais conceitos foram destacados através do uso de retângulos e setas direcionais, que mostram a conexão entre os conceitos, bem como breves descrições ao longo das setas. Conceitos chave sobre características de qualidade em ES no Reino Unido e na Alemanha constam na Figura 3.

Vale a pena mencionar as políticas governamentais bem definidas de responsabilidade, value for money e controle de custos. A preocupação com a garantia da qualidade e mecanismos de segurança da qualidade são mostradas nas características de autonomia das IES, como a auto regulação e o funcionamento autônomo das IES, com base no valor da política monetária. Essa dedicação à garantia de padrões acadêmicos, usando GQT, alcançou resultados em termos de bom desempenho e se tornou um fator chave de sucesso nas IES do país.

O cenário NPM, no contexto da ES, pode ser entendido no mapeamento como a causa da resistência e dos conflitos na academia, especialmente a preocupação excessiva com os métodos e o monitoramento e controle da qualidade, e a inexistência de foco na melhoria da aprendizagem.

A Tabela 2 apresenta uma visão geral textual e complementar da ES no Reino Unido e destaca os principais pontos críticos, as iniciativas propostas e implementadas em busca de melhorias e os principais impactos gerados pelas mudanças na ES.

Tabela 2 Visão Geral da Educação Superior no Reino Unido 

Pontos Críticos - Necessidade de medir a performance corporativa das universidades
- Progresso lento da GQT nas universidades, poucas adoções
- Monitoramento externo da qualidade do HE
- IES autônomas e com autorregulação
Melhorias implementadas - Estabelecimento de metas e critérios para alocação de recursos às universidades com ênfase na NGP, dando ênfase ao accountability, value for Money e controle de custos no ensino superior.
- Utilização, nas IES adotantes, da GQT para melhoria dos processos internos.
- Crítica quanto ao ceticismo do accountability e compliance requerido pelas agências de avaliação
- Discussão do papel e evolução da agência QAA no processo de avaliação da ES.
- Mudança no perfil das atividades administrativas, criando novos papéis e oportunidades de crescimento profissional.
Impactos das mudanças - Atividades das universidades atingindo seu valor potencial. Considerando a aplicação dos modelos de minimização de custos e maximização de resultados.
- Nas IES que adotaram o GQT, o modelo de business excellence (Kanji, 1998) tem melhores resultados que os demais modelos de gestão da qualidade.
- Necessidade de considerar na avaliação externa das IES questões pertinentes a melhoria do aprendizado dos estudantes.
- As avaliações das agências de qualidade (QAA) têm evoluído e passaram a incluir estudantes das IES nas equipes de auditoria.
- Aumento dos estudantes internacionais no HE gera necessidade de política para melhorar sua prática.
- Resistência acadêmica à imposição de práticas e discursos oriundos da NGP no ambiente de ensino e pesquisa.

Fonte: Elaborado com base no mapeamento conceitual da qualidade e avaliação do ensino superior na UK.

Considerações finais

O modelo europeu de acreditação sugerido pela Rede Europeia para a Garantia da Qualidade no Ensino Superior (ENQA) foi o ponto de referência para o mapeamento da ES nos diferentes países. A ação das agências de acreditação em ES é primordial quando se trata do controle e coleta de dados estatísticos das realidades de ensino nesses países.

O estudo apresentou as principais definições de qualidade, bem como as ferramentas usadas para garantir a qualidade em ES na Alemanha e no Reino Unido. Foi criado um mapeamento conceitual da ES nesses países. Também foram discutidas as características, restrições e evolução dos processos de acreditação, avaliação e revisão por pares. Os principais pontos de ação das políticas de qualidade e agências de qualidade em ES e sua situação atual de desenvolvimento também foram demonstrados.

Quanto à análise da ES na Alemanha, El Hage (1997) destacou os principais resultados positivos e as melhorias que surgiram após a reforma no sistema de ensino alemão, com especial atenção para as mudanças realizadas em 1998 com o Hochschulrahmengesetz, a Lei Federal Básica do Ensino Superior na Alemanha e a implementação de novas políticas públicas com ênfase em indicadores de desempenho em ES (HUFNER, 2003). Também é mencionado o aumento da competitividade e a consequente melhoria na qualidade do ensino através da ampliação da oferta pelas novas IES privadas. É importante notar que essas mudanças trouxeram um aumento no número de estudantes em ES na Alemanha (ORR; HOVDHAUGHEN, 2014) após o ano 2000. No entanto, a desvantagem foi que a força de trabalho qualificada, de acordo com Hufner (2003), não acompanhou a expansão do ensino, o que levou a um aumento de 33% da relação professor-aluno nas universidades alemãs, bem como diversos problemas jurídicos relativos à regulação e avaliação institucional das novas IES (HÜFNER, 2003; HARRIS HUEMMERT, 2008).

Com referência à ES no Reino Unido, a ênfase na responsabilização orientou as discussões principais e mostrou que os resultados positivos em ES neste país foram devidos às iniciativas, como o value for money e o controle de custos (ATHANASSOPOULOS; SHALE, 1997); aos mecanismos de garantia da qualidade (KANJI, 1998); e de asseguração de qualidade (KANJI, MALEK, TAMBI, 1999). Principalmente, essas são características das políticas públicas que asseguram autonomia e autorregulação em ES (HARVEY, 2002) no Reino Unido. Neste país, a dedicação em garantir que os padrões acadêmicos com recursos para a GQT alcancem bons resultados de desempenho tornou-se um fator crucial de sucesso para as IES. O cenário da NPM, no contexto da ES, trouxe à luz processos de qualidade (BLACKMORE, 2009). Os estudos recentes realizados no Reino Unido fornecem um quadro muito favorável de seu estágio de desenvolvimento, destacando a capacidade de resposta das IES, o perfil de formação de administradores da ES, a grande proporção de estudantes estrangeiros no país, a preocupação em minimizar conflitos culturais, a prioridade dada à avaliação em ES e processos de garantia de qualidade nas instituições de ensino superior britânicas (HEMPSALL, 2014; HOGAN, 2014; LUCAS, 2014; MCDONALD, 2014; MEDLAND, 2014).

Do ponto de vista da responsabilidade institucional, na Alemanha e no Reino Unido, as lições aprendidas concentraram-se em melhorias baseadas no desempenho em relação aos padrões previamente estabelecidos. Observou-se também a adoção de parâmetros de acreditação, combinando indicadores de desempenho, autoavaliação e revisão por pares, aplicados a cursos e programas e controlados por agências de credenciamento de cada país. Essas políticas acabaram convergindo nesses dois países e atendendo aos preceitos de Massy (1997; 2010).

As políticas de qualidade identificadas neste estudo tendem a conduzir seus resultados com base na eficiência (mecanismos de controle) e acabam estimulando a competição entre as IES, o que pode levar, no caso do Reino Unido, a uma descentralização administrativa ou, em ambos os casos, Alemanha e Reino Unido, para uma ênfase na eficiência, levando em consideração a eficácia do custo-benefício na alocação de recursos e os resultados que as IES obtêm em suas avaliações externas.

O mapeamento conceitual sugerido neste artigo pode contribuir para comparar a eficiência das políticas públicas em ES nos dois países mencionados, considerando que a ferramenta atualmente utilizada pelas agências de avaliação da qualidade possui muitos pontos em comum na União Europeia.

Quanto às ações dos órgãos de acreditação e regulação em ES, embora existam semelhanças nos mecanismos de garantia, por meio das políticas educacionais em uso norteadas pela ENQA, é necessário um estudo mais aprofundado, focando exclusivamente nas ações e resultados dessas agências, o que complementaria e explicaria o cenário mapeado neste documento.

1Where an agency is found to be either partially compliant or non-compliant with a criterion, the reason for this should be explained. Full or substantial compliance may be impossible for some agencies, owing to restrictions placed on them by the very nature of their work and/or legislation in place in their country (ies) of operation. When considering such cases, the ENQA Board will take mitigating circumstances such as these into account.

Referências

AMARAL, Alberto; ROSA, Maria João. International review of the Portuguese quality assurance system. In: BESO, Anela; BOLLAERT, Lucien; CURVALE, Bruno; TOFT JENSEN, Henrik; HARVEY, Lee; HELLE, Emmi; MAGUIRE, Brian; MIKKOLA, Anne; SURSOCK, Andrée. Implementing and using quality assurance: strategy and practice. A selection of papers from the 2nd European quality assurance Forum. Italy: Università di Roma, 2008. [ Links ]

ATHANASSOPOULOS, Antreas; SHALE, Estelle. Assessing the Comparative Efficiency of Higher Education Institutions in the UK by the Means of Data Envelopment Analysis. Education Economics, v. 5, n. 2, p. 117-134, 1997. Disponível em: <https://doi.org/10.1080/09645299700000011> Acesso em: 12 jan. 2019. [ Links ]

ANDERSON, Garry. Correlational research. In: ANDERSON, Garry; ARSENAULT, Nancy. (Org.). Fundamentals of educational research. London: Falmer Press Teachers Library. 1999. [ Links ]

BARKER, Katharine. The UK Research Assessment Exercise: the evolution of a national research evaluation system. Research evaluation, v. 16, n. 1, p. 3-12, 2007. Disponível em: <https://doi.org/10.3152/095820207X190674> Acesso em: 21 dez. 2019. [ Links ]

BERNER, Heike; RICHTER, Roland. Accreditation of degree programmes in Germany. Quality in Higher Education, v. 7, n. 3, p. 247-257, 2001. Disponível em: <https://doi.org/10.1080/13538320120098122> Acesso em: 12 nov. 2018. [ Links ]

BLACKMORE, Jill. (2009). Academic pedagogies, quality logics and performative universities: evaluating teaching and what students want. Studies in Higher Education, v. 34, n. 8, p. 857-872, 2009. Disponível em: <https://doi.org/10.1080/03075070902898664> Acesso em: 15 nov. 2018. [ Links ]

BLANDEN, Jo; MACHIN, Stephen. Educational Inequality and the Expansion of UK Higher Education. Scottish Journal of Political Economy, v. 51, n. 2, p. 230-249, 2004. Disponível em: <https://doi.org/10.1111/j.0036-9292.2004.00304.x> Acesso em: 1º out. 2018. [ Links ]

BRENNAN, John; SHAH, Tarla. Managing quality in higher education: An international perspective on institutional assessment and change. Buckingham: OECD, 2000. [ Links ]

BRITTINGHAM, Barbara. Accreditation in the United States: how did we get to where we are? New Directions for Higher Education, p. 7-27, 2009. Disponível em: <https://doi.org/10.1002/he.331> Acesso em: 19 sep. 2018. [ Links ]

CAÑAS, Alberto; FORD, Kenneth; COFFEY, John; REICHHERZER, Thomas; CARFF, Roger. Herramientas para construir y compartir modelos de conocimiento basados en mapas conceptuales. Revista de Informática Educativa, v. 13, n. 2, p. 145-158, may-2000. [ Links ]

COSTES, Nathalie; CROZIER, Fiona; CULLEN, Peter; GRIFOLl, Josep. Quality Procedures in the European Higher Education Area and Beyond-Second ENQA Survey. European Association for Quality Assurance in Higher Education (ENQA) occasional papers 14. ENQA. Brussels: Belgium, 2008. Disponível em: <http://eric.ed.gov/?id=ED542058> Acesso em: 07 ago. 2018. [ Links ]

DILL, David. Designing academic audit: Lessons learned in Europe and Asia. Quality in Higher Education, v. 6, n. 3, p. 187-207, 2000. Disponível em: <https://doi.org/10.1080/13538320020005945> Acesso em: 27 nov. 2018. [ Links ]

DILL, David. Capacity building as an instrument of institutional reform: Improving the quality of higher education through academic audits in the UK, New Zealand, Sweden, and Hong Kong. Journal of Comparative Policy Analysis: Research and Practice, v. 2, n. 2, p. 211-234, 2000a. Disponível em: <https://doi.org/10.1080/13876980008412643> Acesso em: 03 fev. 2019. [ Links ]

EATON, Judith. An Overview of US Accreditation-Revised. Council for Higher Education Accreditation. Washington, DC: ERIC, 2012. [ Links ]

EL HAGE, Natalija. Evaluation of Higher Education in Germany. Quality in Higher Education, v. 3, n. 3, p. 225-233, 1997. Disponível em: <https://doi.org/10.1080/1353832970030303> Acesso em: 03 fev. 2019. [ Links ]

ELTON, Lewis. The UK research assessment exercise: unintended consequences. Higher Education Quarterly, v. 54, n. 3, p. 274-283, 2000. Disponível em: <https://doi.org/10.1111/1468-2273.00160> Acesso em: 4 jan. 2019. [ Links ]

EUROPEAN ASSOCIATION FOR QUALITY ASSURANCE IN HIGHER EDUCATION (ENQA). Guidelines for national reviews of ENQA member agencies. ENQA Board. Helsinki: European Association for Quality Assurance in Higher Education, 2006. Disponível em: <http://siupt.uportu.pt/content/files/gqa/ENQA_Guidelines_for_national_reviewsDez2006.pdf> Acesso em: 29 dez. 2018. [ Links ]

EUROPEAN PARLIAMENT'S COMMITTEE ON CULTURE AND EDUCATION (EPCCE). Internationalization of Higher Education. European Union: European Parliament, 2015. [ Links ]

ERICHSEN, H.U. Quality Assurance and Accreditation in Germany. In: DI NAUTA, Primiano; OMAR, Pirjo-Liisa; SCHADE, Angelika; SCHEELE, Jacob (Org.). Accreditation Models in Higher Education − experiences and perspectives. Helsinki: ENQA Workshop Reports 3, 2004. [ Links ]

FANDEL, Günter. On the performance of universities in north rhine-Westphalia, Germany: Government? Redistribution of funds judged using DEA efficiency measures. European Journal of Operational. Research, v. 176, n. 1, p. 521-533, 2007. Disponível em: <https://doi.org/10.1016/j.ejor.2005.06.043> Acesso em: 15 dez. 2018. [ Links ]

HAGEMANS, Mieke; VAN DER MEIJ, Hans; DE JONG, Ton. The effects of a concept map-based support tool on simulation-based inquiry learning. Journal of Educational Psychology, v. 105, n.1, p. 1-24, 2013. Disponível em: <https://doi.org/10.1037/a0029433> Acesso em: 15 ago. 2018. [ Links ]

HARRIS HUEMMERT, Susan. Evaluators of Higher Education in Germany: Are They "Fit For Purpose"? Quality in Higher Education, v. 14, n. 1, p. 55-65, 2008. Disponível em: <https://doi.org/10.1080/13538320802011722> Acesso em: 15 nov. 2018. [ Links ]

HARVEY, Lee. Beyond TQM. Quality in Higher Education, v. 1, n. 2, p. 123-146, 1995. Disponível em: <https://doi.org/10.1080/1353832950010204> Acesso em: 12 dez. 2018. [ Links ]

HARVEY, Lee. Evaluation for What? Teaching in Higher Education, v. 7, n. 3. p. 245-263, 2002. Disponível em: <https://doi.org/10.1080/13562510220144761> Acesso em: 03 ago. 2018. [ Links ]

HARVEY, Lee; WILLIAMS, James. Fifteen Years of Quality in Higher Education. Quality in Higher Education, v. 16, n. 1, p. 3-36, 2010. Disponível em: <https://doi.org/10.1080/13538321003679457> Acesso em: 01 jul. 2018. [ Links ]

HEMPSALL, Kay. Developing leadership in higher education: perspectives from the USA, the UK and Australia. Journal of Higher Education Policy and Management, v. 36, n. 4, p. 383-394, 2014. Disponível em: <https://doi.org/10.1080/1360080X.2014.916468> Acesso em: 25 nov. 2018. [ Links ]

HOGAN, John. Administrators in UK higher education: who, where, what and how much? Perspectives: Policy and Practice in Higher Education, v. 18, n. 3. p. 76-83, 2014. Disponível em: <https://doi.org/10.1080/13603108.2014.930073> Acesso em: 25 nov. 2018. [ Links ]

HIGHER EDUCATION FUNDING COUNCIL OF ENGLAND (HEFCE). Quality Assessment. Consultation Paper. Bristol: HEFCE, 1992. [ Links ]

HIGHER EDUCATION FUNDING COUNCIL OF ENGLAND (HEFCE). Research Assessment Exercise 2008: the outcome. Bristol: HEFCE, 2008. [ Links ]

HIGHER EDUCATION QUALITY COUNCIL (HEQC). Learning from Audit. London: HEQC, 1994. [ Links ]

HÜFNER, Klaus. Governance and Funding of Higher Education in Germany. Higher Education in Europe, v. 28, n. 2, p. 145-163, 2003. Disponível em: <https://doi.org/10.1080/03797720304104> Acesso em: 13 dez. 2018. [ Links ]

INSTITUTE OF INTERNATIONAL EDUCATION (IIE). Project Atlas: trends and global data 2013, 2013. Disponível em: <http://www.iie.org/en/Research-and-Publications/Project-Atlas> Acesso em: 09 dez. 2018. [ Links ]

JACKSON, Stephen; BOHRER, Janet. Quality assurance in higher education: Recent developments in the United Kingdom. Research in Comparative and International Education, v. 5, n. 1, p. 77-87, 2010. Disponível em: <https://doi.org/10.2304/rcie.2010.5.1.77> Acesso em: 19 jan. 2019. [ Links ]

KANJI, Gopal. Measurement of business excellence. Total Quality Management, v. 9, n. 7, p. 633-643, 1998. Disponível em: <https://doi.org/10.1080/0954412988325> Acesso em: 21 jan. 2019. [ Links ]

KANJI, Gopal; MALEK, Abdul; TAMBI, Bin A. Total quality management in UK higher education institutions. Total Quality Management, v. 10, n. 1, p.129-153, 1999. Disponível em: <https://doi.org/10.1080/0954412998126> Acesso em: 04 jan. 2019. [ Links ]

KASTELLIZ, Dietlinde; MITTERAUER, Barbara. (2014). Quality Audit in the European Higher Education Area: a Comparison of Approaches. Vienna: Facultas Verlags - und Buchhandels, 2014. Disponível em: <http://www.pedocs.de/frontdoor.php?source_opus=12088> Acesso em: 17 jan. 2019. [ Links ]

KELLEY, Craig; TONG, Pingsheng; CHOI, Beom-Joom. A review of assessment of student learning programs at AACSB schools: A dean's perspective. Journal of Education for Business, v. 85, n. 5, p. 299-306, 2010. Disponível em: <https://doi.org/10.1080/08832320903449519> Acesso em: 24 jan. 2019. [ Links ]

KEMPKES, Gerhard; POHL, Carsten. The efficiency of German universities: Some evidence from nonparametric and parametric methods. Applied Economics, v. 42, n. 16, p. 2063-2079, 2010. Disponível em: <https://doi.org/10.1080/00036840701765361> Acesso em: 09 fev. 2019. [ Links ]

KNUPFER, Nancy; MCLELLAN, Hilary. Descriptive research for educational communications and technology. New York: Macmillan USA, 1996. [ Links ]

KOGAN, Maurice. Evaluating Higher Education. Papers from the International Journal of Institutional Management in Higher Education. Centre for Educational Research and Innovation. Organisation for Economic Co-operation and Development (OECD). Bristol/PA: Taylor & Francis, 1989. [ Links ]

LUCAS, Lisa. Academic resistance to quality assurance processes in higher education in the UK. Policy and Society, v. 33, n. 3, p. 215-224, 2014. Disponível em: <https://doi.org/10.1016/j.polsoc.2014.09.006> Acesso em: 19 jan. 2019. [ Links ]

MASSY, William. Teaching and Learning Quality‐process Review: the Hong Kong programme. Quality in Higher Education, v. 3, n. 3, p. 249-262, 1997. Disponível em: <https://www.tandfonline.com/doi/abs/10.1080/1353832970030305> Acesso em: 01 nov. 2018. [ Links ]

MASSY, William. Academic audit for accountability and improvement. Achieving accountability in higher education: Balancing public, academic and market demands. San Francisco: Jossey-Bass, 2005. [ Links ]

MASSY, William. Education quality audit as applied in Hong Kong. Public Policy for Academic Quality, v. 30, n. 1, p. 203-225, 2010. Disponível em: <https://doi.org/10.1007/978-90-481-3754-1_11> Acesso em: 22 jan. 2019. [ Links ]

MCDONALD, Ian. Supporting international students in UK higher education institutions. Perspectives: Policy and Practice in Higher Education, v.18, n. 2, p. 62-65, 2014. Disponível em: <https://doi.org/10.1080/13603108.2014.909900> Acesso em: 22 jan. 2019. [ Links ]

MEADE, Philip; WOODHOUSE, David. Evaluating the effectiveness of the New Zealand Academic Audit Unit: Review and outcomes. Quality in Higher Education, v. 6, n. 1, p. 19-29, 2000. Disponível em: <https://doi.org/10.1080/13538320050001045> Acesso em: 23 jan. 2019. [ Links ]

MEDLAND, Emma. Assessment in higher education: drivers, barriers and directions for change in the UK. Assessment & Evaluation in Higher Education, v. 18. n. 2, p. 81-96, 2014. Disponível em: <https://doi.org/10.1080/02602938.2014.982072> Acesso em: 27 jan. 2019. [ Links ]

MELTZOFF, Julian. Critical thinking about research: Psychology and related fields. Washington DC: American Psychological Association, 1998. [ Links ]

MERTENS, Donna. Research methods in education and psychology: Integrating diversity with quantitative & qualitative approaches. London: Sage Publications, 1998. [ Links ]

MONTEIRO, Renato; PEREIRA, Cleber; SOUZA, Marcos. A necessidade da informação gerencial nas IES Públicas da Europa: breve abordagem pela realidade de Portugal. Revista Catarinense da Ciência Contábil, v. 14, n. 42, p. 9-24, 2015. Disponível em: <https://doi.org/10.16930/2237-7662/rccc.v14n42p9-24> Acesso em: 02 fev. 2019. [ Links ]

MOON, Brian; HOFFMAN, Robert; NOVAK, Joseph. Applied concept mapping: capturing, analysing, and organizing knowledge. Boca Ratom, Flórida: CRC Press Taylor & Francis Group, 2011. [ Links ]

NAZARKO, Joanicjusz; ŠAPARAUSKAS, Jonas. Application of DEA method in efficiency evaluation of public higher education institutions. Technological and Economic Development of Economy, v. 20, n. 1, p. 25-44, 2014. Disponível em: <https://doi.org/10.3846/20294913.2014.837116> Acesso em: 06 fev. 2019. [ Links ]

ORR, Dominic; HOVDHAUGEN, Elisabeth. "Second chance" routes into higher education: Sweden, Norway and Germany compared. International Journal of Lifelong Education, v. 33, n. 1, p. 45-61, 2014. Disponível em: <https://doi.org/10.1080/02601370.2013.873212> Acesso em: 06 fev. 2019. [ Links ]

PRINGLE, Charles; MICHEL, Mitri. Assessment Practices in AACSB-Accredited Business Schools. Journal of Education for Business, v. 82, n. 4, p. 202-211, 2007. Disponível em: <https://doi.org/10.3200/JOEB.82.4.202-211> Acesso em: 19 nov. 2018. [ Links ]

RAUHVARGERS, Andrejs; DEANE, Cynthia; PAWELS, Wilfried. Bologna Process Stocktaking Report 2009. Report from working groups appointed by the Bologna Followup Group to the Ministerial Conference in Leuven/Louvain-la-Neuve: Belgium, 2009. [ Links ]

SANTOS, Sérgio Machado dos. Análise comparativa dos processos europeus para a avaliação e certificação de sistemas internos de garantia da qualidade. Lisboa, Portugal: A3ES Readings, 2011. [ Links ]

SCHWAB, Klaus; SALA-IARTIN, Xavier; SAMANS, Richard; BLANKE, Jennifer. The global competitiveness Report 2015-2016: Highlights. In: World Economic Forum, 2015. Disponível em: <http://www3.weforum.org/docs/gcr/2015-<2016/Global_Competitiveness_Report_2015-2016.pdf> Acesso em: 08 dez. 2018. [ Links ]

SILVA-TRIVINO, Moises; RAMIREZ-GATICA, Soledad. External review teams training in Central America. Quality in Higher Education, v. 10, n. 3, p. 261-265, 2004. Disponível em: <https://doi.org/10.1080/1353832042000299540> Acesso em: 11 jan. 2019. [ Links ]

STEWART, Jim. The UK research assessment exercise. Human Resource Development International, v. 8, n. 4, p. 489-494, 2005. Disponível em: <https://doi.org/10.1080/13678860500355616> Acesso em: 14 nov. 2018. [ Links ]

THOMAS, Robin; DAVIES, Annette. Theorizing the micro-politics of resistance: New Public Management and Managerial Identities in the UK Public Services. Organization Studies, v. 26, n. 5, p. 683-706, 2005. Disponível em: <https://doi.org/10.1177/0170840605051821> Acesso em: 29 dez. 2018. [ Links ]

WARNING, Susanne. Performance differences in German higher education: empirical analysis of strategic group. Review of Industrial Organization, v. 24, n. 4, p. 393-408, 2004. Disponível em: <https://doi.org/10.1023/b:reio.0000037538.48594.2c> Acesso em: 19 jan. 2019. [ Links ]

Recebido: 15 de Março de 2019; Aceito: 15 de Abril de 2019

Doutorando Cléber Augusto Pereira, Universidade do Minho (Portugal), Escola de Economia e Gestão, Centro de Investigação em Ciência Política (CICP), ORCID ID: http://orcid.org/0000-0002-7704-2343. Email: kcleber@gmail.com

Prof. Ph.D. Joaquim Filipe Ferraz Esteves de Araújo, Universidade do Minho (Portugal), Programa de Doutorado em Ciências da Administração, Escola de Economia e Gestão, Centro de Investigação em Ciência Política (CICP), ORCID ID: http://orcid.org/0000-0001-8531-6036. Email: jfilipe@eeg.uminho.pt

Profa. Ph.D. Maria de Lourdes Machado-Taylor, Centro de Investigação em Políticas do Ensino Superior (CIPES-Portugal), Agência de Avaliação e Acreditação do Ensino Superior (A3ES-Portugal), ORCID ID: http://orcid.org/0000-0003-4774-2397. Email: lmachado@cipes.up.pt

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution NonCommercial, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que sem fins comerciais e que o trabalho original seja corretamente citado.