INTRODUÇÃO

A avaliação acadêmica é uma questão estudada há muito tempo na educação, como é o caso das avaliações do ensino superior no Brasil (^{Guimarães & Esteves, 2018}). Com relação a programas de pós-graduação, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) avalia tais programas há várias décadas (^{Rodrigues et al., 2020}). Atualmente, há uma modificação bastante relevante de critérios sendo examinada, utilizando conceitos da abordagem multidimensional.

Em termos de avaliações acadêmicas internacionais, reconhecem-se diversos rankings (^{Calderón et al., 2017}; Calderón & França, 2018a; ^{Dill & Soo, 2005}; ^{Eccles, 2002}; ^{Ganga-Contreras et. al., 2020}), que começaram a surgir no início do século XXI e vêm ganhando popularidade a cada ano. Hoje em dia, os rankings são considerados importantes por quase todas as instituições acadêmicas do mundo. Trata-se de um “selo de qualidade” oficial para as instituições que obtêm boas posições nesses rankings, o que aumenta sua capacidade de “vender seus produtos” no aquecido mercado da educação global. Os rankings acadêmicos podem até mesmo ser considerados um campo de pesquisa, dado o grande número de publicações a respeito desse assunto (^{Billaut et al., 2010}; Calderón & França, 2018b; ^{Gonçalves & Calderón, 2017}; ^{Herting, 2016}; ^{Liu & Cheng, 2005}; ^{Marginson & Wende, 2007}; ^{Bernhard, 2012}; ^{Shin et al., 2011}; ^{Sorz et al., 2015}; ^{Stack, 2016}; ^{Raan, 2005}; ^{Webster, 2001}; ^{Aguillo et al., 2010}; Aguillo et al., 2006; ^{Théry, 2010}).

O conceito de avaliação multidimensional de instituições acadêmicas, tal como vem sendo compreendido pela Capes, não é novo. Ele surgiu na Europa, em 2008, quando um ranking multidimensional foi proposto (^{Vught & Ziegele, 2012}). Aspectos relacionados a quais dimensões e indicadores devem ser utilizados são relevantes, além de ser necessário analisar o nível de independência dessas dimensões e indicadores. A avaliação realizada atualmente pela Capes está voltada para a dimensão “pesquisa” do U-Multirank, portanto é interessante enxergar as correlações entre essa e outras dimensões, para obter ao menos uma estimativa do que poderia ocorrer em uma avaliação multidimensional realizada no con- texto brasileiro.

A criação do U-Multirank parte da ideia de que não existem “as melhores”, “top 10” ou qualquer outra classificação geral de instituições acadêmicas. A “melhor” universidade é uma escolha pessoal de cada aluno, e depende de seus objetivos e limitações. Assim, um ranking multidimensional deve definir os principais critérios (as dimensões) e a forma de avaliá-los (os indicadores e as regras para calculá-los). As instituições acadêmicas são divididas em cinco grupos de qualidade para cada indicador, de acordo com regras específicas. A classificação é feita em cada indicador, sem um ranking único, e os usuários do ranking podem consultar os indicadores que forem mais importantes para eles.

A criação do U-Multirank (U-Multirank, 2023b; ^{Prado, 2021}, 2022) foi feita com base nesse ideal. Ele avalia o desempenho das instituições educacionais em cinco dimensões: (1) ensino e aprendizagem; (2) pesquisa; (3) transferência de conhecimento; (4) internacionalização; e (5) engajamento regional. Cada uma dessas dimensões é dividida em diversos indicadores, que podem variar de 4 a 11, a depender da dimensão. Esse ranking é voltado para pessoas que desejam estudar em uma instituição de ensino, para que possam analisar uma classificação internacional de instituições de ensino superior e escolher a mais adequada a seus interesses. O usuário pode avaliar cada indicador separadamente ou agrupado em subitens, observando os mais importantes para sua decisão.

Uma vez que o U-Multirank tem muito mais indicadores (36) do que rankings unidimensionais, que geralmente dispõem de menos de 15, a ausência de dados pode ser um ponto negativo desse ranking. Isso não é tão importante para o U-Multirank quanto é para os rankings unidimensionais, já que não se pretende fazer uma classificação geral, e o usuário pode desprezar a informação faltante e concentrar-se nos dados disponíveis, perdendo parte das informações, mas não o ranking inteiro. Contudo a quantidade de dados indisponíveis não é desprezível em muitas situações, e este artigo tratará desse ponto mais adiante.

Outro ponto que será estudado consiste em verificar se as instituições costumam se concentrar em algumas das dimensões e indicadores em especial ou se apresentam um comportamento homogêneo em todas as dimensões. Este estudo se concentrou nos trezentos melhores desempenhos da Europa, porque as instituições com melhor avaliação geral, com conjuntos de dados mais completos, estão localizadas no continente europeu, o que minimiza os problemas gerados pelos dados não disponíveis.

Para realizar este estudo, o primeiro passo foi definir o significado de “melhores desempenhos” no U-Multirank, tarefa que se mostrou complexa. Esse ranking foi criado com o objetivo de evitar uma classificação geral, conforme já explicado. As dimensões têm diferentes quantidades de indicadores e, para muitos deles, não há dados disponíveis. Quando é solicitado que o U-Multirank apresente uma classificação geral de instituições acadêmicas, ou ao buscar as de “melhor desempenho” em determinado país, o ranking faz essa classificação com base no número de notas “A” (nota máxima) que uma instituição recebe; outras notas são usadas apenas para desempate. Essa é uma regra questionável, porque faz pouca distinção entre “B”, “E” e dados não informados. Este artigo considera outras duas opções para obter um ranking geral. A primeira utiliza a única média de todos os 36 indicadores medidos pelo U-Multirank. Ela tem a vantagem de considerar todos os dados disponíveis, reconhecendo, assim, os esforços das instituições em fornecer dados para aumentar suas pontuações, mesmo que não atinjam nota “A”. A desvantagem dessa proposta é que as dimensões têm quantidades diferentes de indicadores, variando de 4 a 11, assim, dimensões com um maior número de indicadores terão mais peso na classificação final. Para resolver esse problema, apresenta-se uma segunda proposta, em que calcula-se, inicialmente, a média de cada dimensão e, depois, a média das cinco notas atribuídas às dimensões. Embora não haja uma solução perfeita para construir um ranking geral utilizando o U-Multirank, o que às vezes é necessário e realizado pelo ranking, neste trabalho optou-se pela utilização da segunda opção para selecionar os trezentos melhores desempenhos da Europa em 2020, pois ela atribui peso igual a cada dimensão.

Após fazer essa lista de instituições, as correlações entre todos os pares de indicadores da mesma dimensão são calculadas e analisadas. As correlações entre as médias de cada dimensão são obtidas da mesma maneira. O motivo de calcular essas correlações é verificar como as dimensões e os indicadores estão correlacionados, a fim de entender o nível de independência dos indicadores e dimensões. É esperado que alguns deles apresentem correlações elevadas. Como exemplos, pode-se mencionar o número absoluto de publicações, o número normalizado de publicações e o número de publicações mais citadas. É de se esperar que as instituições com números elevados em um desses indicadores apresentem números elevados em todos eles. É importante obter essas correlações, pois elas oferecem uma indicação de que as 5 dimensões e os 36 indicadores estão sendo mensurados de fato, ou se alguns deles são apenas formas diferentes de mensurar o mesmo aspecto, por meio de uma questão diferente.

Com relação às dimensões, o presente artigo busca correlações estatísticas entre todas as dimensões, a fim de verificar se as instituições têm desempenhos homogêneos nas diferentes dimensões ou se são mais voltadas a uma delas. Por exemplo, será analisado se as instituições com melhor desempenho em “ensino e aprendizagem” também têm o melhor desempenho em “pesquisa”, ou em qualquer outra dimensão. Da mesma forma, é interessante calcular as correlações entre as dimensões, pois as avaliações tradicionais realizadas pela Capes são voltadas para a dimensão “pesquisa”; portanto é interessante analisar como essa dimensão costuma se relacionar com as outras em rankings multidimensionais.

UMA BREVE HISTÓRIA DOS RANKINGS INTERNACIONAIS

Os rankings internacionais para avaliação acadêmica surgiram nos anos 2000 (^{Calderón & França, 2018a}), com o objetivo de identificar instituições acadêmicas “de nível mundial”. O primeiro ranking acadêmico internacional foi o Academic Ranking of World Universities (ARWU), também conhecido como Shanghai Ranking, criado em 2003 pela University of Shanghai, na China (Shanghai Ranking, 2023; Calderón & França, 2018a). Esse ranking foi criado para fornecer informações ao governo chinês, visando à seleção de instituições educacionais internacionais para enviar alunos chineses ao exterior, e também para verificar a situação das instituições chinesas em termos de padrões internacionais.

Inspirados nesse ranking, surgiram outras classificações internacionais. Destacam-se o Webometrics Ranking of World Universities (Ranking Web of Universities, 2023; ^{Aguillo et al., 2008}) e o THE-QS, ambos criados em 2004. Mais tarde, em 2010, o THE-QS seria dividido entre o Times Higher Education World University Rankings (THE) (Times Higher Education, 2023) e o QS World University Rankings (QS World University Rankings, 2023). Com o sucesso desses rankings, outros países criaram classificações regionais ou nacionais semelhantes, especialmente pelo fato de as classificações internacionais não mostrarem resultados sobre instituições acadêmicas menores e locais ao redor do mundo (^{Righetti, 2019}; ^{Shin & Toutkoushian, 2011}).

U-Multirank

A ideia de um ranking multidimensional surgiu em uma conferência ocorrida em 2008 (^{Vught & Ziegele, 2012}), durante a presidência francesa da União Europeia. Observou-se a necessidade de uma nova metodologia para mensurar as diferentes dimensões de qualidade em instituições educacionais de ensino superior. Com isso, foi criado o U-Multirank, que, na versão de 2020, listou 1.759 universidades de 92 países. Isso compreende cerca de 5 mil faculdades e mais de 11.400 cursos em 28 áreas de conhecimento (U-Multirank, 2023a).

Conforme já mencionado, o U-Multirank não foi concebido para elaborar uma classificação geral das instituições educacionais. As classificações são referentes a cada um dos indicadores de desempenho específicos, agrupados em dimensões. Assim, esse ranking apresenta os desempenhos institucionais mostrando os pontos fortes e fracos de cada instituição em cada indicador e dimensão. Considerando esses pontos, cada usuário pode fazer seu próprio ranking, selecionando as dimensões e indicadores que considerar mais importantes para suas necessidades. Outra justificativa comumente apresentada para a multidimensionalidade é que os rankings unidimensionais não são robustos, já que pequenas mudanças nos pesos dos indicadores alteram de forma significativa os resultados, o que reduz sua validade.

No U-Multirank, as instituições são classificadas em cinco grupos de desempenho para cada indicador: “A” (muito boa), “B” (boa), “C” (mediana), “D” (abaixo da média) e “E” (insuficiente). Essa divisão é adotada para reduzir problemas de precisão, já que instituições agrupadas podem filtrar pequenas diferenças obtidas a partir de números inferiores à precisão das aferições. Assim, os problemas de exatidão surgem apenas nas linhas divisórias entre os grupos de desempenho, o que minimiza o problema. Uma consequência desse agrupamento é a grande quantidade de instituições com as mesmas notas.

Um olhar mais detido sobre o U-Multirank mostra que os indicadores obtidos a partir de fontes não relacionadas às instituições sob avaliação, como número de publicações e citações, estão disponíveis para todas as instituições educacionais e apresentam alto nível de confiabilidade. Por outro lado, informações como local de trabalho dos egressos e tempo de graduação, obtidos a partir de questionários enviados pelas instituições e pelos alunos, nem sempre estão disponíveis e não têm alto nível de precisão. Além disso, alguns dados são classificados como “não aplicáveis”, como total de egressos de mestrado e local de trabalho deles em instituições que não contam com programas de mestrado.

A Figura 1 apresenta a visão clássica que sintetiza os resultados do U-Multirank (U-Multirank, 2020a), enquanto a Tabela 1, por sua vez, exibe em detalhes as dimensões e os indicadores do U-Multirank, em um formato diferente e mais fácil de visualizar. Ambas apresentam as cinco dimensões do ranking: “ensino e aprendizagem” (verde), “pesquisa” (cor-de-rosa), “transferência de conhecimento” (azul), “internacionalização” (laranja) e “engajamento regional” (roxo). Cada dimensão é subdividida entre os indicadores listados a seguir.

• Ensino e aprendizagem: (1) taxa de graduação no bacharelado; (2) taxa de graduação no mestrado; (3) graduação no tempo esperado (bacharelado); (4) graduação no tempo esperado (mestrado).

• Pesquisa: (5) receita de pesquisa externa; (6) publicações (tamanho normalizado); (7) produtos relacionados à arte; (8) taxa de citação; (9) publicações mais citadas; (10) publicações interdisciplinares; (11) vagas de pós-doutorado.

• Transferência de conhecimento: (12) renda de fontes privadas; (13) publicação em coautoria com parceiros industriais; (14) patentes concedidas (tamanho normalizado); (15) patentes em coautoria com a indústria; (16) spin-offs; (17) publicações citadas em patentes; (18) rendas obtidas de desenvolvimento profissional contínuo.

• Internacionalização: (19) programas de bacharelado em língua estrangeira; (20) programas de mestrado em língua estrangeira; (21) mobilidade estudantil; (22) equipe acadêmica internacional; (23) porcentagem de doutores estrangeiros formados; (24) publicações conjuntas internacionais.

• Engajamento regional: (25) formados na graduação trabalhando na região; (26) estágios de estudantes na região; (27) publicações conjuntas regionais; (28) renda de fontes regionais; (29) egressos de mestrado trabalhando na região.

Mais detalhes podem ser consultados no livro de indicadores do U-Multirank (U-Multirank, 2020b), que detalha os cálculos para a obtenção dos indicadores. Vale destacar que a versão de 2020 do U-Multirank contempla 36 indicadores, mas a representação clássica e sua respective tabela - Figura 1 e Tabela 1 - ilustram apenas 29 deles. Além desses, temos: i) Pesquisa: publicações (números absolutos), parcerias de pesquisa estratégicas, publicações profissionais e publicações de acesso aberto; ii) Transferência de conhecimento: patentes concedidas (números absolutos); iii) Engajamento regional: publicações regionais com parceiros industriais.

Fonte: U-Multirank (2020a).

FIGURA 1 Forma gráfica clássica mostrando os resultados do U-Multirank 

TABELA 1 DIMENSÕES E INDICADORES DO U-MULTIRANK 

ENSINO E APRENDIZAGEM	PESQUISA	TRANSFERÊNCIA DE CONHECIMENTO	INTERNACIONALIZAÇÃO	ENGAJAMENTO REGIONAL
Taxa de graduação no bacharelado	Receita de pesquisa externa	Renda de fontes privadas	Programas de bacharelado em língua estrangeira	Formados na graduação trabalhando na região
Taxa de graduação no mestrado	Publicações (tamanho normalizado)	Publicação em coautoria com parceiros industriais	Programas de mestrado em língua estrangeira	Estágios de estudantes na região
Graduação no tempo esperado (bacharelado)	Produtos relacionados à arte	Patentes concedidas (tamanho normalizado)	Mobilidade estudantil	Publicações conjuntas regionais
Graduação no tempo esperado (mestrado)	Taxa de citação	Patentes em coautoria com a indústria	Equipe acadêmica internacional	Renda de fontes regionais
	Publicações mais citadas	Spin-offs	Quantidade de doutores estrangeiros formados	Egressos de mestrado trabalhando na região
	Publicações interdisciplinares	Publicações citadas em patentes	Publicações conjuntas internacionais
	Vagas de pós-doutorado	Rendas obtidas de desenvolvimento profissional contínuo

Fonte: U-Multirank (2020a).

Em comparação com as tabelas geradas pelo site, podemos ver que 7 dos 36 indicadores apresentados não aparecem na Figura 1: publicações acadêmicas (números absolutos); parcerias estratégicas de pesquisa; publicações profissionais; publicações em acesso aberto; patentes concedidas (números absolutos); empresas criadas por formandos; e publicações regionais com parceiros industriais.

Cada barra que representa os indicadores é dividida em cinco partes e pintada em cor escura para representar a nota recebida naquele indicador. Assim, uma barra completa de cor escura representa um “A”, enquanto uma barra completa de cor clara representa “dados não disponíveis”.

PRODUZINDO UMA CLASSIFICAÇÃO GERAL COM O U-MULTIRANK

Há muitas maneiras de produzir uma classificação geral com o U-Multirank. O software usa uma classificação semelhante a um quadro de medalhas olímpicas, colocando no topo as instituições que obtiveram o maior número de notas “A”. Notas “B” e inferiores são utilizadas apenas para desempate. Isso implica, por exemplo, que uma instituição que obteve 20 notas “A” e 16 notas “E” apareça à frente de uma instituição que obteve 19 notas “A” e 17 notas “B”. Essa é uma regra questionável quando se pretende construir uma classificação geral, pois quase não há diferenciação entre “B” e “E”. Em uma situação extrema, as instituições podem concentrar suas atividades em um pequeno número de indicadores e desprezar completamente outros, a fim de obter uma classificação melhor, prestando um mau serviço a seus alunos em alguns aspectos.

Este artigo propõe duas outras regras para fazer um ranking geral que considere todas as notas. A primeira é uma média simples de todos os indicadores apresentados que utiliza todos os dados disponíveis, mas atribui o mesmo peso a todos os indicadores, sem conferir importância proporcional a todas as dimensões envolvidas. O motivo é que o número de indicadores varia de 4 a 11, dependendo da dimensão, de forma que algumas dimensões teriam muito mais peso que outras na nota final.

Para resolver esse problema, propõe-se outra forma de fazer uma avaliação geral, começando pelo cálculo das médias dentro de cada dimensão, e, em seguida, a média global, utilizando as notas de cada dimensão. Isso atribui um peso igual a cada dimensão, e diferentes pesos aos indicadores.

A Figura 2 permite a visualização dos efeitos da aplicação das regras do U-Multirank, exibindo a média das dimensões, no eixo vertical, como função da posição da instituição acadêmica dada pelo U-Multirank, no eixo horizontal. Todas as 1.070 instituições acadêmicas europeias listadas na versão de 2020 do ranking foram consideradas neste estudo. Obviamente, há uma tendência a médias mais elevadas para as mais bem colocadas, mas a correlação não é forte, como pode ser observado na Figura 2. Muitas instituições com notas maiores que 2,5 estão entre as últimas posições no ranking geral. Isso demonstra que as regras definidas pelo U-Multirank para produzir classificações gerais precisam ser consideradas com cautela e, inclusive, ser revistas.

Para aprofundar esse ponto, a Figura 3 ilustra os resultados dessas três abordagens para produzir classificações gerais. O eixo horizontal contém a posição no ranking gerada pelo U-Multirank, usando apenas os números de notas “A”. No eixo vertical, há a posição da instituição tal como no U-Multirank, em pontos azuis; a posição obtida a partir da média dos indicadores está indicada com pontos vermelhos; e a posição obtida a partir da média das dimensões está representada com pontos verdes. Também neste caso, as 1.070 instituições acadêmicas europeias listadas na versão de 2020 do U-Multirank foram utilizadas. Os países europeus foram escolhidos por disporem de bancos de dados mais completos em comparação com países de outros continentes.

Fonte: Elaboração do autor.

FIGURA 2 Média das dimensões, no eixo vertical, como função da posição da instituição acadêmica conforme o U-Multirank, no eixo horizontal 

Fonte: Elaboração do autor.

FIGURA 3 Posição das 1.070 instituições acadêmicas europeias segundo o U-Multirank (pontos azuis), média dos indicadores (pontos vermelhos) e média das dimensões (pontos verdes) como função das posições geradas pelo U-Multirank 

É evidente que as diferenças das posições são bastante grandes. Foram calculadas correlações estatísticas para cada par de classificações, e os resultados são: U-Multirank versus média dos indicadores: 0,8035; U-Multirank versus média das dimensões: 0,6179; média dos indicadores versus média das dimensões: 0,8403. Isso significa que utilizar as médias dos indicadores e das dimensões oferece as melhores semelhanças nos resultados, enquanto o uso das regras definidas pelo U-Multirank oferece resultados menos correlacionados, especialmente ao comparar os resultados obtidos a partir da média das dimensões. Essa proposta de utilização da média das dimensões parece ser a mais razoável para produzir uma classificação geral; por isso, ela é utilizada aqui para selecionar os trezentos melhores desempenhos na Europa em 2020.

Evidentemente, os efeitos dos dados não disponíveis ou não aplicáveis estão presentes em todas as classificações. Eles contam como “A” na classificação realizada pelo U-Multirank e como 0 (zero) para as classificações que utilizam a média dos indicadores ou a média das dimensões. Os efeitos serão mais fortes nas duas últimas classificações, mas este artigo considera justo penalizar as instituições que não retornaram dados, único motivo da ocorrência de dados não disponíveis. Dados não aplicáveis ocorrem em escala muito menor e não são responsáveis por modificações grandes o suficiente para afetarem as conclusões dos estudos estatísticos aqui realizados.

Para obter a média das dimensões, é necessário, primeiramente, calcular a média de cada dimensão do U-Multirank. Depois, é interessante examinar a distribuição dessas médias. Para se ter uma primeira ideia geral dessa distribuição, foi elaborada a Figura 4. O eixo horizontal contém a média das dimensões para cada instituição, e o vertical apresenta a média para “ensino e aprendizagem” (em losangos verde-claros), “pesquisa” (em quadrados verde-escuros), “transferência de conhecimento” (em triângulos azuis), “internacionalização” (em círculos vermelhos) e “engajamento regional” (em “X” roxos). Nesta análise também foram consideradas as 1.070 instituições acadêmicas europeias listadas na versão de 2020 do U-Multirank.

Observa-se uma nuvem de pontos dispersos com tendência a uma correlação positiva, o que significa que as notas das dimensões individuais tendem a ser maiores para instituições com média mais elevada de dimensões. Esse fato é esperado, mas a Figura 4 ilustra essas evoluções de forma mais detalhada. A presença de linhas verticais é evidente, o que mostra o intervalo das notas em cada dimensão para determinada média da dimensão. Elas apresentam uma grande magnitude, cerca de duas unidades na maioria dos casos, o que corresponde à metade do intervalo total, uma vez que as médias se situam no intervalo de 0 a 4.

Esses resultados demonstram que a média das dimensões varia muito para cada instituição acadêmica, pois elas não apresentam desempenhos homogêneos em todas as dimensões, mesmo nos países europeus. Isso indica que produzir uma classificação geral realmente não é uma boa ideia, porque esconde um desempenho diverso, e não há razões para considerar uma dimensão melhor do que as outras.

Fonte: Elaboração do autor.

FIGURA 4 Média para “ensino e aprendizagem” (losangos verde-claros), “pesquisa” (quadrados verde-escuros), “transferência de conhecimento” (triângulos azuis), “internacionalização” (círculos vermelhos) e “engajamento regional” (“X” roxos), como função da média das dimensões 

PRODUZINDO UMA CLASSIFICAÇÃO GERAL COM O U-MULTIRANK

A seguir, será conduzido um estudo mais aprofundado sobre a quantidade de dados não disponíveis no U-Multirank, e também sobre a origem desses dados, com relação a serem provenientes de uma fonte aberta ou de dados informados pelas instituições. O objetivo é entender melhor cada indicador, identificando aqueles que são mensurações mais fracas ou fortes do ranking, considerando a fonte e a disponibilidade dos dados. Utilizaremos novamente os dados disponíveis para os trezentos melhores desempenhos dos países europeus na versão de 2020 do ranking.

A Tabela 2 apresenta todos os indicadores utilizados pelo U-Multirank, divididos em cinco dimensões, com a descrição de cada indicador, a quantidade de dados disponíveis, a quantidade de dados não disponíveis e de dados “não aplicáveis”, bem como as fontes dos dados, divididas em duas categorias: QI, que corresponde aos dados obtidos a partir de questionários respondidos pelas instituições; e IND, que representa os dados disponíveis oriundos de fontes independentes, como a Web of Science.

Considerando inicialmente uma visão global, para as trezentas instituições acadêmicas europeias mais bem colocadas no ranking de 2020, esperava-se o total de 10.800 notas, considerando a existência de 36 indicadores. No entanto, observa-se a existência de somente 9.258 dados disponíveis, o que corresponde a 85,72%. Há também 1.102 dados não disponíveis (10,20%) e 440 dados que foram considerados “não aplicáveis” (4,08%). Isso significa que aproximadamente 15% de dados em branco para esse seleto grupo de instituições acadêmicas, o que não é desprezível.

Percebe-se, também, que a distribuição dos dados não disponíveis não é uniforme, o que torna alguns indicadores mais completos que outros. A partir da Tabela 2, é possível produzir a Figura 5, que sistematiza visualmente o número de dados disponíveis por indicador. A leitura dessas informações revela um grande desequilíbrio entre os indicadores em relação aos dados disponíveis.

A primeira observação é a existência de dois indicadores muito fracos nessa perspectiva, com menos de 100 (33%) dados disponíveis: “parcerias de pesquisa estratégica”, para a qual só há dados não disponíveis; e “patentes em coautoria com a indústria”, com 91 dados disponíveis, 5 não disponíveis e 204 “não aplicáveis”. Como há outros 34 indicadores mais completos, esse dois foram removidos da análise estatística, de modo a evitar a influência de grandes números de dados não disponíveis.

Nos indicadores restantes, há: “empresas criadas por formandos”, cujos dados disponíveis estão entre 33% e 50%; “produtos relacionados à arte”, entre 50% e 66%; e “publicações profissionais” e “spin-offs”, ambos no intervalo entre 66% e 75%. Assim, há 30 indicadores com mais de 75% de dados disponíveis, representando 83,33% dos indicadores.

Fonte: Elaboração do autor.

FIGURA 5 Quantidade de dados disponíveis (azul), dados não disponíveis (vermelho) e dados “não aplicáveis” (verde) para os 36 indicadores mensurados das 300 instituições acadêmicas europeias mais bem colocadas 

Com relação às dimensões, há 95,83% de dados disponíveis para “ensino e aprendizagem”, 81,42% para “pesquisa”, 80,78% para “transferência de conhecimento”, 95,17% para “internacionalização” e 84,83% para “engajamento regional”. Nesse sentido, “ensino e aprendizagem” e “internacionalização” destacam-se como as dimensões mais confiáveis, com porcentagens acima de 95%, mas as outras dimensões também apresentam números razoáveis, todos acima de 80%.

A Tabela 3 expõe a quantidade de dados obtidos de fontes independentes e de dados fornecidos pelas instituições acadêmicas. Há 22 indicadores obtidos por meio de questionários (61,11%) e 14 (38,89%) a partir de fontes independentes. Isso indica uma forte dependência dos resultados desse ranking em relação a dados informados pelas instituições acadêmicas. Conclui-se, então, que a existência de um banco de dados completo é essencial, e que a aplicabilidade do U-Multirank varia entre regiões, já que a falta de dados altera-se consideravelmente de um país para outro. Examinando cada dimensão, pode-se observar que: “ensino e aprendizagem” não tem dados oriundos de fontes abertas; “pesquisa” (54,55%) e “transferência de conhecimento” (55,56%) têm pouco mais da metade de seus dados oriundos de fontes abertas; “internacionalização” tem apenas 16,67%; e “engajamento regional” tem 33,33% dos dados coletados de fontes abertas. Assim, recomendam-se maiores esforços para motivar as instituições a informar seus dados da forma mais completa possível.

Examinando com mais profundidade as definições dos indicadores, observa-se que eles são muito objetivos, com definições claras e baseados em regras predefinidas (U-Multirank, 2020b). Não há resultados baseados em “reputação”, em que as comunidades acadêmica e industrial escolhem as melhores instituições acadêmicas a partir de suas experiências e ideias próprias, e não por meio de números. Nesse sentido, há uma diferença substancial nesse ranking quando comparado aos unidimensionais. Por exemplo, o Times Higher Education World University Rankings - THE (Times Higher Education, 2023) atribui 33% do peso na classificação final a indicadores relacionados à “reputação”, e o QS World University Rankings - QS (QS World University Rankings, 2023) atribui ainda mais, chegando a 50%. Esse é um aspecto importante do U-Multirank. No entanto, apesar de ser muito objetivo, 61,11% de seus dados provêm das instituições, e muitas delas ainda não informam os dados adequadamente. Esse aspecto gera certa preocupação e deve ser melhorado.

ANÁLISE DAS CORRELAÇÕES PARA TODOS OS INDICADORES E DIMENSÕES

O próximo ponto a ser estudado neste trabalho é o comportamento das correlações estatísticas nos diferentes indicadores e dimensões do U-Multirank. Esse é um aspecto muito importante, pois correlações elevadas entre muitos indicadores podem significar que não estão realmente sendo mensurados 35 indicadores, uma vez que alguns deles seriam redundantes, mas, sim, olhando para aspectos semelhantes por meio de perguntas diferentes. Esse fato pode ser um forte argumento contra os resultados do U-Multirank e suas características multidimensionais, que são o principal novo aspecto do ranking.

Essas mensurações ajudam na prevenção dos comportamentos das instituições quando avaliadas por regras multidimensionais e, também, no melhor entendimento sobre os desempenhos homogêneros ou heterogêneos das instituições consideradas neste artigo nas diferentes dimensões.

A amostra deste estudo - os trezentos melhores desempenhos da Europa na edição de 2020 do U-Multirank - não foi definida apenas pelos conjuntos de dados mais completos, conforme já explicado, mas pela vantagem de serem instituições do mesmo continente, o que pode reduzir efeitos advindos de culturas muito diferentes e outras particularidades, deixando o foco principal sobre os indicadores e as dimensões utilizadas pelo ranking.

A ferramenta estatística mais importante para a análise aqui realizada foi o coeficiente de correlação, definido por:

Nessa equação, X e Y correspondem aos valores das duas variáveis estudadas, e “n” é o número de pares de dados. O resultado é um número que pode variar de -1 a 1. O valor -1 informa que as variáveis estão inversamente relacionadas de forma exatamente linear. Assim, quando uma variável aumenta, a outra diminui. O valor 1 informa que as variáveis estão relacionadas de forma direta e exatamente linear, e quando uma variável aumenta, a outra também aumenta. O valor 0 significa que as variáveis não estão linearmente relacionadas. Valores intermediários indicam que as variáveis estão parcialmente relacionadas, seja direta (se o coeficiente for positivo) ou inversamente (se o coeficiente for negativo). Consideramos as seguintes interpretações para esses números: -0,19 a 0,19: correlação muito fraca; -0,20 a -0,39 e 0,20 a 0,39: correlação fraca; -0,40 a -0,69 e 0,40 a 0,69: correlação moderada; -0,70 a -0,89 e 0,70 a 0,89: correlação forte; -0,90 a -1,00 e 0,90 a 1,00: correlação muito forte. Os primeiros resultados são listados na Tabela 4, que apresenta as correlações entre todas as cinco dimensões do U-Multirank para os trezentos melhores desempenhos da Europa em 2020.

Primeiramente, observa-se que não há correlações fortes ou muito fortes entre as dimensões, apenas duas correlações moderadas: uma positiva, entre “pesquisa” e “transferência de conhecimento”, e uma negativa, entre “pesquisa” e “engajamento regional”. Isso é positivo para o ranking, pois revela que estamos perto de ter cinco dimensões independentes sob estudo. Para examinar melhor essas correlações moderadas, a Figura 6 apresenta a distribuição de notas para ambas: (a) apresenta os dados para “pesquisa” e “transferência de conhecimento” (correlação de 0,5509); e (b) apresenta os dados para “pesquisa” e “engajamento regional” (correlação de -0,4175). São representações típicas de correlações positivas e negativas moderadas.

Fonte: Elaboração do autor.

FIGURA 6 Distribuição das notas para: (a) pesquisa (eixo horizontal) e transferência de conhecimento (eixo vertical), com correlação de 0,5509; e (b) pesquisa (eixo horizontal) e engajamento regional (eixo vertical), com correlação de -0,4175 

O significado real dessas correlações moderadas é que as instituições tendem a apresentar desempenhos semelhantes em “pesquisa” e “transferência de conhecimento”, e desempenhos opostos em “pesquisa” e “engajamento regional”.

Embora as correlações sejam fracas, os números relativos com magnitudes maiores do que 0,2500 para os pares de dimensões “ensino e aprendizagem” e “pesquisa”, “ensino e aprendizagem” e “transferência de conhecimento”, e “transferência de conhecimento” e “internacionalização” também chamam a atenção, apresentando algum nível de desempenhos opostos em cada par de dimensões.

Da mesma forma, as correlações positivas fracas com magnitude maior do que 0,2500 para o par de dimensões “pesquisa” e “internacionalização” e para o par “transferência de conhecimento” e “internacionalização” também são notáveis, com desempenhos levemente semelhantes.

Porém, como conclusão, as dimensões não são muito correlacionadas, o que significa que estamos mensurando diferentes aspectos das instituições acadêmicas e que elas não apresentam desempenhos homogêneos em todas as dimensões. As instituições podem ter um desempenho destacado em uma dimensão e não tão bom em outras.

Essa independência de dimensões confere ainda mais importância a um ranking multidimensional não concebido para produzir classificações gerais de instituições acadêmicas. Uma classificação geral calcularia uma média das dimensões e indicadores não correlacionados, escondendo os pontos fortes e fracos das instituições.

CORRELAÇÕES ENTRE OS INDICADORES DE TODAS AS DIMENSÕES

O foco desta seção são as correlações entre os indicadores da mesma dimensão, para todas as dimensões medidas pelo U-Multirank. A primeira é “ensino e aprendizagem”. Os primeiros resultados são apresentados na Tabela 5.

A Tabela 5 mostra que não há correlações fortes ou muito fortes entre os indicadores e apenas uma correlação moderada e positiva entre “graduação no tempo esperado (bacharelado)” e “graduação no tempo esperado (mestrado)”. Isso significa que nas intiuições em que os estudantes se formam no tempo esperado, isso ocorre em ambos os níveis, no mestrado e no bacharelado, com uma correlação moderada entre ambos. As outras correlações são fracas, o que significa que a dimensão “ensino e aprendizagem” tem apenas quatro indicadores, mas eles apresentam um bom nível de independência, portanto são adequados para mensurar essa dimensão. Como síntese, a média das magnitudes de todos os indicadores dessa dimensão é 0,2005, com um desvio padrão de 0,2443. É a média mais baixa entre todas as dimensões. Tais resultados validam essa dimensão para o grupo de instituições aqui estudado.

A Tabela 6 apresenta as correlações para os indicadores na dimensão “pesquisa”, que será considerada a seguir. Os resultados mostram que há apenas correlação muito forte para os indicadores “taxa de citação” e “publicações mais citadas”. Eles apresentam um índice de correlação de 0,9402, indicando uma relação positiva quase perfeita. Isso significa que as instituições com mais citações são também as que têm as publicações mais citadas. Esse fato não é surpreendente, mas o valor elevado desse índice indica a obtenção de praticamente o mesmo ranking em ambos os indicadores, e que esses indicadores são redundantes.

Depois disso, o segundo coeficiente de correlação mais elevado é entre “publicações (números absolutos)” e “publicações (tamanho normalizado)”, com um valor de 0,6953, no limite para uma correlação forte. Isso significa que os rankings de publicações totais e publicações por membro do corpo docente são semelhantes, mas não iguais. Acreditamos que o número de publicações por membro do corpo docente é um indicador melhor, pois não é correto comparar esses números para instituições de tamanhos diferentes, embora os resultados não sejam muito diferentes.

Há outras 11 correlações moderadas, conforme apresentado na Tabela 6. Em geral, a média da magnitude de todos os indicadores dessa dimensão é de 0,3515, e o desvio padrão é de 0,1763. Essa é a média mais elevada entre todas as dimensões, mas não é elevada o suficiente para que os indicadores sejam considerados redundantes. Portanto esses resultados também validam essa dimensão para o grupo de instituições estudado neste trabalho.

Notam-se alguns fatos interessantes sobre as correlações. O indicador “receita de pesquisa externa” não tem relação forte ou muito forte com nenhum outro indicador. Isso significa que, em geral, essas receitas externas não geram mais publicações, citações, produtos relacionados à arte, etc. Isso também vale para “vagas de pós-doutorado”.

Focamos agora na dimensão “transferência de conhecimento”. A Tabela 7 apresenta as correlações para os indicadores que formam essa dimensão.

Os resultados demonstram que não há correlações muito fortes, porém há duas fortes. A primeira ocorre entre os indicadores “patentes concedidas (números absolutos)” e “patentes concedidas (tamanho normalizado)”. Eles apresentam um índice de correlação de 0,8077. Isso significa que as instituições com bom desempenho na entrega de novos produtos apresentam boas notas em ambos os indicadores, o que indica que eles têm alto grau de redundância.

A segunda correlação forte se dá entre os indicadores “coautoria com parceiros industriais” e “spin-offs”, o que mostra que as produções industriais estão conectadas. Eles apresentam um índice de correlação de 0,7197 e alto grau de redundância.

Há também quatro correlações moderadas, conforme apresentado na Ta- bela 7. A média das magnitudes de todos os indicadores desta dimensão é de 0,2722, e o desvio padrão é de 0,1985, o que também revela que essa dimensão tem um bom grupo de indicadores, com apenas uma redundância em sete indicadores, no grupo de instituições aqui utilizado.

A Tabela 8 apresenta as correlações para os indicadores que formam a dimensão “internacionalização”, aprofundada a seguir.

Os resultados mostram que não há correlações fortes ou muito fortes entre os indicadores dessa dimensão, apenas duas correlações moderadas. Assim, podem ser considerados independentes entre si. A média das magnitudes de todos os indicadores dessa dimensão é de 0,2451, e o desvio padrão é de 0,1278, portanto os resultados validam essa dimensão para o grupo de instituições aqui estudado.

Na sequência, será analisada a dimensão “engajamento regional”, com suas correlações disponibilizadas na Tabela 9. Os resultados mostram que não há correlações muito fortes, mas sim uma correlação forte entre os indicadores dessa dimensão. Ela ocorre para os indicadores “egressos de graduação trabalhando na região” e “egressos de mestrado trabalhando na região”, com um coeficiente de correlação de 0,7668. Essa não é uma correlação surpreendente, uma vez que esses indicadores são semelhantes. Isso significa que as instituições com muitos bacharéis que se formam e trabalham na região também contam com mestres se formando e trabalhando na região. Além disso, há apenas uma correlação moderada. Dessa maneira, os indicadores dessa dimensão também podem ser considerados independentes entre si, com exceção de um. A média das magnitudes de todos os indicadores desta dimensão é de 0,2483, e o desvio padrão é de 0,2001. Portanto, tais resultados validam essa dimensão para o grupo de instituições aqui estudado.

A Tabela 10 apresenta as médias e os desvios padrão das magnitudes dos coeficientes de correlação entre os indicadores de cada dimensão. Admite independência entre os indicadores, com um coeficiente de correlação médio máximo de 0,3515, que ocorre para a dimensão “pesquisa”, que é a média mais elevada. Isso confirma que as dimensões e indicadores selecionados pelo U-Multirank formam um bom conjunto para avaliar as instituições acadêmicas, com poucos casos de redundância entre o conjunto de indicadores.

CONCLUSÕES

Este artigo realizou um estudo do ranking acadêmico internacional multidimensional U-Multirank, que tem 5 dimensões e 36 indicadores. Esse ranking foi estudado pela Capes durante a preparação da nova avaliação de programas de pós-graduação no Brasil (Capes, 2019). Isso justifica a realização de mais estudos sobre esse ranking, utilizando dados já disponíveis, a fim de avaliar que tipos de resultados ele pode produzir quando aplicado no Brasil.

Algumas vezes, o U-Multirank elabora uma lista de “melhores desempenhos” por país para um determinado ano, o que não é uma tarefa fácil para rankings multidimensionais. Ao longo deste trabalho, foi demonstrado que há várias formas de produzir uma classificação geral desse tipo. O U-Multirank emprega uma classificação semelhante a um quadro de medalhas olímpicas, considerando como mais bem colocadas as instituições com o maior número de notas máximas. Este artigo apresentou alguns problemas gerados por essa regra, e propôs duas outras formas de produzir esse ranking geral: pela média simples de todos os indicadores e pela média das dimensões, aqui considerada mais adequada, por empregar todos os dados disponíveis e atribuir o mesmo peso a todas as dimensões. Esse ponto é importante, pois alguns tipos de classificação serão necessários se a avaliação multidimensional for utilizada definitivamente pela Capes.

Dados não disponíveis também foram analisados, e o artigo mostrou que esse não é um problema desprezível nesse ranking. Para os trezentos melhores desempenhos da Europa em 2020, há 10,20% de dados não disponíveis, mas esse número aumenta quando se consideram outros continentes e instituições cujos desempenhos não são tão bons.

Um exame dos indicadores mostrou que eles são muito objetivos, com definições claras, e baseados em números com regras predefinidas. É também evidente a importância de dados confiáveis oriundos das instituições, conforme demonstrado pelo fato de que há 22 indicadores coletados por meio de questionários (61,11%) e somente 14 indicadores (38,89%) de fontes abertas.

Uma síntese da média das magnitudes dos indicadores para cada dimensão confirma que há um bom nível de independência entre a maioria dos indicadores, com um coeficiente de correlação médio máximo de 0,3515 para a dimensão “pesquisa”, para o grupo de instituições analisadas no presente artigo.

Com base nos trezentos melhores desempenhos da Europa em 2020, é possível dizer que as dimensões e indicadores selecionados pelo U-Multirank formam um bom conjunto para avaliar as instituições acadêmicas, com uma quantidade não muito expressiva de casos de redundância nas mensurações. A abordagem multidimensional introduzida pelo U-Multirank revela-se muito importante, pois a maioria das instituições não apresenta desempenhos homogêneos em todas as dimensões, e classificações gerais ocultariam essas fortes diferenças.