Español (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
1 Introducción
La expansión de los rankings académicos (RACs) o universitarios internacionales, nacionales y regionales, iniciada en la primera mitad de la década de 2000, ha generado una serie de implicaciones en la gobernanza universitaria de los más diversos países (BERNARDINO; MARQUES, 2010; GARCÍA DE FANELLI; PITA CARRANZA, 2018; HAZELKORN, 2014), contribuyendo para una serie de cambios no solamente en las culturas académicas y científicas, mas también en la forma como los Estados diseñan y monitorean sus políticas de desarrollo científico y tecnológico.
A pesar de las críticas más distintivas hacia los RACs (HAZELKORN, 2014; ORDORIKA, RODRÍGUEZ GÓMEZ, 2010; REYES, 2016), la literatura académica-científica reconoce que esos instrumentos de evaluación externa, internacionales y nacionales, vinieron para quedarse (MARGINSON, 2014) e instalarse dentro de la batalla por la excelencia (HAZELKORN, 2011), instalándose como un mecanismo en continuo perfeccionamiento (CALDERON, 2019a,b), dentro de una sociedad performativa (BALL, 2010).
Estudio realizado por Calderón y França (2018) demuestra que, en Iberoamérica, la curiosidad científica en torno de los RACs posibilitó, paulatinamente, a partir de 2010, la emergencia de un campo de estudios, predominantemente empírico, que revela
una tendencia direccionada para el estudio sobre a performatividad en los rankings, comprendiendo sus limitaciones, pero también sus potencialidades sin dejar de hacer un examen más cuidadoso y desapasionado que procura esclarecer las varias dimensiones existentes en los procesos de ranqueo que, por su naturaleza, son complejos, controvertidos y polisémicos (CALDERÓN; FRANÇA, 2018, p. 462).
Es dentro de ese campo de estudios emergente que el presente artículo debe ser comprendido, el mismo que tiene como objetivo analizar y mapear – en términos de metodologías adoptadas, formas de selección de universidades y fuentes de información – los RACs existentes en Chile, en una óptica comparativa con los más destacados RACs internacionales. En ese sentido, este artículo se suma a las preocupaciones teóricas sobre la educación superior chilena (SCHMAL; CABRALES, 2018; DONOSO-DIAZ et al., 2015) pero abordadas desde otro punto de vista, el de la expansión de los rankings académicos como instrumentos de evaluación e inductores de calidad por medio de la competición, dentro de una cultura de ranqueamiento, transparencia de informaciones y accountability (CALDERÓN; POLTRONIERI; BORGES, 2011).
Este documento básicamente envuelve una investigación de naturaleza exploratoria en la medida en que el fenómeno de los RACs, sus indicadores, efectos y dinámicas de funcionamiento se constituye en un campo de estudios que, por lo menos en América Latina, recién comienza a ser empíricamente abordado. En ese sentido, este artículo asume una dimensión esencialmente analítico-descriptiva, que se utiliza en el campo de la educación comparada para encontrar semejanzas y diferencias, bien como para inferir tendencias de los RACs chilenos e internacionales estudiados.
Para definir los rankings internacionales, se tomó como referencia una encuesta realizada por Hazelkorn, Loukkola e Zhang (2014) que destaca las tres tablas clasificatorias consideradas como las más influyentes: a) el pionero Academic Ranking of World Universities (ARWU, 2017), producido en 2003, inicialmente por la Universidad Shanghai Jiao Tong, que será denominado en este artículo como ARWU; b) el The World University Rankings producido por la revista Times Higher Education (THE, 2018), que pasará a ser llamado como RTHE; y c) el QS World University Rankings (QS, 2018), producido por la empresa Quacquarelli Symonds, que será denominado como RQS.
En el caso de Chile, se mapeó la totalidad de RACs vigentes. De la misma forma como sucede en países del espacio iberoamericano como España, México y Brasil (CALDERÓN; FRANÇA; GONÇALVES, 2017), en Chile existe un conjunto de rankings que, con diversos criterios, ponderaciones y medidas, intenta descifrar la complejidad de las universidades nacionales. En ese sentido, serán analizadas cuatro tablas clasificatorias: a) el ranking de “Las Mejores Universidades de Chile”, producido desde el año 1999, bajo la responsabilidad de la revista Qué Pasa (LA TERCERA, 2017), denominado en este estudio como RQP; b) el ranking del Grupo de Estudios Avanzados (GEA) Universitas, junto al periódico chileno el Mercurio (EL MERCURIO, 2017a), que será denominado como RU&EM; c) el ranking producido por la revista América Economía (AMÉRICA ECONOMÍA, 2017a), que será llamado RAE; y d) el ranking de las mejores y peores universidades, un subproducto del Barómetro de la educación superior (MORI, 2017), producido por la organización Market Opinion Research International (MORI), que será identificado como RMORI.
Cada uno de los RACs abordados en este artículo toma como referencia principal los datos del año 2017 y 2018. Para realizar el proceso comparativo entre todos los RACs analizados se consideraron tres indicadores referenciales: a) metodología adoptada, b) forma de selección de universidades y, c) fuentes de información.
Sumado a ese contenido, también fue tomada como referencia una tipología de rankings recreada por Calderón, França e Gonçalves (2017) a partir del estudio producido por Andrade (2011), que inicialmente generó una tipología de cuatro tipos diferentes, los cuales pueden ser observados en el Cuadro. A esa tipología elaborada con base en la combinación de dos matrices de variables (insumo-producto y subjetivo-objetivo), Calderón, França y Gonçalves (2017) incorporaron la existencia de otro tipo de tabla clasificatoria, denominado rankings híbridos (Figura 1), los cuales presentan como característica la presencia combinada y variable de indicadores construidos simultáneamente a partir de productos y/o insumos, colectados por medio de informaciones simultáneamente objetivas y/o subjetivas.
Cuadro Tipología de rankings académicos.
| Ranking | Foco | Forma de construcción | Ejemplo |
|---|---|---|---|
| A | Productos objetivos | Sobre la base de productos que puedan ser medidos de forma objetiva. | Resultado medio de los alumnos de una universidad en un examen de proficiencia. |
| B | Productos subjetivos | Considera productos subjetivos, o sea, productos medibles de forma subjetiva. | La reputación de la universidad por medio de cuestionarios aplicados a diversos informantes. |
| C | Insumos objetivos | Por medio de indicadores objetivos de insumos utilizados en el proceso productivo de la educación superior. | Régimen laboral del cuerpo docente. |
| D | Insumos subjetivos | A partir de la evaluación subjetiva de insumos. | Entrevistas realizadas junto a los diversos públicos de las universidades. |
Fuente: Diseño propio, basado en Andrade (2011).
Fuente: Calderón, França y Gonçalves (2017).
Figura 1 Grid de Tipología de rankings académicos puros e híbridos.
La Figura 1 muestra una tipología de las composiciones generales que los rankings pueden presentar; pero revela además la multiplicidad de configuraciones de RACs híbridos muy diversificados, que pueden existir con varias combinaciones o escalas de variaciones entre indicadores objetivos y subjetivos, con foco en los insumos y en los productos.
Este trabajo representa un punto de partida, entre los investigadores preocupados con el estudio empírico-inductivo sobre performatividad de las universidades en rankings, índices y tablas clasificatorias, que posibilitará avanzar en nuevos caminos investigativos, que impliquen revisiones exhaustivas de los basamentos teóricos e empíricos-inductivos en los cuales pueden sustentarse estas mediciones.
2 Contextualización preliminar
Las universidades cumplen un rol cardinal en el progreso de los países, y en ellas está el espacio para reflexionar y desarrollar fórmulas que le permitan a nuestra región enfrentar creativamente los retos que le impone esta nueva sociedad global. Estas instituciones deben operar con excelencia y estar debidamente equipadas en todas sus dimensiones, siendo uno de los factores claves, su gobierno o gobernanza, ámbito donde claramente hay mucho que aprender en América Latina (BRUNNER; GANGA-CONTRERAS, 2016; GARCÍA DE FANELLI; PITA CARRANZA, 2018). En este escenario surge el énfasis en los instrumentos de evaluación, calidad, gobernanza y acreditación, bien como la preocupación de la administración universitaria con el logro de altos estándares de eficiencia y el reconocimiento nacional e internacional, tarea a la que se han abocado los RACs, los cuales han alcanzado gran notoriedad como fuentes de información y herramientas ordenadoras de universidades, de acuerdo a sus propios criterios de calidad (GANGA-CONTRERAS et al., 2018).
Usher y Savino (2006) definen a los rankings como una lista de agrupaciones de instituciones clasificadas en forma comparativa según un conjunto común de indicadores en orden descendente, las que habitualmente se presentan en tablas de posiciones. La simplificación de la información que entregan los RACs, sumado al valor informativo que suministran para la toma de decisiones (GANGA-CONTRERAS; SÁEZ-SAN MARTÍN; VIANCOS, 2019; ORDORIKA; RODRÍGUEZ GÓMEZ, 2010), hacen que diversas autoridades gubernamentales e institucionales los establezcan para determinar políticas o planes para el corto, mediano o largo plazo, sirviendo también como un instrumento de auxilio para los futuros alumnos y sus familias al momento de escoger donde estudiar, que es el objetivo principal de las tablas clasificatorias promovidas por la prensa en diversos países de Iberoamérica (CALDERÓN; FRANÇA; GONÇALVES, 2017).
Es claro que la reputación que obtienen las universidades ubicadas en las mejores posiciones de estas mediciones tiene como efecto el interés de estudiantes nacionales e internacionales, los cuales están dispuestos a desembolsar grandes cantidades de dinero para acceder a ellas; sin más, está el caso de Australia, país en el que 37 de sus 43 universidades aparecen en las mejores mil en la edición del 2019 de QS World University Rankings. En ese Estado, la educación superior está en la tercera posición como sector generador de ingresos nacionales – por sobre el turismo –, y en gran parte es gracias a la internacionalización de los estudiantes (UNESCO, 2013).
3 Rankings internacionales
3.1 Academic Ranking of World Universities – ARWU
El ARWU es una medición publicada de forma anual por el Shanghai Ranking Consultancy, con la primera versión realizada en el año 2003 (LIU, 2009), cuando se convirtió en pionero en la elaboración de listados de universidades a nivel global.
3.1.1 Metodología
El ARWU, versión 2017, usa seis indicadores distribuidos en cuatro dimensiones: Calidad de la educación; Calidad del personal académico; Productos de investigación y Rendimiento per cápita (ARWU, 2017). El detalle de los indicadores y sus pesos porcentuales se puede revisar en la Tabla 1.
Tabla 1 Dimensión e indicadores del Academic Ranking of World Universities (ARWU), 2017.
| Dimensión | Peso | Indicadores | Peso |
|---|---|---|---|
| Calidad de la educación | 10% | Alumni: Alumnos de una institución ganadores de Premios Nobel y/o de Medalla Fields (matemáticas). | 10% |
| Calidad del personal académico | 40% | Award: Personal de una institución ganador de Premios Nobel y/o Medalla Fields (matemáticas). | 20% |
| HiCi: Académicos altamente citados en 21 áreas del conocimiento. | 20% | ||
| Productos de investigación | 40% | N&S: Artículos publicados en las revistas Nature y Science. En el caso de las universidades especializadas en humanidades y ciencias sociales, este porcentaje se redistribuye entre los demás indicadores de forma proporcional. | 20% |
| PUB: Artículos indexados en el Science Citation Index- Expanded (SCIE) y el Social Science Citation Index (SSCI). | 20% | ||
| Rendimiento per cápita | 10% | PCP: Rendimiento académico per cápita de una institución. | 10% |
Fuente: Elaboración propia, con información extraída desde ARWU (2017).
3.1.2 Selección de Universidades
El ARWU considera a cada universidad que tenga Premios Nobel, Medallas Fields, investigadores altamente citados o artículos publicados en Nature y Science (HIGHLY CITED RESEARCHERS, 2018). Además, incluye a universidades con un volumen significativo de artículos indexados en el Science Citation Index-Expanded (SCIE) y en el Social Science Citation Index (SSCI) de la base de datos Web of Science (WEB OF SCIENCE). En total, más de 1.300 universidades se encuentran clasificadas, aunque solo publica a las 500 mejores. A pesar de ello, en su versión de 2017, las universidades clasificadas entre los puestos 501 y 800 fueron publicadas en un anexo junto al Top 500.
3.1.3 Fuentes de información
El ARWU recoge datos cuantitativos de diversas fuentes secundarias, principalmente de páginas web. Así ocurre con la información referente a los Premios Nobel, Medallas Fields, investigadores altamente citados, y los artículos publicados en Nature y Science junto a la que se encuentran indexados en SCIE y SSCI. Tomando como referencia la Tipología de rankings académicos, puros e híbridos, adoptada en este estudio, la Tabla 1 revela que el ARWU es esencialmente puro, producido a partir de informaciones objetivas con foco en los productos, o sea, elaborado con datos esencialmente cuantitativos, en sus cuatro dimensiones, enfocando productos concretos del trabajo universitario.
3.2 QS World University Rankings - RQS
Quacquarelli Symonds, empresa británica multinacional especializada en educación y estudios en el extranjero, desde el año 2004 elabora el listado con las mejores universidades del mundo junto con la revista inglesa Times Higher Education. A partir del 2010, continúa de forma independiente con la elaboración del ranking universitario, siendo la versión del 2018 su medición más actual (QS, 2018).
3.2.1 Metodología
El RQS (QS, 2018), utiliza seis indicadores que servirán para evaluar a las universidades: las encuestas de reputación (una a académicos y otra a empleadores); la relación existente entre la cantidad de estudiantes y la cantidad de académicos; el número de citas por la cantidad de académicos, y el nivel de internacionalización de la institución (expresada en proporciones de académicos y estudiantes extranjeros). El peso de cada uno de los indicadores se expresa en la Tabla 2.
Tabla 2 Indicadores del QS World University Rankings (RQS), 2018.
| Indicador | Peso | Descripción |
|---|---|---|
| Reputación según académicos | 40% | Encuesta de reputación realizada a académicos. |
| Reputación según empleadores | 10% | Encuesta de reputación realizada a empleadores. |
| Relación de estudiantes entre académicos | 20% | Número de estudiantes matriculados de una universidad entre la cantidad total de académicos. |
| Citas por facultad | 20% | Número de citas que obtiene una institución durante el periodo 2011-2016 desde la base de datos Scopus, entre la cantidad total de académicos. |
| Proporción de académicos internacionales | 5% | Proporción de académicos internacionales entre total de académicos de la universidad. |
| Proporción de estudiantes internacionales | 5% | Proporción de estudiantes internacionales entre el total de estudiantes de la universidad. |
Fuente: Elaboración propia, con información extraída desde QS World University Rankings 2018 (QS, 2018).
3.2.2 Selección de Universidades
Son consideradas aquellas universidades que presentan los mejores índices en sus indicadores, incluidos los de reputación. En la versión del 2018, más de 4.300 instituciones fueron consideradas, pero solo 959 clasificaron para ingresar a la tabla general, 43 más que en 2017. El RQS clasifica individualmente a las primeras 500 instituciones, entre los puestos 501-800 están agrupadas en bandas, mientras que más allá del puesto 800, las universidades se enumeran alfabéticamente porque los datos disponibles no producen clasificaciones confiables (QS, 2018).
3.2.3 Fuentes de información
El indicador referente a reputación académica recopila opiniones de más de 70.000 personas expertas en el ámbito de la educación superior (hecho que la hace la encuesta de opinión académica más grande del mundo), en donde se consideran principalmente la calidad de la enseñanza y la investigación de las instituciones. Esta misma herramienta es utilizada para percibir la opinión de los distintos empleadores a nivel mundial, a quienes se les pide identificar a las instituciones de las cuales se obtienen a los graduados más competentes, innovadores y efectivos. Para la medición del indicador “Citas por facultad” se utiliza la información proporcionada por la base de datos Scopus de Elsevier.
La Tabla 2 revela que el RQS, a diferencia del ARWU y del RTHE, es una tabla clasificatoria híbrida caracterizada por presentar equilibrio entre indicadores objetivos y subjetivos, una vez que 50% del peso final es resultante de datos subjetivos obtenidos por medio de encuestas, para evaluar sea la reputación de la universidad según académicos, o la reputación de la universidad según empleadores. Su carácter hibrido se reafirma cuando se comprueba que el RQS presenta relativo equilibrio entre insumos y productos, tendiendo para productos, una vez que aproximadamente el 30% del peso final es resultante de la medición de insumos.
3.3 THE World University Rankings - RTHE
El THE World University Rankings es publicado por la revista inglesa Times Higher Education (THE) desde el año 2004, boletín que principalmente se dedica a difundir trabajos y noticias relacionadas a la educación superior. La creación del RTHE resulta, en cierta forma, como una respuesta desde Europa al ARWU, publicado en el año 2003.
El RTHE difiere metodológicamente del ARWU, puesto que no solo se limita a los resultados de investigación, sino que declara que es capaz de juzgar a las universidades de acuerdo a sus dimensiones centrales (THE, 2018). Desde la primera versión y hasta el 2009, el RTHE se diseñó en conjunto a la consultoría Quacquarelli Symonds (siendo llamado en ese periodo como THE–QS World University Rankings), hasta que, en octubre de ese año, Baty (2009), director editorial de Global Rankings, anunció que para sus próximas publicaciones se asociaría con la compañía canadiense Thomson Reuters, especializada en diversos análisis de datos para empresas y profesionales en el ámbito académico.
3.3.1 Metodología
En su edición de 2018 (THE, 2018), el RTHE presenta 13 indicadores de rendimiento que se agrupan en cinco áreas: enseñanza, investigación, citas, ingreso de la industria y perspectiva internacional (ver Tabla 3). Para generar el cálculo de cada indicador, estos se someten a una primera normalización, que luego, en una segunda instancia, se ordenan sobre la base de los pesos porcentuales definidos en la metodología. Para la normalización de todos los conjuntos de datos se usó la puntuación Z, con excepción de los resultados de la encuesta de reputación académica. Este cálculo estandariza los diferentes tipos de datos en una escala común y permite comparaciones más justas. (THE, 2018).
Tabla 3 Dimensiones e indicadores de World University Rankings (THE), 2018.
| Dimensión | Peso | Indicadores | Peso |
|---|---|---|---|
| Enseñanza | 30% | Reputación académica de la Universidad (encuesta). | 15% |
| Titulados de doctorado entre titulados de licenciatura. | 2,25% | ||
| Titulados de doctorado entre número de académicos. | 6% | ||
| Proporción de estudiantes entre número de académicos. | 4,5% | ||
| Presupuesto para docencia entre número de académicos. | 2,25% | ||
| Investigación | 30% | Prestigio en investigación de la Universidad (encuesta). | 18% |
| Financiamiento para investigación entre número de académicos. | 6% | ||
| Número de artículos publicados en revistas científicas indexadas en Scopus entre número de académicos. | 6% | ||
| Citas | 30% | Promedio de citas de artículos publicados en revistas científicas indexadas en Scopus durante los años 2012-2017. | 30% |
| Ingresos de la Industria | 2.5% | Ingreso en investigación que se obtiene de la industria entre el número de académicos. | 2,5% |
| Perspectiva Internacional | 7.5% | Proporción de académicos internacionales y nacionales. | 2,5% |
| Proporción de estudiantes internacionales y nacionales. | 2,5% | ||
| Proporción de artículos publicados con al menos un coautor internacional. | 2,5% |
Fuente: Elaboración propia, con información extraída desde World University Rankings 2018 (THE, 2018).
3.3.2 Selección de Universidades
La edición 2018 del RTHE la componen 1.103 universidades del mundo. Este listado se realizó excluyendo a las instituciones que no cuentan con programas de licenciatura, si sus resultados de investigación ascienden a menos de 1.000 artículos (con un mínimo de 150 publicaciones anuales) entre los años 2012-2016, y si el 80% o más de su actividad académica es exclusivamente en una de las 11 áreas temáticas que contempla el THE (2018).
3.3.3 Fuentes de información
Entre enero y marzo de cada año se realiza una encuesta online a diversos académicos del mundo, de la cual se desprenden más de 10.000 respuestas, que sumadas a los datos obtenidos en el mismo ítem durante el año anterior, contemplan más de 20.000 réplicas para los indicadores de la reputación académica y del prestigio en investigación de la universidad. Referente al número de publicaciones y citas que posee una institución, se recurre a información proveniente de la base de datos Scopus (THE, 2018).
La Tabla 3 revela que el RTHE, a diferencia del ARWU, es un ranking híbrido caracterizado por presentar un relativo equilibrio entre indicadores objetivos y subjetivos, aunque tiende mayormente al uso de indicadores objetivos; prueba de lo anterior es que más del 30% de la evaluación total está referida a información subjetiva, obtenida a través de la aplicación de encuestas para medir la reputación académica de la Universidad (dimensión enseñanza), o el prestigio en investigación de la Universidad (dimensión investigación). Su carácter híbrido se reafirma cuando se verifica que el RTHE presenta predominancia de productos, una vez que el 82,25% del peso final es resultante de mensuración de productos y solamente el 17,75% resulta de la medición de insumos, como, por ejemplo: proporción de estudiantes entre número de académicos y presupuesto para docencia entre número de académicos (dimensión enseñanza).
4 Rankings Nacionales Chilenos
4.1 Ranking de Universidades de la Revista Qué Pasa – RQP
A partir de la primera publicación del ranking “Las Mejores Universidades de Chile”, en 1999, la revista Qué Pasa (perteneciente al grupo Copesa S.A.), comenzó a publicarlo anualmente. A lo largo de los años ha presentado varios cambios en la forma de medir a las instituciones, agregando y quitando diversas dimensiones e indicadores, pero manteniendo su característica encuesta al mercado laboral, la cual recibe la opinión de los altos ejecutivos del país sobre la calidad de los planteles universitarios. De esta manera, RQP presenta en su diseño una mezcla de datos cualitativos y cuantitativos. La publicación de esta tabla clasificatoria se ha realizado a través de la citada revista, aunque en los últimos dos años se ha distribuido por el periódico chileno La Tercera, que también forma parte del grupo Copesa S.A.
4.1.1 Metodología
El RQP (QUÉ PASA, 2017) evalúa a las universidades chilenas con base a un mix de metodología cualitativa y cuantitativa, distribuida en 11 indicadores ordenados en cinco dimensiones: percepción de calidad, calidad de la gestión, calidad de los académicos, calidad de alumnos y calidad de investigación.
Con respecto al año de 2017, cabe destacar la ausencia del indicador relativo a la dimensión de calidad de los alumnos, “aporte fiscal indirecto” (conocido también como AFI), que durante el 2016 poseía un peso porcentual del 6% del total, y que en 2017 se asignó la totalidad a “promedio PSU” (LA TERCERA, 2017). El detalle de los indicadores y los pesos porcentuales se puede observar en la Tabla 4.
Tabla 4 Dimensiones e indicadores de Ranking de Universidades 2017 (Qué Pasa).
| Dimensión | Peso | Indicadores | Peso |
|---|---|---|---|
| Percepción de Calidad | 40% | Encuesta de percepción de calidad del mercado laboral. | 40,00% |
| Calidad de la Gestión | 15% | Número de años de acreditación institucional. | 7,50% |
| Número de alumnos por cada jornada completa equivalente (JCE). | 3,00% | ||
| Retención al segundo año. | 2,25% | ||
| Diferencia entre la duración formal de las mallas académicas y lo que tarda un alumno en titularse. | 2,25% | ||
| Calidad de los Académicos | 15% | Porcentaje de JCE con doctorado. | 9,00% |
| Porcentaje de JCE que tiene un magíster o especialidades médicas u odontológicas (en este indicador también se computan los académicos que cuentan con un doctorado, pues antes cursaron una maestría). | 6,00% | ||
| Calidad de Alumnos | 15% | Promedio de notas de enseñanza media (NEM). | 4,50% |
| Promedio en Prueba de Selección Universitaria (PSU). | 10,50% | ||
| Calidad de Investigación | 15% | Productividad científica de la institución en base a información de SCimago (Ranking Iberoamericano de Instituciones de Educación Superior 2017). | 7,50% |
| Calidad científica de la institución en base a información de SCimago. | 7,50% |
Fuente: Elaboración propia, con información extraída de la web del periódico chileno La Tercera (2017).
4.1.2 Selección de universidades
Para la medición del 2017, son incluidas en el RQP solo a las universidades que cuentan con toda su información en el portal del Ministerio de Educación de Chile (MINEDU) “Mifuturo” (CHILE, 2017), que estén acreditadas por la Comisión Nacional de Acreditación (CNA), y que además tengan más de 50 publicaciones indexadas a la base de datos Scopus, entre los años 2011 y 2015. Como resultado, se obtuvo un listado de 40 instituciones universitarias (QUÉ PASA, 2017).
4.1.3 Fuentes de información
Gran peso porcentual en esa tabla clasificatoria se lo lleva la Percepción de Calidad que el mercado laboral le otorga a las casas de estudio, cuyo levantamiento de datos lo realizó la empresa de estudio e investigación de mercados “Feedback” de manera online. Los entrevistados evaluaron cada una de las universidades en una escala de 1 a 7, donde 1 significa “muy mala calidad” y 7 “muy buena calidad”. Referente a los datos sobre gestión, académicos y alumnos, estos son extraídos de portal específico del MINEDU (CHILE, 2017). La información correspondiente a la variable investigación es proporcionada por SCImago Research Group, quien, a su vez, utiliza la base de datos de Scopus para la presentación de sus informes (QUÉ PASA, 2017).
La Tabla 4 revela que el RQP (un tanto similar al ranking RTHE) es híbrido, caracterizado por presentar relativo equilibrio entre indicadores objetivos y subjetivos, tendiendo a primar los indicadores objetivos, dado que utiliza un 60% de la información recabada en esta condición. Su carácter híbrido se reafirma cuando se verifica que el RQS presenta relativo equilibrio entre insumos y productos, tendiendo para productos, una vez que aproximadamente el 62,5% del peso final es resultante de la medición de productos finales y solamente el 37,5% resulta de la mensuración de insumos.
4.2 Ranking general de la calidad de la docencia de pregrado de Universitas y el Mercurio – RU&EM
Desde el año 2012, el GEA “Universitas” junto al periódico chileno “El Mercurio”, publican anualmente esta clasificación de universidades. En su versión del 2017 y bajo el título “Ranking de Calidad de las Universidades Chilenas”, se plantean tres tipos de mediciones: el ranking general de la calidad de la docencia de pregrado, el ranking de calidad según perfil académico de la universidad (ordenado en 4 grupos: a) Universidades docentes, b) Docentes con proyección en investigación, c) de Investigación y Doctorados en áreas selectivas, y d) de Investigación y Doctorados) y, por último, el ranking sobre indicadores de investigación, válido para universidades pertenecientes a los grupos c y d (EL MERCURIO, 2017a).
Recogiendo las principales críticas a las tablas clasificatorias (y en función a sus bases metodológicas), el RU&EM enmarca su medición en las recomendaciones que el IREG ha promovido para el perfeccionamiento de este tipo de ordenamientos, que considera como aspectos primordiales: la calidad académica, la utilización exclusiva de indicadores objetivos y numéricos, los que deben ser emanados de fuentes oficiales, públicas y verificables.
4.2.1 Metodología
El RU&EM utiliza once indicadores que sirven para listar a las universidades chilenas, los cuales se encuentran ordenados bajo cuatro dimensiones: calidad de los estudiantes, calidad de los académicos, calidad de los procesos formativos y calidad de la gestión institucional. La versión 2017 cuenta con varias modificaciones metodológicas con respecto a su símil del 2016. Entre los cambios mencionados, destaca la eliminación del indicador “estudiantes con AFI”, el cual fue reemplazado por “Promedio puntaje PSU” y “Promedio de notas de enseñanza media”; a su vez, el indicador “gasto por alumno” es substituido por “ingresos por estudiante”; y por último, son realizadas correcciones metodológicas a los indicadores “porcentaje de carreras acreditadas” y “promedio de años de acreditación por carrera” (EL MERCURIO, 2017b). En la Tabla 5 es posible advertir los indicadores que finalmente fueron usados para este ranking.
Tabla 5 Dimensiones e indicadores de Ranking general de la calidad de la docencia de pregado 2017 (Universitas y El Mercurio).
| Dimensión | Peso | Indicadores | Peso |
|---|---|---|---|
| Calidad de los estudiantes | 15% | Puntaje promedio en la Prueba de Selección Universitaria (PSU). | 7,5% |
| Promedio de notas de enseñanza media (NEM). | 7,5% | ||
| Calidad de los académicos | 25% | Porcentaje de académicos contratados por más de media jornada. | 12,5% |
| Porcentaje de académicos con grado de doctor. | 12,5% | ||
| Calidad de los procesos formativos | 40% | Cantidad de alumnos por académicos contratados por más de media jornada. | 8% |
| Promedio de años de acreditación de las carreras, ajustado por el porcentaje de carreras acreditadas. | 24% | ||
| Porcentaje de retención al segundo año. | 4% | ||
| Brecha entre duración teórica y real de las carreras. | 4% | ||
| Calidad de la gestión institucional | 20% | Años de acreditación de la institución. | 16% |
| Ingresos operacionales por alumno. | 2% | ||
| Porcentaje de carreras acreditadas. | 2% |
Fuente: Elaboración propia, con información extraída desde Ranking de calidad de las universidades chilenas 2017 (EL MERCURIO, 2017b).
4.2.2 Selección de universidades
Para la medición del 2017, fueron consideradas solo aquellas universidades acreditadas por la CNA y que han reportado sus datos de manera oficial ante el MINEDU a través del Servicio de Información de Educación Superior (SIES). En total, 46 universidades cumplen con los requisitos para entrar al listado, una más que el año 2016 (EL MERCURIO, 2017b).
4.2.3 Fuentes de información
El RU&EM utiliza información numérica disponible de diversas bases de datos de acceso público del Departamento de Evaluación, Medición y Registro Educacional (DEMRE), desde el SIES y la CNA (EL MERCURIO, 2017b). La Tabla 5 revela que ese ranking presenta semejanza con el ARWU en la medida en que también es un ranking esencialmente puro producido a partir de informaciones objetivas. La diferencia radica en que el RU&EM no mensura solamente indicadores de productos como es el caso del ARWU, revelándose un ranking híbrido que presenta equilibrio entre insumos y productos, una vez que aproximadamente el 50% del peso final de los indicadores medidos es de insumos, como por ejemplo, todos los indicadores de las dimensiones calidad de los estudiantes y calidad de los académicos, siendo el porcentaje restante de indicadores de productos.
4.3 Ranking de las Mejores Universidades de Chile de la Revista América Economía - RAE
El año 2009 es el punto de partida en la elaboración del “Ranking de las mejores Universidades de Chile”, que cuenta en la actualidad con nueve ediciones. Se debe destacar que la revista América Economía no solo produce rankings de universidades chilenas, también realiza rankings de universidades mexicanas y peruanas (AMERICA ECONOMIA, 2017a).
4.3.1 Metodología
Como queda en evidencia en la Tabla 6, el RAE en su versión 2017 se construye bajo nueve dimensiones: calidad de los alumnos, calidad de los docentes, investigación, acreditación, infraestructura, internacionalización, inclusión y diversidad, vinculación con la comunidad y vida universitaria (AMERICA ECONOMIA, 2017b).
Tabla 6 Dimensiones e indicadores de Ranking mejores universidades de Chile 2017 (América Economía).
| Dimensión | Peso | Indicadores | Peso |
|---|---|---|---|
| Calidad de Alumnos | 24% | Puntaje promedio del ingreso del último año en la Prueba de Selección Universitaria (PSU). | 14,40% |
| Promedio de las Notas de Enseñanza Media (NEM) de los matriculados en primer año. | 4,80% | ||
| Promedio ranking de notas. | 4,80% | ||
| Calidad docente | 25% | Tamaño del cuerpo académico. | 10,00% |
| Desarrollo docente. | 1,25% | ||
| Formación y distribución del cuerpo académico. | 13,75% | ||
| Investigación | 15% | Productividad tetranual ISI. | 6,00% |
| Productividad tetranual Scielo. | 3,00% | ||
| Cantidad bruta entre producciones ISI y Scielo. | 4,50% | ||
| Cantidad de fondos concursables obtenidos junto a sus respectivos montos. | 0,75% | ||
| Impacto de la investigación medida a través de SCImago. | 0,75% | ||
| Acreditación | 10% | Cantidad total de áreas acreditadas, obligatorias y optativas a nivel institucional. | 6,00% |
| Años de acreditación otorgados por la CNA a nivel institucional. | 4,00% | ||
| Infraestructura | 5% | M2 de salas de clase por alumno matriculado. | 1,25% |
| M2 construidos por alumno matriculado. | 1,25% | ||
| M2 de bibliotecas por alumno matriculado. | 1,25% | ||
| M2 de laboratorios y talleres por alumno matriculado. | 1,25% | ||
| Internacionalización | 5% | Intercambio de alumnos. | 2,50% |
| intercambio de profesores. | 2,00% | ||
| Existencia de beca propia o ayuda económica a alumnos de intercambio. | 0,50% | ||
| Inclusión y diversidad | 6% | Distribución por grupo socioeconómico. | 1,20% |
| Monto total de becas por el número de alumnos. | 0,60% | ||
| Distribución por procedencia según tipo de establecimiento (municipal, subvencionado o particular). | 0,60% | ||
| Accesibilidad para personas con movilidad reducida. | 0,90% | ||
| Existencia de materiales y facilidades para personas no videntes. | 0,90% | ||
| Paridad de género del personal contratado. | 0,60% | ||
| Existencia de sistema propio de financiamiento. | 0,30% | ||
| Existencia de programas remediales o propedéuticos. | 0,45% | ||
| Existencia del Programa de Acompañamiento y Acceso Efectivo a la Educación Superior (PACE). | 0,45% | ||
| Vinculación con la comunidad | 5% | Biblioteca abierta a la comunidad. | 0,25% |
| Asesorías a instituciones gubernamentales. | 0,25% | ||
| Proyectos de apoyo a la comunidad. | 0,25% | ||
| Entidades de extensión. | 0,50% | ||
| Gastos en extensión. | 1,00% | ||
| Estudios con impacto social. | 1,25% | ||
| Existencia de programas de voluntariado. | 1,50% | ||
| Vida Universitaria | 5% | Existencia de federación de estudiantes. | 1,50% |
| Porcentaje de carreras con un centro de alumnos. | 1,00% | ||
| Financiamiento a federación. | 1,00% | ||
| M2 de áreas deportivas por M2 de terreno. | 0,75% | ||
| Cantidad de ramas deportivas. | 0,50% | ||
| Áreas verdes totales. | 0,25% |
Fuente: Elaboración propia, extraída desde documento de trabajo no 2 de América Economía Intelligence Ranking Universidades de Chile: Variables, ponderadores y validaciones (AMÉRICA ECONOMÍA, 2017b).
4.3.2 Selección de universidades
Las universidades que se incorporan a la medición son todas aquellas consignadas como tales en el Consejo Nacional de Educación (CNED) de Chile, y que además hayan respondido a un cuestionario suministrado por el equipo de investigador del RAE. En la versión del 2017, la cantidad de universidades participantes asciende a 36, mismo número del año anterior (AMÉRICA ECONOMÍA, 2017b).
4.3.3 Fuentes de información
Los datos provienen principalmente de páginas web de entidades públicas, tales como: CNED, DEMRE, Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), SIES, Mi Futuro y CNA. Para informaciones que no se encuentran disponibles de manera pública, las universidades participantes responden una encuesta específica (AMÉRICA ECONOMÍA, 2017b).
La Tabla 6 revela que el RAE presenta peculiaridades que lo distinguen de los otros rankings analizados. Evidentemente se trata de una tabla clasificatoria híbrida que presenta como principal característica el hecho de mostrar predominancia de medición de insumos, con el 75% del peso total de los indicadores medidos. Solamente el 25% corresponde a indicadores de productos (indicadores de las dimensiones investigación y acreditación). Otra característica del RAE es el hecho de ser híbrido y presentar relativo equilibrio entre indicadores objetivos y subjetivos, tendiendo para objetivos. El margen de subjetividad existente radica en el hecho de que muchas de las informaciones colectadas son resultado de datos ofrecidos por las propias instituciones, existiendo indicadores originales que los distingue de los otros rankings chilenos, de difícil mensuración, como ejemplo, algunos indicadores de las dimensiones: inclusión y diversidad y vinculación con la comunidad.
4.4 Rankings de las mejores y las peores universidades de Market Opinion Research International (MORI) – RMORI
En el año 2017, el Barómetro de la educación Superior publicó su décimo segunda edición, por medio de la cual la empresa MORI (2017) monitorea la evolución de la imagen que los estudiantes de secundaria del tercero y cuarto año de estudios tienen del sistema de educación superior chileno. Son divulgadas dos tablas clasificatorias: el Ranking de las mejores universidades, subdividido en tres: Top 10 Universidades, Top 10 Universidades por regiones, Top 10 Universidades privadas, y el Ranking de las Peores Universidades, siendo mencionadas siete instituciones para el 2017.
4.4.1 Metodología
Las tablas clasificatorias del RMORI son producidas sobre la base de preguntas abiertas a los informantes. Los resultados son ponderados para representar al universo estudiado en la proporción que existe en el país (MORI, 2017). En la edición del año 2017, fueron entrevistados 1.200 estudiantes del 3º a 4º año de la educación secundaria, residentes en zonas urbanas. Para las mejores universidades, los informantes responden apenas una única pregunta abierta con respuesta múltiple, muy semejante para cada una de las tres tablas clasificatorias; por ejemplo, para el Ranking de las Peores Universidades, la pregunta que los informantes responden es la siguiente: Por lo que tú sabes o has oído ¿Cuáles son las cinco peores Universidades? (MORI, 2017).
4.4.2 Selección de universidades
No existe selección previa de universidades. En las tablas clasificatorias del RMORI son mencionadas las universidades que aparecen de forma espontánea durante las entrevistas.
4.4.3 Fuentes de información
Básicamente la fuente de información es resultado de las entrevistas realizadas con los estudiantes que componen la muestra. Siguiendo la tipología que estamos adoptando, las tablas clasificatorias del RMORI son instrumentos esencialmente puros, con foco en los resultados y totalmente subjetivos.
5 Conclusiones
Por medio del presente estudio se logró determinar que los rankings chilenos analizados presentan varias particularidades: 1) la revista Qué Pasa es la única en utilizar un criterio de percepción de calidad de las instituciones a través de encuestas a profesionales y ejecutivos ligados fuertemente a la contratación en el mundo laboral, que tiene un peso del 40% de la ponderación total de la medición; 2) el RU&EM centra su atención en la docencia de las instituciones; la investigación como área de análisis se estudia en un ranking complementario; 3) el RAE añade varios criterios a la ponderación total, tales como los niveles de inclusión de la casa de estudio, la vinculación que esta tiene con la comunidad y lo relacionado a la vida universitaria que experimentan los estudiantes. Estos últimos datos se obtienen desde la misma universidad, la cual cumple con llenar un cuestionario entregado por el equipo de investigación del RAE; así, es el único ranking que recibe información directa de las propias instituciones.
Dentro de tantas particularidades, llaman la atención los rankings promovidos por el Barómetro de la Educación Superior, los cuales son totalmente subjetivos, basados en la percepción muestral de estudiantes de secundaria. A parte de eso, es el único que no solo publica el ranking de las mejores universidades, sino que también el ranking con las peores universidades, adoptando cuestionables y frágiles criterios e indicadores de calidad. En ese sentido, en la tentativa de clasificarlos, puede afirmarse que juntamente a las tablas clasificatorias basadas en “prestigio académico” que exaltan el mérito coexisten clasificaciones que colocan el acento en el demérito. Sin embargo, conviene esclarecer que ese último tipo de tabla clasificatoria es una excepcionalidad en la realidad chilena que se distancia de cuidados técnicos destacados en los Principios de Berlín para Rankings de Educación Superior (IREG, 2006), adoptados por los principales operadores de rankings e investigadores del mundo para garantizar la credibilidad de la producción y de los usos de estos instrumentos.
Adicionalmente, se pudo detectar que las principales diferencias existentes entre los rankings globales y los de carácter nacional no pasan tanto por los criterios a evaluar, sino por la especificidad de los indicadores y de los pesos porcentuales en los que se basará la medición. Cada ranking plantea implícitamente a través de su forma de evaluar un concepto de calidad institucional, a pesar de que teóricamente no exista un consenso sobre ello. Cada tabla de posición responde a información mayormente objetiva de las universidades; sin embargo, se evidencian esfuerzos para evaluar áreas poco exploradas en el ámbito de los rankings académicos, como se verifica en el RAE que añade los criterios de inclusión y diversidad, vinculación con la comunidad y vida universitaria a su metodología.
La ausencia de un único criterio de calidad de la universidad se puede constatar en la Figura 2, al verificar que los rankings analizados se muestran diferentes uno de los otros.
Fuente: Los autores a partir de Caldéron, França e Gonçalves (2017).
Figura 2 Grid de Tipología de rankings académicos puros e híbridos y los respectivos encuadramientos de los rankings académicos chilenos e internacionales.
En definitiva, pueden existir aproximaciones, pero en su esencia, en la medida en que cada uno adopta diferentes indicadores de calidad, significa que cada cual trabaja con un concepto distinto. De ese hecho, se derivan varios elementos de análisis, pudiéndose citar al menos dos:
El primero de ellos tiene que ver con la importancia de entender qué es lo que cada uno de los rankings mide, antes de propagar que tal universidad es la mejor o la peor. O sea, si una universidad está ocupando los primeros lugares en una determinada medición, es importante saber que tiene resultados destacados en ciertas dimensiones e indicadores.
El segundo se asocia a la necesidad de tener claridad respecto a quiénes son los que definen esos conceptos de calidad, los cuales de una u otra forma acaban norteando la actuación de las universidades. Dentro de este cuestionamiento, cabe destacar la necesidad de que los rankings tengan consejos de asesoría compuestos por especialistas del ámbito universitario, para reducir el margen de equivocaciones en la definición de pesos (porcentajes de importancia) e indicadores que serán determinados.
Podría afirmarse entonces, que el ARWU y el RU&EM tienen en común el hecho de que ambos se constituyen en rankings puros por trabajar solamente con indicadores objetivos, diferenciándose en la medida en que el ARWU actúa con foco en los productos, mientras el RU&EM revela equilibrio entre indicadores de insumo y de producto. Las tablas clasificatorias promovidas por el Barómetro de la Educación Superior son únicas, sin comparación entre los rankings estudiados, sean globales o nacionales, pues son rankings esencialmente puros, con foco en los resultados y totalmente subjetivos.
Por su parte, los rankings RTHE, RQP y RAE tiene en común el hecho de que son híbridos, revelando relativo equilibrio entre indicadores objetivos y subjetivos, con tendencia para indicadores objetivos. Sin embargo, surgen grandes diferencias cuando se abordan y se priorizan indicadores de insumo o producto. El RAE se caracteriza por la predominancia de insumos; en el lado opuesto, en el RTHE lo que predomina es la variable productos, siendo el RQP el que se aproxima a un relativo equilibrio entre insumos y productos, tendiendo para productos. Muy diferente a todos los rankings mencionados, que de una u otra forma tienden a trabajar más con indicadores objetivos, está el RQS, que es un híbrido que revela equilibrio entre indicadores objetivos y subjetivos, con relativo equilibrio entre insumos y productos.
