Revisión de evidencia en retrospectiva

En el marco de la discusión a la que nos invita este número especial acerca de los sentidos y desafíos de los sistemas de evaluación en educación del continente en las últimas décadas, el presente artículo busca aportar a ello desde el caso chileno, muchas veces presentado como paradigmático en América Latina. Para ello, la autora reúne evidencias de diversos proyectos de investigación en los que ha participado en los últimos diez años, los que pone en diálogo con evidencias desarrolladas por otros autores y autoras, con el fin de reflexionar en torno a las tensiones entre las intenciones declaradas para estos sistemas en Chile, y aquello que se observa en la política y la práctica.

El recorrido del artículo se inicia con un análisis acerca de la forma en que el caso de Chile y su sistema de evaluación se presenta a nivel continental, levantando algunos elementos de tensión a partir de evidencias de investigación. Luego, se alude al marco político-ideológico que da origen al sistema de evaluación de la calidad de la educación en Chile y a los supuestos que le dieron fundamento, para posteriormente analizar críticamente cada uno de estos supuestos a la luz de la investigación de las últimas décadas. A partir de ello, se plantea la pregunta de por qué se persiste en este sistema de evaluación pese a las evidencias acerca de sus efectos negativos, lo que se explica desde un análisis basado en un estudio acerca de los procesos de construcción de las políticas de evaluación en Chile. Finalmente, el artículo plantea la necesidad de transitar hacia un horizonte diferente para la evaluación a gran escala en Chile, para lo cual se entregan posibles alternativas a través de experiencias en diversos países de América Latina, orientadas hacia sistemas con propósito formativo y de bajas consecuencias.

“El hijo bien portado”: el sistema educacional chileno en el contexto latinoamericano

En el marco de las agendas educacionales de los años noventa y dos mil, caracterizadas a nivel latinoamericano por el eslogan de calidad y equidad, las Organizaciones Internacionales más influyentes en el continente han aludido con frecuencia al caso chileno como un ejemplo que los demás países de la zona deberían seguir. La siguiente cita de un documento del Banco Mundial es ilustrativa de esta tendencia:

En efecto, Chile se ha convertido en uno de los países que más se mencionan como ejemplo de reformas innovadoras en educación. Entre las reformas más importantes se encuentran: (i) la descentralización de la administración de la educación pública a los gobiernos municipales; (ii) un cambio en el financiamiento del sistema hacia una subvención por alumno, o voucher, para escuelas privadas y municipales; (iii) la implementación de bonificaciones para docentes basadas en el desempeño; y (iv) la introducción de programas compensatorios destinados a escuelas de bajo rendimiento. (^{BANCO MUNDIAL, 2007}, p. 9).

Esta cita evidencia el despliegue de estrategias discursivas que en otro lugar he denominado de naturalización y despolitización (^{FLÓREZ PETOUR, 2022}), cuya presencia es frecuente en textos de política nacional e internacional. En este caso, las ‘innovaciones’ a las que se alude, con excepción de la número iv, corresponden a las medidas tomadas como parte del plan de modernización de la educación a inicios de los ochenta, en el marco de la dictadura cívico-militar de Augusto Pinochet, a partir del cual se sentaron las bases para la instalación de un sistema de mercado en educación en el país. Así, las estrategias discursivas antes mencionadas se despliegan aquí a partir de la presentación de este sistema y sus medidas desde un borramiento del trasfondo político e ideológico que les dio origen, generando así la ilusión de algo que emerge espontáneamente y que constituye un orden de cosas dado y evaluado como intrínsecamente positivo. Se podría vincular este punto con el análisis de ^{Salazar (2023)} en torno al discurso que emerge del neoinstitucionalismo, muy presente según el autor en los burócratas a cargo de la política nacional de las últimas décadas, donde la globalización es “conceptualizada como un proceso de convergencia homogénea” (p. 21) o isomorfismo entre las políticas educacionales de diferentes países, esto es, en lugar de visualizar las transformaciones en educación de los últimos años como un fenómeno de naturaleza política, se las observa como una suerte de convergencia natural y espontánea hacia un mismo modelo de ‘buena educación’.

Dentro de este escenario de valoración positiva en el marco latinoamericano, Chile también es presentado como un modelo a seguir en lo que respecta a los sistemas de evaluación a gran escala, dada su larga trayectoria en este ámbito dentro de la región, sistemas que son en general promovidos por las Organizaciones Internacionales como un aspecto crucial en el marco de la agenda de calidad y equidad. Así lo ilustra la siguiente cita:

El programa de evaluación de Chile, SIMCE (Sistema de Medición de la Calidad de la Educación), ofrece lecciones importantes para otros países que estén buscando utilizar de mejor manera la información de su evaluación. La estrategia de difusión del SIMCE es producto de más de 20 años de experiencia. El país ha evidenciado incrementos en el aprendizaje de los estudiantes durante la última década. Estos incrementos son, al menos en parte, la consecuencia de buenas decisiones informadas por la evidencia de la evaluación. (BANCO MUNDIAL, 2012, p. xi, traducción nuestra).

Cabe señalar, como se detalla más adelante, que varias de las ideas que se presentan en este fragmento no están respaldadas en evidencia, correspondiendo a falacias de afirmación gratuita, cuando se realiza un análisis retórico ². De hecho, la evidencia investigativa disponible más bien las cuestiona. Así sucede, por ejemplo, con respecto a uno de los aspectos que se valora en la cita, referido al uso de la información derivada el SIMCE en diferentes niveles del sistema. La evidencia ha sido consistente en levantar preocupaciones por la falta de uso de esta información (^{COMISIÓN SIMCE, 2003}; ^{TAUT et al., 2009}; ^{EQUIPO DE TAREA, 2015}; ^{MANZI et al., 2014}). Así, lo que se observa aquí es otra estrategia discursiva común en este tipo de documentos, y que veremos también en los documentos de política nacional, referida a la invisibilización de la evidencia, que alude a la realización de afirmaciones que simplemente ignoran la investigación disponible, con el fin de presentar una perspectiva naturalmente positiva de los sistemas (^{FLÓREZ PETOUR, 2022}).

De esta manera, en el marco de los treinta años de trayectoria de políticas de evaluación en América Latina, Chile ha sido presentado como un ejemplo positivo en relación con su sistema educacional y también a partir de la trayectoria de su sistema de evaluación, que estaría altamente institucionalizado y gozaría de calidad técnica y de credibilidad. En la siguiente sección se describen las bases políticas e ideológicas de este sistema, y la forma en que la evaluación a gran escala se constituye como un elemento fundamental de su engranaje, de manera de explicitar a qué se está invitando a los otros países cuando se los llama a seguir el ejemplo chileno.

La evaluación a gran escala en Chile como un eje fundamental del sistema de mercado en educación

^{Acuña et al. (2014)} describen la forma en que los cambios realizados desde los años ochenta en el sistema educacional chileno se asocian a la instalación de un Estado subsidiario y al desarrollo de una serie de mecanismos que transforman al sistema chileno hacia una lógica de mercado, a partir de los supuestos de competencia y libre elección. El supuesto de la competencia, sostenido en la asunción de que los y las docentes del sistema público no harán bien su trabajo por vocación, asume que una mayor competencia provocará una mayor dinamización del mercado lo que, unido a los ‘incentivos’ adecuados, debería generar una mejora en la calidad del servicio educacional (^{ACUÑA et al., 2014}). Por su parte, el supuesto de libre elección traspasa la responsabilidad por la educación desde el Estado a las familias y las escuelas, rompiendo así la tradición histórica del sistema chileno de un Estado docente, lo que implica que los padres y madres, en tanto clientes del mercado educacional, deben realizar elecciones informadas (^{ACUÑA et al., 2014}). Es esta necesidad de información la que lleva a la creación de un sistema de evaluación a gran escala en Chile, con el fin de facilitar la libre elección de las familias en el mercado. En este sentido, el origen del sistema de evaluación curricular tiene un anclaje político-ideológico claro y explícito, pese a que se busque presentarlo como un dispositivo neutral y como una innovación naturalmente positiva, desvinculada de su raíz en el modelo educacional impuesto por la dictadura.

Luego de un primer intento fallido en la primera mitad de los años ochenta, la aplicación inicial del SIMCE en 1988 es seguida por su consolidación en 1990 dentro de la Ley Orgánica Constitucional de Enseñanza (LOCE). Esta ley corresponde a uno de los cuerpos legales conocidos como leyes de amarre, es decir, aquellas normativas que se promulgaron días antes del regreso a la democracia, con el fin de perpetuar el sistema creado por la dictadura. La LOCE, en su artículo 19, hacía obligatoria la realización de una evaluación para todas las escuelas del país, al menos en un nivel de educación básica y uno en secundaria, cuyos resultados debían publicarse en un lugar visible de la escuela y en un diario de circulación nacional (^{MINISTERIO DE EDUCACIÓN PÚBLICA, 1990}).

Tras el regreso a la democracia en los años noventa, los gobiernos de centroizquierda y de derecha de los últimos treinta años han estado lejos de cuestionar las bases del sistema de mercado en educación y de los sistemas de evaluación pensados desde esa lógica. Muy por el contrario, autores como ^{Bellei (2015)} analizan la forma en que el mercado en educación se consolida durante este período, distinguiendo entre un momento de «tercera vía» en educación, donde se busca regular el mercado con mayor presencia del Estado, pero sin cuestionar sus bases (1990-2005), y un segundo momento que denomina de consolidación de un «Estado evaluador», con reformas basadas en estándares (2006 al presente), que profundizan los mecanismos de rendición de cuentas de mercado, a través de sistemas de aseguramiento de la calidad, donde la evaluación a gran escala sigue teniendo un rol central (^{BELLEI, 2015}).

Dentro de esta trayectoria, las consecuencias asociadas al SIMCE se han incrementado, partiendo en 1995 con la publicación de resultados, que se traducen en rankings en los medios masivos. A ello se agregan los incentivos colectivos para los docentes de los establecimientos con mejores resultados desde mediados de los noventa; el financiamiento para las escuelas asociado a planes de mejoramiento con compromiso de resultados desde 2008; y más recientemente, desde la promulgación de la Ley de Aseguramiento de la Calidad en 2011, la posibilidad de cierre de las escuelas, a partir de resultados bajos reiterados, con base en un sistema de ordenación asociado a categorías (^{FLÓREZ PETOUR, 2018}).

A estas consecuencias se agrega la gradual intensificación del SIMCE, que en sus orígenes implicaba la evaluación de un nivel por año, pasando en 2006 a dos niveles por año, para llegar a su más alta intensificación en 2010, durante el primer gobierno de Sebastián Piñera, donde a los niveles de 4° y 8° de básica y 2° de secundaria se suman 2° y 6° de básica, además de incorporarse las áreas de Inglés y Educación Física, llegando en un punto a alrededor de 17 pruebas por año para las escuelas (^{BELLEI, 2015}; ^{FLÓREZ PETOUR, 2018}).

Tras una ola de cuestionamientos levantados por diversos actores de los movimientos sociales por la educación, a la que se sumó la investigación crítica, se conformó una comisión de expertos en 2014, cuya misión fue acoger estas críticas y proponer modificaciones al sistema (^{EQUIPO DE TAREA, 2015}). No obstante, dicha comisión no propuso cambios profundos asociados al modelo en el cual está anclado el SIMCE, sino que planteó principalmente la necesidad de equilibrar la presión con medidas de apoyo como consecuencia del sistema, legitimando a su vez aspectos como la publicación de resultados, la evaluación censal y la presencia de incentivos (^{EQUIPO DE TAREA, 2015}). De estas recomendaciones, el mayor cambio que se asumió fue la disminución de la cantidad de pruebas por año. Sin embargo, durante el segundo gobierno de Piñera se formuló el Plan de Evaluaciones 2021-2026, que volvía a incrementar la cantidad de pruebas por año y reinstalaba la altamente cuestionada prueba de 2° básico (^{MINISTERIO DE EDUCACIÓN, 2021}). Este plan ha estado suspendido por el escenario de pandemia y post-pandemia, realizándose únicamente en 2022 una aplicación excepcional en 4° básico y 2° medio, sin consecuencias, escenario que se repitió en 2023. Así, el momento actual es de incertidumbre, ya que no está claro en el presente escenario político qué sucederá con este sistema de evaluación.

La descripción de esta trayectoria hace más claro a qué se invita a los otros países cuando se los motiva a seguir el ejemplo chileno. La investigación internacional reconoce a Chile como un caso extremo de políticas de mercado en educación (^{VERGER; FONTDEVILA; ZANCAJO, 2016}), las que en el contexto nacional son abordadas por los gestores de política desde su naturalización, pese a los cuestionamientos que los movimientos sociales por la educación de 2006 y 2011 han realizado de este modelo (^{BELLEI; CABALIN; ORELLANA, 2014}). De acuerdo con la sistematización que realizan ^{Falabella y De la Vega (2016)} acerca de los sistemas de rendición de cuentas de mercado, de los que Chile es un caso paradigmático, imitar este ejemplo conlleva: la comprensión de la calidad en educación como equivalente a resultados en pruebas estandarizadas; un supuesto de mejora de la calidad de la educación a partir de estos sistemas; el establecimiento de comparaciones y jerarquías entre establecimientos; la responsabilización de las escuelas por los resultados, invisibilizando aspectos contextuales y de condiciones socioeconómicas y culturales; una perspectiva gerencial que asume procesos de toma de decisiones y mejora a partir de los resultados, sin explicitar cómo se ponen en acción estos vínculos; la instalación de incentivos y sanciones asociados a los resultados, desde un supuesto de mejora a partir de ellos (^{FALABELLA; DE LA VEGA, 2016}). En la próxima sección sistematizaremos la evidencia investigativa acerca de los efectos del SIMCE en conexión con estos supuestos, la que revela un panorama muy diferente del que se presenta con frecuencia en los textos de política y los documentos de las Organizaciones Internacionales.

Las promesas incumplidas del SIMCE: ¿qué es lo que ha hecho el sistema de evaluación?

Cuando se analiza la evidencia de investigación desarrollada en la última década en Chile, los supuestos asociados al rol de la evaluación en el sistema de mercado en la educación del país se ponen en cuestión. El primero de estos supuestos se asocia al mejoramiento de la calidad y equidad de la educación, que se derivarían de la comparación, la competencia y la lógica de incentivos y sanciones como movilizadores de la productividad. Al respecto, se cuenta con evidencia sistemática desde el año 2012 al presente, cualitativa y cuantitativa, acerca de los efectos del SIMCE en las comunidades escolares. Así, por ejemplo, la encuesta CIDE del año 2012 destaca que un 73,5% de los y las docentes encuestados reconocieron a esta evaluación como fuente de estrés y ansiedad y más del 80% de los y las docentes y directivos participantes reconocieron que el SIMCE desconoce los esfuerzos que se realizan en sectores en mayor desventaja socioeconómica, al comparar establecimientos muy diferentes entre sí (^{CIDE, 2012}). Asimismo, un 58,6% de los profesores y profesoras encuestados reconocieron que el SIMCE tiende a mecanizar el proceso de enseñanza y empobrece la educación, mientras que un 56,1% indicó que deja menos tiempo para el trabajo lúdico y reflexivo, y un 67,8% lo distinguió como un dispositivo de reducción curricular, dado que focaliza el trabajo en las asignaturas evaluadas (^{CIDE, 2012}).

La evidencia en esta línea ha sido consistente a través de los años. Por ejemplo, en el sondeo realizado por el Departamento de Estudios del Colegio de Profesores en 2018, un 60% de los y las docentes encuestados reconocen a las evaluaciones estandarizadas externas como una de las principales fuentes de presión sobre su trabajo (^{DEPARTAMENTO DE EDUCACIÓN DEL MAGISTERIO, 2018}). En una línea similar, los propios datos de la agencia actualmente a cargo del SIMCE dan cuenta de que un alto porcentaje de escuelas señala realizar instancias de entrenamiento y preparación para la prueba (^{MECKES; MENA, 2019}).

Por su parte, la evidencia cualitativa ha respaldado los datos anteriormente señalados, además de profundizar su comprensión, levantando desde allí nuevos nudos críticos. Así, diversos investigadores e investigadoras han dado cuenta de las experiencias de agobio, distorsión y empobrecimiento del trabajo de aula y del sentido de la escuela; las emociones de frustración que se generan al recibir resultados negativos para los contextos en desventaja socioeconómica; la inhibición de la innovación pedagógica que se observa en escuelas con altos resultados; el foco en el entrenamiento para la prueba dentro de las áreas y formatos considerados en la evaluación, entre otros (^{FLÓREZ PETOUR, 2013}; ^{ACUÑA ET AL., 2014}; ^{FALABELLA, 2014}, ²⁰¹⁹; ^{MECKES; MENA, 2019}). Estas evidencias son consistentes con lo que la literatura internacional viene levantando hace varias décadas acerca de los efectos negativos que los sistemas de evaluación de altas consecuencias generan en el trabajo de las comunidades escolares (^{FALABELLA; DE LA VEGA, 2016}; ^{UNESCO, 2017}). En este sentido, con respecto al supuesto de mejora de la calidad, la evidencia ha sido sistemática en señalar que los efectos más bien apuntan en un sentido contrario, a lo que se agrega la falta de evidencia contundente acerca de la capacidad de este sistema de generar mejoras (^{MUJICA, 2012}).

Algo similar ocurre con el supuesto de mejoras a la equidad del sistema, más presente en las políticas de los años noventa en adelante. Por una parte, se suele señalar como un punto a favor del SIMCE que ha permitido visualizar brechas socioeconómicas y de género en la educación, a partir de sus resultados (^{EQUIPO DE TAREA, 2015}). En contraste, autores como ^{Ortiz (2012)} y ^{Mujica (2012)} señalan la falta de impacto de este sistema en términos de mejorar las inequidades del sistema. De hecho, como sucede en otros contextos con este tipo de políticas evaluativas en el marco de los sistemas neoliberales, el efecto ha sido más bien un incremento de la segregación del sistema (^{BELLEI, 2015}). A este punto se agrega la evidencia de larga data acerca de la variable socioeconómica como el principal factor explicativo de los resultados, marco en el cual hay investigación que señala que, cuando se controlan estos factores en el análisis de resultados, los establecimientos públicos evidencian ser más eficientes para los y las estudiantes más pobres (^{DONOSO DÍAZ; BARRIOS, 2002}; ^{BELLEI, 2015}), cuestionando así otro supuesto del sistema, que establece lo privado como intrínsecamente mejor y como el modelo a seguir. Junto con ello, se encuentra la evidencia sobre la forma en que el SIMCE, dadas sus altas consecuencias, incidiría en el surgimiento de prácticas de discriminación interna en los establecimientos, por ejemplo, con exclusión de estudiantes de bajo rendimiento el día de la prueba, entrenamiento específico para grupos de altos resultados, estrategias de selección/descreme encubiertas (^{FLÓREZ PETOUR, 2013}; ^{MECKES; MENA, 2019}).

Otro supuesto relevante de la evaluación de altas consecuencias en un modelo de rendición de cuentas de mercado se asocia a la elección informada de los padres y las madres, con base en los resultados de la evaluación. Por una parte, en el período previo a que el copago fuera prohibido en los establecimientos de sostenedor privado con financiamiento estatal a partir de la Ley 20.845 ³, la literatura aludía a que no existía elección real, ya que ésta estaba asociada a la capacidad de pago de las familias, de manera que el factor socioeconómico familiar condicionaba la elección (^{ORTIZ, 2012}; ^{FLORES; CARRASCO, 2013}; ^{CÓRDOBA, 2014}), lo que sigue siendo así para los establecimientos particulares pagados. Hay, además, evidencia más reciente de que, incluso después de la ley antes mencionada, la persistencia del copago en algunos establecimientos particulares subvencionados sigue siendo un factor relevante en la distribución social del sistema escolar en una lógica segregada (^{SILLARD; GARAY; TRONCOSO, 2018}). A ello se agregan las investigaciones que señalan que la elección de las familias obedecería a criterios de cercanía, calidad académica, contacto social y seguridad, donde el SIMCE no aparece como un factor de alta relevancia (^{CÓRDOBA, 2014}; ^{CANALES; BELLEI; ORELLANA, 2016}). A ello podría, además, sumarse la evidencia ya señalada acerca de los problemas de comprensión y uso de los resultados por parte de los usuarios, incluyendo a las familias (^{COMISIÓN SIMCE, 2003}; ^{TAUT et al., 2009}; ^{EQUIPO DE TAREA, 2015}).

Otro supuesto que opera en este sistema dice relación con la frecuente alusión en textos de política y en artículos escritos por gestores de política de perfil académico, al SIMCE como un sistema técnicamente sólido, que goza de credibilidad y, como señalaban también los documentos del Banco Mundial citados al inicio, altamente institucionalizado. La evidencia de los últimos diez años, no obstante, desde un concepto actualizado de validez en evaluación, ha sido consistente en cuestionar esta dimensión, especialmente dada la envergadura de las acciones y decisiones que se toman con base en los resultados, hablándose más recientemente de una crisis de legitimidad social del SIMCE (^{ORTIZ, 2012}; ^{FLÓREZ PETOUR, 2013}; ^{MECKES; MENA, 2019}).

Pese a toda la evidencia acumulada, en el marco de las actuales discusiones en torno a SIMCE en el contexto post-pandemia siguen surgiendo artículos en prensa que aluden a que no existe evidencia acerca de los efectos negativos de este sistema de evaluación y a que las escuelas estarían a ciegas en ausencia de los resultados de esta prueba. En particular, se observa, al igual que veíamos en los documentos de la Organizaciones Internacionales, una invisibilización de la evidencia científica que cuestiona los supuestos del sistema, así como una naturalización de sus efectos positivos a través de afirmaciones gratuitas que no se sostienen en evidencia. A ello se agrega una estrategia común que he denominado positivización, referida a la presentación de los efectos negativos de las pruebas desde un lenguaje que los representa como positivos (^{FLÓREZ PETOUR, 2022}). Un ejemplo de ello es la forma en que el informe de la Comisión SIMCE 2014 (^{EQUIPO DE TAREA, 2015}) alude a que la presión sobre las escuelas a partir de este sistema generaría una urgencia por mejorar, lo que sería positivo; ello invisibiliza la evidencia acerca de la experiencia angustiosa y empobrecedora que viven los actores de las escuelas debido esta presión, así como aquella que alude a que lo que ocurre no sería en realidad una mejora, sino muy por el contrario, una merma en la calidad de la enseñanza y el aprendizaje de los niños, niñas y jóvenes.

¿Por qué continúa el SIMCE?: cómo se construye la política evaluativa en Chile

Una pregunta que surge naturalmente a partir de lo expuesto es qué permite que el SIMCE continúe, si la evidencia científica y los movimientos sociales han puesto su sentido en cuestión. Para ello, se consideran aquí los resultados de proyectos asociados a otra línea de investigación de la autora, enfocados en una comprensión crítica y compleja de los procesos de construcción de la política educacional en Chile, a partir del caso del SIMCE ⁴. A partir de estos estudios de carácter interdisciplinario, y que consideraron análisis de prensa y de textos de política, así como entrevistas a actores clave y trabajo etnográfico con escuelas, se observa que quienes tienen una participación y una voz directa más clara en las discusiones públicas y en la toma de decisiones de política son los actores del poder político y la burocracia, junto con los expertos, las fundaciones privadas y las organizaciones internacionales (^{FLÓREZ PETOUR; OLAVE, 2020}). En ese marco, los actores de las comunidades escolares aparecen en roles más pasivos, con una voz más indirecta y como un telón de fondo sobre el cual ocurren las acciones decididas por otros (FL^{ÓREZ PETOUR; OLAVE, 2020}).

Dado su mayor acceso y dominio sobre el discurso público, los actores cuyas voces prevalecen en los procesos de construcción de la política logran, por una parte, invisibilizar repertorios y relatos alternativos a la visión dominante y, por otra, generar ilusión de consenso en torno a una visión específica de la política sobre la cual se discute (^{FLÓREZ PETOUR; OLAVE, 2020}). Así, se observa que los textos de política, de forma similar a los de Organizaciones Internacionales, realizan diversas afirmaciones que no se sostienen en evidencia, y que contrastan con la experiencia relatada por las comunidades escolares a partir de la línea etnográfica del estudio; por ejemplo, lo que los textos de política retratan como la utilidad que tendrían las pruebas para el trabajo pedagógico de los y las docentes, tiene como anverso el relato de las escuelas, que señalan rendirlo únicamente por sus consecuencias y desde una experiencia más ligada al agobio (^{PETOUR FLÓREZ; OLAVE, 2020}).

A partir del análisis discursivo de los textos mediáticos y de política dentro de esta línea de investigación, emerge también una tendencia a la naturalización del sistema predominante, sin reconocer su filiación político-ideológica y planteándolo como intrínsecamente beneficioso, así como un amplio uso de un lenguaje de tipo gerencial y empresarial, que se superpone y desplaza al lenguaje propiamente educacional. Asimismo, en estos textos los actores de la escuela rara vez tienen una voz directa y, cuando la tienen, es para ilustrar a través de la prensa aquellos casos que, pese a las condiciones de pobreza y desventaja socioeconómica, obtuvieron buenos resultados, haciéndolas así funcionales al discurso dominante, y sosteniendo la idea de que las condiciones contextuales no son relevantes para ofrecer una buena educación (^{FLÓREZ PETOUR, 2022}). Así también, y consistente con la evidencia internacional acerca de la relación entre prensa y políticas de evaluación a gran escala (^{MURPHY, 2013}; ^{BAROUTSIS; LINGARD, 2017}), se sostiene a lo largo de toda la trayectoria de SIMCE, independiente de si los resultados suben, bajan o se mantienen, una narrativa de crisis en torno a la educación, donde siempre se está al debe, y donde la política de turno es presentada como la solución, especialmente cuando se trata de políticas en discusión y que generan posiciones diversas.

Por último, otro punto relevante de los hallazgos de esta línea de investigación dice relación con las estrategias discursivas que se emplean en los textos de política y de medios, especialmente cuando se busca neutralizar las voces que pudieran cuestionar la política evaluativa predominante. Entre estas estrategias, se encuentran una serie de recursos orientados a la deslegitimación de estas voces: silenciamiento, apropiación, afiliación, negativización, minorización (^{FLÓREZ PETOUR, 2022}). Así, por ejemplo, los estudiantes de secundaria que realizan boicots al SIMCE son presentados como grupos minoritarios y que van en contra de sus propios intereses; las voces de los docentes en los informes de comisiones de expertos asociadas a SIMCE son hablados y se les atribuyen ideas sin que se los cite directamente, y como si fueran un colectivo homogéneo; algunos de los actores sociales que son mencionados como una motivación crucial para los cambios al SIMCE en 2014 tienen una presencia y voz es escasamente considerada en los textos de política que afirman responder a esta motivación (^{FLÓREZ PETOUR; OLAVE, 2020}). A ello se agregan estrategias ya mencionadas anteriormente como la positivización, la naturalización y despolitización, y la invisibilización de evidencia de investigación (^{FLÓREZ PETOUR, 2022}). Hay, además, una última estrategia asociada a la responsabilización del otro, donde los problemas nunca parecen estar en la propia política ni en los instrumentos, sino en los usuarios, que no harían un buen uso de la información sobre los resultados, lo que impediría cuestionar finalmente la política y el modelo que la sustenta, los cuales serían intrínsecamente positivos (^{FLÓREZ PETOUR; OLAVE, 2020}).

En síntesis, pareciera que la continuidad del SIMCE está más anclada a un uso político de este dispositivo, que permite validar determinadas medidas y visiones de la educación como las únicas posibles, lo que algunos autores han denominado la gobernanza a través de los números (^{GREK, 2008}), y a la vez deslegitimar y borrar narrativas críticas y alternativas, al silenciarlas en el discurso público. Esto hace a su vez que, pese a la evidencia científica largamente acumulada acerca de sus efectos negativos, y a la crítica proveniente de los actores de las comunidades escolares, hoy siga siendo complejo generar un cambio profundo en las políticas de evaluación a gran escala de altas consecuencias en Chile.

Posibles alternativas: hacia un horizonte de cambio paradigmático en el continente

Es común escuchar como argumento para defender la continuidad del SIMCE que ‘es lo que tenemos’, ‘es mejor que no tener nada’, ‘al menos permite visualizar algunas cosas’, punto en el cual se hace relevante transitar desde el análisis crítico hacia propuestas alternativas concretas. Dentro del caso chileno, hubo una exploración de una propuesta alternativa para la comuna de Valparaíso, asociada a la construcción participativa de un sistema de evaluación a gran escala de nivel local, con orientación formativa ⁵. Lo interesante de esta experiencia piloto, en la cual participó también la autora, es que permite visualizar elementos relevantes de considerar en términos de una forma diferente de concebir los procesos de construcción de la política evaluativa y de evaluación a gran escala, los cuales se sintetizan a continuación (^{FLÓREZ PETOUR; OLAVE, 2020}):

Si bien este proyecto se vio interrumpido por el cambio en la autoridad local de educación, sentó un precedente acerca de cómo podría pensarse una alternativa a nivel nacional. Esta experiencia está lejos de ser un caso aislado de búsqueda de alternativas, presentando características que se observan en múltiples ejemplos a nivel internacional de evaluación a gran escala basada en la escuela o no basada en exámenes (^{CUFF, 2018}). En la misma línea, a nivel continental también se han desarrollado o se encuentran en proceso de desarrollo diversas experiencias de evaluación a gran escala con un sentido formativo, lo que parece haberse incrementado tras la pandemia como punto de inflexión, donde la relevancia y mayor pertinencia de la evaluación en un sentido formativo se hizo evidente (^{KANJEE et al., 2022}; ^{JARA; TRISTÁN, 2022}). Así, por ejemplo, en Argentina la Municipalidad de Córdoba ha desarrollado un caso muy similar al antes descrito para la comuna de Valparaíso (^{TORRANZOS, 2022}), a lo que se agregan programas orientados a la evaluación formativa como “Acompañar” (^{MINISTERIO DE EDUCACIÓN DE ARGENTINA, 2023}) y proyectos alternativos emergentes en Buenos Aires (^{LUCESOLE, 2022}). Uruguay tiene una trayectoria de varios años con un sistema de evaluación a gran escala voluntario y de orientación exclusivamente formativa, el cual está siendo actualmente ajustado a un currículum por progresiones de aprendizaje, y que se combina con un sistema muestral para la toma de decisiones de política, asociado a diversas dimensiones que van más allá de los aprendizajes, contribuyendo a un análisis más integral de la educación (^{HOLZ, 2019}; sitio SEA). Perú también combina hace varios años un sistema de evaluación censal sin consecuencias, vinculado a progresiones de aprendizaje, con un sistema de evaluación muestral para el diseño de políticas (^{MINEDU, 2013} y ²⁰¹⁶). Colombia se encuentra actualmente transitando hacia pruebas SABER de carácter muestral con foco en trayectorias (^{ICFES, 2022}) y Nicaragua está desarrollando en los últimos años un Sistema Nacional de Evaluación para el Aprendizaje (^{MINED, 2022}). La Medición Independiente de Aprendizajes en México mostró los beneficios de una evaluación a gran escala sin consecuencias y con foco formativo para enfrentar las brechas tras la pandemia (^{JARA; TRISTÁN, 2022}). Y no se trata solamente de una tendencia a nivel continental, sino que es posible distinguir este tránsito en múltiples contextos a nivel internacional (^{FLÓREZ PETOUR, 2023}).

Este escenario, por lo tanto, muestra que hay otras formas de concebir la evaluación a gran escala, que tienen el potencial de superar los efectos negativos de los modelos de rendición de cuentas de mercado basados en pruebas estandarizadas. Es, así, posible y necesario generar un mejor sistema de evaluación y acompañamiento a nivel nacional.

Consideraciones finales

El análisis aquí presentado evidencia la relevancia de cuestionar las afirmaciones que se nos presentan como verdad desde los textos de Organizaciones Internacionales y los textos de política de cada país. Dichas afirmaciones contribuyen a naturalizar la importancia, beneficio y necesidad de contar con sistemas de evaluación a gran escala como un requerimiento para la mejora de la calidad y equidad, y de hacerlo en el marco de modelos como el chileno, es decir, desde la perspectiva de rendición de cuentas de mercado. Así también, generan la impresión de que existe un consenso entre los países acerca de la necesidad de instalar y expandir estos sistemas, los cuales se habrían extendido por la región, invisibilizando las voces críticas y la evidencia científica que los cuestiona.

Con lo anterior no quiero decir que no deba existir la evaluación a gran escala. La evaluación puede ser un dispositivo beneficioso para el sistema, si se la emplea en un sentido pedagógico y desde una lógica formativa. Por lo tanto, lo que es necesario cuestionar en esta revisión de los últimos treinta años es la conexión entre el uso de los test estandarizados, con preguntas y tareas rutinarias, y una serie de incentivos, sanciones y exposición pública de resultados, generando una cultura de comparación y competencia. Por una parte, hemos visto que los supuestos sobre los cuales se sostienen estos sistemas no pasan de ser una formulación teórica y una afirmación de verdad sostenida por los propios textos de política y los medios, pues al contrastarlos con la investigación científica, no existe evidencia contundente que permita sostenerlos. Muy por el contrario, la investigación cualitativa y cuantitativa de los últimos diez años en Chile ha revelado una multiplicidad de efectos negativos sobre el trabajo pedagógico y el bienestar de las comunidades, así como en la segregación del sistema. Estos resultados hacen eco de la evidencia internacional de al menos tres décadas, que ha dado cuenta también de los efectos de la evaluación estandarizada de altas consecuencias y con fines de rendición de cuentas sobre el aprendizaje, la enseñanza, la equidad social y el bienestar de docentes y estudiantes.

Es necesario hacerse cargo de esta evidencia y comenzar a plantear un cambio paradigmático en evaluación en el contexto chileno, para lo cual contamos con múltiples referentes a nivel internacional. Cada vez más se observan sistemas educacionales que han transitado a modelos de evaluación a gran escala y acompañamiento con un foco exclusivamente formativo, sin consecuencias asociadas a incentivos, sanciones o publicación de resultados, y cuyo diseño e implementación es más participativo y profesionalizante. Este tipo de aproximaciones reconstruye los vínculos, ahora cortados, entre la evaluación a gran escala y sus promesas de mejora, y tiene el potencial de superar la sensación de distancia, descontextualización y ajenidad que las comunidades escolares experimentan frente a los actuales sistemas. Luego de más de treinta años de esta política evaluativa, y con la pandemia como punto de inflexión, nos preguntamos si la respuesta será volver a una ‘normalidad’ que sabemos que no estaba bien o si se asumirá el desafío de esta necesaria transformación.