Spanish (pdf)
Article in xml format
Automatic translation
Send this article by e-mail
Permalink
Introducción
Desde la década de 1990, la adopción de evaluaciones nacionales de los aprendizajes a gran escala ha ido en aumento a nivel global, convirtiéndose en un elemento central en la gobernanza de los sistemas educativos nacionales (BENAVOT; KOSELECI, 2015). En América Latina, a pesar de su extensa expansión, los usos políticos que se han hecho de estos instrumentos en cada contexto nacional han variado ampliamente, difiriendo incluso de los objetivos para los cuales fueron adoptados (BENVENISTE, 2000; DIAZ RIOS, 2020). Las investigaciones en el campo de las políticas de evaluación educativa han tendido a centrarse en las evaluaciones a gran escala con altas implicancias, donde los usos hechos a partir de sus resultados afectan directamente a las trayectorias o a las condiciones educativas de los actores e instituciones (VERGER; FONTDEVILA; PARCERISA, 2019). El presente trabajo busca contribuir teórica y empíricamente a los estudios sobre las evaluaciones a gran escala de bajas implicancias, y a los usos que los gobiernos nacionales hacen de sus resultados para orientar la toma de decisiones de política educativa.
El artículo presenta los resultados de un estudio cualitativo que explora en qué medida y cómo se utilizan los datos obtenidos a través de la evaluación nacional Aprender en el proceso de formulación de políticas pedagógicas entre el 2016 y 2019 en Argentina. Asimismo, se analiza en qué medida los datos derivados de la evaluación nacional se articulan con otras evaluaciones; entre ellas: la evaluación nacional previa - los Operativos Nacionales de Evaluación (ONE) - desarrollada entre 1993 y 2013, estudios regionales como el Estudio Regional Comparativo y Explicativo (ERCE) en sus distintas ediciones, desarrollado por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) de UNESCO, y estudios internacionales como el Programa para la Evaluación Internacional de los Estudiantes (PISA, por sus siglas en inglés), desarrollado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE). Con una estrategia de análisis cualitativo de contenido, se revisan 31 documentos oficiales de políticas educativas nacionales formuladas en dicho período. Para cada política, se identifican los datos que aparecen referenciados, y el rol que cumplen en la definición o el diseño de la intervención pedagógica.
Si bien la evaluación nacional Aprender tiene por objetivo orientar la toma de decisiones para la mejora de los procesos pedagógicos, el análisis documental indica que en la formulación de políticas, los datos se seleccionan y utilizan con fines políticos, más que pedagógicos. Entre los usos que se hacen de los datos, se identifican dos tipos: simbólicos, para justificar la elección de soluciones ya implementadas; e instrumentales para seleccionar los agentes destinatarios de políticas ya definidas. Los usos conceptuales se realizan en los casos en los cuales se articulan los datos de Aprender con otro tipo de evidencia educativa; en particular, con datos derivados de investigaciones o estudios cualitativos comparados. Sin embargo, en estas ocasiones, los datos de Aprender tienen un rol secundario, y no parecieran orientar las decisiones tomadas para abordar los aspectos pedagógicos de las políticas. En última instancia, a través de promover su uso en los procesos de formulación de políticas nacionales, el gobierno nacional legitima, por un lado, la generación de indicadores de logro de aprendizaje -en tanto evidencia educativa válida, confiable y necesaria para la gestión -; y, por otro, la recuperación - y continuidad - de la evaluación nacional como un instrumento central de política.
Los resultados del estudio evidencian las limitaciones que tienen las evaluaciones a gran escala como instrumento de generación de datos para informar la formulación de políticas pedagógicas. En última instancia, el artículo destaca carácter político en el uso de datos por parte de los gobiernos nacionales, y pone de manifiesto la relevancia de interrogar los tipos de usos que se hacen de los datos en la gestión, así como las dinámicas y actores que median o intervienen en dichos procesos.
Antecedentes y marco analítico
La expansión de las evaluaciones de los aprendizajes a gran escala, y la selección de las pruebas de desempeño escolar como instrumento de política pueden ser leídas en el contexto de un cambio más amplio en las formas de gobernanza de los servicios públicos. El paradigma de la Nueva Gestión Pública en educación, y la influencia de los principios neoliberales han sido estudiados desde los aportes de las teorías de la cultura mundial (en inglés, World Culture Theories), y por la literatura sobre la difusión de las políticas como algunos de los factores globales que explican la expansión y los usos de estos instrumentos. Bajo el nombre de Movimiento de Reforma Educativa Global (GERM, por sus siglas en inglés) se han identificado tendencias globales de reforma entre las cuales se destacan la estandarización del aprendizaje y las políticas de rendición de cuentas asociadas a los resultados de las evaluaciones (BALL, 2012; FULLER; STEVENSON, 2019; SAHLBERG, 2016).
En las últimas décadas, los estudios sobre las evaluaciones de los aprendizajes a gran escala han tendido a centrarse en los mecanismos, actores y motivaciones que han llevado a los gobiernos nacionales a adoptar estas políticas educativas globales. Sin embargo, la preocupación por los usos que se hacen de los datos de las evaluaciones es incipiente en la investigación sobre políticas de evaluación educativa. Por un lado, existe evidencia acerca de cómo los resultados de aprendizaje de estudiantes son utilizados como proxy para determinar la calidad de instituciones o centros educativos con fines de rendición de cuentas o accountability (VERGER; FONTDEVILA; PARCERISA, 2019; VERGER; PARCERISA; FONTDEVILA, 2019). No obstante, hay menos evidencia sobre las prácticas y los usos de los resultados de las evaluaciones para informar las decisiones de política educativa.
A nivel internacional, estudios recientes sobre este tipo de prácticas indican que, si bien los datos suelen influir en algunas etapas del ciclo de las políticas - particularmente en la inclusión de temas en la agenda, en el monitoreo o evaluación -, son menos utilizados para informar su formulación (BEST et al., 2013) 2. Asimismo, cuando se utilizan los datos durante el diseño de políticas, estos suelen informar reformas curriculares, definiciones de los estándares de rendimiento, asignación de recursos, otras políticas de evaluación, y políticas de enseñanza y aprendizaje (TOBIN, Mollie; NUGROHO; LIETZ, 2016, p. 586). La evidencia sobre los casos nacionales investigados indica que condiciones económicas favorables favorecen el uso de los datos en la fase de formulación (TOBIN, M et al., 2015)3.
A nivel regional en América Latina, Arregui (2008) identifica siete tipos de usos de los resultados de las evaluaciones nacionales a gran escala por parte de los gobiernos: (1) elevar la conciencia ciudadana sobre los retos de la educación, (2) mejorar el diseño de las políticas educativas y la asignación de recursos, (3) diseñar programas de apoyo y seleccionar escuelas o grupos de estudiantes para participar de ellos, (4) realizar investigación y evaluar el impacto de programas, (5) establecer o revisar estándares educativos, (6) promover la responsabilización, (7) y mejorar la gestión pedagógica e institucional en las escuelas.
En el caso argentino, las investigaciones en el campo destacan distintos tipos de usos políticos hechos de los resultados de la evaluación nacional por parte del gobierno, que varían según el período analizado. Desde su primera aplicación en 1993 y durante los primeros años, los resultados de los Operativos Nacionales de Evaluación (ONE) fueron utilizados políticamente para legitimar y promover la rendición de cuentas (en inglés softaccountability) de un proceso de reforma del sistema educativo que redefinía las atribuciones y responsabilidades del Estado Nacional y de los Estados provinciales sobre la educación (GVIRTZ; LARRIPA, 2006). Estos usos políticos le permitieron al gobierno central recuperar poder de dirección del sistema educativo en todo el territorio nacional (BENVENISTE, 2002, 2000). Sin embargo, una investigación sobre los usos políticos de los resultados de ONE en sus últimas ediciones (2010 y 2013) evidencia que, a pesar de lo prescripto en la normativa de la política de evaluación, éstos no fueron utilizados por parte del gobierno para diseñar políticas educativas (ESCANDELL, 2016). Durante los años siguientes, entre el 2013 y el 2016, la evaluación nacional atravesó un período de discontinuidad. Sin embargo, un estudio realizado sobre los usos de los datos de Aprender por parte del gobierno nacional, identifica su utilización para diseñar políticas públicas focalizadas (RODRIGO, 2021).
Los usos que hacen los gobiernos de la evidencia educativa para la toma de decisiones han sido objeto de estudio de investigaciones recientes. Este trabajo recupera una clasificación que alcanzó un relativo consenso en el campo respecto a los tipos de usos de la evidencia en educación: instrumental, conceptual, simbólico y sin uso (COBURN; HONIG; STEIN, 2009; WEISS et al., 2008; WEISS; BUCUVALAS, 1980). Los usos instrumentales comprenden las prácticas en las cuales la información se utiliza para generar una solución de política o seleccionar entre distintas alternativas. Por su parte, se hacen usos conceptuales de los datos cuando sirven para repensar o replantear una política, ya sea porque los conocimientos nuevos cambian la comprensión del problema, o porque se cuestionan antiguos supuestos o teorías de una política. Los usos conceptuales también incluyen las prácticas en donde nuevos conceptos e ideas se derivan de los datos y comienzan a ser parte del conocimiento práctico o de trabajo, compartido entre los tomadores de decisiones. Entre los usos simbólicos, se identifican dos tipos: aquellos que legitiman soluciones de política ya definidas o implementadas, justificando preferencias o acciones de política preexistentes; y los usos ceremoniales para satisfacer los requisitos de la lógica racional o científica (WEISS; BUCUVALAS, 1980, p. 395). Por último, se clasifica dentro de los no-usos a aquellas decisiones políticas donde no se hace referencia al uso de evidencia educativa; ya sea porque se utiliza otro tipo de información, o porque las referencias sobre los usos no trascienden los ámbitos de gobierno.
A la luz de estos aportes teórico-metodológicos, este estudio explora el lugar que ocupan los datos de la evaluación nacional Aprender en la formulación de las políticas pedagógicas nacionales formuladas entre el 2016 y el 2019 en Argentina, en relación con otro tipo de evidencia educativa y los tipos de usos que se hacen de sus resultados para este fin. Este período estuvo marcado por la gestión de la Alianza “Cambiemos” desde diciembre del 2015, bajo la cual se recupera la evaluación nacional de los aprendizajes que había sido discontinuada en el 2013. La adopción de Aprender puede pensarse como la recuperación de los antiguos ONE, en tanto no supuso grandes modificaciones técnicas o metodológicas a los instrumentos de evaluación y cuestionarios socioeducativos asociados (ROIG, 2019). Sin embargo, el resurgimiento estuvo acompañado por una narrativa de políticas basadas en evidencia (PBE), que fue estudiada como una estrategia para diferenciar la administración entrante de la anterior; cambiando las prioridades políticas y otorgando a la evaluaciones a gran escala un papel central en la promoción de una ‘cultura de la evaluación’ (MONTERO, 2018; RODRIGO; MOYANO, 2020). En este contexto, analizar el rol que ocupó la evaluación nacional Aprender y el uso político hecho de sus datos por parte del gobierno, permite expandir la evidencia empírica en el campo sobre la relación entre la generación y el uso de los datos de las evaluaciones estandarizadas en la formulación de políticas educativas.
Metodología
Se analizaron documentos oficiales de ocho políticas pedagógicas a nivel nacional, entendidas como aquellas que impactan sobre los procesos de enseñanza y de aprendizaje. Entre las políticas pedagógicas comprendidas en la investigación, se incluyen los planes o programas nacionales que regulan: (a) el curriculum, (b) las prácticas de enseñanza, (c) los recursos para la enseñanza y el aprendizaje, y (d) la formación inicial y continua de las y los docentes. Entre las políticas examinadas se encuentran los siguientes planes nacionales y programas: (1) el Plan Estratégico Argentina Enseña y Aprende, (2) el Plan Nacional de Formación Docente, (3) el Programa Escuelas Faro, (4) Secundaria 2030, (5) el Plan Nacional de Lectura y Escritura, (6) el Programa Nacional de Educación Sexual Integral, (7) el Plan Aprender Conectados y (8) el Plan Aprender Matemática.
La selección de los casos de política se realizó a través de un muestreo intencional, basado en el criterio de importancia y relevancia de la política para responder a la pregunta de investigación. El proceso fue informado por la literatura especializada y por expertos que oficiaron como informantes clave. Una vez revisados los documentos oficiales de cada una de las políticas, se realizó un análisis de contenido cualitativo para identificar (a) si existían referencias sobre el uso de datos de las evaluaciones en la formulación de la política, y (b) los tipos de uso que se habían hecho de los datos.
Con respecto al método de recolección de datos, se revisaron 31 documentos de política 4. Este corpus comprendió: documentos legislativos o normativos (Resoluciones y Decretos), documentos informativos (documentos de referencia, documentos marco, planes de implementación de políticas, documentos de posicionamiento y de resultados), y documentos pedagógicos (documentos curriculares, marcos para la enseñanza o para los aprendizajes). El acceso a la documentación se realizó a través de repositorios en sitios oficiales del Estado Nacional.
El estudio contempló principalmente los datos obtenidos por la evaluación nacional Aprender desarrollada en los niveles Primario y Secundario entre el 2015 y 2019. Además, se examinaron otras evaluaciones a gran escala a nivel regional - ERCE - e internacional - PISA -, implementadas en los niveles Primario y Secundario entre el 2015 y el 2019 en Argentina. Además, se incluyeron algunas evaluaciones implementadas con anterioridad al período estudiado, pero cuyos datos fueron referenciados en los documentos de las políticas formuladas durante esos años.
Los datos derivados de las evaluaciones cubrieron, por un lado, los resultados de las y los estudiantes en las pruebas de aprendizaje en Lengua y Matemática - puntajes promedio, distribución por grupos de desempeño, entre otros -. Por otro lado, se tuvieron en cuenta aquellos datos relevados por los cuestionarios de contexto respondidos por estudiantes, equipos docentes y directivos de manera complementaria a las pruebas.
Para el análisis se recurrió a una estrategia de análisis de contenido cualitativo. Esta estrategia fue elegida por su capacidad para abordar los datos cualitativos de forma sistemática. El análisis siguió tres pasos: la inmersión, la reducción y la interpretación de los datos (DETERDING; WATERS, 2021). Primero, se estudiaron los documentos en profundidad y se identificaron los temas generales. Luego, se examinó el conjunto de documentos correspondientes a una misma política y se comprobó la existencia de referencias indicando el uso de los datos. Cada política fue categorizada según el uso o no uso. En los casos con referencias al uso de los datos, se identificaron los tipos de uso, según la tipología del marco analítico (COBURN; HONIG; STEIN, 2009; WEISS et al., 2008). Cada política fue analizada individualmente según ambas dimensiones: uso o no uso, y tipo de uso.
El análisis documental permite examinar los resultados de procesos de negociación entre actores técnicos y políticos a la hora de redactar y publicar la documentación oficial de las políticas. Sin embargo, esta estrategia metodológica es limitada a la hora de interrogar cómo se configuran las dinámicas de negociación y los mecanismos que operan en la selección de los datos, así como los sesgos que podrían estar interviniendo en dichos procesos.
Análisis
A continuación, se presentan los resultados del análisis documental que exploró en qué medida los datos de Aprender resultan un insumo en la formulación de políticas pedagógicas que tienen la finalidad de mejorar la calidad educativa. El uso de los datos para tal fin, así como la articulación con otras fuentes de información son uno de los objetivos de la política nacional de evaluación educativa durante el período estudiado. Así lo define uno de los documentos oficiales:
Articular la generación de evidencia que aporte a los procesos decisorios en los distintos niveles de intervención para la formulación de políticas y acciones conducentes al cumplimiento del derecho a una educación de calidad para todos. (SEE-MEN, 2019).
El análisis documental de las políticas pedagógicas formuladas entre el 2016 y el 2019 muestra que del total de las políticas y programas nacionales revisados (n = 8), cinco (5/8) contienen referencias que confirman el uso de los datos provenientes de las evaluaciones nacionales - Aprender, y en algunos casos también ONE - en el proceso de formulación de las políticas: el Plan Nacional de Formación Docente (2016), el Programa Escuelas Faro (2017), Secundaria 2030 (2017), los Planes Aprender Conectados (2018) y Aprender Matemática (2018/2019). En los tres casos de políticas restantes - el Plan Estratégico Argentina Enseña y Aprende (2016), el Plan Nacional de Lectura y Escritura (2017), y el Programa Nacional de Educación Sexual Integral (2018) - no se hace alusión al uso de datos de las evaluaciones. En el Cuadro 1 se sintetizan los resultados.
Cuadro 1 Síntesis de los resultados del análisis de las políticas nacionales formuladas, años de aprobación, edición de la evaluación nacional referenciada y tipos de datos utilizados. Años 2016-2019
| Política/programa | Año | Uso de datos | Edición de la evaluación nacional | Tipo de datos | Tipo de uso |
|---|---|---|---|---|---|
| Plan Estratégico Argentina Enseña y Aprende | 2016 | No | N/A | N/A | N/A |
| Plan Nacional de Formación Docente | 2016 | Sí | Aprender 2016- 2017* |
Resultados de aprendizaje | Simbólico |
| Programa Escuelas Faro | 2017 | Sí | Aprender 2016 | Resultados de aprendizaje | Instrumental |
| Secundaria 2030 | 2017 | Sí | Aprender 2016** |
Resultados de aprendizaje Percepciones sobre la Educación Secundaria |
Conceptual |
| Plan Nacional de Lectura y Escritura | 2017 | No | N/A | N/A | N/A |
| Programa de Educación Sexual Integral | 2018 | No | N/A | N/A | N/A |
| Plan Aprender Conectados | 2018 | Sí | Aprender 2017 | Acceso y uso de las TIC | Simbólico |
| Plan Aprender Matemática | 2018/ 2019 |
Sí | Aprender 2016- 2017* |
Resultados de aprendizaje Percepciones sobre la Matemática |
Instrumental |
Fuente: elaboración de la autora (2023).
Notas: N/A = No aplica.
*También se referencia la evaluación nacional ONE 2013, el estudio regional SERCE 2006 y TERCE 2013, y el estudio internacional PISA 2012.
**También se referencia el estudio internacional PISA 2012.
Si bien todas las políticas que referencian el uso de datos utilizaron Aprender como fuente principal (5/5), en tres de ellas (3/5) también se referencian datos del estudio internacional PISA; en dos de las cuales se menciona, además, el uso de datos del Segundo (SERCE) y Tercer Estudio Regional Comparativo y Explicativo (TERCE) del LLECE.
Entre los datos que releva la evaluación nacional Aprender se destacan principalmente los indicadores de resultados de aprendizaje e indicadores sobre las características socioeducativas de las y los estudiantes, sus hogares y las instituciones escolares, relevados a través de los cuestionarios complementarios. Del análisis textual se deriva que en la mayoría de las políticas analizadas (4/5) se priorizan los en las pruebas de Lengua y Matemática; siendo utilizados de manera exclusiva en la mitad de ellas, y complementados por indicadores socioeducativos en el resto. Por su parte, los datos derivados de los cuestionarios complementarios fueron utilizados como única fuente de información en una política (1/5).
Los usos instrumentales de Aprender para seleccionar los beneficiarios de políticas pedagógicas compensatorias
Escuelas Faro 5 fue una política compensatoria dirigida a un conjunto de escuelas vulnerables y de bajo rendimiento. Según los documentos oficiales, la política nació en 2017, con los primeros resultados de Aprender 2016 (SICE-MEN, 2019b, p. 6). Los documentos normativos mencionan que se utilizó la base de datos de Aprender para seleccionar la muestra de escuelas que participaría del Programa, y para planificar dos intervenciones pedagógicas: la capacitación del profesorado y la asignación de recursos pedagógicos a la escuela. Según las fuentes, se utilizaron los resultados por escuela en las pruebas de Lengua y Matemática de Aprender 2016, junto con indicadores de vulnerabilidad social y educativa (SICE-MEN, 2017). Se seleccionaron 1.500 escuelas primarias y 1.500 escuelas secundarias, según la siguiente distribución: el 25% de las escuelas seleccionadas correspondía a aquellas con los resultados más bajos a nivel jurisdiccional; el 25% a aquellas con los resultados más bajos a nivel nacional y el 50% restante a aquellas con resultados bajos y altos índices de vulnerabilidad social y educativa (SICE-MEN, 2017, p. 2). Si bien no se explicita en qué medida o cómo las intervenciones pedagógicas - capacitación y recursos - estuvieron informadas por los datos de la evaluación, la selección del conjunto de escuelas beneficiarias de la política daría cuenta de que se realizan usos instrumentales de la evaluación Aprender para la formulación de esta política.
De números a narrativas: los usos simbólicos y no-usos de Aprender para la construcción del problema político
El Plan Aprender Conectados (PAC) 6 fue la política de educación digital del gobierno de Cambiemos (2015-2019), sucesora del Programa Conectar Igualdad 7 (20112018) que tuvo como objetivo generar estructura y proveer de equipamiento tecnológico a los actores e instituciones educativas en los niveles Primario y Secundario. El PAC se plantea como objetivo la alfabetización digital, a través de la enseñanza de la programación y robótica. En el Decreto N°386/2018 que aprueba el Plan, se recuperan datos relevados a través de los cuestionarios complementarios de Aprender 2017 sobre el acceso y los usos que hacen las y los docentes en ejercicio de las Tecnologías de la Información y Comunicación (TIC):
94% de los docentes cuenta con al menos una computadora en sus hogares.” [...] y que de las y los estudiantes que están finalizando el nivel secundario “el 87,7 % cuenta con al menos una computadora en sus casas. (PEN, 2018, p. 2).
Si bien se exponen datos que dan cuenta de un amplio acceso por parte de las y los docentes a los dispositivos tecnológicos, el mismo documento luego declara que el Estado Nacional “debe garantizar el adecuado uso de la tecnología con fines educativos para aprender, siendo que aquello no se logra solamente con el mero uso de la misma” (PEN, 2018, p. 3); y menciona la creación del Programa Conectar Igualdad para señalar que a ocho años de su lanzamiento, “la mera entrega de equipamiento dejó de ser suficiente” (PEN, 2018, p. 3). En este caso, los datos de Aprender sobre el acceso a dispositivos tecnológicos no ofrecen información sobre los usos que se hacen de la tecnología. Sin embargo, se presenta un argumento donde se construye discursivamente la existencia de un “vacío pedagógico” que el Programa Conectar Igualdad habría dejado como el ‘problema’ político al cual el nuevo Plan de reformas curriculares y de formación docente en TIC vendría a ‘solucionar’. En este caso, los datos parecieran tener un rol simbólico, en la medida en que no ofrecen información respecto al aspecto sobre el cual la nueva política intervendría.
Los usos simbólicos (y no usos) también se identifican en el Plan Nacional de Formación Docente (2016-2021) 8, una política elaborada en el 2016. En los documentos de la política publicados durante su diseño e implementación no se hace mención del uso de los datos de evaluaciones (MEN, 2016). Sin embargo, las Memorias que resumen los resultados de la política afirman que los datos habían sido utilizados para informar su diseño (MEN, 2019). En estas Memorias, se exhiben los puntajes de los ONE en Lengua hasta el 2015 (previo a la adopción de la política) para presentar un estado de situación al inicio de la gestión y fundamentar las decisiones adoptadas (MEN, 2019, p. 29). La mención al uso de los resultados a posteriori podría indicar un uso simbólico de los mismos, para construir legitimidad y justificar la adopción de una reforma ya implementada. A su vez, el documento señala que las líneas de acción para el fortalecimiento de la enseñanza priorizaron el trabajo con Lengua y Matemática, y que (luego) “Los primeros resultados del operativo de evaluación nacional Aprender 2016 confirmaron la decisión” (MEN, 2019, p. 26). En este caso, el no-uso o uso simbólico de los datos también sirve a la construcción del problema sobre el cual la política intervendría indirectamente, asociando los resultados de aprendizaje con la calidad de la formación docente.
En la formulación de ambas políticas, los datos de Aprender se emplean como un insumo para construir el problema político-pedagógico, y justificar la adopción de una política ya definida - incluso implementada - para solucionarlo. Así, el tipo de intervención pedagógica que cada política propone no se deriva o es informada por los datos de la evaluación nacional, a pesar de que discursivamente se asocia el problema (construido) con la política adoptada.
La ceremonia del uso de los datos de Aprender con otras fuentes de información educativas
Hasta aquí, se presentan las políticas pedagógicas para las cuales Aprender es utilizada como única fuente de información (o fuente principal, en el caso del Plan Nacional de Formación Docente). Sin embargo, la última instancia del análisis se centra en el rol que adoptan los datos de la evaluación nacional en articulación con otros indicadores y fuentes de información que se constituyen como evidencia en la formulación de políticas educativas.
El primer caso es el de Secundaria 2030 9, una política diseñada para “hallar una solución” a los indicadores de alta deserción y bajo rendimiento escolar en el Nivel Secundario. El corpus documental de la política española está compuesto por seis documentos (n = 6), dos de los cuales fueron de autoría de actores no gubernamentales (2/6).
En los documentos elaborados por el gobierno, se hace referencia a los resultados de Aprender 2016 junto con otros indicadores de trayectorias educativas para presentar un diagnóstico de la educación secundaria (SICE-MEN, 2018). Si bien los datos parecieran servir a una función diagnóstica, no se explicita la relación entre los mismos y las reformas propuestas para el Nivel Secundario a través de la política analizada.
Sin embargo, esto sí sucede al referenciar estudios y experiencias internacionales; por ejemplo, al Proyecto Cero (en inglés, Proyect Zero) y al movimiento de reforma de las Escuelas Integrales, presentados como una inspiración para la reforma curricular (MEN, 2018). Además, se mencionan los resultados de un estudio internacional y comparativo sobre el acceso a la profesión docente y el promedio de horas semanales de trabajo en los países europeos, evidencia puesta al servicio de la justificación de los cambios propuestos por la reforma en este aspecto (SICE-MEN, 2018).
Para esta política, la articulación de los datos de distintas fuentes podría dar cuenta de que se realizan usos conceptuales de la información para repensar las intervenciones pedagógicas destinadas al Nivel Secundario. Sin embargo, es válido preguntarse hasta qué punto los usos conceptuales aplicarían únicamente a la información proveniente de otras fuentes de información, considerando que los resultados de Aprender (y ONE) se emplean para construir un diagnóstico de algunos indicadores para el Nivel Secundario y no para seleccionar entra distintas alternativas de solución de política.
Por otro lado, el Plan Nacional Aprender Matemática 10 introdujo cambios en la formación docente y en la priorización curricular para la mejora de la enseñanza y el aprendizaje en Matemática. El documento marco de la política comienza presentando indicadores de ONE, Aprender, PISA y TERCE, para construir el diagnóstico del problema de los bajos logros de aprendizaje en Matemática. El encuadre del problema concluye que “la evidencia disponible [...] da cuenta de un panorama que amerita una intervención focalizada para propiciar prácticas de enseñanza renovadas y fortalecidas” (SICE-MEN, 2019a, p. 3). Similar al caso anterior, no se presentan evidencias de que estos datos hayan influido en las intervenciones pedagógicas propuestas en el Plan.
Sin embargo, en uno de los documentos informativos de la política se especifica que, durante el proceso de formulación “aprendieron y tomaron buenas prácticas de otros países”, eligiendo a México como referente porque “es 1 de los 5 países que más mejoró los resultados de aprendizajes” (SICE-MEN, 2019a, p. 8). Esta referencia da cuenta de que la información de los programas internacionales pareciera haber sido utilizada tanto de forma instrumental como conceptual para seleccionar sistemas educativos “modelo” para formular la reforma curricular y de la formación docente en Matemática.
Ambas políticas articulan distintas fuentes e indicadores educativos, siendo los datos de las evaluaciones aquellos utilizados con fines diagnósticos o para el planteamiento del problema; mientras que los estudios cualitativos o comparados parecieran ser más influyentes en la definición de las acciones pedagógicas. Esto abre interrogantes respecto a si el uso simbólico de los datos de Aprender responde a un intento de exhibir procedimientos más racionales y científicos en la formulación de políticas, mientras que contribuye a la legitimación del instrumento de Aprender, cuyos datos dialogan con otros producidos por actores y con estándares internacionales.
Conclusiones
Este estudio se propuso responder en qué medida, y cómo el gobierno nacional en Argentina utilizó los datos generados por la evaluación nacional de los aprendizajes a gran escala - Aprender - en la formulación de políticas pedagógicas entre el 2016 y el 2019. El análisis documental demuestra que los usos de los datos fueron simbólicos e instrumentales, y conceptuales en menor medida. Además, del conjunto de datos relevados en Aprender, el estudio confirma que se priorizan los indicadores de resultados de aprendizaje por sobre datos socioeducativos generados por la misma política.
Con respecto a cómo se utilizan los datos, el análisis muestra que los resultados de Aprender se seleccionan, en gran medida, para generar diagnósticos de ‘bajos niveles de aprendizaje’ que se utilizan para justificar la formulación de reformas pedagógicas. A partir de exhibir un diagnóstico de ‘crisis’ en términos de aprendizajes, se construye discursivamente el problema al cual la acción de política dará solución. Si bien se podría argumentar a este uso como instrumental -en tanto se explicaría el foco de las intervenciones en las áreas de Lengua y Matemática- en ningún caso se especifica cómo el diagnóstico se asocia con la solución pedagógica efectivamente elegida. La vinculación entre los datos y las acciones de política formuladas ‘en consecuencia’ es discursiva, lo cual pone de manifiesto el uso ceremonial de los datos de Aprender en estas políticas (WEISS et al., 2008).
Los usos políticos hechos de los datos de Aprender, por un lado, contribuyen a justificar las decisiones de política ya tomadas, a partir de presentar el propio proceso de formulación de políticas como uno riguroso, científico y ‘basado en evidencia’. Esta narrativa es, a su vez, una estrategia de diferenciación política de la Alianza Cambiemos, que trasciende al ámbito educativo. Estos resultados se alinean con investigaciones desarrolladas durante el mismo período que demuestran que los resultados de estudios internacionales como PISA son utilizados para legitimar una agenda política local de reforma educativa (RODRIGO, 2016, 2019).
Por otro lado, la persistencia en el uso de los datos de Aprender por parte del gobierno nacional - incluso cuando el uso es simbólico - favorece a la legitimación de la recuperación de la evaluación nacional a gran escala. Además, a partir de vincular los datos de Aprender con otras políticas nacionales (por ejemplo, para la selección de los destinatarios de un programa) también favorecería la continuidad de la política de evaluación en el futuro; e incluso a la permanencia de algunas de las características de su instrumento (evaluando en las áreas de Lengua y Matemática, de carácter censal, entre otras).
El análisis revela que el gobierno nacional prioriza otro tipo de evidencia educativa - como investigaciones cualitativas - para la elaboración de análisis más complejos y con mayor capacidad de incidencia en el proceso de formulación y definición de algunas políticas pedagógicas. Incluso en los casos en los cuales se articula el uso de datos de otras fuentes de información con los obtenidos a través de Aprender, estos últimos son utilizados simbólicamente, u ocupan un rol secundario en el diseño de la intervención pedagógica.
El estudio da cuenta, por un lado, de las limitaciones de las evaluaciones nacionales a gran escala para informar la planificación o el diseño de las políticas. Por otro lado, abre interrogantes respecto a las motivaciones políticas - la diferenciación con otros partidos o frentes políticos - o socioculturales - la alineación con narrativas de las políticas basadas en evidencia - detrás de estos usos, y también respecto a las dinámicas, procesos y actores (‘politics’) que median la relación entre el análisis de los datos y la formulación de las políticas públicas.
