SciELO - Scientific Electronic Library Online

 
vol.27 número104El uso de indicadores para evaluación cualitativa de proyectos educativos socioambientales: la gestión participativa en el medio ambiente escolar¿Qué cambió en el desempeño educativo de los Institutos Federales de Brasil? índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Ensaio: Avaliação e Políticas Públicas em Educação

versión impresa ISSN 0104-4036versión On-line ISSN 1809-4465

Ensaio: aval. pol. públ. educ. vol.27 no.104 Rio de Janeiro jul./set 2019  Epub 02-Jul-2019

https://doi.org/10.1590/s0104-40362019002701621 

Artigo Original

Procesos de mejora en los centros educativos: ejemplificación de tres campos de análisis e innovación docente

Processos de melhoria em centros educacionais: exemplificação de três campos de análise e inovação de profesores

Quality improvement in educational centers: exemplification of three fields of teacher analysis and innovation

Francisco Javier Pericacho Gómeza 
http://orcid.org/0000-0003-3622-5140

María Vaíllo Rodríguezb 
http://orcid.org/0000-0002-0030-1343

Silvia Zamorano Gallegoc 
http://orcid.org/0000-0001-9437-6700

Nuria Camuñas Sanchez-Pauleted 
http://orcid.org/0000-0002-7649-2924

aUniversidad Antonio de Nebrija, Madrid, España

bUniversidad Antonio de Nebrija, Madrid, España

cUniversidad Antonio de Nebrija, Madrid, España

dUniversidad Antonio de Nebrija, Madrid, España


Resumen

Los debates en torno a la mejora de la calidad de los centros educativos tienen un lugar privilegiado en las agendas político-educativas. El objetivo del presente artículo es reflexionar sobre el cambio y la mejora que deben experimentar los centros educativos en su etapa obligatoria para consolidar procesos de enseñanza y aprendizaje integrales y de calidad. A nivel metodológico, se realiza una revisión bibliográfica sistemática sobre los procesos de mejora escolar. Tras ella, se ofrecen algunos de los resultados más relevantes en tres ámbitos de estudio: la neuropsicología aplicada a la educación, los informes comparativos internacionales de impacto y, por último, las aportaciones de los Movimientos Mejora de la Escuela y Eficacia Escolar. Las conclusiones ofrecen una síntesis teórica y práctica que favorece el debate sobre cómo y en qué dirección se deben orientar los intentos de mejora.

Palabras-clave: Calidad educativa; Escolaridad obligatoria; Mejora de la escuela; Neuropsicología

Resumo

Os debates em torno da melhoria da qualidade dos centros educativos têm lugar privilegiado nas agendas político-educativas. O objetivo deste artigo é refletir sobre a melhoria dos centros educacionais em sua etapa obrigatória para consolidar processos de ensino e aprendizagem integral e de qualidade. No nível metodológico, é realizada uma revisão bibliográfica sistemática sobre os processos de melhoria escolar. Posteriormente, alguns resultados relevantes são oferecidos em três áreas de estudo: neuropsicologia aplicada à educação, relatórios comparativos de impacto internacional e, finalmente, as contribuições dos Movimentos de Melhoria Escolar e Eficiência Escolar. As conclusões oferecem uma síntese teórica e prática que favorece o debate sobre como e em que direção as tentativas de melhoria devem ser orientadas.

Palavras-Chave: Qualidade educacional; Escolaridade obrigatória; Melhoria escolar; Neuropsicologia

Abstract

Debates around the improvement of the quality of the educational centers have a privileged place in the political-educational agendas. The objective of this article is to reflect on the change and improvement that schools must undergo in their obligatory stage to consolidate integral quality teaching and learning processes. A systematic bibliographic review is carried out on school improvement processes. After it, some of the most relevant results are offered in three areas of study: neuropsychology applied to education, international comparative impact reports and finally, contributions of the School Improvement and School Efficiency Movements. The conclusions offer a theoretical and practical synthesis that favors the debate on how and in which direction the improvement attempts should be oriented.

Key words: educational quality; compulsory education; school improvement; neuropsychology

1 Introducción

Los debates en torno a la mejora de la formación del profesorado y la calidad de los centros educativos tienen un lugar privilegiado en las agendas político-educativas nacionales e internacionales. Existe consenso a la hora de afirmar que la escuela sufre un cierto estancamiento en sus procesos curriculares. Por tanto, la adecuación de la misma a la compleja realidad existente en el siglo XXI se impone como un reto socio-educativo urgente con una notable resonancia en el debate político-pedagógico.

Una mirada global permite apreciar la importante evolución experimentada en todo tipo de sectores profesionales ajenos al ámbito educativo. Por el contrario, este progreso no ha tenido su proyección en la institución escolar. Sin embargo, hoy día disponemos de suficiente investigación para orientar la mejora de los procesos educativos.

En este sentido, desde una metodología descriptiva propia de la investigación no experimental, donde se reseñan fenómenos educativos y se describen relaciones entre variables pero no relaciones causales, el objetivo de este artículo es reflexionar sobre aquellos avances significativos en relación a la mejora de la calidad educativa y del proceso de enseñanza-aprendizaje. Tras el análisis bibliográfico realizado, se estructura el trabajo en torno a tres campos analíticos: los resultados que ofrecen algunos informes comparados internacionales de impacto; los hallazgos en la neuropsicología aplicada a la educación; y el conocimiento acumulado sobre el cambio educativo y la calidad escolar proveniente de dos movimientos teórico-prácticos: Mejora de la Escuela y Eficacia Escolar.

En una primera fase se revisaron los informes internacionales provenientes de organismos supranacionales publicados durante el periodo 2011-2017 centrados en ofrecer un diagnóstico del sistema educativo. Tras ello, y con el propósito de ofrecer un marco de referencia para el diseño de políticas educativas y orientaciones de aula, se llevó a cabo una revisión sistemática para la recolección de información relevante sobre el tema de la mejora escolar, en la que se siguieron las directrices de la declaración PRISMA (Preferred Reporting Items for Systematic reviews an Meta-Analyses) (1999). Con este fin, se acudió a las bases de datos SciELO, RedALyC, Scopus y Dialnet Plus. Como criterios para la búsqueda se atendió únicamente a trabajos publicados a partir del año 2000 (criterio temporal), en castellano e inglés (criterio idiomático). Se emplearon los descriptores mejora del aprendizaje, rendimiento escolar, dificultades de aprendizaje, en castellano e inglés. Sobre el número total de artículos encontrados se aplicaron una serie de criterios adicionales de inclusión, a saber: 1. Investigación de naturaleza psicopedagógica; 2. Alusión a propuestas concretas de aplicación práctica 3. Centradas en la mejora de la calidad de la enseñanza obligatoria. La bibliografía consultada incluyó más de 1.500 referencias. Los trabajos resultantes se agruparon en áreas de análisis, entre las que destacaron la neurociencia cognitiva y los movimientos Mejora de la Escuela y Eficacia Escolar.

Los hallazgos encontrados en estas tres áreas sirven para proponer una serie de ideas y debates sobre cómo y en qué dirección establecer procesos de mejora en los centros educativos. Huelga señalar que en educación es difícil hablar de estrategias docentes que siempre generen los mismos resultados. La complejidad intrínseca a los procesos de enseñanza-aprendizaje, los factores ligados al contexto socio-económico, momento histórico, procesos culturales, fortalezas y debilidades del docente, características de los alumnos, etc., juegan un papel decisivo en la implementación de estrategias didácticas y la consecución de objetivos. Sin embargo, fruto de las lecciones aprendidas a lo largo de estos últimos años, parece que existen determinadas metodologías y factores que prueban tener una incidencia más directa que otros en la mejora de los procesos de enseñanza y aprendizaje (MURILLO; KRICHESKY, 2015). En consecuencia, la principal aportación de este artículo es ofrecer un marco teórico y práctico justificado, que pueda orientar los debates y procesos de mejora de los centros educativos, tanto de profesorado y equipos directivos como de gestores y políticos con responsabilidades en el sistema educativo.

2 Informes educativos realizados por organismos nacionales e internacionales.

Son muchos los avances realizados durante los dos últimos siglos a nivel de escolarización, con una tasa prácticamente plena en los programas de Educación Infantil (Organización para la Cooperación y el Desarrollo Económicos, 2016a; en adelante, OCDE) y, sobre todo, en el acceso a la Educación Terciaria ampliada, incrementándose en los países analizados entre 2005 y 2015 de 6 a 8 puntos porcentuales la proporción de adultos con este nivel de estudios (Formación Profesional de Grado Superior y titulaciones universitarias o equivalente).

Sin embargo, tan solo el 22,4%, el 22,3% o el 19,2% de la población española, portuguesa o mexicana entre 25 y 64 años posee estudios de segunda etapa de Educación Secundaria, es decir, Bachillerato y Formación Profesional de Grado Medio, frente al 43,1% de media en países de la OCDE o el 46,8% en países de la Unión Europea (en adelante, UE) (ESPAÑA, 2016).

Según los resultados del Programa para la Evaluación Internacional de los Alumnos (en adelante PISA) (OCDE, 2016b), más de uno de cada cuatro alumnos egresados no es capaz de realizar un razonamiento complejo, cuestión esencial para dar solución a problemas de la vida cotidiana personal y profesional.

Otro dato interesante a analizar es el que arroja el Informe Español del Ministerio de Educación Cultura y Deporte (en adelante, MECD) (ESPAÑA, 2016) según el cual España, Grecia, Portugal o Chile comparativamente con países de la OCDE, tienen un porcentaje inferior de población adulta joven que cursa programas de enseñanzas profesionales (45% en el caso de España o 43,9% en el caso de Grecia, frente a casi un 60% como media en países de la OCDE). Si tenemos en cuenta que son los programas profesionales los que proporcionan la formación orientada al mercado de trabajo, parece pertinente indicar que la política educativa debería reconsiderar la diversificación de sus programas en esta etapa educativa, dándole un peso más específico a la formación profesional, en la medida en que esta es considerada más eficaz en el desarrollo de habilidades y destrezas necesarias en el mercado laboral.

A estas ideas se une una de las conclusiones del Programa Internacional para la Evaluación de Competencias de la Población Adulta (en adelante, PIAAC), en el que se confirma la correlación existente entre la formación que alcanzan los jóvenes y la de sus progenitores (ESPAÑA, 2013a). El hecho de que los adultos que proceden de entornos socio-económicos desfavorecidos, con padres de bajo nivel educativo, obtengan peores resultados que aquellos cuyos padres tienen niveles de educación altos, indica que la educación puede paliar desigualdades sociales pero también puede perpetuarlas si no se plantea un cambio en el concepto de comunidad educativa y se aúnan esfuerzos hacia el trabajo con las familias. Dicho informe invita a considerar que el aprendizaje no solo tiene cabida en la institución educativa sino en otros espacios no formales como la familia y el trabajo, por lo que no puede limitarse el cambio en pro de la mejora educativa a los centros educativos.

El hecho de que la participación de las familias incida en la mejora del rendimiento de los estudiantes parece indiscutible; sin embargo, algunos estudios consideran que “cuantificar esta relación, traduciéndola en una serie de indicadores como el nivel de estudios de los padres o el número de libros disponibles en el hogar (…) ha conducido al error de considerar que dichos indicadores son los únicos relevantes” (ESPAÑA, 2011, p. 22), dejando de lado otros de igual importancia como por ejemplo si las familias participan en el centro educativo.

Estos datos están vinculados a los ofrecidos por el Estudio Internacional del Progreso en Competencia Lectora y el Estudio Internacional de Tendencias en Matemáticas y Ciencias (ESPAÑA, 2012) que constatan la importancia de relacionar los aspectos sociales y familiares con el rendimiento de los alumnos en la etapa de primaria. Así ocurre, por ejemplo, con el condicionamiento de las expectativas de los padres en las de sus hijos; el impacto positivo de compartir las sesiones de lectura de los padres con los hijos; o bien la obtención de puntuaciones más altas en comprensión lectora de aquellos alumnos que asistieron, al menos durante tres años, a educación infantil.

En definitiva, la calidad de los factores socio-familiares del periodo previo a la escolarización incide positivamente en la mejora de los resultados obtenidos en comprensión lectora, matemáticas o ciencias en la etapa de primaria (ESPAÑA, 2012). En este análisis se deben destacar los últimos indicadores de la OCDE (2016a) relativos al entorno de los centros educativos y el aprendizaje.

Por otra parte, no hay grandes diferencias por ejemplo entre España y los países de la OCDE o UE (tabla 1) respecto al número de horas obligatorias de clase en Educación Primaria, el número medio de alumnos por clase o el número medio de alumnos por profesor.

Tabla 1 Comparativa de indicadores relativos al entorno de los centros educativos y el aprendizaje (datos obtenidos de MECD, 2016). 

  España OCDE UE Japón Finlandia
Nº horas anuales Primaria 791 799 775 763 632
Nº medio de alumnos por clase 21 21 20 27 19
Ratio profesor/alumno 14 15 14 17 13
Horas enseñanza respecto del total 61.8% 49.0% 49.0% 39.3% -

Fuente: Elaboración propia a partir de MECD (ESPAÑA, 2016)

Sin embargo, si se observan los datos referidos al tiempo total de trabajo que dedica el profesorado a la enseñanza, sí hay diferencias destacadas (61,8% en el caso español frente al 49,0% en la OCDE y en la UE). Según los mismos, se dedica mucho más tiempo a impartir las clases que a su preparación, a la corrección de actividades o reuniones con equipos de profesores, la atención a familias u otro tipo de actividades académicas (un 61,8% frente al 38,2%), lo que se traduce, desde el punto de vista pedagógico, en un empobrecimiento de la calidad de la enseñanza, inadecuación a las necesidades individuales del alumnado y, en consecuencia, peores resultados académicos.

Esta conclusión encuentra apoyo en los resultados ofrecidos por el informe PISA 2015 (OCDE, 2016b), según el cual países de la OCDE como Singapur, Japón o Finlandia, son los que mejores resultados obtienen en la etapa posterior a primaria en ciencias, matemáticas y lectura, dedicando menos horas a la enseñanza, teniendo más alumnos por clase o siendo superior tanto la ratio profesor/alumno (tabla 1) como la inversión económica destinada a Educación Primaria. La clave, por tanto, se encuentra en la eficiencia del gasto y la calidad del tiempo escolar. Esto concuerda con los datos del estudio de la OCDE sobre la Enseñanza y el Aprendizaje (TALIS) en el que se afirma que el profesor es un elemento clave en la educación y se promulga la necesidad de ofrecerles oportunidades para la mejora de la profesión y desarrollo, lo que repercute directamente en la optimización de las propias competencias y consecuentemente en el aumento de la calidad docente (ESPANÃ, 2013Bb).

Por otra parte, son relevantes los resultados ofrecidos en el último Informe Español (ESPAÑA, 2018) en el que vuelve a destacarse la necesidad de incrementar la autonomía de los centros educativos en la toma de decisiones (planificación u organización). Así, tan solo el 10% de las decisiones dependen del centro educativo en el Sistema Educativo Español, mientras que este porcentaje asciende al 34% en los centros educativos de países de la OCDE o el 38% en el caso de países de la UE22.

3 Neuropsicología aplicada a la educación

Desde que surgieron los primeros estudios sobre neuropsicología, muchos de ellos han hecho hincapié en su aplicación al ámbito educativo. Esta disciplina se ha dado en denominar por algunos autores “neuropsicología escolar” (MANGA; RAMOS, 2017; HYND; OBRZUT, 1981), si bien su auge en los últimos años ha hecho que se encuentren todo tipo de publicaciones al respecto utilizando diferentes denominaciones para hacer referencia a las aplicaciones de la neuropsicología al ámbito educativo (neuroeducación, neuroaprendizaje o neurodidáctica).

A partir de las aportaciones de Luria (1962, 1983), quien contribuyó a la comprensión neuropsicológica del individuo, numerosos autores comienzan, en la década de los 80, a abogar por un acercamiento a la neuropsicología como elemento de comprensión de los trastornos del aprendizaje (Manga; Ramos, 1991).

En tanto que la neuroeducación pretende destacar el papel crucial del cerebro en el proceso de enseñanza-aprendizaje (Campos, 2010; TAPIA et al., 2017), sus descubrimientos deben ser tenidos en cuenta a la hora de orientar la política educativa y la práctica docente. Una formación del profesorado en neurociencia favorece la adaptación de la respuesta educativa al funcionamiento neural (CARVALHO; BOAS, 2018). El entendimiento del cerebro y del sustrato neurológico de las actividades cognitivas no solo permite abordar algunos problemas, como la dislexia o la discalculia, sino que también, desde una perspectiva optimizadora, permite identificar factores que mejoran el aprendizaje.

Como señalan Fischer, Immordino-Yang y Waber (2007) y Stern (2005), el descubrimiento de potentes herramientas de imágenes cerebrales, los sorprendentes descubrimientos que están transformando la genética y el creciente poder de los métodos para evaluar la cognición, la emoción y el aprendizaje hacen posible una alianza que puede iluminar el aprendizaje y el desarrollo humano. En suma, las investigaciones realizadas desde el campo de la neurociencia han dado lugar a una mejor comprensión de las distintas funciones cerebrales íntimamente relacionadas con el proceso de enseñanza-aprendizaje. Para la OCDE (2007), conocer cómo funciona el cerebro ha repercutido de forma positiva en la comprensión de las funciones cognitivas, perceptuales y emocionales, lo que nos proporciona una base sólida para adaptar nuestra práctica educativa a las necesidades del alumnado.

La década 1990-2000 fue denominada como “la década del cerebro” (OCDE, 2002, p. 70). En 1999 se publica la primera investigación de la OCDE sobre ciencia y educación y se crea el CERI (Centre for Educational Research and Innovation), cuyo proyecto “Brain and Learning” intenta favorecer el diálogo entre los neurocientíficos y los educadores para la mejora del aprendizaje y de las políticas educativas. La OCDE ha publicado distintos monográficos sobre el tema (2002; 2005; 2006; 2007), así mismo, se han creado institutos y redes especializadas de trabajo sobre esta temática, desde el Laboratorio de Aprendizaje de Dinamarca, hasta el Centro de Transferencia sobre Neurociencia y Aprendizaje de Ulm, Alemania, pasando por el Centro para la Neurociencia en Educación de la Universidad de Cambridge (OCDE, 2002).

A partir de la revisión bibliográfica realizada, en el siguiente epígrafe se exponen los resultados de investigación más destacados relacionados con los procesos de mejora del aprendizaje y la calidad educativa desde un enfoque neuropsicológico.

3.1 Neuropsicología y mejora del aprendizaje

La neuropsicología ha proporcionado pistas para saber lo que puede hacerse en el aula, pero también información sobre lo que se estaba entendiendo, y aplicando, erróneamente. El ejemplo más claro de esto son los llamados “neuromitos”: creencias instaladas sobre el funcionamiento del cerebro que, si bien en muchos casos recaen sobre un hallazgo científico real, llevan a interpretaciones que fomentan prácticas en el aula con efectos adversos sobre el aprendizaje. Por ejemplo, el descubrimiento de los estilos de aprendizaje ha degenerado en la idea de que la clasificación del alumnado según los mismos hará que estos aprendan mejor. Como diversos autores han puesto de manifiesto, a pesar de las preferencias individuales, las áreas cerebrales no trabajan de manera aislada, por lo que suponer que solamente un canal sensorial, sin la participación de otros, está implicado en el procesamiento de la información, es completamente erróneo (GILMORE; MCCARTHY; SPELKE, 2007).

Otros neuromitos se refieren a la utilización parcial del cerebro (el tan famoso como falso 10%), la especialización o dominancia hemisférica (nuevamente, la ciencia ha demostrado que el cerebro no trabaja de manera aislada) o los periodos críticos de aprendizaje (los últimos hallazgos prefieren hablar no ya de periodos críticos sino de períodos “sensibles”, en los que el alumno está especialmente preparado para participar en actividades de aprendizaje específicas). Autores como Goswani (2006) y más recientemente Dekker et al. (2012) han explorado algunos de ellos y ahondado en la prevalencia de este tipo de ideas entre los educadores. Estos últimos, tras preguntar a un total de 242 profesores de Primaria y Secundaria, encontraron que tomaban por ciertos el 49% de los neuromitos planteados. Otro dato relevante fue que, al parecer, los profesores entusiastas sobre la aplicación de los resultados de la neurociencia a las aulas encontraban complicado distinguir entre pseudociencia de datos verdaderamente científicos.

Más allá de los neuromitos, una de las líneas de estudio con más ecos en la didáctica escolar es la que se centra en el papel de las funciones ejecutivas, que se han convertido en un campo de interés creciente (MELTZER, 2007), dado el papel de procesos como la fijación de objetivos, la planificación, la organización, la memorización y el autocontrol en el éxito escolar.

Como señala Soprano (2003) las funciones ejecutivas son aquellas habilidades vinculadas a la capacidad de organizar y planificar una tarea, seleccionar apropiadamente los objetivos, iniciar un plan y sostenerlo en la mente mientras se ejecuta, inhibiendo las posibles distracciones, cambiando de estrategias si la situación lo demanda, autorregulándose y controlando el curso de la acción para asegurarse que la meta propuesta está en vías de lograrse. El desarrollo de las funciones ejecutivas, que en el contexto académico se ponen en práctica de manera continua, es eficaz para la adaptación académica, y esenciales, según Lezak (1982) para ejecutar una conducta eficaz, creativa y aceptada socialmente. Numerosos estudios vinculan su alteración con problemas de aprendizaje, impulsividad, flexibilidad y planificación, así como con una pobre memoria de trabajo y problemas en el control de la conducta y las emociones (LOZANO GUTIÉRREZ; OSTROSKY, 2011; MORAINE, 2014).

Los resultados de la investigación señalan, por tanto, la necesidad de trabajar las funciones ejecutivas desde las primeras etapas educativas, pues su optimización ha demostrado incidir no solo en la mejora en el aprendizaje (CLAIR-THOMPSON; GATHERCOLE, 2006; RAGHUBAR et al., 2009), sino también en el buen comportamiento en clase y en el grado de compromiso por parte del alumnado (BROCK et al., 2009).

Atendiendo a lo anteriormente expuesto, proporcionamos, a modo de píldoras, una serie de pautas, vertidas desde la neuropsicología, para guiar la práctica y la política educativa.

  • El vínculo entre aprendizaje y emoción. Desde que Goleman (1995) popularizara el término “inteligencia emocional” en la década de los 90, numerosos autores se han acercado a la importancia del autoconocimiento y autocontrol de las emociones como base del éxito profesional y académico. El manejo de las propias emociones resulta un factor clave en el aprendizaje, pues no solo aprendemos mejor aquello que nos hace sentir bien o nos gusta (Mora, 2013) sino que las emociones tienen la capacidad de dirigir o perturbar procesos clave para el aprendizaje, tales como la atención, la toma de decisiones o la solución de problemas. De este modo, las emociones positivas abren puertas en el cerebro, y las negativas, las cierran (OCDE, 2007).

  • La adolescencia como periodo de cambios, vital para el aprendizaje y la construcción de un “cerebro mejor”. La literatura más reciente ha hecho hincapié en la necesidad de entender la adolescencia como un periodo fundamental para el aprendizaje, en el que el cerebro se modifica a nivel estructural y funcional. Como señalan Fuhrmann, Knoll y Blakemore (2015), la adolescencia ha de entenderse como una segunda oportunidad para el desarrollo cerebral. Los docentes deben conocer que en la adolescencia pueden entrenarse aún ciertas capacidades cognitivas. Autores como Knoll et al. (2016) han encontrado que los grupos de edad que más mejoraron en tareas de discriminación visual y de razonamiento relacional fueron los situados en la adolescencia tardía y los adultos. Otra línea de hallazgos sobre el desarrollo del cerebro en la adolescencia relaciona la inmadurez de la corteza prefrontal con su tendencia a asumir riesgos y la inmadurez emocional (BLAKEMORE, 2012). Este punto es clave para las políticas educativas, pues precisamente en esta edad el sistema obliga a hacer elecciones, que pueden ser sesgadas y que condicionarán el futuro del alumnado. Como señala la OCDE, los legisladores deberían hacerse eco de estos datos, favoreciendo no tanto la demora de las decisiones sino la no irreversibilidad de las mismas (OCDE, 2007).

  • La importancia de lo social en el aprendizaje. Desde que Rizzolatti (RIZZOLATTI; SINIGAGLIA, 2006) descubriera en los noventa las neuronas espejo, los avances en las neurociencias han corroborado la influencia de las condiciones sociales en el aprendizaje. A través de las neuronas espejo “la mera observación de las acciones de los demás activa en el observador las mismas áreas cerebrales, como si fuera él mismo quien ejecutara las acciones” (García, 2008, p. 9). Este dato sitúa a la imitación, la observación y el trabajo colaborativo como recursos educativos fundamentales. Tampoco debe pasar desapercibido que, en tanto que la vida escolar está entretejida por experiencias de tipo social, los educadores deberían prestar más atención a la gestión del grupo y del ambiente social de los estudiantes (Jensen, 2008), así como a las relaciones interpersonales, no solo alumno-profesor sino alumno-alumno.

  • La necesaria confluencia entre la teoría y la práctica, que haga de la neuroeducación una verdadera ciencia interdisciplinar. Si la neuroeducación avanza a medio camino entre la medicina, la biología y la educación, las prácticas de las escuelas deberían estar abiertas al escrutinio científico, fomentando la colaboración entre las distintas disciplinas y entrelazando sus perspectivas (Shonkoff; Phillips, 2000; Snow, Burns; Griffin, 1998). De otro lado, el riesgo es que no exista un puente real entre las disciplinas. Como señala Pallarés (2015, p. 134), “el hecho de postular una disciplina como unión entre diferentes ciencias, asegura que sea multidisciplinar, pero no interdisciplinar, es decir, no asegura un diálogo constructivo entre ellas”.

4 Movimientos: Mejora de la Escuela y Eficacia Escolar

La construcción de escuelas de calidad ocupa buena parte del debate pedagógico internacional. En este sentido, las investigaciones sobre los procesos de mejora generadas en el seno de los movimientos Mejora de la Escuela y Eficacia Escolar (CAMPBEL et al., 2012; HOPKINS et al., 2014; MUIJS et al., 2014; MURILLO; KRICHESKY, 2012; 2015; REYNOLDS et al., 2014; WATKINS, 2010), nos ofrece un marco teórico-práctico sólido y bien justificado que puede y debe orientar los debates.

Fruto de las lecciones aprendidas a lo largo de estos últimos años, ya sabemos que existen determinadas metodologías y factores que prueban tener una incidencia más directa que otras en la mejora de los procesos de enseñanza y aprendizaje (MURILLO; KRICHESKY, 2015).

El Movimiento de Mejora de la Escuela (School Improvement) surge debido al fracaso de las grandes reformas curriculares de los años 60. Constituye un conjunto de iniciativas de cambio escolar desarrolladas en todo el mundo que llega a la actualidad. Desde su nacimiento, reúne principalmente a docentes, directivos e investigadores que buscan transformar el centro escolar en su conjunto en orden a su mejora.

Su desarrollo ha caminado prácticamente paralelo al Movimiento de Eficacia Escolar (School Effectiveness). Este movimiento ha estado, desde sus inicios, preocupado por conocer qué genera que una escuela pueda ser denominada eficaz, es decir, un centro educativo que logra el desarrollo integral real y duradero de todos sus estudiantes (BALLESTEROS; GIL, 2012). En otras palabras, estudia los factores que explican que un centro sea de calidad y obtenga resultados positivos más allá de lo que sería esperable teniendo en cuenta la situación socioeconómica de las familias y su rendimiento previo (MURILLO, 2002).

Como se pone de manifiesto, los dos movimientos aportan información validada científicamente: el Movimiento de Eficacia Escolar señala qué hay que cambiar; por su parte, el de Mejora de la Escuela indica cómo llevarlo a cabo. Gracias al amplio conocimiento generado en el seno de los mismos, la comunidad educativa dispone en la actualidad de orientaciones pedagógicas claras, relevantes y contrastadas sobre cómo cambiar las instituciones para ofrecer una educación de calidad. Así, por ejemplo, ya se sabe que los resultados de las medidas políticas de mejora dependen de su capacidad para desarrollar en los centros educativos la posibilidad de tomar el control pedagógico (ELMORE, 2010). En este sentido, se puede afirmar que las escuelas que consiguen buenos resultados focalizan sus esfuerzos en los procesos didácticos. Tal como señalan Hargreaves y Fullan (2014), las escuelas que mejoran lo hacen, principalmente, porque enfocan en el aula el núcleo del cambio.

Sin embargo, la escuela es una institución compleja y dinámica que no funciona de forma aislada, condicionando su cotidianidad y la consecución de sus objetivos tanto a factores internos como externos. Entre los factores propios de los estudiantes y sus familias, Román (2008) destaca los siguientes: características personales del alumno, contexto socio-económico familiar, nivel cultural de los padres, trabajo infantil, asistencia a la escuela, expectativas sobre su futuro, apoyo de la familia a la escuela, y por último, actitud y motivación.

Existe un amplio consenso a la hora de afirmar que la escuela debe mostrarse abierta en su relación con el medio, generando una cultura participativa que permita la implicación real de la comunidad escolar (Ainscow et al., 2001), cooperadora con las familias y con capacidad de modificar sus estructuras y cotidianidad curricular para dar respuesta a los nuevos problemas que la sociedad demanda. Así, Murillo y Krichesky (2015) afirman que para que los cambios sean reales deben repercutir en los procesos de enseñanza y aprendizaje y en la organización “pero sobre todo a la cultura escolar: al conjunto de valores, normas, expectativas, compartidas a la comunidad; a esos elementos que hacen que una escuela sea innovadora, aprenda, trabaje en equipo...” (p. 78). En este sentido, Román (2008) señala que para la mejora real y duradera de la escuela se necesita trabajo en equipo, cambio en la cultura pedagógica, recursos, liderazgo democrático, tiempo, cambio en la práctica y perspectiva docente, y por último, claridad y consenso en los cambios que se pretenden implementar.

Por la misma idiosincrasia interna de las instituciones escolares y los diferentes factores externos que repercuten en su cotidianidad, es difícil hablar de fórmulas pedagógicas que generen siempre los mismos resultados, es decir, no hay una única estrategia de mejora. Sin embargo, sí se dispone de orientaciones más favorables que otras en términos educativos. En este sentido, se observan regularidades en torno a cinco elementos que para Murillo (2003) se han mostrado relevantes para la mejora de la escuela:

  • La escuela como parte fundamental del cambio. La propia escuela en su conjunto debe asumir y comprometerse con la renovación. Los cambios impuestos desde instancias externas al centro y no asumidos por toda la comunidad educativa no llevan aparejada una mejora sustancial.

  • El cambio gira en torno al cuerpo docente, a lo que los profesores hagan y piensen, a la particular cultura escolar generada. Así, consolidar una cultura escolar positiva es uno de los aspectos más complejos e importantes de los procesos de transformación y mejora.

  • La dirección eficaz como elemento determinante en la consecución de procesos positivos.

  • La escuela como comunidad de aprendizaje. Las buenas escuelas son organizaciones “vivas” para el aprendizaje que se muestran permeables a procesos constantes de reflexión, crítica y auto-aprendizaje.

  • Foco en la mejora de los procesos de enseñanza y aprendizaje. El rol del docente en los procesos educativos es esencial. En este sentido, debe reflexionar sobre los procesos de enseñanza y aprendizaje con sentido crítico, replanteándose la idoneidad de su metodología y mostrando especial atención en el aula.

5 Conclusiones

Los debates en torno a la mejora de los centros educativos en su etapa obligatoria están muy presentes en las agendas político-educativas supranacionales. La adecuación curricular de la escuela a la compleja realidad existente en el siglo XXI es un reto socio-educativo de primer orden (PERICACHO, 2016). Actualmente se dispone de sólida y suficiente investigación sobre cómo orientar los procesos educativos en los centros escolares. En este sentido, se ha expuesto y reflexionado sobre algunos de los avances más significativos desarrollados por tres campos teóricos: los avances en la neuropsicología aplicada a la educación, los resultados comparativos que ofrecen informes internacionales de impacto, y el amplio conocimiento acumulado sobre el cambio educativo y la calidad escolar. Ahora bien, en educación es difícil hablar de estrategias que generen siempre los mismos resultados; por tanto, los datos y evidencias expuestas no pretenden generar recetas o limitar el rol del docente; por el contrario, se persigue aportar ideas y orientaciones que contribuyan a un debate abierto, ecléctico y justificado sobre la mejora de los centros educativos.

A pesar de todos los datos presentados, queda la incertidumbre de si realmente el análisis cuantitativo de los mismos y la búsqueda de similitudes o diferencias en función de variables distintas, pueden suponer la clave del éxito de los sistemas educativos que no se encuentran, por el momento, en los primeros puestos de rendimiento, éxito y calidad educativa. No consiste en “copiar” a los contextos educativos propios las buenas prácticas de los países punteros. Se trataría, como indicaba el conocido Informe McKinsey de asumir que “la calidad de un sistema educativo tiene como techo la calidad de sus docentes” (MCKINSEY, 2008, p.14).

Es necesario un cambio global que permita potenciar el desarrollo integral del alumnado, lo que pasa, necesariamente, por un cambio metodológico y curricular de la escuela que ofrezca respuestas educativas más ajustadas a las diferentes realidades y demandas sociales. Se trata de que las autoridades educativas se vuelquen en la mejora de la calidad de los docentes, la cualificación del profesorado, la formación en las herramientas tecnológicas necesarias para el cambio y adaptación a las demandas sociales y laborales, el incremento del prestigio y credibilidad social de la profesión como eje vertebrador del cambio político y social y la participación activa de las familias en el proceso educativo.

En conclusión, la mejora de los centros educativos en su etapa obligatoria es una cuestión compleja y multidimensional en la que entran en juego una gran cantidad de factores: contexto socio-económico de las familias, momento histórico, realidad política, procesos culturales, fortalezas y debilidades del docente, características de los alumnos, etc. En la implementación de políticas públicas y sus correspondientes prescripciones normativas siempre se debe tener presente que se insertan en una red de significados institucionales y profesionales que harán de filtros para la reinterpretación de las mismas (MONARCA et al., 2016). Ahora bien, fruto de las lecciones aprendidas a lo largo de estos últimos años, la comunidad educativa cuenta con evidencias científicas contrastadas para enfocar y orientar el debate. A continuación se muestran algunas destacadas: en primer lugar, las medidas de mejora deben conjugarse desde lo económico, lo político y lo socio-educativo, desde una sinergia coherente y clara; en segundo lugar, apostar por la mejora de los centros implica favorecer centros escolares permeables a la participación real de las familias, flexibles y abiertos al cambio y la mejora continua curricular y didáctica; por último, atendiendo a los últimos avances en neuropsicología, se debe potenciar una formación inicial y permanente del profesorado de calidad que le permita entender la magnitud existente entre lo social, el aprendizaje y la emoción, un cuerpo docente plenamente consciente de la importancia de generar procesos educativos integrales, fundamentados en la interdependencia entre lo cognitivo y lo emocional, lo analítico y lo creativo, lo intelectual y lo lúdico.

Referencias

AINSCOW, M. et al. Hacia escuelas eficaces para todos: manual para la formación de equipos docentes. Madrid: Narcea, 2001 [ Links ]

BALLESTEROS, B.; GIL, I. (Coords.). Diversidad cultural y eficacia de la escuela: un repertorio de buenas prácticas en centros de educación obligatoria. Madrid: Ministerio de Educación, 2012. (Colección Entre Manos). [ Links ]

BLAKEMORE, S. J. Brain development during adolescence. En: DANIELS, H.; LAUDER, H.; PORTER, J. (Eds.). Educational theories, cultures and learning: a critical perspective. Londres: Taylor and Francis, 2012. p. 92-100. [ Links ]

BROCK, L. et al. The contributions of “hot” and “cool” executive function to children`s academic achievement, learning related behaviors, and engagement in kindergarten. Early Childhood Research Quarterly, v. 24, n. 3, p. 337-49, 2009. https://doi.org/10.1016/j.ecresq.2009.06.001Links ]

CAMPBEL, J. et al. Assesing teaching effectiveness. Londres: Routledge, 2012. [ Links ]

CAMPOS, A. L. Neuroeducación: uniendo las neurociencias y la educación en la búsqueda del desarrollo humano. La Educación Revista Digital, n. 143, p. 1-14, jun. 2010. [ Links ]

CLAIR-THOMPSON, H. L.; GATHERCOLE, S. E. Executive functions and achievements in school: shifting, updating, inhibition, and working memory. Quarterly Journal of Experimental Psychology, v. 59, n. 4, p. 745-59, 2006. https://doi.org/10.1080/17470210500162854Links ]

CARVALHO, D.; BOAS, C. A. V. Neurociências e formação de professores: reflexos na educação e economia. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 98, p. 231-47, 2018. https://doi.org/10.1590/s0104-40362018002601120Links ]

DEKKER, S. et al. Neuromyths in education: prevalence and predictors of misconceptions among teachers. Frontiers in Psychology, Lausanne, v. 3, p. 1-8, 2012. https://doi.org/10.3389/fpsyg.2012.00429Links ]

ELMORE, R. Mejorando la escuela desde la sala de clases. Santiago de Chile: Fundación Chile, 2010. [ Links ]

ESPAÑA. Ministerio de Educación. Actuaciones de éxito en las escuelas europeas. Madrid, 2011. (Colección estudios CREADE nº 9). [ Links ]

ESPAÑA. Ministerio de Educación Cultura y Deporte. Estudio internacional de progreso en comprensión lectora, matemáticas y ciencias. Madrid, 2012. (IEA volumen II: Informe español. Análisis secundario). [ Links ]

ESPAÑA. Ministerio de Educación Cultura y Deporte. Estudio internacional de la enseñanza y el aprendizaje. Madrid, 2013b. (Informe español). [ Links ]

ESPAÑA. Ministerio de Educación Cultura y Deporte. Panorama de la educación: indicadores de la OCDE 2016. Madrid: Ministerio de Educación Cultura y Deporte, 2016. (Informe español). [ Links ]

ESPAÑA. Ministerio de Educación y Formación Profesional. Panorama de la educación: indicadores de la OCDE 2018. Madrid, 2018. (Informe español) [ Links ]

ESPAÑA. Ministerio de Educación Cultura y Deporte. PIAAC Programa internacional para la evaluación de las competencias de la población adulta. Madrid, 2013a. (Informe español, volumen l). [ Links ]

FISCHER, K. W.; IMMORDINO-YANG, M. H.; Waber, D. P. Toward a grounded synthesis of mind, brain, and education for reading disorders: an introduction to the field and this book. En: FISCHER, K. W.; BERNSTEIN, J. H.; IMMORDINO-YANG, M. H. (Eds.). Mind, brain, and education in reading disorders. Cambridge: Cambridge University, 2007. p. 3–15. [ Links ]

FUHRMANN, D.; KNOLL, L. J.; BLAKEMORE, S. J. Adolescence as a sensitive period of brain development. Trends in Cognitive Sciences, v. 19, n. 10, p. 558-66, 2015. https://doi.org/10.1016/j.tics.2015.07.008Links ]

GARCÍA, E. Neuropsicología y educación: de las neuronas espejo a la teoría de la mente. Revista de Psicología y Educación, v. 1, n. 3, p. 69-90, 2008. [ Links ]

GILMORE, C. K.; MCCARTHY, S. E.; SPELKE, E. S. Symbolic arithmetic knowledge without instruction. Nature, v. 447, n. 7144, p. 589-92, 2007. https://doi.org/10.1038/nature05850Links ]

GOLEMAN, D. Emotional intelligence. New York: Kairós, 1995. [ Links ]

GOSWANI, U. Neuroscience and education: from research to practice? Nature Reviews Neuroscience, v. 7, p. 406-13, 2006. https://doi.org/10.1038/nrn1907Links ]

HARGREAVES, A.; FULLAN, M. Capital profesional: transformar la enseñanza en cada escuela. Madrid: Morata, 2014. [ Links ]

HOPKINS, D. et al. School and system improvement: a narrative state-of-the-art review. School Effectiveness and School Improvement, v. 25, n. 2, p. 257-81, 2014. https://doi.org/10.1080/09243453.2014.885452Links ]

HYND, G. W.; OBRZUT, J. E. School neuropsychology. Journal of School Psychology, v. 19, n. 1, p. 45-50, 1981. https://doi.org/10.1016/0022-4405(81)90006-6Links ]

JENSEN, E. P. A fresh look at brain-based education. Phi Delta Kappan, v. 89, n. 6, p. 408-17, 2008. https://doi.org/10.1177/003172170808900605Links ]

KNOLL, L. J. et al. A window of opportunity for cognitive training in adolescence. Psychological Science, v. 27, n. 12, p. 1620-31, 2016. https://doi.org/10.1177/0956797616671327Links ]

LEZAK, M. D. The problem of assessing executive functions. International Journal of Psychology, v. 17, n. 1-4, p. 281-97, 1982. https://doi.org/10.1080/00207598208247445Links ]

LOZANO GUTIÉRREZ, A.; OSTROSKY, F. Desarrollo de las funciones ejecutivas y de la corteza prefrontal. Revista de Neuropsicología, Neuropsiquiatría y Neurociencias, v. 11, n. 1, p. 159-72, 2011. [ Links ]

LURIA, A. R. Las funciones corticales del hombre. Moscú: Universidad Estatal de Moscú, 1962. [ Links ]

LURIA, A. R.Las funciones psíquicas superiores y su organización cerebral. Barcelona: Fontanella, 1983. [ Links ]

MANGA, D.; RAMOS, F. Neuropsicología de la edad escolar: aplicaciones de la teoría de A. R. Luria a niños a través de la batería Luria-DNI. Madrid: Visor, 1991 [ Links ]

MANGA, D.; RAMOS, F. El legado de Luria y la neuropsicología escolar. Psychology, Society, & Education, v. 3, n. 1, p. 1-13, 2017. https://doi.org/10.25115/psye.v3i1.443Links ]

McKINSEY, O. Cómo hicieron los sistemas educativos con mejor desempeño del mundo para alcanzar sus objetivos. Chile: San Marino, 2008. Disponible en: <http://www.mckinseyonsociety.com/downloads/reports/Education/Como_hicieron_los_sistemas_educativos.pdf>. Acceso en: 10 oct. 2017. [ Links ]

MELTZER, L. (Ed.). Executive function in education. New York: The Guilford, 2007. [ Links ]

MONARCA, H. et al. Política y cambio en educación: el caso de las competencias básicas en España. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 24, n. 93, p. 968-89, 2016. https://doi.org/10.1590/S0104-40362016000400009Links ]

MORA, F. Neuroeducación: solo se puede aprender aquello que se ama. Madrid: Alianza, 2013. [ Links ]

MORAINE, P. Las funciones ejecutivas del estudiante. Madrid: Narcea, 2014. [ Links ]

MUIJS, D. et al. State of the art: teacher effectiveness and professional learning. School Effectiveness and School Improvement, v. 25, n. 2, p. 231-56, 2014. https://doi.org/10.1080/09243453.2014.885451Links ]

MURILLO, F. J. El movimiento teórico-práctico de mejora de la escuela: algunas lecciones aprendidas para transformar los centros docentes. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 1, n. 2, p. 1-22, 2003. [ Links ]

MURILLO, F. J. La mejora de la escuela: concepto y caracterización. En: MURILLO, F. J.; MUÑOZ-REPISO, M. (Coords.). La mejora de la escuela: un cambio de mirada. Madrid: Octaedro, 2002. p. 15-51. [ Links ]

MURILLO, F. J.; KRICHESKY, G. J. El proceso del cambio escolar: una guía para impulsar y sostener la mejora de las escuelas. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 10, n. 1, p. 26-43, 2012. [ Links ]

MURILLO, F. J.; KRICHESKY, G. J. Mejora de la escuela: medio siglo de lecciones aprendidas. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 13, n. 1, p. 69-102, 2015. [ Links ]

ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICOS - OCDE. Understanding the brain: towards a new learning science. París, 2002. [ Links ]

ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICOS - OCDE. Formative assessment: improving learning in secondary classrooms. París, 2005. [ Links ]

ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICOS - OCDE. Personalising education. Paris, 2006. [ Links ]

ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICOS - OCDE. Understanding the brain: the birth of a learning science. París, 2007. [ Links ]

ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICOS - OCDE. PISA 2015: resultados clave. París, 2016b. Disponible en: <https://www.oecd.org/pisa/pisa-2015-results-in-focus-ESP.pdf>. Acceso en: 10 oct. 2017. [ Links ]

ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICOS - OCDE. Education at a glance 2016: OCDE Indicators. Paris, 2016a. [ Links ]

PALLARÉS, D. V. Hacia una conceptualización dialógica de la neuroeducación. Participación educativa, v. 4, n. 7, p. 133-42, 2015. https://doi.org/10234/155185Links ]

PERICACHO, F. J. Actualidad de la renovación pedagógica. Madrid: Popular, 2016. [ Links ]

RAGHUBAR, K. P. et al. Errors in multi-digit arithmetic and behavioral inattention in children with math difficulties. Journal of Learning Disabilities, v. 42, n. 4, p. 356-71, 2009. https://doi.org/10.1177/0022219409335211Links ]

REYNOLDS, D. et al. Educational effectiveness research (EER): a state-of-the-art review. School Effectiveness and School Improvement, v. 25, n. 2, p. 197-230, 2014. https://doi.org/10.1080/09243453.2014.885450Links ]

RIZZOLATTI, G.; SINIGAGLIA, C. Las neuronas espejo. Barcelona: Paidós, 2006. [ Links ]

ROMÁN, M. Planes de mejoramiento, estrategias e instrumentos para la mejora de la eficacia de la escuela. Cuadernos de Educación, v. 1, n. 9, p. 1-18, 2008. [ Links ]

SHONKOFF, J. P.; PHILLIPS, D. A. (Eds.). From neurons to neighborhoods: the science of early childhood development. Washington, DC: National Academy, 2000. [ Links ]

SNOW, C.; BURNS, S.; GRIFFIN, P. (Eds.). Preventing reading difficulties in young children. Washington, DC.: National Academy, 1998. [ Links ]

SOPRANO, A. M. Evaluación de las funciones ejecutivas en el niño. Revista de Neurología de la Universidad de Belgrano, v. 37, n. 1, p. 44-50, 2003. [ Links ]

STERN, C. D. Neural induction: old problem, new findings, yet more questions. Development, v. 132, n. 9, p. 2007-21, 2005. https://doi.org/10.1242/dev.01794Links ]

TAPIA, A. A. F. et al. Las neurociencias: una visión de su aplicación en la educación. Revista Órbita Pedagógica, v. 4, n. 1, p. 61-74, 2017. [ Links ]

WATKINS, C. Learning, performance and improvement. Londres: International Network for School Improvement, 2010. [ Links ]

Recibido: 08 de Febrero de 2018; Aprobado: 16 de Enero de 2019

Informações dos autores

Francisco Javier Pericacho Gómez: Doctor en Educación por la Universidad Complutense de Madrid. Profesor en la Universidad Antonio de Nebrija, Facultad de Lenguas y Educación. Contacto: pericacho.javier@yahoo.es

María Vaíllo Rodríguez: Licenciada en Psicologia y Doctora en Educacion. En la actualidad coordina la Catedra Nebrija-Santander en Inteligencia Ejecutiva y Educacion. Directora del Instituto Nebrija de Competencias Profesionales. Contacto: mvaillo@nebrija.es

Silvia Zamorano Gallego: Doctora en Pedagogia por la Universidad Complutense de Madrid y premio Extraordinario con un master en Direccion, Gestion y Evaluacion de Centros Educativos. En la actualidad es profesor asociado de la UCM y Directora Pedagogica del Centro de Aprendizaje Avanzado Educa Qualit@s. Contacto: silvia.zamorano@educaqualitas.com

Nuria Camuñas: Doctora en Psicologia por la Universidad Complutense de Madrid. Directora del Area de Educacion de la Facultad de la Artes y las Letras. Es profesora de la Facultad de Lenguas y Educacion en grado y postgrado. Miembro del grupo de investigacion en Formacion del Profesorado y Educacion. Contacto: ncamunas@nebrija.es

Creative Commons License  This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.