1 LA CALIDAD DE LA EDUCACIÓN Y SU EVALUACIÓN
1.1 ¿Qué es calidad?
El término “calidad” es definido como la adecuación de un producto o un servicio a las características especificadas que dice ofrecer. Calidad es conformidad con el propósito, calidad es cumplimiento de propósito. Y diremos que un producto o servicio es de mayor o menor calidad en función del grado en que cumple con las características inherentes a ese producto o servicio, características a las que dice atender (Crosby, 1979).
Esta definición es la adoptada por los Sistemas de Gestión de la Calidad de la International Standardization Organization (SGC de ISO, 2019) y por el Diccionario de la Lengua Española (RAE).
Términos asociados con calidad son: valor, mérito, criterio y estándar o norma, y así los define el diccionario de la RAE.
Valor - Del lat. valor, - ōris. m. Grado de utilidad o aptitud de las cosas para satisfacer las necesidades o proporcionar bienestar o deleite. Valor es sinónimo de calidad. Un programa, una organización, un producto o un servicio cumple con el criterio de valor, si responde, si satisface, las necesidades que dice atender.
Mérito - Del lat. merĭtum. m. Acción o conducta que hace a una persona digna de premio o alabanza. Hizo méritos para conseguir la victoria. Guarda relación con “estándar” de realización de la calidad.
Criterio - Del lat. tardío criterĭum, y este calco del gr. κριτήριον kritḗrion, der. de κρίνɛιν krínein ‘juzgar’. m. Norma para conocer la verdad. También como aquella condición que debe cumplir una determinada actividad, actuación, proceso o programa para ser considerada de calidad.
Estándar - Del inglés standard, Que sirve como modelo, norma, patrón, referencia. El estándar se define como ‘el grado de cumplimiento exigible a un criterio de calidad’.
1.2 Criterios para evaluar la calidad
Los principales criterios para evaluar la calidad de cualquier organización, producto o servicio, actividad o programa educativo, son:
Adecuación, pertinencia, o funcionalidad. Se define como la medida en la cual una organización, un programa o actividad, responde a una o más necesidades especificadas de la población o grupo al que atiende. Un sistema educativo es de calidad si atiende a las necesidades de formación de los ciudadanos, de acuerdo con las demandas de la sociedad.
Eficacia. Es la medida en la cual existe prueba de que los objetivos establecidos en la organización, o en un programa, se han conseguido. Una organización será eficaz si logra las metas educativas de calidad que se había propuesto en sus planes, proyectos y programas educativos; es decir, si existe coherencia entre los resultados de formación obtenidos y las metas y objetivos pretendidos.
Eficiencia. Es la medida de la relación entre los recursos utilizados y los resultados conseguidos. Una organización, o un programa, será eficiente si se da una relación de coste-beneficio positiva entre los resultados logrados en la formación y las necesidades que determinaron la realización de los programas y sus metas, considerando los recursos, de personas y medios utilizados para llevarlos a cabo.
Efectividad. Es la medida en la cual una organización, o un programa, ha alcanzado los efectos pretendidos. Es similar a eficacia.
Satisfacción. Es la medida de la relación entre las expectativas sobre la organización, o un programa, y la valoración acerca de lo que ha conseguido, que se añaden a las valoraciones de proceso.
Impacto. Son los efectos posteriores a la aplicación del programa causados por el programa. Los criterios para valorar la eficacia y el impacto son los objetivos declarados que pretende conseguir un programa para atender determinadas necesidades. El impacto es la eficacia conseguida consolidada en el tiempo, más allá del momento de finalización de la aplicación del programa.
1.3 Estándares para evaluar la calidad
Las referencias, estándares, o normas para evaluar la calidad, guardan relación con los criterios, indicando el grado, el mérito, con el que se cumplen los criterios, y definen, establecen, cómo deben cumplirse dichos criterios. Las referencias, para valorar el grado de logro de los criterios, son de tres tipos:
Criterial. Si la referencia es en relación con un dominio - lo que se pretende que se aprenda-, se llama referencia criterial, y se compara lo que el programa ha conseguido con lo que pretendía conseguir a un nivel absoluto, centrado en el logro del dominio. El estándar criterial, referido a los logros de un programa, se centra en valores medios de los resultados de los sujetos que han participado en el programa. Cuando la aplicación del estándar se centra en un individuo, la evaluación criterial se referirá al logro en el aprendizaje obtenidos por dicho sujeto.
Idiosincrática. Si la referencia se toma en relación con el punto de partida se dice que es idiosincrática, y se compara el progreso conseguido en relación con el punto de partida, que puede ser referido a los resultados, en relación con el programa, en una evaluación previa, pudiendo decir que, tras la aplicación del programa, se ha conseguido mejorar la formación pretendida, en relación con el punto de partida.
Normativa. Si la referencia es en relación con otros programas, hablamos de referencia normativa, y se centra en conocer si los resultados conseguidos por el programa han sido superiores, inferiores o iguales que los conseguidos por otros programas. E igualmente se aplica de modo individual, pudiendo decir que un alumno ha obtenido un logro inferior, igual o superior a la media aritmética del grupo. Normativa hace referencia a la distribución de la curva normal, no a normas.
La medición del logro del criterio se basará en indicadores de realización de aquellas dimensiones necesarias para lograr el estándar (Martínez Mediano, 2004, p. 147). Un indicador es una medida cuantitativa o cualitativa, que puede usarse como guía, para comprobar y valorar la calidad de las diferentes realizaciones y dimensiones de los criterios. Los indicadores deben cumplir las características propias de la elaboración de los ítems que contienen los instrumentos de medida, como los cuestionarios.
Los estándares de calidad determinan el nivel mínimo y máximo aceptable en un indicador. Si el valor del indicador se encuentra dentro del rango señalado, significa que se está cumpliendo con el criterio de calidad que habíamos definido y que las cosas transcurren conforme a lo previsto.
1.4 Educación de calidad y su evaluación
El concepto de calidad de la educación, como meta de todo sistema e institución educativos, asume un enfoque sistémico, global y contextualizado hacia la consecución de metas de calidad para todos y con la colaboración de todos. La calidad en la educación se consigue mediante una adecuada organización de la institución, orientada a la consecución de su razón de ser, la formación de los estudiantes y el desarrollo continuo de las personas que trabajan en ella.
Si el fin de un sistema educativo es formar a los ciudadanos de un país para su desenvolvimiento en la sociedad, en los ámbitos personales, sociales y profesionales, el criterio que guiará la realización de las metas de los programas será que dichos resultados sean conseguidos.
Todo proceso educativo es complejo y duradero en el tiempo, por lo que en él deben confluir actuaciones educativas tales como:
La evaluación de necesidades para el acercamiento a la realidad de los sujetos y de sus situaciones;
La elaboración, o selección de los programas para atender a dichas necesidades;
La planificación y su implementación;
La evaluación, valoración, de todo el proceso desde el análisis de necesidades, el diseño de los programas, su planificación, su aplicación y sus resultados.
La alineación entre los objetivos de aprendizaje, su desarrollo y la evaluación de los resultados necesita consistencia y coherencia entre las competencias y habilidades a desarrollar, las estrategias de enseñanza y aprendizaje y la evaluación de los aprendizajes. Que un sistema educativo sea receptivo y adaptable a las necesidades y demandas cambiantes de la sociedad y del mundo laboral, contribuye a que los estudiantes perciban mejor sus experiencias de aprendizaje y aumente su motivación para aprender (Astuti; Atmaja, 2023, p. 3).
Los resultados de la evaluación contribuirán a garantizar la calidad y la rendición de cuentas de los programas, al proporcionar evidencias e indicadores de la efectividad y de su impacto, lo que facilitará el reconocimiento y la transferibilidad de los resultados, y permitirá la comparación y compatibilidad de criterios y resultados en diferentes contextos.
2 LOS MODELOS LÓGICOS PARA EL DISEÑO DE PROGRAMAS Y SU EVALUACIÓN
La lógica de la evaluación muestra la estructura subyacente y el razonamiento asociado a la investigación evaluativa. Lo que subyace al diseño, aplicación y evaluación de un programa es un modo de pensamiento centrado en valorar los propósitos y contenidos de los programas dirigidos a atender unas necesidades, que nos guiarán en la recogida de información para evaluar la calidad del programa en sí mismo, su adecuación a las necesidades que pretende atender, su planificación y aplicación y sus resultados, para orientar las mejoras en el inmediato, medio y largo plazo (Martínez Mediano, 2017, p. 171). Esto es lo que se llama pensamiento evaluativo, basado en el diseño, aplicación y recogida de información frecuente, orientado a la mejora continua. En su esencia está el diálogo, la reflexión, el aprendizaje, la mejora y la innovación.
2.1 Los modelos lógicos
Los modelos lógicos ilustran de una manera gráfica la “teoría de la acción” a través de los vínculos entre los problemas percibidos, las necesidades, las intervenciones, las estrategias, los recursos, las metas y los resultados previstos a conseguir; es decir, lo que hay que hacer para conseguir los cambios para la mejora.
Los modelos lógicos ofrecen un enfoque holístico, sistémico, integrador, basado en los modelos de evaluación de programas de Scriven, para quien la evaluación es la valoración sistemática del valor, mérito, y significado - contextualizado -, de lo que se evalúa (Scriven, 1980), y de Stufflebeam y Shinkfield (1987), cuyo modelo de evaluación de programas viene definido por el acrónimo CIPP de Evaluación de Contexto - necesidades contextualizadas -, Evaluación de Entrada - estrategias, recursos, personas -, Evaluación de Proceso - implementación del programa - y Evaluación de Producto o Resultados - en el inmediato, medio y largo plazo. Para cuyos autores,
La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones de cambio y mejora, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados (Stufflebeam; Shinkfield, 1987, p. 183).
En la definición de sendos autores, la evaluación es un proceso y un resultado contextualizado, sobre la calidad y el mérito de las acciones educativas, con fines de mejora y rendimiento de cuentas. Mencionados sus fundamentos, los modelos lógicos se centran en:
El análisis de necesidades de los sujetos sobre los que se va a intervenir, junto con las necesidades de los profesionales de la intervención, así como los problemas y tensiones del contexto situacional en el que se desarrolla la actividad educativa, contando con la colaboración de todos los implicados, incluidas las familias, en diversos momentos. Este análisis proporciona la base para el plan de acción (Charitonos; Littlejohn, 2019; Littlejohn et al., 2023, p. 3);
El diseño de los programas, fundamentados en teorías psicoeducativas, mencionando las estrategias instruccionales para su aplicación, realizados por los profesionales de la intervención;
La planificación para la aplicación de los programas y el seguimiento de la intervención en el contexto y situaciones reales en las que se aplica;
Los resultados que consiguen sus acciones durante el proceso y al final de la aplicación, revisando las acciones, sus resultados y realizando las modificaciones necesarias, en un proceso de evaluación formativa continua;
La planificación de su evaluación y la realización de la evaluación para valorar:
Cómo han sido evaluadas las necesidades que pretende atender el programa;
-
Los propósitos y los contenidos del programa, las teorías y concepciones que subyace a él, que lo fundamentan;
La planificación de su aplicación, su aplicación;
Sus resultados, si ha logrado, cumplido con sus objetivos, de acuerdo con los criterios y estándares definidos, y si sus beneficiarios han quedado satisfechos e incluso si han superado sus expectativas, todo ello, mediante la recogida de información sistemática, frecuente, en cada una de sus fases y dimensiones, el análisis relacional de las dimensiones como un sistema, como un todo, valorando sus resultados, tanto los pretendidos como los no previstos, negativos y positivos.
La comunicación, durante todo el proceso, de toda la información recopilada a todos los implicados, de modo transparente, que orientará en qué y cómo mejorar, mediante la realización de propuestas de mejora, y su evaluación, en un círculo de mejora e innovación continuas (Martínez Mediano, 2022, p. 63) (Figura 1).
Fuente: Elaboración propia. Basado en WKKF (2017).
Figura 1 Diagrama del modelo lógico para el diseño de programas y para su evaluación. Componentes del modelo
El modelo lógico ayuda a desarrollar acuerdos entre las diversas partes interesadas en la lógica del “qué” y el “cómo” de las intervenciones propuestas y en curso, demostrando que la aplicación de dicho enfoque mejora la planificación, señalando las lagunas teóricas y prácticas, a la vez que favorece la elaboración de indicadores significativos del proceso de aplicación del programa, para el seguimiento y la identificación de las causas de los resultados conseguidos y de los fallidos (Smith; Li; Rafferty, 2020).
El modelo lógico ayuda a los planificadores educativos y sociales a identificar las necesidades y los recursos necesarios para el cambio y traducirlos en diferentes actividades conducentes a lograr dichos resultados. Como el contexto - las situaciones -, para el cual se diseña la intervención, a menudo, cambia, cada elemento integrado en el programa, mediante el diagrama del modelo lógico puede reconsiderarse, evaluarse, revisarse y modificarse de modo dinámico (Havsteen-Franklin; Cooper; Anas, 2023).
2.2 Relaciones entre los componentes del modelo para el diseño y evaluación de los programas
El modelo lógico se basa en la teoría del cambio a partir de las necesidades, las intervenciones y los resultados, proporcionando la base para evaluar los elementos clave de todo el proceso. Desde la perspectiva de la evaluación, un modelo lógico:
Atiende al análisis de las necesidades en sus contextos, y, a partir de ellas, formula las metas y los objetivos a conseguir por el programa, sus fundamentos teóricos, la planificación para su aplicación, los recursos, y los enfoques y estrategias de evaluación de los resultados, y la forma en que todo ello se armoniza con las necesidades;
Ayuda a priorizar y a enfocar las cuestiones de interés sobre las que debe recoger información, las técnicas de recogida y análisis de datos, para la evaluación, y la presentación de resultados mediante el informe de la evaluación;
En el informe de todo el proceso, desde el análisis de la evaluación de los resultados, se incluyen recomendaciones informadas sobre las mejoras que se necesitan incorporar en cada una de las dimensiones para la intervención.
Las preguntas para la evaluación del diseño del programa, su aplicación y resultados, pueden generarse a partir del modelo lógico, en torno a:
Si se realizaron adecuadamente los análisis de necesidades y su priorización (evaluación de necesidades contextualizadas, Evaluación de Contexto);
Si el programa se diseñó de acuerdo con las metas para atender a las necesidades, fundamentado en las teorías psicopedagógicas relevantes (evaluación del programa en sí, Evaluación de Entrada);
Si la aplicación del programa contó con las personas y los recursos mínimos imprescindibles para su aplicación (Evaluación de Entrada);
Si el programa se está implementando o se implementó de acuerdo con su planificación, Evaluación de Proceso);
Si hay evidencias de progreso, de logro de objetivos intermedios conducentes a los resultados (evaluación de resultados inmediatos conseguidos por las acciones del programa, Evaluación de Proceso);
Si las metas pretendidas por el programa se alcanzan, una vez aplicado el programa (Evaluación de Producto o de Resultados);
Si los resultados son duraderos en el tiempo (Evaluación de Producto o de Resultados a largo plazo o Evaluación de Impacto).
Todo ello, nos ayudará a formular indicadores para la elaboración de los diferentes instrumentos para la recogida de información, para la valoración de cómo ha sido realizado el análisis de necesidades, el diseño del programa, la planificación de su aplicación, los resultados de proceso y los resultados inmediatos, finales y su impacto.
Mostramos, mediante una tabla de síntesis (Tabla 1), las relaciones entre los elementos del programa, los criterios de calidad para garantizar y valorar el éxito del programa y los beneficios que reporta a la evaluación del programa, la utilización del modelo lógico.
Tabla 1 Relaciones entre los elementos del programa y los beneficios de su evaluación mediante el modelo lógico
| Elementos del programa | Criterios de calidad para garantizar el éxito del programa | Beneficios para la evaluación del programa |
|---|---|---|
| Diseño del programa para atender las necesidades | Correcta concreción de las necesidades y de las metas y objetivos del programa para subsanarlas, y de sus posibles efectos a lo largo del tiempo. | Facilita comprobar las lagunas existentes entre las necesidades y los fundamentos y contenidos del programa para ayudar a resolverlas. |
| Planificación y recursos para su implementación | Las metas y objetivos del programa deben ser posibles de conseguir, contando con las personas y recursos necesarios. | Construye una comprensión compartida sobre el programa en su totalidad y qué objetivos y funciones cumple cada una de sus partes durante su aplicación. |
| Implementación y gestión del programa | Debe permitir obtener información relevante y coherente entre los objetivos del programa, su planificación y su implementación. |
Centra la atención en la gestión de las relaciones entre los objetivos, las acciones y los resultados que va consiguiendo el programa. |
| Evaluación formativa |
La evaluación continua del programa durante su aplicación, comprobando cómo se van consiguiendo los objetivos parciales del programa. | Facilita la mejora del diseño del programa, la adecuación de los recursos para la planificación y realización de los procesos. |
| Evaluación sumativa | La evaluación de la eficacia, de los resultados, del éxito del programa. |
Información acerca de las metas conseguidas tras la aplicación del programa y la resolución de las necesidades afirmadas. |
| Informes de los resultados | Identificación y atención a todos los interesados en los resultados conseguidos, evidenciados en la evaluación del programa. | Proporciona un modo de implicar y comprometer a los responsables, y demás partes interesadas, en el uso de los resultados de la evaluación para la mejora del diseño y aplicación de los programas. |
Fuente: elaboración propia. Basado en WKKF, 2017.
2.3 Relaciones entre las dimensiones del programa y los criterios y estándares de calidad para su evaluación
Un programa se elabora para atender unas demandas, orientándose a atender dichas necesidades y cubrir las expectativas de todos los grupos de interés, con calidad. Para comprobar que el programa es de calidad, debemos recoger información sobre la calidad de todos los elementos del programa, desde el análisis de cómo se han analizado las necesidades, la adecuación del programa para atenderlas, las personas para su aplicación, las estrategias y recursos, y el logro de los resultados.
La recogida de información debe ser sistemática, de la totalidad de las dimensiones o variables, utilizando técnicas e instrumentos que incluyan indicadores representativos de los criterios en relación con los principios o fundamentos del programa, las metas a conseguir, y todo el proceso de aplicación, para aportar evidencias sobre cómo se ha diseñado el programa y cómo se está desarrollando y sus resultados, informando a todos los implicados, durante el proceso y al final, para guiar la toma de decisiones de mejora.
Asimismo, hay que considerar el criterio de realización de los servicios a tiempo, el cumplimiento de la legalidad, respeto a las personas y al medio ambiente, entorno seguro, compromiso con la sostenibilidad, actuando con honradez y transparencia, así como el criterio de confianza, que nos permite comprobar que cada uno de los elementos se realiza garantizando lo que pretende conseguir y el grado de calidad con que lo consigue.
En consonancia con los resultados obtenidos en su totalidad y en cada una de sus dimensiones, se orientarán los posibles planes de mejora para reducir las diferencias entre lo que se pretendía y lo que se ha conseguido. El uso del diagrama del modelo lógico facilitará elaborar el plan de mejora en las dimensiones del programa que lo necesiten, para su nueva aplicación.
A continuación, a modo de ejemplo, formulamos una serie de ítems, mediante la técnica del cuestionario, sobre un Programa de intervención para la mejora de la convivencia en un centro educativo, mostrando las relaciones entre las dimensiones del programa y los criterios y estándares de calidad para su evaluación, siguiendo el diagrama del modelo lógico (Tabla 2).
Tabla 2 Formulación de ítems para la evaluación de la intervención para la mejora de la convivencia, en un centro educativo
| Dimensión | Ítem | Criterio | Estándar |
|---|---|---|---|
| Necesidades, Prioridades, Metas | ¿Se han realizado entrevistas a los padres de estudiantes que manifiestan comportamientos conflictivos en el centro para acordar las necesidades, prioridades y metas? |
Eficacia | Criterial |
| ¿Se ha tenido en cuenta las aportaciones de los profesores y personal del centro? |
Eficacia | Criterial | |
| Entrada | ¿El programa contiene los contenidos clave para atender las necesidades analizadas y priorizadas por el equipo responsable de la intervención? |
Adecuación | Criterial |
| ¿Quiénes aplican el programa, cuentan con la formación específica necesaria? |
Eficacia | Criterial | |
| ¿La formación en resolución de conflictos recibida por el profesorado ha mejorado las estrategias utilizadas con los estudiantes? | Eficacia | Criterial e Idiosincrático | |
| ¿El tiempo que se dedica a la aplicación del programa es suficiente de acuerdo con las necesidades? |
Adecuación y Eficacia | Criterial | |
| Comunicación y Transparencia |
¿El programa ha sido presentado ante el Consejo Escolar del Centro para su conocimiento y aprobación? |
Eficacia | Criterial |
| ¿Se ha informado a todos los grupos de interés para buscar su acuerdo/apoyo? | Eficacia | Criterial | |
| ¿Se ha informado en sucesivos momentos de los progresos de la intervención? |
Eficacia | Criterial | |
| Fundamentos y Contexto |
¿La fundamentación del programa fue bien valorada por los expertos consultados? | Eficacia | Criterial |
| ¿Las situaciones de los estudiantes fueron tenidas en cuenta para el diseño de programa? | Eficacia | Criterial | |
| ¿Los debates con expertos invitados han ayudado a la comprensión de las actuaciones necesarias para el cambio que debe incluir el programa? |
Eficacia | Criterial | |
| Procesos y Resultados inmediatos | ¿Los debates sobre las habilidades ante conflictos han mejorado la capacidad de los profesores/estudiantes/padres para mediar en la resolución de conflictos? |
Eficacia | Criterial e Idiosincrático |
| ¿Los estudiantes profesores/padres se muestran interesados y participan en las actividades programadas? |
Eficacia | Criterial | |
| ¿La formación en resolución de conflictos recibida por el profesorado ha mejorado las estrategias utilizadas con los estudiantes? | Eficacia | Criterial e Idiosincrático | |
| ¿El desarrollo de trabajos colaborativos sobre tareas previas al debate contribuye al desarrollo de competencias de valoración del trabajo del otro? |
Eficacia | Criterial | |
| ¿El tiempo que se dedica a la aplicación del programa es suficiente de acuerdo con las necesidades? |
Adecuación y Eficacia | Criterial | |
| ¿La conferencia del Deportista invitado, para compartir su experiencia de superación, ha conseguido un impacto positivo en los estudiantes? |
Eficacia | Criterial | |
| ¿Los estudiantes/profesores/padres manifiestan su contento con la reducción de conflictos en el centro? |
Eficacia, Satisfacción e Impacto, | Criterial e Idiosincrático | |
| Beneficiarios (grupos de interés) | ¿Todas las personas implicadas han sido informadas de los resultados que está consiguiendo el programa educativo? | Eficacia | Criterial |
| ¿Los padres están contentos con las mejoras observadas en la capacidad para reflexionar de sus hijos ante un conflicto? | Eficacia y Satisfacción | Criterial e Idiosincrático | |
| Resultados Finales e Impacto | ¿Las quejas sobre conflictos de los estudiantes se han visto reducidas en el trimestre siguiente a la aplicación del programa? |
Eficacia | Criterial e Idiosincrático |
| ¿Los estudiantes han mejorado su capacidad de empatía, como resultado de los debates en educación emocional? |
Eficacia y satisfacción | Idiosincrático y Criterial | |
| ¿La colaboración y respeto entre compañeros se ha evidenciado? | Eficacia y satisfacción | Idiosincrático y Criterial | |
| ¿Los padres valoran positivamente los cambios en el comportamiento de sus hijos en el entorno familiar? |
Eficacia y satisfacción | Idiosincrático y Criterial |
Fuente: elaboración propia. La formulación de ítems, así como la asignación del criterio y del estándar no son exhaustivas.
Para la evaluación de un programa real sería necesario el uso de más de una técnica de recogida de información, como la entrevista y la observación. La dimensión ‘fundamentación’ se refiere a los fundamentos psicopedagógicos de los programas, su adecuación a las características situacionales, las estrategias de aprendizaje que debe utilizar para la aplicación del programa (Brown; Collins; Diguied, 1989).
La dimensión “comunicación”, quiere destacar la importancia de la colaboración y participación de todos los interesados, profesores, dirección, estudiantes, padres, instituciones colaboradoras próximas. El contexto próximo guarda relación con las situaciones que inciden en la problemática a tratar, junto con las oportunidades que ofrece de colaboración como los centros de salud, los centros deportivos, artísticos, o de otro tipo. Las propuestas de mejora se hacen en relación con los resultados que aportan cada una de las dimensiones, así como su incidencia en los resultados totales, de modo global.
Después de validar el cuestionario por expertos y aplicarlo a un grupo piloto, y analizadas sus características técnicas de fiabilidad y validez, se aplicaría a un grupo suficiente y representativo de todos los grupos de interés clave, profesores, estudiantes, padres, personal de apoyo. El cuestionario se presentará de forma adecuada, mediante herramientas informáticas, en papel, o mediante una aplicación en grupo, informando de su finalidad, e indicando la forma de respuesta, que podrá ser contestado mediante una escala tipo Likert, indicando su grado de acuerdo de 1 a 5, con el ítem afirmado.
Tras su aplicación, las respuestas se analizan y valoran por cada dimensión, lo cual nos aportará información para introducir mejoras en cada una de las dimensiones, y en su totalidad. La información, recogida mediante el cuestionario, se completará con otros instrumentos como la observación, entrevistas, análisis de quejas y felicitaciones, sobre la calidad del programa, sobre su aplicación y sobre sus resultados. Y nos permitirá realizar propuestas de mejora para el próximo trimestre o curso. Si los resultados han sido positivos, podría recomendarse su aplicación a otros cursos y a otros centros educativos. Y asimismo, se comunicaran los resultados al Consejo Escolar, a la Administración Educativa, se publicaran en la página web del centro educativo, y podran presentarse en Congresos de Educación y publicarse en revistas científicas para su difusión.
3 LOS MÉTODOS MIXTOS EN LA INVESTIGACIÓN EVALUATIVA
3.1 Características de los métodos mixtos de investigación
Si la puesta en marcha de un programa se caracteriza por ser un proceso de adaptación a las condiciones reales, sus necesidades e intereses, los métodos utilizados para estudiar dicha intervención deben estar orientados a descubrir y comprender los procesos desarrollados y los cambios producidos por el programa. La evaluación de programas y de organizaciones, se realiza como investigación evaluativa, caracterizándose por el uso de métodos mixtos.
Los métodos mixtos son considerados una clase de diseños de investigación que utiliza herramientas y procedimientos sistémicos para recopilar y analizar datos en la investigación, mezclando, para la recogida de evidencias, metodologías procedentes de los métodos tanto cuantitativos como cualitativos (Chatterji, 2015, en Martínez Mediano, 2022, p. 66-68).
Los diseños que utilizan métodos mixtos tienen como finalidad atender desde:
La complementariedad, cuando los datos cuantitativos y cualitativos, juntos, proporcionan una comprensión más completa de lo que se evalúa, un programa educativo y social, un sistema de gestión de la calidad en una organización;
La triangulación y convergencia, cuando busca un acuerdo y verificación entre evidencias cuantitativas y cualitativas para mejorar la comprensión de lo que se evalúa y hacer una interpretación más holística de los hallazgos;
-
La complejidad, cuando se desea responder a varias preguntas de investigación complejas que no pueden responderse con un solo método cuantitativo o cualitativo, para atender preguntas como las siguientes:
Los diseños de métodos mixtos pueden tener un predominio de las metodologías cuantitativas sobre las cualitativas, cuando la finalidad es conocer los efectos de un programa y también conocer con fidelidad cómo se ha implementado; o al revés, predominio de las metodologías cualitativas sobre las cuantitativas, si la finalidad es conocer cómo se implementa un programa, siendo una finalidad secundaria los resultados que consigue; y puede tener el mismo peso si la finalidad se centra tanto en la implementación como en los resultados. Utiliza metodologías observacionales, entrevistas, diseño de encuestas cuantitativas.
Estudio cuantitativo, los datos cualitativos son secundarios a los cuantitativos. Cuando la pregunta adopta un enfoque experimental sobre los efectos de un programa, con una pregunta adicional para conocer la implementación del “tratamiento”, del programa;
Estudio cualitativo, los datos cuantitativos son secundarios a los cualitativos. Como en un estudio de caso cualitativo donde la información sobre la implementación de la intervención es la pregunta principal;
Los datos cuantitativos y cualitativos se recopilan y analizan con el mismo peso. Mediante observaciones cualitativas de la ejecución del programa y datos cuantitativos sobre los resultados, con igual importancia;
Los datos cuantitativos y cualitativos se recopilan y analizan secuencialmente, con el mismo peso. Mediante entrevistas para explorar un fenómeno cualitativamente, utilizando sus hallazgos para diseñar e implementar una encuesta cuantitativa.
La información recopilada mediante diferentes metodologías e instrumentos debe analizarse relacionándola, culminando en un informe de síntesis integrador. Greene; Kreider; Mayer (2005), argumentan que los enfoques de métodos mixtos son más completos, ya que incluyen diferentes aspectos y perspectivas y, por lo tanto, producen resultados que brindan una mayor y más profunda comprensión del tema de estudio, y por ende, mayores oportunidades para su mejora.
Los modelos holísticos, sistémicos, de gestión de la calidad, como los modelos lógicos, utilizan metodologías mixtas para evaluar los programas, sus metas, en respuesta a las necesidades, las estrategias de aplicación en su contexto y los resultados que consiguen durante el proceso y una vez terminada la aplicación y su impacto, con medición de resultados de percepción y resultados objetivos.
4 LOS INFORMES DE LA INVESTIGACIÓN EVALUATIVA
Los informes de la investigación evaluativa deben estar documentados, siendo esencial que queden reflejadas todas las necesidades y expectativas de todas las partes afectadas, sirviendo a la formación de los responsables del programa, de quienes lo aplican, de sus beneficiarios y de la sociedad.
El informe debe facilitar la comprensión de lo que se investiga, tanto del programa en sí, las necesidades que lo motivan, las situaciones en las que se aplica, su planificación y su aplicación y los resultados que consigue, siendo importante que se publiquen para garantizar la transparencia y el rendimiento de cuentas, así como para la transferencia de conocimiento, para el aprendizaje de otros que necesiten intervenir sobre grupos, problemáticas y contextos similares. El informe podría seguir la estructura que se muestra a continuación (Tabla 3).
Tabla 3 Estructura del informe de la investigación evaluativa
|
Portada: Título/ autor/ fecha. Índice paginado Resumen del trabajo. Palabras claves. Abstract. Keywords. Introducción El programa a evaluar
|
Fuente: elaboración propia.
Los informes aportan información a los responsables del programa, a quienes los aplican, a sus beneficiarios y a la sociedad. El informe de la investigación evaluativa puede terminar en un juicio valorativo de síntesis, como el siguiente: “Este programa atiende a las necesidades para las que se ha creado y lo hace cumpliendo con los estándares de realización, por lo que merece la pena mantenerlo y extenderlo a otros contextos, usuarios, beneficiarios”. La evaluación cumple el cometido de informar a todos los que tienen derecho a saber sobre la calidad, el funcionamiento y los resultados de lo evaluado.
5 A MODO DE SÍNTESIS
Los modelos lógicos, y su diagrama, para el análisis de necesidades, el diseño del programa, su planificación, implementación y evaluación, sirven, de forma efectiva, para asegurar que un programa fundamentado, y sus estrategias y actividades para llevarlo a cabo, aporta garantías de éxito para atender las necesidades que pretende, facilitando su revisión regularmente durante todo el proceso, e informando a todos los implicados.
El modelo lógico, a través de su diagrama, es un documento “vivo”, útil para informar, comunicar lo que pretende conseguir, revisar, planificar la recogida de información para su evaluación, comunicar sus resultados y consensuar las propuestas de mejora.
Ayuda a centrarse en las metas, en las estrategias y en las actividades para la aplicación de los programas para atender las necesidades. Y a detectar y corregir posibles lagunas y deficiencias a tiempo;
Muestra las relaciones entre los insumos del programa, las actividades y los resultados para atender las necesidades, junto con los factores externos que pueden incidir en los procesos y resultados;
Facilita la comprensión de la teoría que subyace al programa, ayudando a comprender el programa, mejorar su planificación y actividades, clarificar sus metas, centrar lo que debe ser evaluado y comunicarlo a los promotores y a todos los grupos de interés.
Desde la perspectiva de la evaluación, un modelo lógico:
Atiende a la elaboración de los objetivos generales del programa, de acuerdo con las teorías subyacentes, y a su aplicación;
Ayuda a priorizar y a enfocar las cuestiones de interés sobre las que recoger información, y facilita la recogida adecuada de los datos para la evaluación y su análisis, y presentación de resultados;
Ayuda a realizar el informe de la evaluación, para la comunicación a todos los grupos de interés, incluyendo recomendaciones sobre las mejoras que necesita incorporar el programa, facilitando el consenso.
