4.1 Los sesgos algorítmicos

Existe un principio básico en cualquier sistema basado en el uso de algoritmos: si los datos de entrada presentan sesgos, es probable que los resultados hereden, reproduzcan y, en ciertas ocasiones y bajo ciertas circunstancias, amplifiquen esos mismos sesgos (^{Huang y Rust, 2021}). El sesgo en la IA es una anomalía procedente de los algoritmos de aprendizaje automático causada por suposiciones preconcebidas hechas durante la fase de desarrollo del algoritmo o por los conjuntos de datos de entrenamiento seleccionados (^{Dilmegani, 2024}). A modo de ejemplo, se ha evidenciado que Amazon aplicaba herramientas de IA para evaluar a los candidatos a puestos de trabajo para su empresa, proceso durante el cual se discriminaba a las mujeres candidatas (^{Van Giffen et al., 2022}). Otro caso muy llamativo y con claras consecuencias perniciosas lo encontramos en el ámbito de las aseguradoras: se han identificado errores de la IA empleada al calcular automáticamente las primas en base en la religión de las personas tomadoras del seguro (^{Akter et al., 2021}). Estos errores llevan a que los sistemas automatizados muestren predisposiciones y respuestas sesgadas y discriminatorias en muchas ocasiones (^{Shams et al., 2023}). En cierta manera podríamos decir que los prejuicios pueden infiltrarse en los algoritmos, y ello suele producirse a partir del conjunto de datos empleados en su entrenamiento (^{Varsha, 2023}).

Estas limitaciones y sesgos también se encuentran muy presentes en los algoritmos educativos, como se evidencia en un número creciente de publicaciones sobre el tema (^{Li et al., 2023}). El problema del sesgo en los procesos de enseñanza-aprendizaje ha sido documentado desde la década de 1960 anticipando muchos aspectos de la literatura moderna sobre el sesgo algorítmico y la equidad (^{Hutchinson y Mitchell, 2019}). En años recientes, los algoritmos se han aplicado a gran escala en prácticas educativas para una gama de aplicaciones, a menudo de mucha importancia, incluyendo la predicción de abandono escolar (^{Del Bonifro et al., 2020}; ^{Melo et al., 2022}), la calificación automatizada de trabajos y actividades académicas (^{Huawei y Aryadoust, 2023}), procesos de admisión (^{Holmes y Tuomi, 2022}) y procesos de evaluación institucional o de las asignaturas y docentes (^{Gervet et al., 2020}). Los expertos en el tema han advertido y evidenciado sobre potenciales riesgos de desigualdad y falta de generalización en algoritmos educativos durante varios años (^{Kizilcec y Lee, 2022}). Esta preocupación se volvió muy mediática y despertó gran interés para el público general a raíz de la controversia en las calificaciones de los exámenes de acceso a bachillerato y universidad (GCSE y A-Level) del Reino Unido en 2020 (^{Smith, 2020}), donde un conjunto de fórmulas fue desarrollado por el regulador nacional de calificaciones para asignar calificaciones de exámenes basadas en predicciones de los profesores; el algoritmo asignó calificaciones más bajas a los estudiantes en escuelas financiadas por el estado y mejores calificaciones (incluso mejores que las predicciones de los docentes) a los estudiantes en escuelas independientes más pequeñas.

La investigación sobre los sesgos algorítmicos en la educación se ha enfocado principalmente en tres categorías: raza/etnicidad, nacionalidad y género. En cuanto a raza y etnicidad, ^{Kai et al. (2017)} mostraron diferencias de previsión de rendimiento entre estudiantes afroamericanos y blancos en un modelo que predecía la retención estudiantil en un programa de universidad en línea dependiendo del modelo algorítmico aplicado. ^{Hu y Rangwala (2020)} investigaron varios algoritmos para predecir si un estudiante está en riesgo de suspender y repetir un curso, encontrando que los modelos generalmente rinden peor para estudiantes afroamericanos. ^{Anderson et al. (2019)} diferenciaron el rendimiento entre estudiantes de distintos grupos raciales/étnicos en un modelo que predecía la graduación universitaria en seis años, usando cinco algoritmos diferentes. Observaron que los algoritmos generalmente tenían tasas de falsos positivos más altas para estudiantes blancos y tasas de falsos negativos más altas para estudiantes latinos.

En términos de nacionalidad, existen también interesantes evidencias sobre fallos en la aplicación de la IA en la educación; por ejemplo, el sistema E-Rater fue acusado de dar puntuaciones significativamente más altas a estudiantes chinos y coreanos en una prueba de competencia en lengua extranjera, mientras que era más preciso para estudiantes de otras nacionalidades (^{Uto y Okano, 2021}).

En cuanto al género, ^{Kai et al. (2017)} diferenciaron el rendimiento entre estudiantes masculinos y femeninos en un modelo que predecía la retención de estudiantes en un programa de universidad en línea, encontrando que ciertos algoritmos conferían un rendimiento moderadamente mejor para estudiantes femeninas que masculinos. En el mismo trabajo citado anteriormente, ^{Anderson et al. (2019)} diferenciaron el rendimiento entre estudiantes masculinos y femeninos, y hallaron que los algoritmos generalmente tenían tasas de falsos negativos más altas para estudiantes masculinos.

Todos estos problemas sugieren que los desafíos planteados por el sesgo algorítmico no son triviales a menos que se eduque a los creadores de los algoritmos (factor input) y a los usuarios últimos de la IA (factor output) (^{López-Meneses et al., 2022}). Por un lado, los desarrolladores y científicos de datos deben estar equipados con el conocimiento y las herramientas necesarias para identificar y mitigar los prejuicios inconscientes que pueden infiltrarse en los sistemas de IA durante el proceso de desarrollo. Esto implica no solo una formación técnica avanzada en técnicas de aprendizaje automático y modelado de datos, sino también una educación robusta en ética de la IA y conciencia sociocultural. Al entender mejor las complejidades y las consecuencias de los sesgos algorítmicos, los creadores de algoritmos pueden adoptar prácticas de desarrollo más inclusivas y representativas, garantizando que sus productos sirvan equitativamente a una amplia gama de usuarios (^{Riedl, 2019}).

Por otro lado, educar a los usuarios finales sobre los sesgos inherentes en la IA es crucial para fomentar una comprensión más crítica y una adopción más informada de estas tecnologías. Los usuarios deben ser capaces de reconocer cuando los resultados de un sistema de IA podrían estar sesgados y saber cómo cuestionar o contrarrestar dichos resultados. Esto es especialmente importante en sectores sensibles como la educación, la salud, las finanzas y el ámbito laboral, donde los sesgos algorítmicos pueden tener impactos significativos en la vida de las personas. Una mayor conciencia de los usuarios puede impulsar la demanda de sistemas de IA más transparentes y justos, incentivando a las empresas y desarrolladores a priorizar la equidad en el diseño de sus soluciones (Southworth, 2023).

Para lograr estos objetivos, es fundamental que la educación en sesgos algorítmicos y ética de la IA se integre tanto en la formación académica de los futuros profesionales del campo como en los programas de capacitación continua para los usuarios de IA en diversos sectores (^{Charlie Project, 2023}). Instituciones educativas, organizaciones profesionales y empresas de tecnología deben colaborar para desarrollar currículos y recursos educativos que aborden estos temas de manera comprensiva. Al hacerlo, se puede avanzar hacia un ecosistema de IA más consciente y responsable, donde tanto los creadores como los usuarios jueguen un papel activo en la mitigación de los sesgos y la promoción de una tecnología verdaderamente inclusiva y equitativa.

4.2 Privacidad y derechos de autor

La IA ha suscitado también importantes preocupaciones en torno a la privacidad y los derechos de autor, cuestiones que se han manifestado en diversas denuncias y controversias (^{Herrera de las Heras, 2022}). Un análisis de algunas de estas recientes problemáticas y disputa ofrece una perspectiva valiosa sobre los desafíos éticos y legales emergentes en la era de la IA.

Uno de los casos más sonados es la denuncia del New York Times hacia ChatGPT de OpenAI, en el cual se plantea una problemática significativa sobre los derechos de autor (^{Grynbaum y Mac, 2023}). El uso extensivo de información y contenido protegido para entrenar modelos de IA sin el consentimiento explícito de los autores originales pone en tela de juicio la legalidad de estas prácticas y sus implicaciones para los creadores de contenido. Este caso resalta la tensión entre el desarrollo tecnológico y la protección de la propiedad intelectual, un equilibrio delicado que entendemos está lejos de alcanzarse.

En una línea similar, la denuncia de George R.R. Martin a ChatGPT pone de relieve las preocupaciones individuales de los creadores sobre el uso no autorizado de sus obras (^{Desbrières, 2023}). La capacidad de los modelos de IA para generar texto que imita el estilo de escritores específicos sin su permiso plantea interrogantes sobre la originalidad, la autenticidad y, en última instancia, sobre quién posee los derechos sobre los contenidos generados por IA que se basan en obras protegidas por derechos de autor.

Otro ejemplo de esta problemática lo representa el caso de Reddit, sitio web de marcadores sociales y agregador de noticias donde los usuarios pueden añadir textos, imágenes, videos o enlaces, que acusó a grandes empresas de tecnología de utilizar sus datos de usuario para entrenar modelos de IA, lo que podría constituir una violación de la privacidad y un uso indebido de contenido protegido (^{Choi et al., 2023}). Este incidente subraya la importancia de establecer límites claros sobre cómo se pueden utilizar los datos recopilados en plataformas en línea y quién tiene el derecho de beneficiarse de ellos.

Finalmente, destaca la demanda colectiva presentada por el bufete de abogados Clarkson Law Firm contra OpenAI que pone evidencia las preocupaciones legales y éticas en torno al uso de datos personales sin el consentimiento de los usuarios. Esta demanda argumenta que OpenAI utilizó datos de usuarios de manera inapropiada para entrenar sus modelos de IA, lo que podría representar una infracción de las leyes de privacidad y derechos de autor (^{Frenkel y Thompson, 2023}). Este caso ilustra el creciente escrutinio público y legal hacia las compañías de IA y sus prácticas de recopilación de datos.

Estos incidentes resaltan un desafío fundamental en la era de la IA: la necesidad de un marco legal y ético robusto que equilibre el avance tecnológico con la protección de los derechos individuales y de propiedad. La legislación actual en muchos países aún no se ha adaptado completamente a las complejidades introducidas por la IA.

Si centramos la atención en el terreno educativo se pueden identificar varios casos en los que la IA puede poner en riesgo aspectos relacionados con la privacidad, la protección de datos y los derechos de autoría, siendo:

La solución a estos problemas no es simple y requerirá un esfuerzo concertado de legisladores, tecnólogos, juristas, creadores de IA y la comunidad educativa. La creación de políticas que regulen el entrenamiento de modelos de IA, el establecimiento de directrices claras sobre el uso de datos y la implementación de mecanismos para el consentimiento y compensación justa son pasos cruciales hacia la mitigación de estos desafíos. Además, la transparencia en las prácticas de recopilación y uso de datos por parte de las compañías de IA es fundamental para ganar la confianza del público y asegurar que el desarrollo de la IA se alinee con los valores éticos y legales de la sociedad (^{Crawford, 2023}).

4.3 IA-dependencia e IA-fobia: dos caras de la misma moneda

Recientemente, dos fenómenos emergentes relacionados con la IA han captado la atención de psicólogos, educadores y tecnólogos: el "síndrome de la IA-dependencia" y la "IA-fobia". Estas tendencias opuestas destacan como peligros inherentes al creciente papel de la IA en nuestra vida cotidiana y en los entornos educativos.

El "síndrome de la IA-dependencia" se refiere a la creciente tendencia de confiar en herramientas de IA para realizar tareas cotidianas, decisiones y, en el ámbito educativo, para facilitar el aprendizaje y la enseñanza (^{Crawford et al., 2024}). Aunque el uso de la IA puede aumentar la eficiencia y proporcionar soluciones personalizadas, existe una preocupación creciente sobre cómo esta dependencia afecta nuestras habilidades cognitivas y emocionales.

Una de las consecuencias más significativas de esta dependencia es la pérdida de habilidades de pensamiento crítico y resolución de problemas. A medida que las herramientas de IA asumen tareas complejas, los usuarios pueden encontrarse menos motivados para desarrollar o mantener habilidades analíticas, ya que prefieren confiar en soluciones generadas por IA. Esta tendencia no solo reduce nuestra autonomía, sino que también nos deja vulnerables en situaciones donde la tecnología no está disponible o falla (^{Mahmut y Sen, 2023}). Además, la dependencia de la IA puede tener efectos psicológicos profundos. La constante interacción con sistemas de IA, que ofrecen respuestas instantáneas y soluciones a medida, puede generar ansiedad y depresión cuando enfrentamos desafíos reales sin su ayuda (^{Liu et al., 2023}). En algunos casos, el uso desmedido de la IA para la interacción social puede conducir al aislamiento, ya que los usuarios pueden preferir la compañía de asistentes virtuales a las relaciones humanas complejas y, a veces, desafiantes (^{Mucci y Marazziti, 2023}).

Otro de los riesgos a los que se enfrenta la educación superior, y que afecta tanto a docentes como alumnado, es la IA-fobia, que se define como “el sentimiento al miedo o ansiedad hacia la adopción de la inteligencia artificial” (^{Wang et al., 2020}, p. 356). Este trastorno, relacionado con la “tecnofobia”, por provocar en los usuarios los mismos sentimientos irracionales, se manifiesta al evitar el uso de tecnología avanzada y resistirse, además, a su implementación. Se produce cuando se experimenta una amenaza o se percibe que algo puede producir un daño físico o psicológico (^{Ekman 1992}; ^{Adolphs, 2013}). En este contexto, se vincula con una falta de comprensión sobre el funcionamiento y comportamiento de la IA en un entorno académico, lo que conlleva, en paralelo, la resistencia a la interacción con esta tecnología y la negación de su potencial.

Actualmente existe una preocupación real en torno al uso de la IA en el ámbito educativo, fundamentada en discursos apocalípticos sobre la suplantación humana (^{Bostrom, 2014}), el debilitamiento del pensamiento crítico o la reducción en la calidad de la educación (^{Ouyang et al., 2022}). Si bien a muchos asombran sus capacidades (realiza tareas rutinarias en segundos, analiza grandes cantidades de datos, crea contenido educativo personalizado, retroalimenta al alumnado, etc.), también suscita en algunos incomodidad, desconfianza y dudas sobre su integración, lo que produce que se alimenten ciertas fobias hacia esta tecnología.

En base a lo anterior, autores como ^{Lee y Park (2023)} clasifican las emociones vinculadas a la IA en cuatro tipos de fobias, a los que denominan: IA-alfabetización, IA-sustituibilidad, IA-responsabilidad y IA-implementabilidad. El primero de ellos hace referencia al temor de uso por desconocimiento, es decir, a la ansiedad que proviene de “la ignorancia y asimetría de la información” (p. 2) sobre el funcionamiento y los efectos de la IA en el ámbito profesional; en otras palabras, al miedo a explorar esa “caja negra” que genera una brecha digital entre aquellos que la conocen bien y los que no. El segundo tipo de fobia, denominada IA-sustitubilidad, alude al miedo al reemplazo, a verse sustituido por la tecnología, poniendo en tela de juicio la capacidad del ser humano. El tercer tipo alude a la ansiedad por la falta de claridad en la rendición de cuentas, es decir, a la responsabilidad que se deriva de las decisiones incorrectas o las informaciones inexactas proporcionadas por esta tecnología. Incluso a la falsa atribución de méritos o autoría, al considerarla de facto una entidad intelectual. Por último, el cuarto temor se define como IA-implementabilidad o “fiebre de la IA”, y se refiere a la obligación de adoptarla que algunos sienten solo porque tienen que hacerlo. Esa sensación de verse arrastrado por las tendencias tecnológicas genera una percepción de pérdida de control y autonomía en la toma de decisiones (^{Slater, 2024}).

Por su parte, ^{Li y Huang (2020)} analizan también la ansiedad asociada a la IA con el objetivo de comprender mejor este fenómeno, sus dimensiones e implicaciones sociales. Utilizan como marco teórico la teoría de adquisición del miedo de ^{Rachman (1977)} y la del miedo no correlacionado de Menzies (¹⁹⁹⁵), vinculando, de manera novedosa, la ansiedad a la tecnología. A través de dichas teorías analizan su origen y las causas directas, indirectas e innatas que la producen. Inciden en que la ansiedad no solo surge de experiencias directas condicionadas, sino también de la transmisión de información o instrucción por parte de terceros (indirectas) y de experiencias innatas frente a lo desconocido (^{Poulton et al., 2001}). Tras la revisión de la literatura, identifican ocho factores que contribuyen a la ansiedad ante la IA: i) violación de privacidad (fuga de datos personales, uso generalizado de biometría, etc.); ii) comportamiento sesgado o tendencioso; iii) sustitución del puesto de trabajo; iv) falta de confianza para aprender a utilizar la IA; v) riesgo existencial (creencia en la extinción de la raza humana); vi) violación de las reglas de la ética en la interacción humana; vii) conciencia artificial (IA entendida como una nueva especie humana), y viii) falta de transparencia en sus procesos de toma de decisiones (opacidad del funcionamiento interno de los algoritmos y datos de entrenamiento, responsabilidad, etc.). Algunos de estos factores están relacionados con el potencial de la IA y las actitudes individuales hacia esta tecnología, pero otros escapan al control de su diseño.

A estos factores, en los que coinciden también autores como ^{Dahlin (2019)} y ^{Hopcan et al. (2023)}, cabe añadir también la preocupación por las desigualdades sociales (^{Zajko, 2022}) y la vulneración al derecho a la intimidad (^{Elliott y Soifer, 2022}). Desde una perspectiva académica, la falta de comprensión sobre la integración de la IA en la práctica docente y la incertidumbre sobre si los sistemas de IA pueden captar los matices de la enseñanza -como la importancia de construir relaciones con los alumnos y adaptar la enseñanza a sus necesidades (^{Ouyang et al., 2022})-, podrían fomentar el desarrollo de fobias en el alumnado y el profesorado. Que esto suceda dependerá de la experiencia personal de cada uno, la formación académica, el nivel de comprensión de la tecnología, la posibilidad de acceso (^{Hopcan et al., 2023}), y la actitud hacia la misma.

Mitigar la IA-fobia es un desafío complejo que requiere acciones diversas. Entre las propuestas por algunos autores destacan las medidas relacionadas con la formación y capacitación de la comunidad académica (^{Li y Huang, 2020}). Por ejemplo, ofertar cursos diseñados específicamente para disipar los miedos asociados con esta tecnología y promover una comprensión informada de sus riesgos y beneficios. En esta línea, se sugiere facilitar el acceso a recursos educativos como tutoriales y foros virtuales que mejoren el conocimiento técnico de los sistemas de IA y cultiven actitudes positivas hacia su adopción. También es importante fomentar la curiosidad por la innovación, explorar el potencial de estas herramientas en un entorno práctico y colaborativo, y concienciar sobre las implicaciones sociales y éticas de su uso, evitando caer así en lo que algunos autores denominan la “ceguera sociotécnica” (sociotechnical blindness) (^{Hopcan et al., 2023}).

4.4 Alucinaciones, desinformación y postverdad

Otro de los riesgos inherentes a esta tecnología son las alucinaciones, es decir, interpretaciones erróneas o distorsionadas generadas por sistemas de IA que no tienen una correspondencia directa con la realidad (^{Athaluri et al., 2023}). Las alucinaciones presentan contenido aparentemente auténtico, convincente y bien formulado, pero, en verdad, son construcciones completamente producidas por modelos de lenguaje, lo que dificulta su detección. Además, pueden manifestarse de diversas formas, desde textos, referencias incorrectas y perfiles falsos, hasta videos o imágenes manipuladas, voces clonadas y conversaciones simuladas, lo cual plantea problemas de carácter ético y social.

Las respuestas que generan los sistemas de IA son tan realistas y elocuentes que pueden conllevar a una percepción errónea de la realidad, influir en la opinión pública y distorsionar la toma de decisiones. A veces, las alucinaciones se producen por falta de supervisión y actualización de los modelos, utilización de patrones de entrenamiento incorrectos, errores de software o codificación (^{Beutel et al., 2023}). También se producen cuando la información proporcionada por los usuarios es insuficiente, por lo que los sistemas de IA tienden a hacer suposiciones sobre lo que el usuario quiere oír en lugar de hacer preguntas que le permitan comprender mejor el contexto de su consulta. De ahí que autores como ^{Shen et al. (2023)} afirmen que estos sistemas se limitan a seguir instrucciones en lugar de participar en una verdadera interacción con el usuario.

Identificar si la información generada por estos sistemas es veraz o no, es todo un desafío hoy en día. Reproducir contenidos fabricados o consumir información no contrastada conlleva consecuencias en todos los ámbitos. Entre ellas, la propagación de la desinformación, la diseminación de sesgos y prejuicios, la adquisición de conocimientos erróneos, la falta de confianza en el conocimiento adquirido (^{Amaro et al., 2023}), el aumento de la confusión y desorientación, y la pérdida de credibilidad en fuentes de referencia, entre otras.

La confianza ciega de los usuarios en la IA podría llevar a un uso inapropiado de esta tecnología (^{Glikson y Woolley, 2020}), así como a la propagación de noticias falsas y ultrafalsos (deepfakes), y la manipulación de información, acciones que nos llevan a pensar directamente en el concepto de posverdad. La posverdad alude a la prevalencia de las creencias personales sobre los hechos objetivos; considera lo incierto como verdadero, y privilegia lo subjetivo, lo instintivo e irracional, aun cuando contradiga abiertamente lo confirmado por la ciencia. Se apoya en sesgos cognitivos y se aprovecha de las redes sociales para exponer al individuo a noticias y opiniones manipuladas, presentándole aquello que quiere ver y escuchar. Esto influye en su capacidad de razonamiento, en la manera de interpretar la realidad, en la noción de objetividad, y en la habilidad para discernir lo veraz de lo fabricado (^{Athaluri et al., 2023}).

Trasladando esta reflexión al ámbito académico, preocupa la falta de formación y concienciación entre el alumnado universitario respecto a este fenómeno, sobre todo, teniendo en cuenta su impacto en el entorno académico y personal. Es importante, pues, que los estudiantes comprendan qué es la posverdad y cómo se manifiesta en distintos contextos; que aprendan a cuestionar la información y a buscar evidencias sólidas que la respalden, y participen de manera crítica en la sociedad. A menudo, la información que reciben tiende a ser aceptada como verdadera, lo que lleva a pensar en el sesgo de confirmación (^{Wason, 1960}). Es decir, se trata de la tendencia a consumir información que confirme las propias creencias, rechazando cualquier contenido que las contradiga. Por lo tanto, al acceder a una información novedosa, directamente se acepta como veraz, pero si se analiza con detenimiento es probable que se descarte. ^{Cybenko y Cybenko (2018)} señalan los cuatro criterios por los cuales esto podría suceder: i) cuando la información no se alinea con la visión del mundo actual; ii) carece de coherencia; iii) proviene de una fuente poco confiable, o iv) se percibe que otras personas no la respaldan. Dependerá, pues, de la capacidad crítica de cada uno para discernir entre verdad y manipulación. En un contexto en el que las herramientas para descubrir la verdad y las estrategias para subvertirla están en constante evolución, es importante reconocer cualquier dinámica que socave la integridad de la información y comprometa la comprensión del mundo que nos rodea.

4.5 Fraude y deshonestidad académica

Otro de los riegos que suscita preocupación es el fraude académico que se produce cuando se lleva a cabo una conducta deshonesta en este ámbito. Autores como ^{Martínez (2022)} señalan que la deshonestidad académica se debe principalmente a dos variables: contextuales (escenarios institucionales, y culturales), y psicológicas (actitudes, creencias, valores, motivaciones, etc.). A dichas variables debería añadirse la tecnológica, que alude a la influencia de las herramientas digitales, la accesibilidad a Internet y el desarrollo de tecnologías emergentes como la IA, las cuales pueden facilitar el plagio y otras formas de deshonestidad académica en el contexto educativo actual. En este sentido, ^{Gendron et al. (2022)} consideran que la facilidad con la que la IA genera contenido de forma automática y personalizada contribuye a que el alumnado utilice estas herramientas de manera indebida para elaborar sus trabajos académicos. Esta circunstancia les podría hacer caer en la tentación de plagiar conscientemente, utilizar cualquier material sin indicar la fuente original y evitar el esfuerzo para crear nuevo conocimiento (^{Vera, 2023}). El estudio de ^{Tapia et al. (2023)} sigue esta misma línea, y arroja luz sobre cómo la tecnología puede burlar los principios fundamentales de la educación superior (pensamiento crítico, originalidad, responsabilidad, etc.), y alentar a algunos a tomar el camino más corto en lugar de comprometerse con el propio proceso de aprendizaje.

Además del plagio académico, la IA podría fomentar en el alumnado el desarrollo de otras conductas deshonestas como la manipulación de resultados en pruebas o exámenes, la creación de perfiles falsos en entornos virtuales de aprendizaje o redes sociales (robo de identidad académica), la falsificación de títulos académicos, etc. Estas prácticas, aunque no son nuevas, adquieren mayor sofisticación con las funcionalidades de las herramientas digitales actuales. En cualquier caso, estas prácticas socavan la integridad académica y generan desigualdad entre aquellos que respetan los principios éticos de la educación y los que recurren a métodos fraudulentos para obtener ventajas injustas; y entre aquellos que adquieren conocimiento de forma honesta y los que lo hacen de manera artificial. Ciertamente, la prevalencia de estas conductas podría conllevar consecuencias negativas a largo plazo como la disminución de determinadas competencias fundamentales en el alumnado (capacidad de análisis de documentación, síntesis, y búsqueda bibliográfica, etc.), la confiabilidad de las calificaciones y certificaciones, e incluso la credibilidad de las instituciones educativas, lo que comprometería la calidad de la educación.

Autores como ^{Susnjak (2022)} también apoyan la idea que estas herramientas tecnológicas facilitan nuevas formas de fraude académico. Algunas de ellas podrían incluir la manipulación de algoritmos de evaluación automatizada, la invención de citas y referencias, el uso de avatares para engañar en entornos virtuales, la fabricación de datos experimentales, el plagio mediante herramientas de traducción automática, la creación de contenido académico falso para obtener becas o premios, la edición de material audiovisual falso, etc. Estos ejemplos ilustran cómo la tecnología amplía el espectro de posibilidades para quienes buscan aprovecharse del sistema.

Paradójicamente, y a pesar de las inquietudes que genera el uso de la IA en el ámbito académico, es importante reconocer su potencial para combatir el fraude académico. En este sentido, los algoritmos de detección del plagio pueden mejorar su precisión y eficacia gracias a la implementación de técnicas avanzadas de aprendizaje automático y procesamiento de lenguaje natural (^{González-González, 2023}). Estas técnicas permiten a los algoritmos analizar grandes cantidades de datos y patrones de texto, lo que les permite identificar similitudes y discrepancias entre los trabajos académicos presentados y las fuentes originales (^{Khalil y Erkan, 2023}). Además, pueden detectar características específicas de la escritura generada por IA y distinguirlas de la escritura humana.

4.6 Impacto medioambiental

Finalmente, otro de los riesgos asociados a esta tecnología es su impacto medioambiental. La creciente demanda de recursos para entrenar modelos de IA, junto con la infraestructura necesaria para sostener esta tecnología, contribuyen a un aumento considerable en la huella de carbono. Estos modelos emiten cientos de miles de kilogramos de dióxido de carbono, algo que resulta difícil de imaginar. Como señala ^{Dhar (2020)}, urge detenerse a cuantificar su impacto para comprender mejor su magnitud porque “entrenar un solo modelo [de IA] equivale a unos 300.000 kg de emisiones de dióxido de carbono. Esto es del orden de 125 vuelos de ida y vuelta entre Nueva York y Pekín, una cuantificación que los profanos pueden visualizar” (p. 423). Esta comparación visualmente impactante puede ayudar a sensibilizar a un público que, en su imaginario o conciencia social, tenga dificultades para comprender la realidad del problema.

Reducir el impacto climático de la IA pasa, pues, por ser transparentes con la divulgación de esta información. En esta línea, Crawford y Joler (s.f., citados en ^{Dhar, 2020}) destacan que la falta de comunicación clara sobre estos costos puede llevar a una percepción errónea de la facilidad de construir un sistema de aprendizaje automático y, por ende, de ser consciente de sus consecuencias. Asimismo, subrayan la necesidad de establecer un estándar de medición que permita a los usuarios e investigadores cuantificar estos costos. Uno de los recursos disponibles actualmente para evaluar dicho impacto es el desarrollado por ^{Lacoste et al. (2019)}, conocido como Machine Learning C02 Impact (https://mlco2.github.io/impact/#about). Este instrumento permite examinar las emisiones producidas durante el entrenamiento de un modelo de red neuronal, las cuales dependen de factores como la ubicación del servidor de entrenamiento, la red energética utilizada, la duración del proceso de entrenamiento y el hardware empleado.

Además de desarrollar este tipo de herramientas, se exploran alternativas que promuevan un enfoque más sostenible de la IA. Una de ellas es el uso de redes de energía renovable para el entrenamiento de modelos de IA. En paralelo, es importante implementar políticas y estándares que impulsen el uso eficiente de la energía y la reducción de la huella de carbono en todas las etapas del ciclo de vida de esta tecnología. Esto requiere una colaboración activa entre investigadores, industria y gobiernos para abordar estos desafíos de manera integral y encontrar soluciones innovadoras. En última instancia, lo que se pretende es construir un futuro en el que la tecnología pueda coexistir en armonía con el medio ambiente, garantizando un desarrollo sostenible y responsable en todos los aspectos.

5.1 Medidas legales y políticas

Durante 2023, la evolución de la política y regulación de la IA ha experimentado una acelerada transición desde un campo de interés residual hasta erigirse en un tema central de debate público y académico (^{Guenduez y Mettler, 2023}). Según ^{Ryan-Mosley (2024)}, este periodo ha sido testigo de una serie de desarrollos críticos en el ámbito de la política de IA, destacándose la implementación de legislaciones pioneras en la Unión Europea, iniciativas legislativas y órdenes ejecutivas en Estados Unidos, así como la introducción de regulaciones específicas en China dirigidas a los algoritmos de recomendación.

La dinámica global en torno a la regulación de la IA ha mostrado una amplia gama de enfoques y marcos regulatorios que varían significativamente entre distintas jurisdicciones. La Unión Europea, por ejemplo, ha establecido un hito al promulgar la primera legislación específica a nivel mundial que aborda de manera directa los usos permitidos y restringidos de la IA, sentando un precedente importante en términos de gobernanza tecnológica. Esta legislación, que contempla aspectos clave como la prohibición de ciertos usos de la IA y establece límites y sanciones claras por incumplimientos, refleja el esfuerzo de la UE por liderar el desarrollo y uso ético de la IA dentro de un marco legal bien definido (^{Ersoy, 2024}).

En contraste, Estados Unidos ha adoptado una postura que integra la IA dentro del discurso político, llevando a la ejecución de acciones concretas como la emisión de una "orden ejecutiva sobre IA" por parte de la administración Biden. Esta medida, que exige mayor transparencia en el funcionamiento de los modelos de IA y establece nuevas regulaciones, indica un enfoque que busca equilibrar el fomento de la innovación tecnológica con la necesidad de una regulación que garantice prácticas responsables y transparentes en la industria de la IA (^{Parinandi et al., 2024}).

China, por su parte, ha reforzado su marco regulatorio con la implementación de normativas específicas, como aquellas dirigidas a regular los algoritmos de recomendación. Este enfoque subraya la intención del país de supervisar estrechamente la integración de la IA en diversos aspectos de la sociedad, buscando equilibrar los beneficios de la tecnología con la protección de los derechos y la seguridad de los ciudadanos (^{Huang et al., 2024}).

A nivel global, la regulación de la IA se presenta como un paisaje diverso, donde distintos países y regiones adoptan enfoques variados que reflejan sus prioridades y preocupaciones específicas. Mientras que algunos estados optan por modelos regulatorios similares al de la Unión Europea, otros exploran vías propias, adaptando sus marcos legales y políticos a las necesidades y desafíos particulares de su contexto (^{Walter, 2024}).

En este panorama en evolución destaca la importancia de un diálogo internacional y colaboración entre jurisdicciones para forjar un entendimiento común y aproximaciones coordinadas hacia la regulación de la IA. A medida que estas políticas comienzan a materializarse en acciones concretas, se vislumbra un futuro donde la regulación de la IA se configura como un elemento clave para guiar el desarrollo tecnológico hacia prácticas seguras, éticas y beneficiosas para la sociedad en su conjunto. La convergencia hacia principios y estándares compartidos a nivel internacional podría facilitar este proceso, promoviendo un necesario equilibrio entre innovación tecnológica y responsabilidad social (^{Walter, 2024}).

5.2 Normativas y regulaciones a nivel centro educativo

En este marco cambiante, y de forma progresiva, los centros educativos son cada vez más conscientes tanto de los beneficios como los riesgos de la implantación de la IA. Riesgos y desafíos que deben ser abordados mediante normativas y políticas a nivel de centros educativos y aulas. La UNESCO elaboró ya en 2021 una, Inteligencia artificial y educación: guía para las personas a cargo de formular políticas (^{Miao et al., 2021}), en donde, desde un enfoque generalista, propone garantizar que la tecnología se diseñe para servir a las personas de acuerdo con los marcos de derechos humanos acordados a escala internacional, y que se saque provecho de las tecnologías digitales como un bien común para apoyar la consecución del ODS 4 - Educación 2030 y para construir futuros compartidos de la educación más allá de 2030. Algunas de las consideraciones más importantes a las que se enfrentarán en este ámbito los centros educativos en los próximos años son (^{Miao et al., 2021}):

El diseño, creación y aplicación de normativas claras en los centros educativos para regular el uso de la Inteligencia Artificial (IA) en la educación comparte muchas similitudes con los enfoques globales adoptados para prevenir el plagio y la deshonestidad académica en general. A lo largo de los años, las instituciones educativas de todo el mundo han implementado diversas estrategias para combatir el plagio, obteniendo resultados significativos cuando estas estrategias se basan en el consenso de toda la comunidad educativa, establecen reglamentos claros y comprensibles, y se aplican efectivamente más allá del papel (^{Sureda et al., 2016}). Estas experiencias previas ofrecen valiosas lecciones que pueden ser aplicadas al desafío de integrar de manera ética y segura la IA en los entornos educativos.

5.3 Sistemas y dispositivos de detección

Ahondando en el tema de la ética y el uso responsable, y teniendo en cuenta el uso cada vez más generalizado de herramientas de redacción de textos usando IA, se está volviendo un imperativo que los centros escolares tomen medidas al respecto. La incapacidad de controlar lo que hacen los estudiantes en sus dispositivos personales evidencia que simplemente prohibir este tipo de herramientas en el entorno escolar/educativo/académico puede no ser una medida acertada. En el futuro, lo más probable es que la detección de IA forme parte del software de evaluación y seguimiento, tal y como en su momento fueron las herramientas anti-plagio, que permitan a los profesores discernir qué tareas están escritas con IA y cuáles no.

Si bien existen numerosos detectores de contenido generado por IA, su eficacia ha sido objeto de críticas debido a la falta de consistencia y fiabilidad. ^{Mujezinovic (2023)} puso en duda la fiabilidad y prestancia de los detectores de contenido de IA como Writer, GPTZero, entre otros. Las pruebas y experimentos realizados con algunos de estos detectores de contenido de IA han arrojado resultados desalentadores, siendo algunos motivos de burla. Por ejemplo, una prueba realizada sobre la eficacia de GPTZero por ^{Barsee (2023)} concluyó que la Constitución de EE.UU. fue escrita por una IA si nos atenemos a los resultados del detector empleado. Otro experimento de ^{Islam (2023)} reveló discrepancias en la detección de contenido de IA usando Writer y el clasificador de ChatGPT. Por lo tanto, existen severos cuestionamientos acerca del uso de detectores de IA en su estado actual para determinar la originalidad de los trabajos y actividades entregadas por el alumnado. Además, tal y como sucedía con los sistemas de detección de plagio estamos nuevamente ante el juego del gato y el ratón: a medida que los sistemas de detección de texto elaborado por IA mejoran, salen nuevas formas de saltarse o evitar estos programas (los lectores interesados simplemente deben acceder al servidor de videos de YouTube y buscar por maneras para evadir el control de los detectores de IA). Por lo tanto, es imperativo que las universidades inviertan en investigación sobre la eficacia de los detectores de IA antes de penalizar injustamente a los estudiantes utilizando herramientas defectuosas. Las universidades, y centros educativos en general, cometerían un grave error si se basan en detectores de contenido de IA defectuosos para controlar el uso de la IA en las evaluaciones.

5.4 Alfabetización en IA

La formación en IA se ha enfocado tradicionalmente en el nivel universitario; sin embargo, recientemente ha surgido un notable interés por incorporarla desde la educación básica hasta el nivel de bachillerato (^{Steinbauer et al., 2021}). Este ámbito, aún considerado innovador en estos niveles educativos, se reconoce como fundamental desde la infancia hasta la juventud (^{Ayanwale et al., 2022}). ^{Yang (2022)} resalta la importancia de iniciar la educación en IA desde la primera infancia por tres motivos esenciales: primero, la comprensión y utilización de aplicaciones de IA constituyen un componente esencial de la alfabetización digital moderna; en segundo lugar, es imprescindible que los niños adquieran la capacidad de entender, utilizar y valorar la IA; y, por último, aunque existan diversas inquietudes, los menores tienen la capacidad de asimilar las funciones básicas de la IA, y es factible educarlos a través de actividades adaptadas a su edad.

El debate actual se centra en la alfabetización en IA, considerada una especialización dentro de la alfabetización digital, que emerge como un conjunto de habilidades imprescindibles ante el rol cada vez más preponderante de la IA en nuestro día a día (^{Yang, 2022}). La alfabetización en IA abarca las competencias para emplear tecnologías de IA de forma efectiva y ética, definida como "la comprensión de las funciones básicas de la IA y el uso ético de aplicaciones de IA en la cotidianidad" (^{Yang, 2022}, p. 2). Esta se ha establecido como una competencia clave para todos (^{Su et al., 2023}), con el objetivo de brindar a las personas nuevas capacidades para su integración en la sociedad digital (^{Kong et al., 2021}). La alfabetización en IA incluye cuatro dimensiones: el conocimiento y comprensión de la IA, su uso, evaluación y creación y la ética en IA (^{Ng et al., 2021}). No obstante, no se requiere dominar las teorías y desarrollos esenciales de la IA; basta con el uso competente y razonable de las herramientas de IA para considerarse alfabetizado en esta área (Wang et al., 2022).

^{Kong et al. (2022)} destacan dos ventajas principales de impartir esta alfabetización desde la educación básica: fomentar un entendimiento de la IA en los estudiantes desde una edad temprana y estimular su interés en esta tecnología para inspirar su aplicación en futuros estudios y carreras profesionales, permitiéndoles no solo ser usuarios, sino también creadores de IA. La relevancia de la alfabetización en IA para la adaptación social ha sido ampliamente debatida, representando un desafío crítico en la educación contemporánea al preparar a las nuevas generaciones para un mundo en el que la IA es omnipresente (^{Carvalho et al., 2022}). Las oportunidades de aprendizaje en IA empoderan a los estudiantes al proporcionarles los conocimientos y habilidades necesarios para prosperar en un mundo cada vez más definido por la IA (^{Southworth et al., 2023}). Comprender los principios y conceptos de la IA, junto con la habilidad de usar sus herramientas y analizar sus beneficios y aspectos sociales y éticos a largo plazo, son destrezas cruciales para el siglo XXI (^{Steinbauer et al., 2021}). Los estudiantes deben ser capaces de emplear tecnologías de IA distinguiendo entre prácticas éticas y no éticas (^{Ng et al., 2021}), mientras que los ciudadanos deben utilizar la IA protegiendo sus intereses y privacidad (^{Kong et al., 2021}). La expansión de las tecnologías de IA a diversos campos ha hecho necesario desarrollar una fuerza laboral con el conocimiento y la capacidad para trabajar con IA (^{Lee et al., 2021}). Responsables empresariales y gubernamentales enfatizan la importancia de fomentar la alfabetización en IA para el éxito personal y el bienestar común (^{Kong et al., 2021}). Para integrarse de manera productiva en la era de la IA, todos los jóvenes necesitan entender cómo funciona la IA y cómo impactará en sus vidas (^{Lee y Perret, 2022}).

5.5 Pensamiento crítico

El desarrollo de competencias de pensamiento crítico en el alumnado emerge como un imperativo para fomentar un uso ético y efectivo de la IA. El pensamiento crítico, definido como la capacidad de analizar hechos de manera objetiva para formar un juicio (^{Facione, 2007}), es fundamental para transitar en el complejo paisaje de la IA. Al equipar a los estudiantes con habilidades de pensamiento crítico, los preparamos no solo para comprender mejor los mecanismos subyacentes y las aplicaciones de la IA, sino también para cuestionar y evaluar las implicaciones éticas y sociales de su uso (^{Darwin et al., 2024}).

Una de las razones por las que el pensamiento crítico es tan crucial en el contexto de la IA es que, como hemos relatado en secciones anteriores, esta tecnología no está exenta de sesgos. Los algoritmos de IA, aunque parezcan objetivos, están diseñados por seres humanos y pueden perpetuar o incluso exacerbar prejuicios existentes. Un alumnado con competencias sólidas de pensamiento crítico estará mejor equipado para identificar y cuestionar estos sesgos, promoviendo así el desarrollo y la implementación de sistemas de IA más justos y equitativos (^{Rusandi et al., 2023}).

Además, el pensamiento crítico permite a los estudiantes entender la diferencia entre el uso efectivo y el uso indebido de la IA. En un mundo donde la información puede ser manipulada y donde las noticias falsas pueden propagarse rápidamente a través de las redes sociales impulsadas por algoritmos, la capacidad de evaluar críticamente las fuentes de información y los datos presentados es más importante que nunca. Esto es esencial no solo para la toma de decisiones informadas a nivel personal, sino también para el mantenimiento de una sociedad informada y democrática (^{Rusandi et al., 2023}).

El fomento de un uso ético de la IA también depende en gran medida del pensamiento crítico. Los dilemas éticos, como la privacidad de los datos, el consentimiento informado y la autonomía en el uso de sistemas de IA, requieren que los individuos puedan analizar situaciones complejas y considerar las consecuencias a largo plazo de las decisiones tecnológicas. Por lo tanto, enseñar a los estudiantes a abordar problemas desde múltiples perspectivas y a cuestionar las normas existentes es fundamental para garantizar que la IA se desarrolle y utilice de manera que respete los derechos y la dignidad de todas las personas (^{Haejoong y Sangmin, 2021}).

Para cultivar efectivamente el pensamiento crítico en relación con la IA, la educación debe ir más allá de la mera transmisión de conocimientos técnicos. Es esencial adoptar un enfoque interdisciplinario que combine las ciencias de la computación con la ética, la filosofía, la sociología y otras disciplinas. Esto no solo amplía la comprensión de los estudiantes sobre lo que la IA puede hacer, sino que también los sensibiliza sobre lo que debería hacer (^{Haejoong y Sangmin, 2021}). Además, es importante promover un ambiente de aprendizaje que incentive la curiosidad, la pregunta y el debate. Los estudiantes deben sentirse libres de expresar sus opiniones, explorar diferentes puntos de vista y aprender de sus errores. Los ejercicios prácticos, como el análisis de casos de estudio y la participación en debates éticos sobre el uso de la IA, pueden ser particularmente efectivos para desarrollar habilidades de pensamiento crítico (^{Alam, 2023}).

Por último, pero no menos importante, es crucial que los educadores mismos sean modelos a seguir en el uso ético y crítico de la IA. Esto implica mantenerse informados sobre los avances tecnológicos, reflexionar sobre su propia práctica pedagógica y buscar constantemente maneras de incorporar principios éticos en la enseñanza de la IA (^{Crawford et al., 2024}).

En definitiva, el desarrollo de competencias de pensamiento crítico entre el alumnado es indispensable para promover un uso ético y efectivo de la IA. Al cultivar estas habilidades, preparamos a los estudiantes no solo para ser usuarios conscientes y responsables de la tecnología, sino también para ser ciudadanos activos y éticos en una sociedad cada vez más digital. La educación en pensamiento crítico sobre la IA no solo beneficia a los individuos, sino que también contribuye a una sociedad más justa, equitativa y democrática. Por lo tanto, es una inversión esencial en nuestro futuro colectivo.

5.6 Adoptar procesos basados en la transparencia en la comunicación del uso de la IA en las actividades académicas/formativas

La integración de la inteligencia artificial en el ámbito educativo presenta un horizonte repleto de posibilidades para transformar y mejorar los procesos de enseñanza y aprendizaje. Sin embargo, para que esta integración sea exitosa y éticamente responsable, es fundamental adoptar procesos basados en la transparencia en la comunicación sobre el uso de la IA en las actividades académicas. La transparencia no solo fomenta un ambiente de confianza y apertura entre los estudiantes, docentes y la comunidad educativa en general, sino que también asegura que todos los implicados comprendan cómo, por qué y con qué propósito se utiliza la IA (^{Chaudhry et al., 2022}).

En primer lugar, la transparencia implica una comunicación clara y detallada sobre los tipos de tecnologías de IA que se están implementando dentro de las aulas y plataformas de aprendizaje. Esto significa explicar las funcionalidades específicas de las herramientas de IA, como los sistemas de tutoría personalizada, las plataformas de evaluación automatizada o los asistentes virtuales, y cómo estas tecnologías pueden contribuir al proceso educativo. La claridad en la presentación de estas herramientas ayudará a disipar miedos y malentendidos sobre la IA, promoviendo una actitud más receptiva entre los estudiantes y docentes.

Además, la transparencia debe abordar las preocupaciones éticas y de privacidad relacionadas con el uso de datos en aplicaciones de IA. Es esencial que los centros educativos establezcan políticas claras sobre la recolección, análisis y almacenamiento de datos, asegurando que todas las partes interesadas entiendan sus derechos y las medidas de protección implementadas para salvaguardar su información personal. Esto incluye informar a los estudiantes sobre cómo sus datos son utilizados para personalizar su experiencia de aprendizaje y los mecanismos que tienen a su disposición para controlar esta información.

La participación activa de estudiantes y docentes en el proceso de decisión sobre la implementación de la IA es otro aspecto crucial de la transparencia. Facilitar espacios para el diálogo, la retroalimentación y la colaboración permitirá que la comunidad educativa exprese sus inquietudes, sugerencias y expectativas respecto al uso de la IA. Esta colaboración puede conducir al desarrollo de prácticas de IA más inclusivas y efectivas, ajustadas a las necesidades y objetivos educativos específicos.

La evaluación y revisión continua de las tecnologías de IA en uso es también parte integral de un enfoque transparente. Los centros educativos deben comprometerse a monitorear el impacto de la IA en el aprendizaje y el bienestar de los estudiantes, compartiendo los hallazgos con la comunidad educativa y ajustando las estrategias según sea necesario. Este proceso de evaluación abierta y continua garantiza que las aplicaciones de IA permanezcan alineadas con los principios éticos y los objetivos educativos.

Finalmente, la adopción de procesos transparentes en el uso de la IA en educación requiere de un esfuerzo conjunto para educar a toda la comunidad educativa sobre los principios fundamentales de la IA. Desarrollar programas de formación y recursos informativos que expliquen de manera accesible cómo funciona la IA y sus aplicaciones potenciales en educación, empoderará a estudiantes y docentes para interactuar de manera crítica y consciente con estas tecnologías.

En resumen, la transparencia en la comunicación del uso de la IA es esencial para construir un entorno educativo inclusivo, ético y efectivo. Al adoptar un enfoque basado en la claridad, la participación y la evaluación continua, los centros educativos pueden navegar los desafíos y aprovechar al máximo las oportunidades que la IA ofrece para enriquecer la experiencia educativa.

5.7 Auditorias de IA

Para garantizar el uso de la IA sea ético y responsable en el entorno educativo, es crucial realizar auditorías regulares en los centros de educación. Este proceso no solo ayuda a identificar y mitigar posibles riesgos, sino que también asegura que las herramientas de IA se alineen con los valores éticos y los objetivos educativos de la institución (^{Sabzalieva y Valentini, 2023}).

Una auditoría ética y responsable de las herramientas de IA en la educación implica una evaluación sistemática que considera tanto la eficacia técnica como el impacto ético y social de estas tecnologías. El objetivo es garantizar que las herramientas de IA se utilicen de manera que respeten los derechos y la dignidad de todos los miembros de la comunidad educativa, incluidos estudiantes, docentes y personal administrativo (^{Simbeck, 2023}). Este proceso debe asentarse sobre el análisis y evaluación continua de diversos elementos entre los que, basándonos en ^{Mokander (2023)}, destacamos:

Implementación de mejoras: finalmente, la realización de una auditoría es solo el primer paso. Es crucial que las instituciones de educación superior estén comprometidas con implementar las mejoras necesarias identificadas durante el proceso de auditoría. Esto puede requerir actualizar las políticas de privacidad, modificar los algoritmos para reducir los sesgos o implementar nuevas prácticas de seguridad de datos.