Revisión bibliográfica sobre Learning Analytics

El término learning analytics o analíticas de aprendizaje es ampliamente usado en contextos de formación e-learning. Hace referencia a un campo de investigación que viene recibiendo creciente atención en los últimos tiempos (Ferguson, Brasher, Clow, et al., 2016). Se trata de un conjunto de tecnologías y prácticas por las que una organización registra, mide y analiza comportamientos de los usuarios dentro de un entorno virtual de aprendizaje con el objetivo de hacer la formación más eficiente y más ajustada a las necesidades del estudiante y/o de la organización.

Siemens (2011; citado en Scheffer et al., 2014) lo define como la medición, recolección y análisis de datos sobre los estudiantes y sus contextos, cuyo objetivo es entender y optimizar el aprendizaje y los entornos en los que ocurre. Las analíticas de aprendizaje no se limitan, no obstante, al comportamiento de un usuario en un LMS, sino que algunos contenidos e-learning empaquetados bajo los estándares SCORM o xAPI también registran información sobre el comportamiento del usuario mientras son consumidos (del Blanco et al., 2013).

En cualquier caso, el terreno habitual de las analíticas de aprendizaje es el LMS. Sobre ello, la literatura plantea ciertas incertidumbres. Ya hace 5 años Dringus (2012) planteaba que el panel de gestión de algunos LMS “arroja cierta información sobre el grado de actividad de los participantes, arroja menos sobre el progreso de los estudiantes y todavía menos sobre la construcción de conocimiento” (p. 93). En una línea similar, Del Blanco et al. (2013) afirman que los datos recopilados a través de distintos LMS, o incluso en diversas versiones del mismo LMS, son difíciles de comparar y mover (p. 1).

Además de lo que son puramente contenidos y entorno virtual, algunas veces se encuentran otros servicios dentro de una estrategia de learning analytics, como redes sociales o analíticas de tráfico web. Si bien este panorama puede parecer disperso y, con ello, dificultar la conformación de una estrategia de analíticas de aprendizaje, Dringus, en 2012, afirmaba que por aquel entonces el principal problema era que los datos se circunscribían al LMS. Es decir, podría argüirse que el uso de Google Analytics es más una estrategia de análisis del tráfico web que de analíticas de aprendizaje. Esto es totalmente correcto, si bien autores como del Blanco et al. (2013) mencionan que no es raro que plataformas MOOC y LMS en general se sirvan de este tipo de análisis de tráfico web y/o redes sociales. Ello es coherente, además, con la recomendación de Clow (2013) sobre la conveniencia de analizar los espacios sociales conectados a los cursos.

Típicamente, la información que sería de utilidad en una estrategia de analíticas de aprendizaje haría referencia al tiempo de conexión, tiempo que el usuario tarda en avanzar de página o contenido, tiempo que tarda en realizar un cuestionario, itinerario preferido de completitud, variación de las actividades o contenidos en función de cómo se hayan realizado actividades previas, etc. Este tipo de datos se han hecho especialmente relevantes a raíz de la popularización de los MOOC (Cursos Masivos Abiertos y En Línea o Massive Open Online Courses) durante la última década. La afluencia masiva a estos cursos abiertos genera una gran cantidad de datos como nunca antes se había dado en un entorno e-learning. Además, las analíticas de aprendizaje en contextos e-learning como el de los MOOC plantean una situación interesante desde el punto de vista estadístico, ya que, en este caso, el muestreo no es tan necesario debido a que, en ocasiones, se puede disponer de la población entera (Clow, 2012).

Precisamente en estos grandes números que tienen los MOOC es donde se aprecia una mayor confluencia con el aprovechamiento de big data o macrodatos (término, por cierto, recomendado por la RAE). No es de extrañar a este respecto que el informe sobre learning analytics elaborado por JRC (Ferguson, Brasher, Clow, et al., 2016), Dringus (2012) o Pardo y Siemens (2014), por citar unos pocos, relacionen las analíticas de aprendizaje con los big data e, indirectamente, se podría decir que también con campos del sector empresarial como la inteligencia de negocio. En esta línea, Stiles (2012) afirma que existen evidencias de que las instituciones que adoptan estas analíticas obtienen ventajas estratégicas sobre sus competidores. La idea subyacente es que cuantos más datos se obtengan del comportamiento de los usuarios, más fiable sería el análisis y, a la vez, más se podría hacer para mejorar las actividades formativas analizadas. Todo ello, además, sería en favor del alumno, pues cada vez se tendrían más datos para hacer más personalizado el aprendizaje. Si bien puede resultar paradójico, a través de macrodatos, las analíticas de aprendizaje tienen como fin último un aprendizaje todo lo adaptado posible al individuo. Esta última característica se ha dado en llamar aprendizaje adaptativo (adaptative learning). No obstante, el informe de JRC antes citado (Ferguson, Brasher, Clow, et al., 2016), advierte de que este tipo de métricas han servido típicamente a las organizaciones para hacer inferencias en cuanto a la reducción del abandono o a la identificación de estudiantes en riesgo, y no tanto para una personalización del aprendizaje en sí. En esta misma línea, este informe añade que, aparentemente, aspectos filosóficos y pedagógicos son dejados al margen por ser considerados abstrusos, académicos o directamente difíciles. Esto plantea el riesgo de que las estrategias de learning analytics se centren  en datos fáciles de procesar, poniendo el foco en la evaluación formal del aprendizaje, y dejando de lado otros.

¿En qué medida están usando las organizaciones educativas analíticas de aprendizaje? En líneas generales, parece extraerse de varias publicaciones que las analíticas de aprendizaje están en una suerte de horizonte permanente, al que no se termina de llegar. Así, se resalta el carácter próximo pero todavía inalcanzado de la implementación satisfactoria o completa de las analíticas de aprendizaje (Ferguson, Brasher, Clow, et al., 2016; Del Blanco et al., 2013). Es decir, las empresas e instituciones de formación e-learning no están beneficiándose de todo el potencial que supuestamente podría traer una implementación provechosa de estas analíticas.

Buena parte de la literatura consultada dedica sus esfuerzos a potenciales beneficios para las instituciones educativas, y se ha detectado cierta carencia a la hora de considerar a los propios estudiantes en este proceso. La literatura encontrada que reflexione sobre las analíticas de aprendizaje desde el prisma de los estudiantes hace referencia a la depuración de procesos, como Ferguson (2014; citado en Schaffer et al., 2014; Clow, 2013), que dice que proporcionan medios a los estudiantes para mejorar y desarrollarse durante el curso en progreso; o se centran en proporcionar unas directrices para que las analíticas de aprendizaje no perjudiquen los intereses de los estudiantes (Jisc, 2015).

Las analíticas de aprendizaje traen consigo la promesa de mejora de los entornos virtuales de aprendizaje, a través de los datos. No obstante, y a pesar de que buena parte de los escritos consultados mantienen una actitud positiva o incluso mesiánica, existen ciertos claroscuros en la literatura. Retomando el origen común con los big data, podría esgrimirse la crítica de que las analíticas de aprendizaje pudieran proporcionar información que derivara en la cancelación de servicios (o puestos de trabajo, en el escenario menos halagüeño), fruto de una mayor automatización de los procesos. Clow (2013) manifiesta que las analíticas de aprendizaje también persiguen convertir en más lucrativas las instituciones educativas, observación que puede también interpretarse como una reducción de costes en la enseñanza por medio de analíticas de aprendizaje. Esta interpretación negativa de los potenciales peligros de las analíticas de aprendizaje da pie a elucubraciones sobre un futuro amenazado para las profesiones de tutor en red, o gestor de LMS.

Asimismo, y también tangente al campo de los big data, las analíticas de aprendizaje pueden ser vistas como una potencial invasión a la privacidad (Ferguson, Brasher, Clow, et al., 2016; Dringus, 2012; Pardo y Siemens, 2014), debido a que, como con los big data, pueden entenderse como una monitorización de todos los movimientos de un estudiante dentro de un entorno digital (Clow, 2013). Por poner un ejemplo de este posible enfrentamiento entre privacidad y analíticas de aprendizaje, JRC (Ferguson, Brasher, Clow, et al., 2016) menciona que en Noruega, las escuelas sólo pueden recabar datos personales para usar en analíticas de aprendizaje si se pueden identificar razones legales válidas que lo justifiquen (p. 87). Pardo y Siemens (2014) también aportan ejemplos de posibles invasiones a la privacidad: en el caso de la formación corporativa, podría darse la situación de que, al compartir los datos de los estudiantes registrados en la plataforma virtual con sus supervisores, se pudiera estar violando su privacidad. Otro ejemplo que citan los autores ocurre en el caso de los MOOC: ¿se debería pedir permiso para compartir un trabajo de un estudiante, o un mensaje en un foro, o por el contrario, hacerlo sin consultarle violaría su privacidad?

Los posibles problemas éticos de las analíticas de aprendizaje tienen cierta importancia en el sector. Por ejemplo, la organización británica Jisc ha elaborado una guía acerca de cómo deberían abordarse las analíticas de aprendizaje para que sean beneficiosas y no vulneren ningún derecho de los estudiantes. Existe, además, una preocupación ética en cuanto a la prognosis del rendimiento del alumno (Clow, 2013). Esto es, no es difícil imaginar un escenario en el que las analíticas de aprendizaje puedan realizar predicciones sobre el rendimiento de los alumnos en futuras pruebas de evaluación. Si el estudiante tiene pocas posibilidades de conseguir los objetivos, algunos agentes del proceso educativo podrían pensar que no merece la pena invertir recursos o atención en el estudiante. Esto, además, llevado a sus últimas consecuencias negativas podría hacer cambiar la actitud de los docentes, convirtiéndose en una suerte de una profecía autocumplida: pienso que este estudiante fracasará, luego cambio mi actitud y deterioro el proceso educativo, luego el estudiante tiene más posibilidades de fracasar. Precisamente, para evitar escenarios de este tipo, centrados en jugarse la calificación en pruebas únicas, la guía para el estudiante sobre analíticas de aprendizaje elaborada por Jisc (2015) anteriormente mencionada, prescribe que se deberían usar las analíticas de aprendizaje como estrategia de evaluación continua y no centrada en exámenes finales.

Aparentemente, el camino por recorrer todavía es largo para llegar a un consenso entre las instituciones educativas sobre privacidad y analíticas de aprendizaje, así como para que se traduzca en legislación vinculante. En todo caso, parece razonable pensar que es beneficioso para la educación recabar ciertos datos de los estudiantes. Para aterrizar este aserto, me sirvo del símil empleado por Pardo y Siemens (2014) por el que comparan la recogida y análisis de datos en educación y en medicina. En este último sector, la recogida y análisis de datos se lleva practicando desde hace tiempo. Así, afirman que, en medicina, una absoluta privacidad y confidencialidad de los datos de los pacientes no ayuda a que avance el conocimiento médico, que es algo valorado como positivo por el sector y por la sociedad. De manera similar, una absoluta opacidad de los datos del estudiante en su entorno formativo esclarecería poco con respecto de sus procesos formativos personales, y no ayudaría a construir o aumentar un corpus teórico sobre cómo se aprende. Esta comparación provee de un ángulo atípico para juzgar las analíticas de aprendizaje, pero no explicita acerca de dónde poner el límite del qué y del cómo recabar información, aspectos que en el campo de la medicina parecen tener mayor recorrido y mayor consenso (por ejemplo, puede ser delito divulgar datos de un paciente en según qué contextos).

Siguiendo con la comparación anterior, parece razonable buscar qué beneficios podría traer implantar una estrategia de analíticas de aprendizaje. Stiles (2012) resume los beneficios atribuidos a las analíticas de aprendizaje en los siguientes puntos:

  • Detección temprana de estudiantes en riesgo.
  • Contenidos y actividades más adaptados al individuo.
  • Mayor refuerzo y motivación, al ofrecer retroalimentación adaptada y contingente al rendimiento del usuario.
  • Aprovechamiento del tiempo de los docentes, al marcarles distintos perfiles de alumnos (con dificultades, alumnos susceptibles de que tutoricen a otros, etc.).
  • Ajuste de los contenidos de los cursos a través de datos en tiempo real.
  • Consecución más rápida de objetivos de aprendizaje, en caso de acercar estas analíticas a los alumnos.

Éstas son las potenciales ventajas. En este análisis bibliográfico, aparte de parar ver las ventajas, se ha recurrido a la literatura existente para tratar de encontrar buenas prácticas y orientaciones para usarse en una estrategia de analíticas de aprendizaje. A este respecto, Schaffer et al. (2014) realizaron un estudio en el que sondearon a agentes implicados en analíticas de aprendizaje, con grados diversos de dominio, y agruparon sus respuestas en base a grandes grupos. Estos grandes grupos se exponen aquí complementados con las ideas de otros autores. Se ha usado, por un lado, el punto de vista axiológico por el que Dringus (2012) describe cómo deberían ser las analíticas de aprendizaje. Han sido de utilidad, además, las observaciones sobre privacidad y analíticas de aprendizaje de Pardo y Siemens (2014). Sobre el tema de la privacidad y otros, se ha consultado también la guía de Stiles (2012) sobre los riesgos de las analíticas de aprendizaje para la educación superior. Por último, y tratando de hacer valer también el punto de vista del estudiante, se tienen en cuenta los preceptos descritos en la guía elaborada por Jisc (2015) de buenas prácticas sobre analíticas de aprendizaje. Se han reformulado las orientaciones de todos estos autores para elaborar las siguientes recomendaciones generales:

  • Los datos recopilados tendrían que ser abiertos tecnológicamente hablando, en términos de la apertura de los logaritmos utilizados y de la interoperabilidad.
  • Los datos recopilados habrían de respetar una política respetuosa en términos de transparencia, anonimización y respeto a la privacidad de los usuarios.
  • Los estudiantes tendrían que tener el derecho de conocer qué se ha recopilado de ellos.
  • El análisis de los datos habría de proporcionar a los docentes de algún medio que les resulte útil o significativo para la personalización del aprendizaje y la identificación de espacios de mejora.
  • La recogida de datos y la estrategia de análisis deben contar una entidad que se haga responsable de todo el proceso, cuyo nombre y datos de contacto deben ser explícitos, y a la que se pueda acudir en caso de necesidad.
  • El proceso de recopilación de datos habría de intentar que los estudiantes tomarán conciencia de sus propios procesos y prácticas de aprendizaje.

A pesar de todas estas indicaciones y guías generalistas, ha resultado francamente difícil encontrar en la literatura comportamientos concretos que medir. En esta línea, Duval (2011; citado en Dringus, 2012) afirma que existe falta de claridad con respecto de qué es lo que se debería medir para que ello redunde en una mejor comprensión del aprendizaje.

No obstante, Pardo y Siemens (2014) aportan traducciones concretas de la utilidad de las analíticas de aprendizaje, como su potencial para que, gracias a la observación, se puedan efectuar cambios en cuanto al mecanismo de evaluación o en los mensajes y frecuencia de la retroalimentación de las actividades.

Conclusión

Las pautas más o menos específicas descritas anteriormente pueden actuar de base para empezar a construir, desde el punto de vista organizacional, una estrategia de analíticas de aprendizaje. No obstante, se trata de una mera aproximación y deja muchas incógnitas. Además de estas incógnitas y de las dificultades de operativización de las recomendaciones generales de analíticas de aprendizaje, el desarrollo de una estrategia se enfrenta a un problema añadido. Tamañas cantidades de datos suelen requerir personal especializado, con conocimientos sólidos de estadística y de informática. Las herramientas y el almacenaje de los datos obtenidos a través de analíticas de aprendizaje, al igual que el resto de datos, requieren de alojamiento en algún servidor. Es más, Stiles (2012) afirma que si no hay tiempo para recopilar, procesar e interpretar los datos, es muy probable que las inversiones en analíticas de aprendizaje no sean útiles. Esto supone un coste añadido. Tal vez una de los primeros análisis que cualquier organización tendría que realizar sería el relativo al coste humano de las analíticas de aprendizaje.

La consulta de artículos y publicaciones sobre analíticas de aprendizaje ha resultado menos útil de lo esperado. El motivo parece ser endémico de las investigaciones en analíticas de aprendizaje y es la dificultad, de acuerdo con JRC (Ferguson, Brasher, Clow, et al., 2016), de conceder validación formal de los estudios, ya que la gran mayoría de ellos están basados en pequeños estudios a corto plazo (como es el caso del presente trabajo).

Si bien las estadísticas de aprendizaje están en ese sempiterno camino a la efectividad y mejora del aprendizaje individual de cada alumno a través de grandes métricas, y teniendo en cuenta el tajante y duro aserto del informe elaborado por JRC (Ferguson, Brasher, Clow, et al., 2016) de que “no hay evidencia abrumadora de que las estadísticas de aprendizaje hayan promovido procesos u organizaciones de aprendizaje más eficientes y efectivos” (p. 9), resulta descabellado, en base a todo lo escrito anteriormente, desechar los beneficios que esta tendencia pueda reportar al sector e-learning en general.

Referencias

Clow, D. (2013). An overview of learning analytics. Teaching in Higher Education,, 18(6), 683-695.

Del Blanco, Á., Serrano, Á., Freire, M., Martínez-Ortiz, I., & Fernández-Manjón, B. (2013). E-Learning Standards and Learning Analytics. Can Data Collection Be Improved by Using Standard Data Models? IEEE Global Engineering Education Conference (EDUCON) (págs. 1255-1261). Berlin: Technische Universität Berlin.

Dringus, L. P. (s.f.). Learning Analytics considered harmful. Journal of Asynchronous Learning Networks, 16(3), 87-101.

Ferguson, R., Brasher, A., Clow, D., Cooper, A., Hillaire, G., Mittelmeier, J., Rienties, B., Ullmann, T., Vuorikari, R. (2016). Research Evidence on the Use of Learning Analytics – Implications for Education Policy. R. Vuorikari, J. Castaño Muñoz (Eds.). Joint Research Centre Science for Policy Report; EUR 28294 EN;

Jisc. (2015). Code of practice for learning analytics. Obtenido de Jisc: https://www.jisc.ac.uk/guides/code-of-practice-for-learning-analytics?platform=hootsuite

Pardo, A., & Siemens, G. (2014). Ethical and privacy principles for learning analytics. British Journal of Educational Technology, 45(3), 438-450.

Stiles, R. J. (2012). Understanding and Managing the Risks of Analytics in Higher Education: A Guide. EDUCAUSE.

Share post