2. Cómo evaluar utilizando las analíticas del aprendizaje

2.3. El caso de la UOC: Herramienta DIANA para el seguimiento y evaluación de actividades colaborativas

Un caso de éxito relacionado con el uso de las analíticas del aprendizaje involucró a la Universitat Oberta de Catalunya, como institución educativa superior que adoptó una perspectiva desde la Ciencia de Datos de carácter educativo para el análisis de la información del entorno de aprendizaje en el cual se desarrollan los grados y másteres que imparte.

Esta experiencia se desarrolló entre los años 2021 y 2024, y su objetivo fue evidenciar el impacto que producen las analíticas del aprendizaje tanto para los estudiantes como para el profesorado cuando llevan a cabo actividades colaborativas en línea, concretamente, actividades de discusión en línea asíncronas (Debates Virtuales).

1. Selección de la información necesaria

El profesorado universitario necesita obtener información sobre sus estudiantes en la actividad de Debate Virtual de sus asignaturas pero, en muchos casos, esta es una tarea ardua que conlleva un tiempo considerable, todavía más cuando el número de estudiantes del aula es elevado. La información que requiere el profesorado es relativa al rendimiento y al proceso de aprendizaje del estudiante con objeto de tomar decisiones de un modo rápido y efectivo (Gkontzis et al., 2019), pero no toda la información es igual de relevante ni se refiere al mismo aspecto observable del fenómeno estudiado.

Este fue el motivo por el cual fue necesaria la creación de un modelo jerárquico que clasificara los datos en diferentes niveles de conocimiento, como apuntaba Baker (2007), y que presentara los datos al profesorado, de tal modo, que les facilitara la comprensión de la naturaleza de las interacciones que los estudiantes llevan a cabo durante el proceso de aprendizaje, así como su rendimiento en la actividad de evaluación. Se identificaron cuatro tipos de factores clave: los datos, las métricas, los indicadores y las categorías (figura 6).

Los datos son la fuente de información de partida. Consisten en las evidencias de la actividad del estudiante en el entorno en línea en forma de registros, trazas o logs del sistema que, por sí mismos, no aportan conocimiento.

Las métricas son la correspondencia de un dato empírico del mundo real a una variable cuantitativa o cualitativa del mundo formal, a la que se le puede asignar un valor, y requiere definir, no solo el método de cálculo, sino también la escala de los valores.

Los indicadores corresponden a un grupo de métricas (variables del mundo empírico) relacionadas entre sí que otorgan un nivel de comprensión superior de un fenómeno observado, de forma que nos permiten efectuar una estimación de un concepto que necesitamos evaluar.

Las categorías son un conjunto de indicadores que analizan y resumen información relacionada con una misma característica observable del fenómeno de estudio. Una categoría es la característica específica de un proceso en la que deseamos centrar nuestra atención con el fin de conocer un aspecto concreto de un fenómeno, aislándolo y observando su comportamiento frente a determinadas situaciones o actuaciones sobre él.

Una vez definidos los factores clave, se identificaron los relacionados con los Debates Virtuales y la interacción comunicativa entre los estudiantes, dado que este factor clave es indispensable para que los estudiantes puedan construir conocimiento de forma conjunta. Por este motivo, se seleccionaron los del modelo jerárquico que tenían que ver con la interacción comunicativa del alumnado y que serían de gran utilidad para realizar el seguimiento y evaluación de la actividad de Debate Virtual que se desarrollaría en las asignaturas de la universidad. La lista de métricas seleccionadas para usar en las analíticas del aprendizaje del estudio de caso fueron las siguientes (tabla 1):

Dimensión	Código de métrica	Métrica del modelo jerárquico de factores clave para el seguimiento y evaluación del aprendizaje en línea
Grupal	M1	Distribución temporal y grupal de los mensajes
	M2	Número total de los mensajes publicados
	M3	Número de usuarios participantes en la comunicación
	M4	Homogeneidad en la participación comunicativa grupal
	M5	Respuestas totales publicadas
	M6	Nivel de diálogo
	M7	Extensión media global en la comunicación
	M8	Nube de etiquetas de los espacios de conversación
	M9	Grado de adecuación del discurso al campo semántico
	M10	Dispersión/Concentración de la conversación
	M11	Representación visual de la interacción comunicativa asíncrona (grafo de nodos – SNA)
	M12	Número de archivos globales publicados/adjuntados
	M13	Número de enlaces externos globales publicados
Individual	M14	Distribución temporal de los mensajes individuales
	M15	Número de mensajes publicados
	M16	Nivel de participación en la interacción comunicativa
	M17	Respuestas publicadas
	M18	Popularidad
	M19	Extensión media de la comunicación
	M20	Número de archivos publicados/adjuntados
	M21	Número de enlaces externos publicados

2. Captura, análisis y resumen de la información

A continuación, se procedió con el diseño y la programación de una aplicación informática basada en tecnologías web que permitiera capturar información del entorno virtual de enseñanza y aprendizaje de la universidad para, posteriormente, aplicar Minería de Datos en base a unos algoritmos. De este modo, se presentó la información resumida para que el docente la interpretara y pudiera tomar decisiones informadas.

La herramienta informática diseñada se denominó DIANA (DIalogue ANAlysis). Esta herramienta analiza los mensajes de cada estudiante y realiza un contraste, tanto del contenido como de los metadatos de cada mensaje, para reportar las métricas que fueron conceptualizadas en la fase anterior. Esta herramienta se utilizó para realizar el seguimiento y evaluación de la actividad de Debate Virtual, tanto en las asignaturas transversales a la universidad como también en las asignaturas de máster.

DIANA no solo reporta métricas o indicadores de rendimiento, sino que también permite al profesorado personalizar las analíticas mediante un panel de configuración en el que es posible especificar los valores de referencia tanto para la generación de alertas como para la visualización de los resultados (figura 7).

Una vez el docente seleccionaba las fechas de inicio y fin de la actividad de Debate Virtual, DIANA reportaba las analíticas del aprendizaje organizándolas en diferentes pantallas y utilizando un conjunto de recursos gráficos heterogéneos para facilitar la interpretación de la información (figura 8).

Sin embargo, unos de los aspectos más interesantes de DIANA es la capacidad de obtener información sobre el nivel de desempeño de cada estudiante de forma individual en la actividad de Debate Virtual. La herramienta no solo muestra el número de mensajes enviados, sino también la posibilidad de evaluar cuáles de ellos son mensajes de respuesta, cómo se repartieron en el tiempo dichos mensajes, la popularidad del estudiante en base a las respuestas que recibieron sus mensajes, etc. (figura 9).

La ventaja de utilizar este tipo de estrategias basadas en la ciencia de datos es que es posible obtener una radiografía de lo sucedido en la actividad de aprendizaje, como muestra la figura 10, en la que se aprecian las métricas de un estudiante y su contraste con las del resto de grupo aula.

3. Predicción en base a las evidencias

La actuación docente en la experiencia que estamos describiendo no solo se limitó a la interpretación de estos datos una vez la actividad de Debate Virtual había finalizado, sino que aún más importante fue el uso de esta información durante el propio proceso de enseñanza, con el objetivo de poder monitorear el desempeño de cada estudiante y ofrecerle la ayuda necesaria en cada momento para asegurar la asimilación de las competencias definidas en el Plan Docente de la asignatura. Para ello, la mejor estrategia fue el ofrecimiento de unas sugerencias (feedback) personalizadas en base a estas necesidades detectadas, y para conseguirlas fue esencial tener acceso a las analíticas del aprendizaje.

El profesorado tuvo la oportunidad de llevar a cabo un análisis predictivo en base a su propia experiencia profesional y a las métricas reportadas por las analíticas del aprendizaje. Gracias a este análisis prematuro, el docente pudo anticiparse a situaciones de riesgo que dificultan a los estudiantes el desarrollo de la actividad de evaluación. Esta predicción fue anticipada mediante una estrategia de planificación de las acciones que se debían llevar a cabo, la cual se muestra en la tabla 2, con la lista de actividades en forma de hoja de verificación (checklist). Esta tabla puede servir de referencia para desplegar otras iniciativas similares relacionadas con las analíticas del aprendizaje.

Matriz de verificación para el análisis del aprendizaje
Check	Código	Tarea
Fase previa
□	A1	Realizar formación para la capacitación docente en el uso de DIANA.
□	A2	Acceso a la herramienta DIANA y verificación de credenciales.
□	A3	Definir inicio y fin del Debate Virtual.
Antes de iniciar el Debate Virtual
□	B1	Definir configuración de DIANA en el panel de control.
□	B2	Obtener el consentimiento informado de los estudiantes.
□	B3	Diseño de la actividad de discusión en línea asíncrona: objetivos, organización, criterios…
□	B4	Preparar el mensaje de inicio de la actividad.
Durante el Debate Virtual
	Etapa de planteamiento de cuestiones iniciales
□	C1	Publicar mensaje en el Tablón del profesorado presentando la actividad (B3).
□	C2	Publicar en el Foro los hilos de discusión iniciales (B4).
□	C3	Pasados 2 días, alertar a los estudiantes que aún no han participado.
	Etapa de discusión y argumentación virtual
□	C4	Publicar mensaje en el Tablón del profesorado dando inicio a esta etapa.
□	C5	Dinamizar el Foro con nuevos hilos, reconduciendo la discusión si es necesario.
□	C6	Análisis del aprendizaje durante los días intermedios.
	Etapa de conclusiones
□	C7	Publicar mensaje en el Tablón del profesorado dando inicio a esta etapa.
□	C8	Mensaje recordatorio de cierre el día previo a la finalización del debate.
Posterior al Debate Virtual
□	D1	Publicar mensaje en el Tablón del profesorado cerrando la actividad.
□	D2	Evaluar al estudiante.
□	D3	Recoger los datos necesarios de analíticas del aprendizaje para el proyecto I+D.

4. Uso de las métricas e indicadores para la toma de decisiones

En esta etapa, el profesorado evidencia su labor docente a través de la aplicación de medidas específicas de acompañamiento del estudiante. Estas medidas dependen de la interpretación que se haga de las analíticas del aprendizaje y de la capacidad de predecir el comportamiento del estudiante que se encuentra en una situación de especial vulnerabilidad.

En el caso descrito, estas medidas fueron claramente enfocadas a la reducción del índice de abandono de los estudiantes en la asignatura, así como también al aumento de su rendimiento académico. Estos dos grandes objetivos fueron el motivo principal (leitmotiv) de la intervención docente fundamentada en dos pilares: el uso continuado de las analíticas del aprendizaje en cada fase del Debate Virtual, y las respuestas (feedback) personalizadas en base a dicho análisis.

Cabe también destacar el aumento del nivel de satisfacción de los estudiantes que fueron monitorizados con la herramienta DIANA una vez fueron consultados al finalizar la actividad de Debate Virtual. Este aumento se midió en contraste con aquellos grupos cuyo seguimiento y evaluación de la actividad de evaluación se desarrolló de forma convencional.

5. Refinamiento y compartición de los resultados

Llegados a este punto, podemos decir que el tipo de analíticas que el profesorado desarrolló fue «descriptiva» principalmente. Sin embargo, su experiencia docente le permitía llevar a cabo la analítica diagnóstica, evaluando qué acciones habían producido que algunos estudiantes no siguieran con éxito la actividad. De este modo, se conseguía depurar el marco procedimental y corregir aquellos elementos de la propia actividad o de la actuación docente en cuanto a seguimiento efectuado para facilitar el cumplimiento de los objetivos de la asignatura.

La comprensión del fenómeno de interacción comunicativa reproducido en el Debate Virtual, ofrece información de valor para mejorar la propia actividad y adecuarla a los intereses particulares de los estudiantes. Por este motivo, el profesorado mejoró en cada edición de la asignatura los valores de configuración de DIANA para ajustar las alertas que la herramienta presenta y también el cálculo de las métricas.

Finalmente, el equipo de profesorado se organizó para compartir los resultados obtenidos en sus respectivas aulas. Este trabajo colaborativo de contraste se ejecutó cíclicamente para cada una de las ediciones de la asignatura, semestre a semestre.