{"id":98,"date":"2023-06-05T09:15:25","date_gmt":"2023-06-05T07:15:25","guid":{"rendered":"http:\/\/learning-analytics-aula.azurewebsites.net\/?page_id=98"},"modified":"2023-09-14T07:57:41","modified_gmt":"2023-09-14T05:57:41","slug":"2-3-el-caso-de-la-uoc-herramienta-diana-para-el-seguimiento-y-evaluacion-de-actividades-colaborativas","status":"publish","type":"page","link":"http:\/\/learning-analytics.aula.uoc.edu\/es\/2-3-el-caso-de-la-uoc-herramienta-diana-para-el-seguimiento-y-evaluacion-de-actividades-colaborativas\/","title":{"rendered":"2.3. El caso de la UOC: Herramienta DIANA para el seguimiento y evaluaci\u00f3n de actividades colaborativas"},"content":{"rendered":"

Un caso de \u00e9xito relacionado con el uso de las anal\u00edticas del aprendizaje involucr\u00f3 a la Universitat Oberta de Catalunya, como instituci\u00f3n educativa superior que adopt\u00f3 una perspectiva desde la Ciencia de Datos de car\u00e1cter educativo para el an\u00e1lisis de la informaci\u00f3n del entorno de aprendizaje en el cual se desarrollan los grados y m\u00e1steres que imparte.<\/p>\n

Esta experiencia se desarroll\u00f3 entre los a\u00f1os 2021 y 2024, y su objetivo fue evidenciar el impacto que producen las anal\u00edticas del aprendizaje tanto para los estudiantes como para el profesorado cuando llevan a cabo actividades colaborativas en l\u00ednea, concretamente, actividades de discusi\u00f3n en l\u00ednea as\u00edncronas (Debates Virtuales).<\/p>\n

1. Selecci\u00f3n de la informaci\u00f3n necesaria<\/strong><\/h4>\n

El profesorado universitario necesita obtener informaci\u00f3n sobre sus estudiantes en la actividad de Debate Virtual de sus asignaturas pero, en muchos casos, esta es una tarea ardua que conlleva un tiempo considerable, todav\u00eda m\u00e1s cuando el n\u00famero de estudiantes del aula es elevado. La informaci\u00f3n que requiere el profesorado es relativa al rendimiento y al proceso de aprendizaje del estudiante con objeto de tomar decisiones de un modo r\u00e1pido y efectivo (Gkontzis et al.<\/em>, 2019), pero no toda la informaci\u00f3n es igual de relevante ni se refiere al mismo aspecto observable del fen\u00f3meno estudiado.<\/p>\n

Este fue el motivo por el cual fue necesaria la creaci\u00f3n de un modelo jer\u00e1rquico que clasificara los datos en diferentes niveles de conocimiento, como apuntaba Baker (2007), y que presentara los datos al profesorado, de tal modo, que les facilitara la comprensi\u00f3n de la naturaleza de las interacciones que los estudiantes llevan a cabo durante el proceso de aprendizaje, as\u00ed como su rendimiento en la actividad de evaluaci\u00f3n. Se identificaron cuatro tipos de factores clave: los datos, las m\u00e9tricas, los indicadores y las categor\u00edas (figura 6).<\/p>\n

\"\"
Figura 6. Identificaci\u00f3n del modelo jer\u00e1rquico de factores clave para la evaluaci\u00f3n del aprendizaje colaborativo en l\u00ednea en contraste con el continuo de conocimiento de Baker
<\/em>Fuente: Adaptaci\u00f3n a partir de Baker, 2007<\/figcaption><\/figure>\n

Los datos <\/strong>son la fuente de informaci\u00f3n de partida. Consisten en las evidencias de la actividad del estudiante en el entorno en l\u00ednea en forma de registros, trazas o logs<\/em> del sistema que, por s\u00ed mismos, no aportan conocimiento.<\/p>\n

Las m\u00e9tricas <\/strong>son la correspondencia de un dato emp\u00edrico del mundo real a una variable cuantitativa o cualitativa del mundo formal, a la que se le puede asignar un valor, y requiere definir, no solo el m\u00e9todo de c\u00e1lculo, sino tambi\u00e9n la escala de los valores.<\/p>\n

Los indicadores <\/strong>corresponden a un grupo de m\u00e9tricas (variables del mundo emp\u00edrico) relacionadas entre s\u00ed que otorgan un nivel de comprensi\u00f3n superior de un fen\u00f3meno observado, de forma que nos permiten efectuar una estimaci\u00f3n de un concepto que necesitamos evaluar.<\/p>\n

Las categor\u00edas <\/strong>son un conjunto de indicadores que analizan y resumen informaci\u00f3n relacionada con una misma caracter\u00edstica observable del fen\u00f3meno de estudio. Una categor\u00eda es la caracter\u00edstica espec\u00edfica de un proceso en la que deseamos centrar nuestra atenci\u00f3n con el fin de conocer un aspecto concreto de un fen\u00f3meno, aisl\u00e1ndolo y observando su comportamiento frente a determinadas situaciones o actuaciones sobre \u00e9l.<\/p>\n

Una vez definidos los factores clave, se identificaron los relacionados con los Debates Virtuales y la interacci\u00f3n comunicativa entre los estudiantes, dado que este factor clave es indispensable para que los estudiantes puedan construir conocimiento de forma conjunta. Por este motivo, se seleccionaron los del modelo jer\u00e1rquico que ten\u00edan que ver con la interacci\u00f3n comunicativa del alumnado y que ser\u00edan de gran utilidad para realizar el seguimiento y evaluaci\u00f3n de la actividad de Debate Virtual que se desarrollar\u00eda en las asignaturas de la universidad. La lista de m\u00e9tricas seleccionadas para usar en las anal\u00edticas del aprendizaje del estudio de caso fueron las siguientes (tabla 1):<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Dimensi\u00f3n<\/td>\nC\u00f3digo de m\u00e9trica<\/td>\nM\u00e9trica del modelo jer\u00e1rquico de factores clave para el seguimiento y evaluaci\u00f3n del aprendizaje en l\u00ednea<\/td>\n<\/tr>\n
\n

Grupal<\/p>\n<\/td>\n

M1<\/td>\nDistribuci\u00f3n temporal y grupal de los mensajes<\/td>\n<\/tr>\n
M2<\/td>\nN\u00famero total de los mensajes publicados<\/td>\n<\/tr>\n
M3<\/td>\nN\u00famero de usuarios participantes en la comunicaci\u00f3n<\/td>\n<\/tr>\n
M4<\/td>\nHomogeneidad en la participaci\u00f3n comunicativa grupal<\/td>\n<\/tr>\n
M5<\/td>\nRespuestas totales publicadas<\/td>\n<\/tr>\n
M6<\/td>\nNivel de di\u00e1logo<\/td>\n<\/tr>\n
M7<\/td>\nExtensi\u00f3n media global en la comunicaci\u00f3n<\/td>\n<\/tr>\n
M8<\/td>\nNube de etiquetas de los espacios de conversaci\u00f3n<\/td>\n<\/tr>\n
M9<\/td>\nGrado de adecuaci\u00f3n del discurso al campo sem\u00e1ntico<\/td>\n<\/tr>\n
M10<\/td>\nDispersi\u00f3n\/Concentraci\u00f3n de la conversaci\u00f3n<\/td>\n<\/tr>\n
M11<\/td>\nRepresentaci\u00f3n visual de la interacci\u00f3n comunicativa as\u00edncrona (grafo de nodos – SNA)<\/td>\n<\/tr>\n
M12<\/td>\nN\u00famero de archivos globales publicados\/adjuntados<\/td>\n<\/tr>\n
M13<\/td>\nN\u00famero de enlaces externos globales publicados<\/td>\n<\/tr>\n
Individual<\/td>\nM14<\/td>\nDistribuci\u00f3n temporal de los mensajes individuales<\/td>\n<\/tr>\n
M15<\/td>\nN\u00famero de mensajes publicados<\/td>\n<\/tr>\n
M16<\/td>\nNivel de participaci\u00f3n en la interacci\u00f3n comunicativa<\/td>\n<\/tr>\n
M17<\/td>\nRespuestas publicadas<\/td>\n<\/tr>\n
M18<\/td>\nPopularidad<\/td>\n<\/tr>\n
M19<\/td>\nExtensi\u00f3n media de la comunicaci\u00f3n<\/td>\n<\/tr>\n
M20<\/td>\nN\u00famero de archivos publicados\/adjuntados<\/td>\n<\/tr>\n
M21<\/td>\nN\u00famero de enlaces externos publicados<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Tabla 1. M\u00e9tricas implementadas en la herramienta anal\u00edtica DIANA<\/p>\n<\/div>\n

2. Captura, an\u00e1lisis y resumen de la informaci\u00f3n<\/strong><\/h4>\n

A continuaci\u00f3n, se procedi\u00f3 con el dise\u00f1o y la programaci\u00f3n de una aplicaci\u00f3n inform\u00e1tica basada en tecnolog\u00edas web que permitiera capturar informaci\u00f3n del entorno virtual de ense\u00f1anza y aprendizaje de la universidad para, posteriormente, aplicar Miner\u00eda de Datos en base a unos algoritmos. De este modo, se present\u00f3 la informaci\u00f3n resumida para que el docente la interpretara y pudiera tomar decisiones informadas.<\/p>\n

La herramienta inform\u00e1tica dise\u00f1ada se denomin\u00f3 DIANA (DIalogue ANAlysis). Esta herramienta analiza los mensajes de cada estudiante y realiza un contraste, tanto del contenido como de los metadatos de cada mensaje, para reportar las m\u00e9tricas que fueron conceptualizadas en la fase anterior. Esta herramienta se utiliz\u00f3 para realizar el seguimiento y evaluaci\u00f3n de la actividad de Debate Virtual, tanto en las asignaturas transversales a la universidad como tambi\u00e9n en las asignaturas de m\u00e1ster.<\/p>\n

DIANA no solo reporta m\u00e9tricas o indicadores de rendimiento, sino que tambi\u00e9n permite al profesorado personalizar las anal\u00edticas mediante un panel de configuraci\u00f3n en el que es posible especificar los valores de referencia tanto para la generaci\u00f3n de alertas como para la visualizaci\u00f3n de los resultados (figura 7).<\/p>\n

\"\"
Figura 7. Panel de configuraci\u00f3n de DIANA
Fuente: elaboraci\u00f3n propia<\/figcaption><\/figure>\n

Una vez el docente seleccionaba las fechas de inicio y fin de la actividad de Debate Virtual, DIANA reportaba las anal\u00edticas del aprendizaje organiz\u00e1ndolas en diferentes pantallas y utilizando un conjunto de recursos gr\u00e1ficos heterog\u00e9neos para facilitar la interpretaci\u00f3n de la informaci\u00f3n (figura 8).<\/p>\n

\"\"
Figura 8. Indicadores y m\u00e9tricas grupales reportadas por DIANA
Fuente: elaboraci\u00f3n propia<\/figcaption><\/figure>\n

Sin embargo, unos de los aspectos m\u00e1s interesantes de DIANA es la capacidad de obtener informaci\u00f3n sobre el nivel de desempe\u00f1o de cada estudiante de forma individual en la actividad de Debate Virtual. La herramienta no solo muestra el n\u00famero de mensajes enviados, sino tambi\u00e9n la posibilidad de evaluar cu\u00e1les de ellos son mensajes de respuesta, c\u00f3mo se repartieron en el tiempo dichos mensajes, la popularidad del estudiante en base a las respuestas que recibieron sus mensajes, etc. (figura 9).<\/p>\n

\"\"
Figura 9. Indicadores y m\u00e9tricas individuales de cada estudiante reportadas por DIANA
Fuente: elaboraci\u00f3n propia<\/figcaption><\/figure>\n

La ventaja de utilizar este tipo de estrategias basadas en la ciencia de datos es que es posible obtener una radiograf\u00eda de lo sucedido en la actividad de aprendizaje, como muestra la figura 10, en la que se aprecian las m\u00e9tricas de un estudiante y su contraste con las del resto de grupo aula.<\/p>\n

\"\"
Figura 10. M\u00e9tricas individuales en contraste con las del resto del aula
Fuente: elaboraci\u00f3n propia<\/figcaption><\/figure>\n

3. Predicci\u00f3n en base a las evidencias<\/strong><\/h4>\n

La actuaci\u00f3n docente en la experiencia que estamos describiendo no solo se limit\u00f3 a la interpretaci\u00f3n de estos datos una vez la actividad de Debate Virtual hab\u00eda finalizado, sino que a\u00fan m\u00e1s importante fue el uso de esta informaci\u00f3n durante el propio proceso de ense\u00f1anza, con el objetivo de poder monitorear el desempe\u00f1o de cada estudiante y ofrecerle la ayuda necesaria en cada momento para asegurar la asimilaci\u00f3n de las competencias definidas en el Plan Docente de la asignatura. Para ello, la mejor estrategia fue el ofrecimiento de unas sugerencias (feedback<\/em>) personalizadas en base a estas necesidades detectadas, y para conseguirlas fue esencial tener acceso a las anal\u00edticas del aprendizaje.<\/p>\n

El profesorado tuvo la oportunidad de llevar a cabo un an\u00e1lisis predictivo en base a su propia experiencia profesional y a las m\u00e9tricas reportadas por las anal\u00edticas del aprendizaje. Gracias a este an\u00e1lisis prematuro, el docente pudo anticiparse a situaciones de riesgo que dificultan a los estudiantes el desarrollo de la actividad de evaluaci\u00f3n. Esta predicci\u00f3n fue anticipada mediante una estrategia de planificaci\u00f3n de las acciones que se deb\u00edan llevar a cabo, la cual se muestra en la tabla 2, con la lista de actividades en forma de hoja de verificaci\u00f3n (checklist<\/em>). Esta tabla puede servir de referencia para desplegar otras iniciativas similares relacionadas con las anal\u00edticas del aprendizaje.<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Matriz de verificaci\u00f3n para el an\u00e1lisis del aprendizaje<\/strong><\/td>\n<\/tr>\n
Check<\/strong><\/em><\/td>\nC\u00f3digo<\/strong><\/td>\nTarea<\/strong><\/td>\n<\/tr>\n
Fase previa<\/strong><\/td>\n<\/tr>\n
\u25a1<\/td>\nA1<\/td>\nRealizar formaci\u00f3n para la capacitaci\u00f3n docente en el uso de DIANA.<\/td>\n<\/tr>\n
\u25a1<\/td>\nA2<\/td>\nAcceso a la herramienta DIANA y verificaci\u00f3n de credenciales.<\/td>\n<\/tr>\n
\u25a1<\/td>\nA3<\/td>\nDefinir inicio y fin del Debate Virtual.<\/td>\n<\/tr>\n
Antes de iniciar el Debate Virtual<\/strong><\/td>\n<\/tr>\n
\u25a1<\/td>\nB1<\/td>\nDefinir configuraci\u00f3n de DIANA en el panel de control.<\/td>\n<\/tr>\n
\u25a1<\/td>\nB2<\/td>\nObtener el consentimiento informado de los estudiantes.<\/td>\n<\/tr>\n
\u25a1<\/td>\nB3<\/td>\nDise\u00f1o de la actividad de discusi\u00f3n en l\u00ednea as\u00edncrona: objetivos, organizaci\u00f3n, criterios\u2026<\/td>\n<\/tr>\n
\u25a1<\/td>\nB4<\/td>\nPreparar el mensaje de inicio de la actividad.<\/td>\n<\/tr>\n
Durante el Debate Virtual<\/strong><\/td>\n<\/tr>\n
<\/td>\nEtapa de planteamiento de cuestiones iniciales<\/em><\/td>\n<\/tr>\n
\u25a1<\/td>\nC1<\/td>\nPublicar mensaje en el Tabl\u00f3n del profesorado presentando la actividad (B3).<\/td>\n<\/tr>\n
\u25a1<\/td>\nC2<\/td>\nPublicar en el Foro los hilos de discusi\u00f3n iniciales (B4).<\/td>\n<\/tr>\n
\u25a1<\/td>\nC3<\/td>\nPasados 2 d\u00edas, alertar a los estudiantes que a\u00fan no han participado.<\/td>\n<\/tr>\n
<\/td>\nEtapa de discusi\u00f3n y argumentaci\u00f3n virtual<\/em><\/td>\n<\/tr>\n
\u25a1<\/td>\nC4<\/td>\nPublicar mensaje en el Tabl\u00f3n del profesorado dando inicio a esta etapa.<\/td>\n<\/tr>\n
\u25a1<\/td>\nC5<\/td>\nDinamizar el Foro con nuevos hilos, reconduciendo la discusi\u00f3n si es necesario.<\/td>\n<\/tr>\n
\u25a1<\/td>\nC6<\/td>\nAn\u00e1lisis del aprendizaje durante los d\u00edas intermedios.<\/td>\n<\/tr>\n
<\/td>\nEtapa de conclusiones<\/em><\/td>\n<\/tr>\n
\u25a1<\/td>\nC7<\/td>\nPublicar mensaje en el Tabl\u00f3n del profesorado dando inicio a esta etapa.<\/td>\n<\/tr>\n
\u25a1<\/td>\nC8<\/td>\nMensaje recordatorio de cierre el d\u00eda previo a la finalizaci\u00f3n del debate.<\/td>\n<\/tr>\n
Posterior al Debate Virtual<\/strong><\/td>\n<\/tr>\n
\u25a1<\/td>\nD1<\/td>\nPublicar mensaje en el Tabl\u00f3n del profesorado cerrando la actividad.<\/td>\n<\/tr>\n
\u25a1<\/td>\nD2<\/td>\nEvaluar al estudiante.<\/td>\n<\/tr>\n
\u25a1<\/td>\nD3<\/td>\nRecoger los datos necesarios de anal\u00edticas del aprendizaje para el proyecto I+D.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Tabla 2. Matriz de verificaci\u00f3n docente para el an\u00e1lisis del aprendizaje<\/p>\n<\/div>\n

4. Uso de las m\u00e9tricas e indicadores para la toma de decisiones<\/strong><\/h4>\n

En esta etapa, el profesorado evidencia su labor docente a trav\u00e9s de la aplicaci\u00f3n de medidas espec\u00edficas de acompa\u00f1amiento del estudiante. Estas medidas dependen de la interpretaci\u00f3n que se haga de las anal\u00edticas del aprendizaje y de la capacidad de predecir el comportamiento del estudiante que se encuentra en una situaci\u00f3n de especial vulnerabilidad.<\/p>\n

En el caso descrito, estas medidas fueron claramente enfocadas a la reducci\u00f3n del \u00edndice de abandono de los estudiantes en la asignatura, as\u00ed como tambi\u00e9n al aumento de su rendimiento acad\u00e9mico. Estos dos grandes objetivos fueron el motivo principal (leitmotiv<\/em>) de la intervenci\u00f3n docente fundamentada en dos pilares: el uso continuado de las anal\u00edticas del aprendizaje en cada fase del Debate Virtual, y las respuestas (feedback<\/em>) personalizadas en base a dicho an\u00e1lisis.<\/p>\n

Cabe tambi\u00e9n destacar el aumento del nivel de satisfacci\u00f3n de los estudiantes que fueron monitorizados con la herramienta DIANA una vez fueron consultados al finalizar la actividad de Debate Virtual. Este aumento se midi\u00f3 en contraste con aquellos grupos cuyo seguimiento y evaluaci\u00f3n de la actividad de evaluaci\u00f3n se desarroll\u00f3 de forma convencional.<\/p>\n

5. Refinamiento y compartici\u00f3n de los resultados<\/strong><\/h4>\n

Llegados a este punto, podemos decir que el tipo de anal\u00edticas que el profesorado desarroll\u00f3 fue \u00abdescriptiva\u00bb principalmente. Sin embargo, su experiencia docente le permit\u00eda llevar a cabo la anal\u00edtica diagn\u00f3stica, evaluando qu\u00e9 acciones hab\u00edan producido que algunos estudiantes no siguieran con \u00e9xito la actividad. De este modo, se consegu\u00eda depurar el marco procedimental y corregir aquellos elementos de la propia actividad o de la actuaci\u00f3n docente en cuanto a seguimiento efectuado para facilitar el cumplimiento de los objetivos de la asignatura.<\/span><\/p>\n

La comprensi\u00f3n del fen\u00f3meno de interacci\u00f3n comunicativa reproducido en el Debate Virtual, ofrece informaci\u00f3n de valor para mejorar la propia actividad y adecuarla a los intereses particulares de los estudiantes. Por este motivo, el profesorado mejor\u00f3 en cada edici\u00f3n de la asignatura los valores de configuraci\u00f3n de DIANA para ajustar las alertas que la herramienta presenta y tambi\u00e9n el c\u00e1lculo de las m\u00e9tricas.<\/span><\/p>\n

Finalmente, el equipo de profesorado se organiz\u00f3 para compartir los resultados obtenidos en sus respectivas aulas. Este trabajo colaborativo de contraste se ejecut\u00f3 c\u00edclicamente para cada una de las ediciones de la asignatura, semestre a semestre.<\/span><\/p>\n

<\/p>\n

Para saber m\u00e1s<\/strong><\/p>\n