2. Com avaluar utilitzant les analítiques de l'aprenentatge

2.3. El cas de la UOC: Eina DIANA pel seguiment i avaluació d’activitats col·laboratives

Un cas d’èxit relacionat amb l’ús de les analítiques de l’aprenentatge va involucrar a la Universitat Oberta de Catalunya, com a institució educativa superior que va adoptar una perspectiva des de la Ciència de Dades de caràcter educatiu per l’anàlisi de la informació de l’entorn d’aprenentatge en el qual es desenvolupen els graus i màsters que imparteix.

Aquesta experiència es va desenvolupar entre els anys 2021 i 2024, i el seu objectiu va ser evidenciar l’impacte que produeixen les analítiques de l’aprenentatge tant per als estudiants com per al professorat quan duen a terme activitats col·laboratives en línia, concretament, activitats de discussió en línia asíncrones (Debats Virtuals).

1. Selecció de la informació necessària

El professorat universitari necessita obtenir informació sobre els seus estudiants en l’activitat de Debat Virtual de les seves assignatures però, en molts casos, aquesta és una tasca àrdua que comporta un temps considerable, encara més quan el nombre d’estudiants de l’aula és elevat. La informació que requereix el professorat és relativa al rendiment i al procés d’aprenentatge de l’estudiant a fi de prendre decisions d’una manera ràpida i efectiva (Gkontzis et al., 2019), però no tota la informació és igual de rellevant ni es refereix al mateix aspecte observable del fenomen estudiat.

Aquest va ser el motiu pel qual va ser necessària la creació d’un model jeràrquic que classifiqués les dades en diferents nivells de coneixement, com apuntava Baker (2007), i que presentés les dades al professorat, de tal manera, que els facilités la comprensió de la naturalesa de les interaccions que els estudiants duen a terme durant el procés d’aprenentatge, així com el seu rendiment en l’activitat d’avaluació. Es van identificar quatre tipus de factors clau: les dades, les mètriques, els indicadors i les categories (figura 6).

Les dades són la font d’informació de partida. Consisteixen en les evidències de l’activitat de l’estudiant en l’entorn en línia en forma de registres, traces o logs del sistema que, per si mateixos, no aporten coneixement.

Les mètriques són la correspondència d’una dada empírica del món real a una variable quantitativa o qualitativa del món formal, a la qual se li pot assignar un valor, i requereix definir, no sols el mètode de càlcul sinó també l’escala dels valors.

Els indicadors corresponen a un grup de mètriques (variables del món empíric) relacionades entre si que atorguen un nivell de comprensió superior d’un fenomen observat, de manera que ens permeten efectuar una estimació d’un concepte que necessitem avaluar.

Les categories són un conjunt d’indicadors que analitzen i resumeixen informació relacionada amb una mateixa característica observable del fenomen d’estudi. Una categoria és la característica específica d’un procés en la qual desitgem centrar la nostra atenció amb la finalitat de conèixer un aspecte concret d’un fenomen, aïllant-lo i observant-hi el seu comportament enfront de determinades situacions o actuacions.

Una vegada definits els factors clau, es van identificar els relacionats amb els Debats Virtuals i la interacció comunicativa entre els estudiants, atès que aquest factor clau és indispensable perquè els estudiants puguin construir coneixement de manera conjunta. Per aquest motiu, es van seleccionar els del model jeràrquic que tenien a veure amb la interacció comunicativa de l’alumnat i que serien de gran utilitat per realitzar el seguiment i avaluació de l’activitat de Debat Virtual que es desenvoluparia en les assignatures de la universitat. La llista de mètriques seleccionades per usar en les analítiques de l’aprenentatge de l’estudi de cas van ser les següents (taula 1):

Dimensió	Codi de mètrica	Mètrica del model jeràrquic de factors clau per al seguiment i avaluació de l’aprenentatge en línia
Grupal	M1	Distribució temporal i grupal dels missatges
	M2	Nombre total dels missatges publicats
	M3	Nombre d’usuaris participants en la comunicació
	M4	Homogeneïtat en la participació comunicativa grupal
	M5	Respostes totals publicades
	M6	Nivell de diàleg
	M7	Extensió mitjana global en la comunicació
	M8	Núvol d’etiquetes dels espais de conversa
	M9	Grau d’adequació del discurs al camp semàntic
	M10	Dispersió/Concentració de la conversa
	M11	Representació visual de la interacció comunicativa asíncrona (graf de nodes – SNA)
	M12	Nombre d’arxius globals publicats/adjuntats
	M13	Nombre d’enllaços externs globals publicats
Individual	M14	Distribució temporal dels missatges individuals
	M15	Nombre de missatges publicats
	M16	Nivell de participació en la interacció comunicativa
	M17	Respostes publicades
	M18	Popularitat
	M19	Extensió mitjana de la comunicació
	M20	Nombre d’arxius publicats/adjuntats
	M21	Nombre d’enllaços externs publicats

2. Captura, anàlisi i resum de la informació

A continuació, es va procedir amb el disseny i la programació d’una aplicació informàtica basada en tecnologies web que permetés capturar informació de l’entorn virtual d’ensenyament i aprenentatge de la universitat per, posteriorment, aplicar Mineria de Dades d’acord amb uns algorismes. D’aquesta manera, es va presentar la informació resumida perquè el docent la interpretés i pogués prendre decisions informades.

L’eina informàtica dissenyada es va denominar DIANA (Dialogui ANAlysis). Aquesta eina analitza els missatges de cada estudiant i realitza un contrast, tant del contingut com de les metadades de cada missatge, per reportar les mètriques que van ser conceptualitzades en la fase anterior. Aquesta eina es va utilitzar per realitzar el seguiment i avaluació de l’activitat de Debat Virtual, tant en les assignatures transversals a la universitat com també en les assignatures de màster.

DIANA no només reporta mètriques o indicadors de rendiment, sinó que també permet al professorat personalitzar les analítiques mitjançant un panell de configuració en el qual és possible especificar els valors de referència, tant per la generació d’alertes com per la visualització dels resultats (figura 7).

Una vegada el docent seleccionava les dates d’inici i de fi de l’activitat de Debat Virtual, DIANA reportava les analítiques de l’aprenentatge organitzant-les en diferents pantalles i utilitzant un conjunt de recursos gràfics heterogenis per facilitar la interpretació de la informació (figura 8).

No obstant això, uns dels aspectes més interessants de DIANA és la capacitat d’obtenir informació sobre el nivell d’execució de cada estudiant de manera individual en l’activitat de Debat Virtual. L’eina no només mostra el nombre de missatges enviats, sinó també la possibilitat d’avaluar quins d’ells són missatges de resposta, com es van repartir en el temps aquests missatges, la popularitat de l’estudiant sobre la base de les respostes que van rebre els seus missatges, etc. (figura 9).

L’avantatge d’utilitzar aquest tipus d’estratègies basades en la ciència de dades és que la possibilitat d’obtenir una radiografia del succeït en l’activitat d’aprenentatge, com mostra la figura 10, en la qual s’aprecien les mètriques d’un estudiant i el seu contrast amb les de la resta del grup aula.

3. Predicció sobre la base de les evidències

L’actuació docent en l’experiència que estem descrivint no només es va limitar a la interpretació d’aquestes dades una vegada l’activitat de Debat Virtual havia finalitzat, sinó que encara més important va ser l’ús d’aquesta informació durant el propi procés d’ensenyament, amb l’objectiu de poder monitorar l’acompliment de cada estudiant i oferir-li l’ajuda necessària en tot moment per assegurar l’assimilació de les competències definides en el Pla Docent de l’assignatura. Per això, la millor estratègia va ser l’oferiment d’uns suggeriments (feedback) personalitzats sobre la base d’aquestes necessitats detectades, i per aconseguir-los va ser essencial tenir accés a les analítiques de l’aprenentatge.

El professorat va tenir l’oportunitat de dur a terme una anàlisi predictiva sobre la base de la seva pròpia experiència professional i de les mètriques reportades per les analítiques de l’aprenentatge. Gràcies a aquesta anàlisi prematura, el docent va poder anticipar-se a situacions de risc que dificulten als estudiants el desenvolupament de l’activitat d’avaluació. Aquesta predicció va ser anticipada mitjançant una estratègia de planificació de les accions que s’havien de dur a terme, la qual es mostra en la taula 2, amb la llista d’activitats en forma de fulla de verificació (checklist). Aquesta taula pot servir de referència per desplegar altres iniciatives similars relacionades amb les analítiques de l’aprenentatge.

Matriu de verificació per l’anàlisi de l’aprenentatge
Check	Codi	Tasca
Fase prèvia
□	A1	Realitzar formació per la capacitació docent en l’ús de DIANA.
□	A2	Accés a l’eina DIANA i verificació de credencials.
□	A3	Definir inici i fi del Debat Virtual.
Abans d’iniciar el Debat Virtual
□	B1	Definir configuració de DIANA en el panell de control.
□	B2	Obtenir el consentiment informat dels estudiants.
□	B3	Disseny de l’activitat de discussió en línia asíncrona: objectius, organització, criteris…
□	B4	Preparar el missatge d’inici de l’activitat.
Durant el Debat Virtual
	Etapa de plantejament de qüestions inicials
□	C1	Publicar missatge en el Tauler del professorat presentant l’activitat (B3).
□	C2	Publicar en el Fòrum els fils de discussió inicials (B4).
□	C3	Passats 2 dies, alertar els estudiants que encara no han participat.
	Etapa de discussió i argumentació virtual
□	C4	Publicar missatge en el Tauler del professorat per donar inici a aquesta etapa.
□	C5	Dinamitzar el Fòrum amb nous fils, reconduint la discussió si és necessari.
□	C6	Anàlisi de l’aprenentatge durant els dies intermedis.
	Etapa de conclusions
□	C7	Publicar missatge en el Tauler del professorat per donar inici a aquesta etapa.
□	C8	Missatge recordatori de tancament el dia previ a la finalització del debat.
Posterior al Debat Virtual
□	D1	Publicar missatge en el Tauler del professorat per tancar l’activitat.
□	D2	Avaluar l’estudiant.
□	D3	Recollir les dades necessàries d’analítiques de l’aprenentatge per al projecte I+D.

4. Ús de les mètriques i indicadors per la presa de decisions

En aquesta etapa, el professorat evidencia la seva labor docent a través de l’aplicació de mesures específiques d’acompanyament de l’estudiant. Aquestes mesures depenen de la interpretació que es faci de les analítiques de l’aprenentatge i de la capacitat de predir el comportament de l’estudiant que es troba en una situació d’especial vulnerabilitat.

En el cas descrit, aquestes mesures van ser clarament enfocades a la reducció de l’índex d’abandonament dels estudiants a l’assignatura, així com també a l’augment del seu rendiment acadèmic. Aquests dos grans objectius van ser el motiu principal (leitmotiv) de la intervenció docent fonamentada en dos pilars: l’ús continuat de les analítiques de l’aprenentatge en cada fase del Debat Virtual, i les respostes (feedback) personalitzades sobre la base d’aquesta anàlisi.

S’ha de destacar l’augment del nivell de satisfacció dels estudiants que van ser monitorats amb l’eina DIANA una vegada van ser consultats quan van finalitzar l’activitat de Debat Virtual. Aquest augment es va mesurar en contrast amb aquells grups el seguiment i l’avaluació dels quals de l’activitat d’avaluació es va desenvolupar de manera convencional.

5. Refinament i compartició dels resultats

Arribats a aquest punt, podem dir que el tipus d’analítiques que el professorat va desenvolupar va ser «descriptiva» principalment. Tanmateix, la seva experiència docent li permetia dur a terme l’analítica diagnòstica, i avaluar quines accions havien produït que alguns estudiants no seguissin amb èxit l’activitat. D’aquesta manera, s’aconseguia depurar el marc procedimental i corregir aquells elements de la pròpia activitat o de l’actuació docent quant a seguiment efectuat per facilitar el compliment dels objectius de l’assignatura.

La comprensió del fenomen d’interacció comunicativa reproduït en el Debat Virtual, ofereix informació de valor per millorar la pròpia activitat i adequar-la als interessos particulars dels estudiants. Per aquest motiu, el professorat va millorar en cada edició de l’assignatura els valors de configuració de DIANA per ajustar les alertes que l’eina presenta i també el càlcul de les mètriques.

Finalment, l’equip de professorat es va organitzar per compartir els resultats obtinguts en les seves respectives aules. Aquest treball col·laboratiu de contrast es va executar cíclicament per cadascuna de les edicions de l’assignatura, semestre a semestre.