Tecnología de seguimiento ocular y técnicas de minería de datos utilizadas para un análisis de comportamiento de adultos involucrados en procesos de aprendizaje

Resumen

Presentamos un protocolo para un análisis conductual de adultos (de 18 a 70 años) involucrados en procesos de aprendizaje, realizando tareas diseñadas para el Aprendizaje Autorregulado (SRL). Los participantes, profesores y estudiantes universitarios, y adultos de la Universidad de la Experiencia, fueron monitoreados con dispositivos de seguimiento ocular y los datos fueron analizados con técnicas de minería de datos.

Resumen

El análisis del comportamiento de los adultos que participan en tareas de aprendizaje es un desafío importante en el campo de la educación de adultos. Hoy en día, en un mundo de continuos cambios tecnológicos y avances científicos, existe una necesidad de aprendizaje y educación a lo largo de toda la vida dentro de los entornos educativos formales y no formales. En respuesta a este desafío, el uso de la tecnología de seguimiento ocular y las técnicas de extracción de datos, respectivamente, para el aprendizaje supervisado (principalmente de predicción) y no supervisado (específicamente el análisis de conglomerados), proporcionan métodos para la detección de formas de aprendizaje entre los usuarios y /o la clasificación de sus estilos de aprendizaje. En este estudio, se propone un protocolo para el estudio de los estilos de aprendizaje entre adultos con y sin conocimientos previos a diferentes edades (18 a 69 años) y en diferentes puntos a lo largo del proceso de aprendizaje (inicio y fin). Las técnicas de análisis estadístico de varianza significan que se pueden detectar diferencias entre los participantes por tipo de alumno y conocimiento previo de la tarea. Del mismo modo, el uso de técnicas de agrupamiento de aprendizaje no supervisadas arroja luz sobre formas similares de aprendizaje entre los participantes en diferentes grupos. Todos estos datos facilitarán propuestas personalizadas del profesor para la presentación de cada tarea en diferentes puntos de la cadena de tratamiento de la información. Asimismo, será más fácil para el profesor adaptar los materiales didácticos a las necesidades de aprendizaje de cada alumno o grupo de alumnos con características similares.

Introducción

Metodología de seguimiento ocular aplicada al análisis conductual en el aprendizaje
La metodología de seguimiento ocular, entre otros usos funcionales, se aplica al estudio del comportamiento humano, específicamente durante la resolución de tareas. Esta técnica facilita el seguimiento y análisis durante la realización de las tareas de aprendizaje^1. En concreto, los niveles de atención de los alumnos en diferentes puntos del proceso de aprendizaje (inicio, desarrollo y fin) en diferentes materias (Historia, Matemáticas, Ciencias, etc.) se pueden estudiar con el uso de la tecnología de seguimiento ocular. Además, si la tarea incluye el uso de vídeos con una voz que guíe el proceso de aprendizaje, se facilita el Aprendizaje Autorregulado (SRL). Por lo tanto, la implementación de la tecnología de seguimiento ocular en el análisis de tareas a las que srl (que incluyen el uso de videos) se propone como un recurso significativo para entender cómo se desarrolla el aprendizaje^2,3,4. Esta combinación también significará que las diferencias entre los métodos de instrucción (con o sin SRL, etc.) se pueden comprobar con diferentes tipos de estudiantes (con o sin conocimientos previos, etc.) ^5.Por el contrario, la presentación de información multicanal (presentación simultánea de información tanto auditiva como visual, ya sea verbal, escrita o pictórica) puede facilitar tanto el registro como el análisis de información relevante frente a no relevante de las variables antes^{mencionadas 6.} Los estudiantes con conocimientos previos expuestos a canales de aprendizaje multimedia parecen aprender de manera más efectiva que aquellos con poco o ningún conocimiento previo. Los estudiantes con altos niveles de conocimiento previo de la materia integrarán la información textual y gráfica de manera más efectiva⁷. Esta funcionalidad se ha observado en el aprendizaje de textos⁸ que incluyen imágenes^9. La tecnología de seguimiento ocular ofrece información sobre dónde se centra la atención y durante cuánto tiempo. Estos datos dan una idea del desarrollo de un proceso de aprendizaje de una manera más precisa que a través de la simple observación del proceso de resolución durante la finalización de una tarea. Además, el análisis de estos indicadores facilita el estudio de si el alumno desarrolla un aprendizaje profundo o superficial. Además, la relación entre estos datos y los resultados del aprendizaje facilita la validación de la información obtenida con la tecnología de seguimiento ocular^4,10. De hecho, esta técnica junto con el SRL se utilizan cada vez más en la Educación Superior y en la Educación de Adultos¹¹ entornos de aprendizaje, tanto en cursos regulados como no regulados¹².

La tecnología de seguimiento ocular ofrece diferentes métricas: distancia, velocidad, aceleración, densidad, dispersión, velocidad angular, transiciones entre Áreas de Interés (AOI), orden secuencial de AOI, visitas en las fijaciones, saccades, ruta de escaneo y parámetros de mapa de calor. Sin embargo, la interpretación de estos datos es compleja y requiere el uso de técnicas de clúster supervisadas (regresión, árboles de decisión, etc.) y no supervisadas (técnicas de clúster k-means, etc.) ^13,14 técnicas de minería de datos. Estas métricas pueden ser aplicadas para el seguimiento del comportamiento de un mismo sujeto a lo largo del tiempo o para una comparación entre varios sujetos y su desempeño con la misma tarea^15,mediante el análisis de la diferencia entre los participantes con conocimientos previos frente a los no conocimientos previos^16. Investigaciones recientes^11,17 han revelado que los aprendices novatos se fijan más tiempo en los estímulos (es decir, hay una mayor frecuencia de fijación mientras se registran patrones similares de trayectoria de exploración). La duración media de la fijación fue mayor para los expertos que para los novatos. Los expertos presentaron su foco de atención en los puntos medios de la información (proximal y central), diferencias que también se pueden ver en los puntos de visualización dentro del AOI en los mapas de calor.

Interpretación de métricas en el seguimiento ocular
Estudios recientes¹⁸ han indicado que la adquisición de información está relacionada con el número de fijaciones oculares en los estímulos. Otra métrica importante es el saccade, que se define como el movimiento rápido y repentino de una fijación con un intervalo de [10 ms, 100 ms]. Sharafi et al. (2015)¹⁸ encontraron diferencias en el número de saccades, dependiendo de la fase de codificación de la información del estudiante. Otro parámetro relevante es el scan-path, una métrica que captura el orden cronológico de los pasos que el participante realiza para la resolución de la tarea de aprendizaje dentro de la AOI definida por el investigador¹⁸. Del mismo modo, la tecnología de seguimiento ocular se puede utilizar para predecir el nivel de comprensión del participante, que parece estar relacionado con el número de fijaciones. Estudios recientes han indicado que la variabilidad en el comportamiento de la mirada está determinada por las propiedades de la imagen (posición, intensidad, color y orientación), las instrucciones para realizar la tarea y el tipo de procesamiento de la información (estilo de aprendizaje) del participante. Estas diferencias se detectan analizando la interacción del alumno con los diferentes AOI^19. Se pueden utilizar técnicas cuantitativas²⁰ (análisis de frecuencia) y/o cualitativas o dinámicas²¹ (ruta de escaneo) para analizar los datos recopilados de las diferentes métricas. Las primeras técnicas se analizan con técnicas estadísticas tradicionales (análisis de frecuencia, diferencia de medias, diferencia de varianza, etc.) y las segundas se analizan con técnicas de Machine Learning (distancias euclidianas con métodos de edición de cadenas^21,22,y clustering^17). La aplicación de estas técnicas facilita el clustering, al considerar diferentes características de los sujetos. Un estudio¹⁷ encontró que cuanto más experto es el estudiante, más efectiva es la estrategia de procesamiento de información espacial y temporal que se implementa. Una tabla descriptiva de los parámetros de medición que se utilizaron en este estudio se puede consultar a continuación en la Tabla 1.

Tabla 1: Parámetros más representativos que se pueden obtener con la técnica de eye-tracking, adaptado de Sáiz, Zaparaín, Marticorena y Velasco (2019). ²⁰   Haga clic aquí para descargar esta tabla.

Aplicación de la metodología de seguimiento ocular al estudio del proceso de aprendizaje
El uso de los avances tecnológicos y las técnicas de análisis de datos descritas anteriormente⁵ agregará una mayor precisión al análisis conductual de los estudiantes durante la resolución de problemas en las diferentes fases del procesamiento de la información (iniciación de tareas, procesamiento de información y resolución de tareas). Todo ello facilitará el análisis conductual individual, lo que a su vez permitirá la agrupación de estudiantes con características similares²⁴. Asimismo, técnicas predictivas (árboles de decisión, técnicas de regresión, etc.) ²⁵ se pueden aplicar al aprendizaje, relacionados tanto con el número de fijaciones como con los resultados de la resolución de tareas de cada estudiante. Esta funcionalidad supone un avance muy importante en el conocimiento de cómo aprende cada alumno y para la propuesta de programas de aprendizaje personalizados dentro de diferentes colectivos (personas con o sin dificultades de aprendizaje^26). Por lo tanto, el uso de esta técnica contribuirá al logro de la personalización y optimización del aprendizaje²⁷. El aprendizaje a lo largo de toda la vida debe entenderse como un ciclo de mejora continua, ya que el conocimiento de la sociedad avanza y progresa constantemente. La psicología evolutiva indica que las habilidades de resolución y la efectividad en el procesamiento de la información disminuyen con la edad. Específicamente, la frecuencia del saccade, la amplitud, y la velocidad de los movimientos de ojo entre adultos se han encontrado para disminuir con edad. Además, a edades más avanzadas, la atención se centra en las áreas inferiores de las escenas visuales, lo que se relaciona con los déficits en la memoria de trabajo¹⁴. Sin embargo, la activación aumenta en las áreas frontales y prefrontales a una edad más avanzada, lo que parece compensar estos déficits en la resolución de tareas. Este aspecto incluye el nivel de conocimiento previo y las estrategias de compensación cognitiva que el sujeto puede aplicar. Los participantes experimentados aprenden de manera más eficiente, ya que gestionan la atención de manera más efectiva, debido a la aplicación de procesos de supervisión^{automatizados 28}. Además, si la información a aprender se imparte a través de técnicas de SRL, se mitigan las deficiencias antes mencionadas^17. El uso de tales técnicas significa que los patrones de seguimiento visual son muy similares, tanto en sujetos sin conocimientos previos como en sujetos con conocimientos previos⁷.

En resumen, el análisis de los datos multimodal-multicanal sobre SRL obtenidos con el uso de tecnologías de aprendizaje avanzado (eye-tracking) es clave para comprender la interacción entre los procesos cognitivos, metacognitivos y motivacionales, y su impacto en el aprendizaje^29. Los resultados y el estudio de las diferencias en el aprendizaje tienen implicaciones para el diseño de materiales de aprendizaje y sistemas de tutoría inteligentes, los cuales permitirán un aprendizaje personalizado que probablemente sea más efectivo y satisfactorio para el estudiante^30.

En esta investigación, se hicieron dos preguntas de investigación: (1) ¿Habrá diferencias significativas en los resultados de aprendizaje y en los parámetros de fijación ocular entre los estudiantes y los profesores expertos versus no expertos en Historia del Arte diferenciando a los estudiantes con títulos oficiales de los estudiantes con títulos no oficiales (University of Experience - Educación de adultos)? y (2) ¿Coincidirán los grupos de cada participante con resultados de aprendizaje y parámetros de fijación ocular con el tipo de participantes (estudiantes con títulos oficiales, estudiantes con títulos no oficiales (Universidad de la Experiencia - Educación de Adultos) y profesores)?

Protocolo

Este protocolo se realizó en cumplimiento de la normativa de procedimiento del Comité bioético de la Universidad de Burgos (España) nº Nº IR27/2019. Antes de su participación, los participantes habían sido plenamente conscientes de los objetivos de la investigación y todos habían dado su consentimiento informado. No recibieron ninguna compensación económica por su participación.

1. Reclutamiento de participantes

1. Reclutar participantes de entre un grupo de adultos dentro de dos ambientes (estudiantes y profesores), con un rango de edad de 18 a 69 años en el ambiente de la Educación Superior (educación formal y no formal).
2. Incluya a los participantes con visión y audición normales o corregidas a normales.
3. Excluya a los participantes con trastornos neurológicos, psiquiátricos y del sueño, discapacidades relacionadas con necesidades educativas especiales, dificultades perceptivas (problemas de visión y audición) y discapacidades cognitivas.
   NOTA: En este estudio se trabajó con una muestra de 40 participantes, 6 estudiantes de la Universidad de la Experiencia (un participante fue excluido en la categoría de estudiantes de la universidad de la experiencia por dificultades visuales), 25 profesores universitarios en las disciplinas de ciencias de la salud, ingeniería e historia y patrimonio, y 9 estudiantes de pregrado y maestría que siguen cursos de ciencias de la salud, ingeniería e historia y patrimonio. Los participantes no tenían problemas cognitivos, auditivos ni visuales, y todos tenían visión normal o corregida a normal (Tabla 2). Es por ello que, uno de los participantes fue eliminado antes de iniciar el experimento porque se le había detectado nistagmo y por lo tanto la tarea se aplicó a una muestra de 39 participantes. Los participantes no recibieron ninguna compensación financiera ni profesional; es por ello que la motivación de los participantes era alta ya que solo se basaba en su interés por conocer cómo funciona este método de seguimiento ocular durante un proceso de aprendizaje relacionado con el patrimonio cultural, concretamente el origen de los monasterios europeos.

Tabla 2. Características de la muestra.  Haga clic aquí para descargar esta tabla.

2. Procedimiento Experimental

1. Sesión 1: Recopilación de consentimiento informado, datos personales y conocimientos de antecedentes
   1. Obtener el consentimiento informado. Antes de la prueba, informar a cada participante de los objetivos del estudio y la recopilación, tratamiento y almacenamiento de sus datos. El acuerdo de cada participante se da mediante la firma del formulario de consentimiento informado.
      NOTA: La participación en este estudio fue voluntaria y no hubo recompensa económica. Este aspecto aseguraba que la realización de las tareas no tuviera ninguna motivación económica. Antes de comenzar la tarea, el entrevistador, experto en la materia, rellena un cuestionario con preguntas sobre la edad, el sexo, la ocupación y el conocimiento previo de la materia, en este caso, el origen y el desarrollo histórico de los monasterios en Europa (ver Tabla 3). Este estudio forma parte de un Proyecto Europeo (2019-1-ES01-KA204-095615-Coordinador 6) sobre el aprendizaje de adultos sobre el Patrimonio Cultural de la Humanidad a lo largo de la vida; por eso se eligió este tipo de tareas. Cada investigador elegirá el tema en función de su campo de trabajo.

Tabla 3. Cuestionario de entrevista.  Haga clic aquí para descargar esta tabla.

2. Sesión 2: Calibración
   1. Informe al participante sobre cómo funciona la tecnología de seguimiento ocular y cómo se recopilará, registrará y calibrará la información: "Utilizaremos la tecnología de seguimiento ocular para observar la finalización de la tarea de aprendizaje sobre el origen y el desarrollo de los monasterios europeos. El eye tracking es una tecnología que te permite seguir tu mirada mientras realizas la actividad y no tiene efectos secundarios, ni es invasivo, ya que en este estudio solo se registra el eye tracking".
   2. Explicar al participante que una prueba válida requiere un posicionamiento adecuado. Hacer que el participante se siente a cierta distancia [45 a 60 cm] del monitor. La distancia dependerá de la altura del participante, cuanto menor sea la altura, menor será la distancia.
   3. Informar al participante que aparecerán una serie de puntos en los puntos cardinales de la pantalla y que a medida que aparezca cada punto el participante deberá observarlo con los ojos. El participante puede moverse de un punto a otro utilizando el cursor "enter". La fase de calibración tiene una duración de 10-15 minutos.
      NOTA: Para el ejercicio de resolución de tareas se utilizaron un iViewer XTM de seguimiento ocular, SMI Experimenter Center 3.0 y SMI Be Gaze y un monitor con una resolución de 1680×1050. Este equipo registra los movimientos oculares, sus coordenadas y diámetros puerros de cada ojo. En este estudio, se aplicaron 60 Hz, se utilizaron métricas de ruta de exploración y métricas dinámicas de ruta de exploración, y se determinaron estadísticas de AOI.
   4. Compruebe la configuración de calibración. El profesional que supervisa la prueba analiza la configuración de calibración en la pantalla de control.
      1. Realice la calibración a través del sistema de calibración que se incluye en el iViewer XTM de seguimiento ocular. Antes de comenzar esta tarea, cada participante realiza un seguimiento visual de cuatro puntos en una pantalla a las cuatro esquinas (arriba-derecha, arriba-izquierda, abajo-derecha, abajo-izquierda). Posteriormente, el software tiene un proceso de verificación de ejecución de la posición correcta de estos estímulos y da información sobre el ajuste de parámetros en grados. Si este ajuste se sitúa entre 0,6º ± 1 en el ojo derecho e izquierdo, se considera que la calibración es correcta, y se inicia la ejecución de la tarea. Un ejemplo del proceso se puede verificar en la figura 1.
         NOTA: Se considera la finalización correcta de la tarea cuando los grados en el ojo derecho e izquierdo se establecen en 0.6º ± 1 desviación estándar. En este estudio, se detectaron dos calibraciones entre el grupo de profesores universitarios que excedieron el criterio de ajuste de 0,6º ± 1 y, por lo tanto, se eliminaron dos participantes. Por lo tanto, los 25 participantes de la primera muestra se redujeron a 23 participantes.

Figura 1. Proceso de calibración de seguimiento ocular Haga clic aquí para ver una versión más grande de esta figura.

3. Sesión 3: Realización de la tarea de aprendizaje
   1. Explicar el contenido de la tarea al participante. Un experto en psicología instruccional explica al participante en qué consistirá la tarea y cómo realizarla: "El video tiene una duración de 1:14 segundos y consta de 5 imágenes de voz en general. Al final, se invita al participante a completar un pequeño crucigrama para comprobar que se ha entendido la información presentada en el vídeo".
   2. Mira el videoclip. El vídeo utilizado en la tarea se puede ver en el siguiente enlace: https://youtu.be/HlGGgrYDTFs.
      NOTA: La tarea consiste en ver un vídeo que ofrece información sobre los orígenes de los monasterios europeos. La información ha sido elaborada por un especialista, un profesor de Historia del Arte. La información se organiza en dos canales, uno visual que incluye imágenes e información escrita presentada como contornos y otro de audio porque un profesor especialista en SRL está hablando a lo largo del video insistiendo en los contenidos más significativos utilizando énfasis verbal.
   3. Realizar el crucigrama en una plataforma virtual basada en Moodle. Al hacer clic en el icono de crucigrama se lleva al participante a una plataforma virtual donde se puede completar el crucigrama, para comprobar si se han adquirido los conocimientos. El crucigrama se presenta en la Figura 2.

Figura 2. Crucigrama para comprobar los conocimientos adquiridos. Haga clic aquí para ver una versión más amplia de esta figura.

4. Sesión 4: Análisis de datos
   1. Elija las Áreas de interés (AOI). Las AOIs se definen en el vídeo y se dividen en AOIs que contienen información relevante frente a AOIs que incluyen información no relevante.
      NOTA: La asignación de AOI es realizada por el experimentador que decide cuáles son los AOIs relevantes o irrelevantes en relación con la información presentada.
   2. Extraiga la base de datos relacionada con los parámetros para las fijaciones de AOI ("Hora de prueba de inicio de evento", "Tiempo de prueba de finalización de evento" y "Duración de evento"; "Posición de fijación X", "Posición de fijación Y", "Tamaño medio de la pupila de fijación", "Tamaño medio de la pupila de fijación Y px", "Diámetro medio de la pupila de fijación", "Dispersión de fijación X" y "Dispersión de fijación Y").
   3. Importe la base de datos en un paquete de software de procesamiento estadístico y seleccione la opción analizar y luego clasificar, seguida de la opción k-means cluster. A continuación, seleccione la tabla cruzada en el paquete de software estadístico, por ejemplo SPSS, seguido de la opción 'ANOVA', para analizar las diferencias entre los participantes (tipo de grupos de adultos y grado de conocimiento previo) con respecto a sus parámetros de fijación de AOI^31.
      NOTA: El análisis de clustering o cluster es una técnica de aprendizaje automático 'no supervisada' y, dentro de k-means, es un método de agrupación, cuyo objetivo es dividir un conjunto de n observaciones en k grupos, en los que cada observación pertenece al grupo con el valor medio más cercano. En este experimento, se utilizó el clustering k-means para comprobar los clústeres de participantes en la tarea de aprendizaje. Esta correspondencia es importante, ya que ofrece al profesor o terapeuta información sobre el desarrollo funcional homogéneo de los usuarios que va más allá del diagnóstico, proporcionando información para proponer programas de intervención similares en algunas áreas del desarrollo funcional. Se espera que esta opción facilite el pleno uso del servicio educativo o terapéutico y sus recursos personales y materiales.
   4. Realizar un análisis de visualización de los datos (descriptivos y análisis de cluster) que se procesan, utilizando un software de visualización como Orange^32.
   5. Extraiga los datos sobre los parámetros de Estadísticas detalladas: Tiempo de permanencia, Duración de la mirada, Duración de desvío, Recuento de miradas, Recuento de fijación, Fijación promedio y Duración y luego importe esa base de datos en un paquete de software estadístico. Seleccione la opción 'ANOVA' en el paquete estadístico y luego realice un análisis de visualización de los datos que se procesaron (medias). Utilice la hoja de cálculo para generar un gráfico de araña y gráficos de barras específicos para los grupos de participantes.
5. Sesión 5: Propuestas de aprendizaje personalizadas
   1. Realizar un programa de intervención para mejorar los resultados de aprendizaje entre los participantes detectados en el análisis por conglomerados, debido a sus menores puntuaciones.
      NOTA: Un resumen de las fases seguidas en el procedimiento experimental se muestra en la Figura 3.

Figura 3. Fases del procedimiento experimental. Haga clic aquí para ver una versión más amplia de esta figura.

Resultados

Los 36 participantes reclutados para el presente estudio provenían de tres grupos de adultos (estudiantes de la universidad de la experiencia, profesores universitarios y estudiantes de pregrado y maestría) con edades comprendidas entre [18 y 69] años(Tabla 2). El protocolo se probó durante 20 meses en la Universidad de Burgos. Un resumen de la evolución puede verse en la Tabla 4.

T...

Discusión

Los resultados de la investigación indicaron que la duración media de la fijación en los estímulos relevantes fue más larga entre los participantes con conocimientos previos. Asimismo, el foco de atención en este grupo está en los puntos medios de información (proximal y distal)⁷. Los resultados de este estudio han revelado diferencias en la forma en que los participantes procesaron la información. Además, su procesamiento no siempre estuvo vinculado a la agrupación inicial (Estudiantes...

Materiales

Name	Company	Catalog Number	Comments
iViewer XTM	iViewer
SMI Experimenter Center 3.0	SMI
SMI Be Gaze	SMI