N02-S02-02 33

Análisis de la efectividad del Chatbot en el rendimiento académico de estudiantes universitarios

Compartir en TWITTER/FACEBOOK/LINKEDIN

Deja tu comentario

Participa en esta ponencia enviádole tu pregunta o comentario a los autores

Añadir comentario

Firmantes

profile avatar
Víctor Hugo Perera RodríguezUniversidad de Sevilla
profile avatar
Almudena Cotán FernándezUniversidad de Huelva
profile avatar
Manuel Reina-ParradoUniversidad de Sevilla
profile avatar
Anabel Moriña DíezUniversidad de Sevilla

Enfoque

En los últimos años, ha habido un incremento significativo en la popularidad de la Inteligencia Artificial (IA). En el contexto educativo, la IA no está plenamente integrada, siendo una tecnología escasamente conocida cuyo uso se está empezando a extender gracias a la reciente mejora de los ya existentes chatbots. Un chatbot es un programa informático que simula una conversación con personas y que ha adquirido una gran importancia en los procesos comunicativos de índole didáctica.

Derivado de ello, en la presente comunicación, se analiza la funcionalidad del chatbot TICa y su incidencia en el desempeño académico de los estudiantes. El estudio se enmarca en un proyecto de investigación financiado por la Consejería de Economía, Conocimiento, Empresas y Universidad de la Junta de Andalucía, cuyo título es ”Prácticas docentes inclusivas con tecnologías emergentes (m-learning): diseño, desarrollo y evaluación de un programa de formación para profesorado universitario (US-1381423)”.

Para el desarrollo de este proyecto se ha optado por una metodología cuantitativa y cualitativa, con técnicas de análisis de contenido y estadística descriptiva. Se recopilaron datos de 53 estudiantes de primer año del Grado de Educación Primaria en Tecnología de la Información y Comunicación aplicada a la Educación, utilizando SPSS y MAXQDA para el análisis.

Los resultados indican que la implementación del chatbot tuvo consecuencias positivas en el proceso de aprendizaje de los estudiantes, mejorando significativamente su proceso de aprendizaje, despertando su curiosidad e interés en la materia. Las conclusiones destacan la importancia de reflexionar sobre su potencial para ser integrado en el proceso de enseñanza.

Preguntas y comentarios al autor/es

Hay 33 comentarios en esta ponencia

    • profile avatar

      Jorge Maldonado-Mahauad

      Comentó el 27/11/2023 a las 14:17:03

      Buen día, excelente trabajo, felicitaciones.
      En relación al uso del chatbot, este sugería pistas para apoyar a los estudiantes o les ayudaba con la respuesta directamente? de ser uno u otro el caso, como validarían la metodología y los resultados?
      Gracias.

    • profile avatar

      Miriam Martín Paciente

      Comentó el 26/11/2023 a las 11:27:52

      Excelente trabajo ¿creen que esta metodología se podría aplicar a áreas como jurídicas , en la resolución de dudas en los TFT? Resolvería muchas dudas que tienen los alumnos al respecto? Reitero las felicitaciones. Un cordial saludo

    • profile avatar

      Fernando Manuel Castro Figueroa

      Comentó el 24/11/2023 a las 23:40:37

      Excelente ponencia, ¿cuáles fueron los principales retos de su investigación? ¿cuáles son sus recomendaciones para futuros universitarios y para profesores investigadores sobre el manejo de las TIC´s?

      Muchas gracias. Saludos cordiales.

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 29/11/2023 a las 17:36:15

        Estimado Fernando,
        Estimada Tamara,
        Muchas gracias por sus palabras. Respecto a su cuestión, los principales desafíos identificados en este estudio, se centran en los problemas que aparecieron en el uso del chatbot. Respecto a estos, cabe identificar que, muchos estudiantes, presentaron errores en las interacciones con el chatbot. Se identificaron algunas dificultades debido a la falta de familiaridad con el uso del chatbot. Sin embargo, esto no afectó a su uso e implementación. Por otro lado, los perfiles del chatbot, como el ayudante, mostraron tasas más altas de errores en comparación con otros perfiles como el de tutor y el de evaluador. En último lugar, la necesidad de reiniciar la aplicación debido a bloqueos o demoras en las respuestas, también afectó la experiencia del usuario.
        Espero haber dado respuesta a su cuestión. No obstante, cualquier otra consulta, nos tiene a su disposición.
        Un saludo,

    • profile avatar

      Andrea Carolina Reyes Mella

      Comentó el 24/11/2023 a las 19:44:03

      Muy interesante su investigación. ¿Cuál es la percepción de los docentes respecto del uso de esta tecnología en los aprendizajes de sus estudiantes?
      Saludos.

    • profile avatar

      Isabel García Sánchez

      Comentó el 24/11/2023 a las 18:24:09

      Buenas tardes,
      Felicidades por su comunicación. Me gustaría preguntarles , ¿ Esta metodología puede ajustarse de forma individual a las necesidades específicas de cada estudiante? ,¿ A qué desafíos específicos se enfrentaron al integrar el chatbot en el entorno educativo?
      Un saludo y muchas gracias

    • profile avatar

      Carmen Gloria Ríos Binimeis

      Comentó el 24/11/2023 a las 14:40:41

      Buenos días. Muy interesante trabajo. Una pregunta ¿hubo alguna inducción para los docentes para la implementación de esta activivad y cómo perciben ellos el uso de IA ?
      Saludos cordiales

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 29/11/2023 a las 17:26:52

        Estimada Carmen,
        Estás cuestiones no se trataron ni fueron de interés para el estudio concreto. Es una línea interesante que merece ser estudiada. Quienes participaron de esta experiencia, en el caso de los docentes, tuvieron que aprender sobre el uso del CB de manera autónoma. Respecto a los estudiantes, se dedicó una sesión para enseñarles a utilizar la herramienta, muy enfocada a la práctica que debían trabajar. Además, se les dio materiales de apoyo para que pudieran profundizar en el uso del CB.
        Para cualquier consulta, nos tiene a su entera disposición.
        Un saludo,

    • profile avatar

      Alberto Quilez Robres

      Comentó el 24/11/2023 a las 12:32:50

      Gracias por su trabajo. Considerando los resultados positivos en el proceso de aprendizaje y el interés despertado por el chatbot TICa, ¿cuáles serían los siguientes pasos para una integración más efectiva de esta tecnología en el proceso de enseñanza, y cómo se podrían abordar los posibles desafíos para su implementación a mayor escala?

    • profile avatar

      Pablo Rosser

      Comentó el 23/11/2023 a las 20:25:10

      Estimados colegas,

      Les felicito por los hallazgos de su estudio sobre la implementación del chatbot TICa y su impacto en el desempeño académico de los estudiantes.

      Nuestras preguntas se centran en varios aspectos clave de su estudio:

      ¿Cómo respondieron diferentes estilos de aprendizaje de los estudiantes a la implementación del chatbot TICa? ¿Observaron variaciones en la eficacia del chatbot en función de estos estilos?

      ¿Qué tipo de retroalimentación recibieron de los docentes respecto al uso del chatbot en el aula?

      ¿Cuáles fueron los principales desafíos y limitaciones que enfrentaron al implementar el chatbot en el entorno educativo?

      Muchas gracias.

      Atentamente,
      Pablo Rosser

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 29/11/2023 a las 17:27:42

        Estimado Pablo,
        La primera cuestión no se puede responder con los datos del estudio. No obstante, desde la experiencia del docente, sí podemos responder que todos los estudiantes participaron haciendo un uso correcto de la herramienta; sin que se presentaran problemas graves, más allá de algunas dificultades técnicas que se solventaron sin dificultad.
        Durante el proceso de la práctica, la mayor parte del feedback que aportó el docente estaba dirigido a resolver dudas y consultas realizadas por los estudiantes sobre el contenido de estudio.
        Algunos de los desafíos y limitaciones que enfrentaron los estudiantes están recogidos en los dos trabajos que se han presentado a este congreso.
        Para cualquier consulta, nos tiene a su disposición.
        Un saludo,

    • profile avatar

      Tamara Aller Carrera

      Comentó el 23/11/2023 a las 17:34:20

      Enhorabuena por vuestro trabajo. ¿Cuáles fueron los principales desafíos en su integración?

      Gracias,

      Tamara Aller

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 24/11/2023 a las 07:35:11

        Estimada Tamara,
        Muchas gracias por sus palabras. Respecto a su cuestión, los principales desafíos identificados en este estudio, se centran en los problemas que aparecieron en el uso del chatbot. Respecto a estos, cabe identificar que, muchos estudiantes, presentaron errores en las interacciones con el chatbot. Se identificaron algunas dificultades debido a la falta de familiaridad con el uso del chatbot. Sin embargo, esto no afectó a su uso e implementación. Por otro lado, los perfiles del chatbot, como el ayudante, mostraron tasas más altas de errores en comparación con otros perfiles como el de tutor y el de evaluador. En último lugar, la necesidad de reiniciar la aplicación debido a bloqueos o demoras en las respuestas, también afectó la experiencia del usuario.
        Espero haber dado respuesta a su cuestión. No obstante, cualquier otra consulta, nos tiene a su disposición.
        Un saludo,

    • profile avatar

      Juan Alejandro Martínez Navarro

      Comentó el 23/11/2023 a las 15:55:21

      Estimados/as.
      Enhorabuena por su aportación.
      La descripción y utilidad del chatbot me parece muy interesante. Al respecto, creo que encaja bastante bien con la docencia en ciencias jurídicas. Mis dudas son ¿Cómo acceden a este tipo de herramientas? ¿pueden facilitarme algún estudio o bibliografía al respecto?
      Gracias.

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 24/11/2023 a las 07:48:36

        Estimado Juan Alejandro,

        Muchas gracias por sus comentarios positivos hacia nuestro trabajo. En cuanto al acceso a este tipo de herramientas, la implementación puede variar según la plataforma y los recursos disponibles. Algunas instituciones educativas desarrollan internamente sus chatbots, mientras que otras pueden utilizar plataformas ya existentes, como es el caso de Duolingo, Squirrel AI o Quillionz.

        Respecto a su segunda cuestión, le indico algunas referencias bibliográficas relacionadas con el uso de chatbots en educación:

        1. Bailey, D. (2019). Chatbots as conversational agents in the context of language learning. In Proceedings of the Fourth Industrial Revolution and Education, Dajeon, Korea, 27–29.
        2. Hsu, T., Huang, H., Hwang, G., & Chen, M. (2023). Effects of incorporating an expert decision-making mechanism into chatbots on students’ achievement, enjoyment, and anxiety. Educational Technology and Society, 26(1), 218-231.
        3. Hwang, G. J., & Chang, C. Y. (2023). A review of opportunities and challenges of chatbots in education. Interactive Learning Environments, 31(7), 4099-4112.
        4. Lane, H. C., Gobert, J., Kennedy, M., & Ahmed, F. (2019). Intelligent tutoring systems that respond to field of study and cognitive and affective states. Computers & Education, 138, 12-29.
        5. Okonkwo, C. W., & Ade-Ibijola, A. (2021). Chatbots applications in education: A systematic review. Computers and Education: Artificial Intelligence, 2, 100033.
        6. Pérez, J. Q., Daradoumis, T., & Puig, J. M. M. (2020). Rediscovering the use of chatbots in education: A systematic literature review. Computer Applications in Engineering Education, 28(6), 1549-1565.
        7. Serholt, S., Barendregt, W., Alklind Taylor, A., & Gulz, A. (2016). 'It's just like you talk to a friend' - Children's experience of their relationship with a social robot. Frontiers in Psychology, 7, 611.
        8. Xia, Q., Chiu, T. K. F., Chai, C. S., & Xie, K. (2023). The mediating effects of needs satisfaction on the relationships between prior knowledge and self-regulated learning through artificial intelligence chatbot. British Journal of Educational Technology,

        Espero que esta información le sea útil. Si tiene alguna otra pregunta o necesita más detalles, no dude en indicárnoslos.

        Reciba un cordial saludo,

    • Comentó el 23/11/2023 a las 14:03:13

      Buenas tardes,

      Muy interesante vuestra ponencia, quería preguntar ¿Qué tipos de contenidos tenía el chatbot para poder responder a las preguntas de los estudiantes? y con qué tipo de datos fue instruido.

      Gracias

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 29/11/2023 a las 17:28:36

        Estimada Alicia,
        En este caso, el docente no alimentó la base de datos con contenidos predeterminados ya que desconocía de antemano las dudas que los estudiantes pudieran tener sobre el contenido de los temas a estudiar. De modo que el CB actuó en este caso como mediador, registrando las consultas de los estudiantes para que el profesor las pudiera tratar de resolver, en parte a través del CB y, en otras ocasiones, durante la sesión presencial en clase.
        Para cualquier consulta, estamos a su entera disposición.
        Un saludo,

    • profile avatar

      Ruth Villalón Molina

      Comentó el 23/11/2023 a las 13:41:22

      Es un trabajo interesante. Según su experiencia, ¿hasta qué punto los resultados que han encontrado creen que son generalizables a otras asignaturas?

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 24/11/2023 a las 16:36:59

        Estimada Ruth,
        Muchas gracias por sus palabras. Los resultados aquí indicados son, sin duda, extrapolables a cualquier materia en cualquier área de conocimiento. No se ha centrado tanto en la adquisición de un conocimiento, sino en una herramienta que facilita la experiencia de aprendizaje de los estudiantes, fomentando su motivación, interés y creatividad. Nuestro estudio indica que los chatbots pueden ser herramientas valiosas en el ámbito educativo para mejorar la calidad del aprendizaje de los estudiantes y contribuir a la transformación digital de la educación. Por ello, recomendamos la implementación de chatbots como una herramienta complementaria en las prácticas educativas para mejorar la calidad del aprendizaje de los estudiantes.
        Esperamos haber dado respuesta a sus cuestiones.
        Reciba un cordial saludo,

    • profile avatar

      Begoña Ivars Nicolás

      Comentó el 23/11/2023 a las 12:38:51

      Hola,
      Enhorabuena por la comunicación y el estudio que expone. Me parece una herramienta muy interesante y que me gustaría incorporar en mi asignatura. ¿La herramienta os la proporciona la universidad dentro de las típicas herramientas de un aula virtual? Si no, ¿Me podrías recomendar alguna de uso libre? Muchas gracias.

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 24/11/2023 a las 16:39:52

        Estimada Begoña,
        En la elaboración de este trabajo se han seguido varios pasos. El primero de ellos, se relaciona con su cuestión y, para la selección de la herramienta, se llevó a cabo una búsqueda y análisis comparativo de los programas disponibles y gratuitos para el desarrollo de chatbots sin necesidad de conocimientos informáticos, optando finalmente por SnatchBot debido a su buen funcionamiento y facilidad de uso.
        Para cualquier otra cuestión, quedamos a su disposición.
        Un saludo,

    • profile avatar

      José María Albalad Aiguabella

      Comentó el 23/11/2023 a las 11:38:25

      Buenos días, Víctor y equipo:
      Gracias, en primer lugar, por abordar un tema de suma actualidad. Los resultados, de algún modo, contrastan con algunas corrientes emergentes que abogan por la restricción del uso tecnológico en el aula. ¿Cuál es vuestra visión? Seguro que ello da pie a nuevos trabajos.
      Un saludo afectuoso,
      José Mª

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 24/11/2023 a las 10:19:16

        Estimado José Mª,
        En primer lugar, muchas gracias por sus palabras. Respecto a su cuestión, en nuestra visión, consideramos que la tecnología, y, particularmente la IA y los chatbots, ofrecen oportunidades significativas para mejorar la educación. Nuestro estudio, centrado en el chatbot TICa y su impacto en el desempeño académico, reveló resultados positivos en el proceso de enseñanza-aprendizaje de los estudiantes, observando mejoras significativas y despertando la curiosidad e interés en la materia.
        Sin embargo, consideramos que estos resultados sugieren que, cuando se implementa de manera cuidadosa y reflexiva, con un claro enfoque pedagógico, la tecnología puede ser una herramienta muy valiosa que permita enriquecer el proceso educativo. Sin embargo, también compartimos la preocupación por la necesidad de un uso equilibrado y cuidadoso de la misma y, siempre, como he indicado anteriormente, con un enfoque tecnopedagógico.
        Nos complace saber que, los resultados aquí obtenidos, pueden dar lugar a futuros trabajos que permitan mejorar, sin duda alguna, la experiencia de aprendizaje de los estudiantes universitarios.
        Para cualquier otra consulta, quedamos a su entera disposición.
        Reciba un cordial saludo,

    • profile avatar

      Martin Bulanti Salaberry

      Comentó el 23/11/2023 a las 00:29:19

      Hola. Te dejo algunas inquietudes que me surgieron al mirar el video.
      ¿Se observaron diferencias en la participación según el rendimiento académico previo?
      ¿Hubo algún patrón discernible entre los estudiantes con diferentes niveles de rendimiento académico?
      ¿Cómo se integraron los contenidos académicos del curso en las interacciones del chatbot?

      Muchas gracias

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 29/11/2023 a las 17:29:45

        Estimado Martin,
        Respecto a las dos primeras preguntas. Disponemos de información pero en el estudio no realizamos análisis paramétricos para conocer si se daban o no diferencias en la participación respecto al rendimiento académico previo. Son dos preguntas interesantes pero no podemos responder ya que nuestro estudio no se enfoca en ese objetivo.
        El CB se centró en tres perfiles de uso: asesoramiento, tutoría y evaluación. Con el primero de los perfiles, el alumnos interactuaba con el CB y éste le sugería itinerarios formativos por los contenidos de un tema. En términos sencillos, le recomentaba cómo tenía que estudiar un tema. Respecto al perfil evaluador, el alumno interactuaba con CB y éste le examinaba a través de preguntas tipo test referidas al contenido de estudio. Las preguntas trataban de reforzar términos, conceptos, clasificaciones, etc. contenidas en los temas. Las respuestas que daban los estudiantes eran apoyadas con feedback automático.
        Para cualquier otra consulta, nos tiene a su entera disposición.
        Un saludo,

    • profile avatar

      Mauricio Rodríguez López

      Comentó el 22/11/2023 a las 06:38:38

      Gracias por su aportación en un tema tan interesante. ¿Qué cantidad de respuestas tipo de han codificado para que sea efectivo?

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 29/11/2023 a las 17:31:03

        Estimado Mauricio,
        La preguntas es compleja y nada fácil de responder. Con los datos de que disponemos no podemos afirmar que exista una relación entre el número de respuesta y la efectividad del uso del CB que se espera. La respuesta a esta pregunta se llegaría con otro estudio.
        Para cualquier otra consulta, nos tiene a su disposición.
        Reciba un cordial saludo,

    • profile avatar

      Ana Olavarría-Jaraba

      Comentó el 21/11/2023 a las 18:17:21

      Hola, Muy interesante su propuesta. Me gustaría saber si la participación en el uso de Chatbot fue voluntaria o si formaba parte de las actividades evaluables de la asignatura. Muchas gracias. Ana

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 29/11/2023 a las 17:31:36

        Estimada Ana,
        Efectivamente, la participación no fue voluntaria sino que el uso del CB estaba integrada en una propuesta práctica de la asignatura, y además era evaluable.
        Para cualquier otra consulta, estamos a su disposición.
        Un saludo,

    • profile avatar

      Maria de la Paz Toldos

      Comentó el 21/11/2023 a las 01:13:34

      ¿Se enseñó a los estudiantes cómo seleccionar y diseñar las preguntas o interacciones del Chatbot para asegurar su efectividad en el contexto educativo? ¿O dejaron que ellos mismos exploraran su uso?

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 24/11/2023 a las 16:31:51

        Estimada María de La Paz,
        Se le dio formación previa para que aprendieran a manejar la herramienta e indicaciones y ejemplos para saber cómo hacer preguntas e interacciones para el flujos comunicativo que se diseñaba. Al hacer frente a la tarea, los estudiantes exploraron otras posibilidades de uso que pudieron aplicar.
        Para cualquier otra consulta, quedamos a su disposición.
        Reciba un cordial saludo,

    • profile avatar

      Maria de la Paz Toldos

      Comentó el 21/11/2023 a las 01:12:44

      ¿En qué tareas o actividades utilizaron el ChatBoot? ¿Hubo alguna evaluación de una actividad en específico sin el uso del Chatbot versus el uso del Chatbot para medir el antes o el después y su efectividad?

      • profile avatar

        Almudena Cotán Fernández

        Comentó el 24/11/2023 a las 16:32:41

        Estimada María de la Paz,
        Utilizaron el chatbot en el contexto de desarrollo de un par de temas de la asignatura. El enfoque de uso que dio el profesor fue el de usar el chabot para orientar el modo en cómo estudiar el tema, para plantear y resolver dudas sobre contenido y para evaluar lo aprendido a través de preguntas tipo test con feedback.
        Para cualquier consulta, quedamos a su entera disposición.
        Un saludo,


Deja tu comentario

Lo siento, debes estar conectado para publicar un comentario.

Organizan

Colaboran

Configuración de Cookies

Utilizamos cookies para mejorar su experiencia y las funcionalidades de esta web. Ver política de cookies

Revisar