Enfoque
INTRODUCCIÓN
Actualmente existen dos versiones gratuitas de la herramienta ChatGPT, entrenada para generar respuestas en conversaciones con los usuarios. En primer lugar, ChatGPT3.5, desarrollada por OpenAI. En segundo lugar, ChatGPT4, ofrecida por Microsoft Bing. Las aplicaciones de esta herramienta son innumerables.
Dentro del ámbito académico e investigador surge la posible aplicabilidad de la utilización de ChatGPT para la elaboración de revisiones sistemáticas como un tipo de investigación que pretende, de manera rigurosa y objetiva, recopilar, analizar y sintetizar las evidencias de estudios científicos relevantes sobre una temática concreta.
OBJETIVOS
El objetivo general de esta investigación es esclarecer la posibilidad de la utilización de ChatGPT para la realización de revisiones sistemáticas.
Los objetivos específicos son los siguientes. En primer lugar, determinar si la herramienta ChatGPT puede realizar revisiones sistemáticas de manera total sobre una temática de estudio. En segundo lugar, analizar las ventajas e inconvenientes del uso de dicha herramienta para la realización de revisiones sistemáticas.
METODOLOGÍA
Dentro de un enfoque de investigación cualitativo, se desarrolla una técnica de conversación con ChatGPT con el objetivo de analizar las respuestas ofrecidas por la herramienta. Se realiza una petición de revisión sistemática sobre la temática de ChatGPT y la educación a las herramientas ChatGPT3.5 y ChatGPT4 con la intención de comparar resultados.
RESULTADOS
A través de las conversaciones entabladas con ChatGPT se obtienen las respuestas que la herramienta produce para intentar llevar a cabo las diversas peticiones que se van realizando a lo largo del coloquio.
En algunos momentos ChatGPT reconoce su incapacidad de producir una revisión sistemática sobre la temática en cuestión por motivos de actualización o de acceso a la literatura científica. En otros produce un texto que podríamos considerar una relativa revisión sistemática sobre la temática.
CONCLUSIONES
En cuanto al objetivo general de la investigación, podemos afirmar que ChatGPT puede ser una herramienta complementaria para la elaboración de revisiones sistemáticas de literatura científica. Sin embargo, las limitaciones en el proceso son muy significativas.
En relación al primer objetivo específico, se evidencia que ChatGPT no puede realizar, por ahora, revisiones sistemáticas de manera total sobre una temática de estudio. En cuanto al segundo objetivo específico, se obtienen, por un lado, una serie de posibles ventajas en su utilización: ayuda mediante la proposición de indicaciones para la realización de una buena revisión sistemática, a través de la construcción de posibles categorías de análisis sobre la temática de estudio, o del planteamiento de los apartados de la revisión sistemática. Por otro lado, se evidencian claros inconvenientes en su utilización: no accede a la diversa literatura científica, inventa las referencias, miente en el texto, comete errores cuando se le piden ciertos parámetros y una versión no está actualizada.
Todo ello indica una posible aplicación limitada de la utilización de ChatGPT en la elaboración de revisiones sistemáticas. Sin embargo, consideramos que en un futuro este tipo de herramientas sí que estarán preparadas para realizar dichos trabajos.
Silvia Ubillos landa
Comentó el 30/11/2023 a las 20:30:10
Hola Daniel,
Me ha parecido muy creativa tu forma de investigar sobre el uso del ChatGPT para mostrar todas sus limitaciones. Queda claramente ejemplificado que, de momento, esta herramienta no está preparada para realizar revisiones sistemáticas rigurosas. Probablemente, en un futuro sí. En el momento en que sea capaz de hacerlo, ¿cuál sería la función de los investigadores a la hora de hacer una revisión de la literatura existente?.
Daniel Pattier Bocos
Comentó el 01/12/2023 a las 10:05:52
Buenos días Silvia,
Muchas gracias por tu pregunta tan interesante. En un futuro se podrán hacer revisiones sistemáticas rigurosas con herramientas de inteligencia artificial. En ese momento será esencial que los investigadores sepan pedir, delimitar y analizar más allá de lo que haga la máquina. Será muy importante la elección, por ejemplo, de las palabras de búsqueda, entre otras cosas. Pero realmente se ahorrará muchísimo tiempo y esfuerzo en ello.
También habrá que ver qué pasa con los artículos que estén publicados de manera privada o de pago (no son públicos), ya que, en principio, el algoritmo no podría acceder a ellos... Iremos viendo qué pasa con este asunto.
Saludos,
Patricia de Julián Latorre
Comentó el 28/11/2023 a las 10:07:32
Buenos días Daniel. Muy interesante tu ponencia. ¿Sabes si hay estudios similares que analicen el uso de ChatGPT para la realización de otro tipo de investigaciones que no sean revisiones sistemáticas? Uno de los problemas a los que nos enfrentamos los profesores universitarios, es que cada vez los alumnos lo usan más para la redacción de sus TFM. Sería muy bueno poder analizar las limitaciones e inconvenientes de usarlo.
Por otro lado, me ha llamado especialmente la atención el hecho de que "se invente" citas bibliográficas y mienta en el texto, porque esto puede ser muy nocivo para la investigación. No sé cómo de difícil es detectar esto. ¿Crees que una revisión hecha con ChatGPT podría saltarse los filtros de las editoriales o revistas y llegar a publicarse?
¡Muchas gracias!
Patricia
Daniel Pattier Bocos
Comentó el 28/11/2023 a las 10:15:02
Buenos días Patricia,
Muchas gracias por sus preguntas. Tengo analizados artículos sobre ChatGPT hasta comienzos de octubre de este año, aunque no paran de publicarse cosas sobre la temática. Hay estudios que corroboran que profesores universitarios no supieron detectar trabajos académicos generados por ChatGPT y encima les pusieron una nota cercana al sobresaliente. Pero todavía espero que se publiquen cosas relacionadas directamente con los TFG o TFM, ya que esta herramienta puede generar partes muy importantes de estos trabajos en tan solo unos minutos.
Imagino que el algoritmo se irá haciendo mejor y ChatGPT y herramientas similares irán mejorando las limitaciones, pero siempre estará la posibilidad de que genere citas falsas o referencias inventadas. Y, sí, esto es un problema para la investigación si no se revisa adecuadamente.
Creo que ya habrá algún artículo, capítulo o libro creado en su mayoría por ChatGPT, y publicado por alguna editorial o revista. Actualmente no tenemos mecanismos ni herramientas suficientes para evitar el plagio directo de ChatGPT. Y esto es un problema muy serio.
Seguiremos investigando sobre la temática...
¡Gracias!
Irene Carrillo Murcia
Comentó el 24/11/2023 a las 18:31:52
Estimado Daniel:
Gracias por compartir su interesante e ilustrativa experiencia con ChatGPT para la realización de revisiones sistemáticas. Estoy de acuerdo en que las futuras contribuciones de esta IA a la conducción de revisiones de la literatura (todavía no me atrevo a ponerle el apellido de "sistemáticas") puede estar en los GPT personalizados. No obstante, todavía me surgen dudas sobre cómo ChatGPT en su versión actual y gratuita puede actuar como herramienta de apoyo para realizar una revisión sistemática en los términos que se plantean en la declaración PRISMA. ¿Has podido comprobar hasta qué punto nos puede ofrecer ecuaciones de búsqueda, identificación de registros duplicados, proceso de cribado de registros, etc.?
Gracias.
Daniel Pattier Bocos
Comentó el 24/11/2023 a las 21:08:45
Muchas gracias por su pregunta.
Realmente el salto cualitativo se dará o por medio de los GPTs personalizados o cuando aparezca una IA entrenada de manera similar para realizar específicamente revisiones sistemáticas.
Actualmente, ChatGPT puede ayudar en ciertas cosas pero de manera muy limitada. Tal vez pueda ayudar más a los investigadores noveles. Por ejemplo, ChatGPT puede ofrecerte las pautas concretas para realizar una revisión sistemática siguiendo la declaración PRISMA. Y esto lo presenta muy bien. Otro ejemplo sería contarle lo que estamos buscando con nuestra investigación y que nos ofrezca una serie de ecuaciones de búsqueda que el algoritmo considera más apropiadas para lograr nuestro objetivo. Otro ejemplo sería la categorización de los resultados. Si introducimos un resumen o las partes más importantes de las investigaciones que hemos trabajado en la revisión sistemática, ChatGPT es capaz de establecer categorías con una eficacia sorprendente. Es más, valiéndose de sus conocimientos, es capaz de ofrecerte una serie de posibles categorías de análisis sin ni siquiera ofrecerle más datos.
Pero realmente son aspectos limitados. Pronto tendremos la oportunidad de hablar sobre GPTs específicos para estas tareas y veremos hasta dónde pueden llegar.
Saludos,
Carmen Pérez-García
Comentó el 23/11/2023 a las 17:26:18
Buenas tardes, Daniel:
Enhorabuena por su ponencia. Desde luego, se trata de un tema muy vigente y polémico sobre el que se están produciendo múltiples debates e investigaciones. Me ha gustado mucho la claridad de su exposición y que se trate de una investigación práctica que muestre una aplicación real con la herramienta. Personalmente, cada poco tiempo entro en ChatGPT y voy haciendo mis propias pruebas por curiosidad (no investigo este tema específicamente). Creo que el aspecto ético es el que más nos preocupa a todos, especialmente en el ámbito educativo. Quería compartir un poco de mi visión personal y animarle a que siga con su investigación. Muchas gracias y saludos.
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 18:04:25
Buenas tardes Carmen,
Muchas gracias por su mensaje y por su aportación al debate. Realmente el aspecto ético preocupa mucho, sobre todo porque actualmente no tenemos como determinar si un trabajo lo ha realizado una máquina o un humano. Existen investigaciones que demuestran que los sistemas antiplagios que solemos utilizar indican en ciertas ocasiones falsos positivos y falsos negativos, es decir, a veces detecta que lo ha hecho la máquina y en verdad lo ha hecho un humano, y a veces detecta que lo ha hecho un humano y en verdad lo ha hecho una máquina. Cómo reconducir este tipo de acciones que pueden estar perpetrándose en el ámbito educativo e investigador es un tema que va a dar mucho que hablar durante los próximos meses y años. Sin duda, educar en una ética al alumnado desde edades tempranas va a ser esencial. Y, tal vez, formarles en cómo usar bien ChatGPT y en cómo no se debe usar. Será apasionante este debate.
¡Gracias!
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:48:18
Se aceptan también no solamente preguntas, sino opiniones o comentarios. Porque es una temática muy interesante e, incluso, controvertida.
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:48:41
Me interesan mucho sus opiniones.
¡Gracias!
Ana Cano Ortiz
Comentó el 23/11/2023 a las 11:14:21
Enhorabuena por su ponencia, me ha resultado sumamente interesante.
En relación a ella y en especial a una de las respuestas dadas a otro investigador, ¿considera que las revistas que no publican en abierto tendrán menos citaciones en un futuro donde la inteligencia artificial toma más relevancia?
En el caso de ChatGPT5, ¿se ha realizado la misma investigación con esta versión? en caso de ser afirmativa la respuesta, ¿los resultados obtenidos han sido satisfactorios?
Muchas Gracias
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:46:11
Buenos días,
Muchas gracias por su mensaje e interés.
Muy interesante su pregunta. La verdad es que no me había parado a pensar esto. Pero realmente, de seguir el sistema así, la IA podrá acceder (no creo que tarde mucho) a la literatura publicada en abierto. Por lo tanto, en un futuro próximo podrá realizar revisiones sistemáticas con un buen prompt en cuestión de segundos teniendo en cuenta las publicaciones en abierto. Esto podría generar un aumento considerable de las citas de este tipo de publicaciones.
Sin embargo, también pienso que vivimos en un mundo científico basado en el comercio. Por ello, creo que se generará una brecha. Auguro que se podrán realizar revisiones sistemáticas con IA de publicaciones en abierto de manera gratuita, y revisiones sistemáticas incluyendo también las publicaciones que no están en abierto pagando por ello. Estas últimas serían más completas. Por lo tanto, aumentará la brecha existente. Los que tengan recursos optarán por la opción de pago, los que no, por la de publicaciones en abierto.
Por otro lado, en esta investigación solamente hemos trabajado con ChatGPT-3.5 y ChatGPT-4. Obteniendo resultados considerablemente mejores en la versión 4. La tendencia es que cuanto mejor sea el algoritmo y la herramienta, mejores resultados obtendremos.
Qué interesante temática. ¿Qué piensa usted sobre todo esto? Me interesa mucho su opinión.
¡Gracias!
Gerardo Vilches Fuentes
Comentó el 23/11/2023 a las 11:07:22
Muchas gracias por su comunicación, me ha resultado muy curioso que se evidencien las limitaciones de estas herramientas en el campo de la investigación. Mi pregunta es: en el caso de que las herramientas de IA mejorasen lo suficiente como para realizar revisiones sistemáticas, ¿cómo podríamos confiar en que esté realizada con garantías, que no ha dejado nada relevante fuera o que la información que desarrolla en cada referencia recuperada de bases de datos es cierta? ¿No seguirá siendo necesaria que nosotros realicemos una revisión pormenorizada de cada referencia, así como asegurarnos de que no faltan referencias? ¿De qué nos serviría entonces la herramienta? Por otro lado, ¿no es el objetivo de una revisión sistemática profundizar y aprender sobre una temática antes de aportar nosotros algo novedoso en esa temática? ¿Cómo conseguimos eso si Chat GPT nos hace el trabajo? Muchas gracias de antemano.
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:39:40
Buenos días, muchas gracias por su mensaje e interés en la ponencia.
La verdad que son preguntas muy interesantes y algunas de ellas difíciles de responder. Intentaré ofrecer mi opinión, aunque tal vez voy a tocar un tema controvertido. Sinceramente, pienso que que la IA va a mejorar y a ser entrenada de forma específica para realizar revisiones sistemáticas de gran calidad (tal vez con los GPTs que se han anunciado hace poco). También creo que una vez que las limitaciones de acceso y de funcionamiento de estas herramientas se solucionen, las revisiones sistemáticas que nos puede hacer la IA serán (aquí lo controvertido) tal vez mejores que las de los propios investigadores. Al ser un proceso sistemático y objetivo, si introducimos realmente lo que buscamos y con los parámetros que queremos, la respuesta de una máquina será muy eficiente. Los investigadores tendremos que revisar, pero a medida que vayan mejorando este tipo de herramientas,...
Y, por supuesto, como bien señalas, tal vez el debate profundo es qué perdemos usando este tipo de herramientas. Ahí está la clave.
Qué interesante es esto. ¿Qué opinas tú? Me interesa mucho tu opinión.
¡Gracias!
César Fernández Peris
Comentó el 23/11/2023 a las 09:06:50
Buenos días.
Una ponencia muy interesante. Quería saber si, entre las pruebas realizadas, se ha utilizado ChatGPT para intentar responder a las preguntas iniciales de la revisión sistemática que permiten filtrar las publicaciones. Por ejemplo, con prompts como:
- Si el título de un artículo científico es "...." y su abstract es ".....", ¿puedes decirme si en ese artículo se realiza un experimento doble ciego para medir los resultados?
Espero haberme expresado bien. Gracias de antemano.
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:33:35
Buenos días,
Muchas gracias por su mensaje e interés en la ponencia. Creo haberle entendido bien.
Como bien indicas, si el prompt es más específico, los resultados suelen ser mejores porque se adecuan más a lo que buscamos. Sin embargo, en el caso de las revisiones sistemáticas, al no poder acceder a la literatura científica todavía, da igual cuánto específico seas. Al menos por ahora, porque ya sabes que esto va muy deprisa y cada vez el algoritmo es más potente. También será interesante ver en las próximas semanas la aparición de miles de nuevas GPTs entrenadas para cosas específicas, probablemente también para la realización de revisiones sistemáticas.
Y entonces, ahí sí, siendo específico como lo has hecho, obtendremos un filtro de literatura de mayor calidad.
Saludos,
Antoni Hernández-Fernández
Comentó el 23/11/2023 a las 08:32:57
Hola,
Interesante revisión, aunque como dices, en semanas tenemos los GPTs y esto cambia a un ritmo de vértigo... Mi pregunta, ¿no crees que hay revistas que podrían aceptar artículos escritos únicamente por máquinas? Quiero decir, que en este mundo del 'publica o muere', es fácil que los investigadores caigan en la tentación de enviar artículos/revisiones escritos por LLM, ¿cómo lo ves?
Gracias, un cordial saludo,
Toni
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:29:55
Buenos días,
Muy interesante pregunta, Antoni. La verdad es que esto va muy deprisa. Sinceramente, creo que ya tiene que haber artículos publicados escritos únicamente por máquinas, ya que actualmente este tipo de trabajos pasan los filtros de los antiplagio de manera generalizada. Y no hablemos de libros o capítulos de libro... El tema es cómo combatir esto... Porque se nos puede ir de las manos...
¿Cómo lo ves tú? Me interesa mucho tu opinión.
¡Gracias!
Antoni Hernández-Fernández
Comentó el 27/11/2023 a las 11:35:09
Daniel,
Pues complicado, creo que se corre el riesgo de que la red se inunde de publicaciones de baja calidad generadas por IA...
Gracias!
Toni
Daniel Pattier Bocos
Comentó el 27/11/2023 a las 11:49:47
Sí, puede ser un gran problema. Esperemos que sea regulado pronto y que se generen mecanismos eficientes para evitarlo.
¡Gracias a ti!
Elena Masarah Revuelta
Comentó el 22/11/2023 a las 19:10:36
Hola, Daniel. Me ha gustado mucho su comunicación, sobre todo por las posibilidades que parece que puedan abrirse al respecto del uso de las IA en trabajos tan importantes como las revisiones sistemáticas (cuya elaboración, por cierto, me dedico a enseñar a mi alumnado, por eso me interesa tanto su proyecto). Parece ser que actualmente es, en efecto, imposible realizar revisiones sistemáticas de manera directa, pero me gustaría saber si, en lugar de pedir directamente la revisión, ha llegado a solicitar a la IA frases de búsqueda con operadores booleanos que se puedan usar para directamente en las bases de datos. Muchas gracias por su tiempo.
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:26:28
Buenos días,
Muchas gracias por su mensaje y su interés en la temática.
Sí, se ha trabajado pidiendo a ChatGPT, en este caso, que busque mediante los siguientes parámetros: artículos que contengan en su título "ChatGPT" AND "education".
Actualmente no es capaz de realizar la revisión sistemática.
Sin embargo, parece ser que están surgiendo los GPTs, que de ser entrenados específicamente en esta tarea, puede que en unas semanas tengamos posibilidades nuevas para ello. La verdad es que esto va muy rápido.
Qué interesante que se dedique justamente a enseñar esta temática.
¿Ha pensado utilizar en sus clases de alguna manera ChatGPT?
Muchas gracias
Ingrid del Valle García Carreño
Comentó el 22/11/2023 a las 18:24:48
Good afternoon
Consideras que no existe ningun factor positivo en ChatGPT
Gracias
Ingrid del Valle García Carreño
Daniel Pattier Bocos
Comentó el 23/11/2023 a las 12:20:44
Buenos días,
Muchas gracias por su mensaje. Considero que existen factores positivos en ChatGPT tanto a nivel general, como en la realización de revisiones sistemáticas (aunque por ahora es muy limitado).
Sin embargo, creo que el debate más profundo está más allá de si funciona mejor o peor, en lo que puede modificar en los procesos cognitivos al ser humano un uso continuado y habitual de herramientas de este tipo. Le recomiendo sobre este asunto el siguiente artículo: https://doi.org/10.5944/educxx1.31950
¿Qué opina usted?
Me interesa mucho su opinión.
¡Gracias!
Isabel Lopez-Cobo
Comentó el 22/11/2023 a las 12:15:48
Gracias por tu ponencia. Te planteo la siguiente pregunta: ¿Cómo podemos maximizar las ventajas potenciales de ChatGPT para la realización de revisiones sistemáticas, al tiempo que mitigamos sus limitaciones, como la falta de acceso a la literatura científica y la generación de información inexacta, para garantizar su aplicación ética y efectiva en la investigación académica?
Daniel Pattier Bocos
Comentó el 22/11/2023 a las 17:29:46
Muchas gracias por su pregunta.
El futuro probablemente esté en los GPTs. Los GPTs permiten a los usuarios crear versiones personalizadas de ChatGPT para un propósito específico, y no es necesario tener conocimientos sobre programación para ello. Por lo tanto, se podrá entrenar fácilmente a ChatGPT para que realice buenas revisiones sistemáticas. El gran problema será la selección de la muestra entre toda la literatura existente. Si ya tuviéramos la muestra delimitada sería bastante sencillo entrenar a ChatGPT para realizar la revisión. Por lo tanto, en las próximas semanas tendremos herramientas viables para realizar revisiones sistemáticas con muestras ya delimitadas.
La falta de acceso a la literatura es un problema que se mantendrá en el tiempo, sobre todo con literatura que no esté en abierto.
La generación de información inexacta se irá puliendo con el tiempo y probablemente con el tiempo el algoritmo lo evite.
Por lo tanto, creo que en un futuro próximo, los investigadores podrían delimitar la muestra haciendo la selección, y, más tarde, valerse de herramientas similares a ChatGPT para resumir, categorizar o sacar conclusiones de dicha muestra.
Una aplicación ética de este método sería que los investigadores reconociesen el uso y en qué medida han usado las herramientas de Inteligencia Artificial.
Sin duda tenemos un futuro por delante muy interesante.
Isabel Lopez-Cobo
Comentó el 28/11/2023 a las 10:23:45
Gracias
Daniel Pattier Bocos
Comentó el 28/11/2023 a las 10:47:58
Gracias a ti.
Deja tu comentario
Lo siento, debes estar conectado para publicar un comentario.
Organizan
Colaboran
Configuración de Cookies
Utilizamos cookies para mejorar su experiencia y las funcionalidades de esta web. Ver política de cookies