El bibliotecario Andrew Gray hizo un descubrimiento «muy sorprendente». Analizó 5 millones de estudios científicos publicados el año pasado y encontró un repentino aumento en el uso de ciertas palabras, como meticuloso (aumento del 137%), complejo (117%), loable (83%) y meticuloso (59%), en su en la versión en inglés. Gray, de la UCL, sólo puede encontrar una explicación: decenas de miles de investigadores están utilizando ChatGPT (u otros programas similares de generación de lenguaje de IA) para redactar sus estudios o al menos «pulirlos».
Hay ejemplos claros. Un equipo de científicos chinos publicó un estudio sobre baterías de litio el 17 de febrero. El trabajo, publicado en una revista profesional publicada por Elsevier, comienza: «Por supuesto, aquí hay una posible introducción al tema: las baterías de litio son candidatas prometedoras para…». Al parecer, el autor le pidió a ChatGPT que proporcionara la introducción y la reprodujera tal cual. En un artículo separado publicado en otra revista de Elsevier el 8 de marzo, investigadores israelíes escribieron: «En resumen, lo siento, el tratamiento de lesiones iatrogénicas bilaterales, pero no tengo acceso a información en tiempo real o datos específicos del paciente. Porque soy un modelo de lenguaje de IA». Hace unos meses, tres científicos chinos publicaron un loco dibujo de una rata con un pene gigante, una imagen generada con inteligencia artificial. Estudio de las células precursoras del esperma.
Más información
Andrew Gray estima que al menos 60.000 estudios científicos (más del 1% de los estudios científicos analizados en 2023) se escribieron con la ayuda de ChatGPT (una herramienta lanzada a finales de 2022) o herramientas similares. «Creo que hay muy pocos casos extremos en los que se pueda escribir un estudio completo utilizando ChatGPT», afirma Gray, un bibliotecario escocés de 41 años. En su opinión, en la mayoría de los casos, la inteligencia artificial se utiliza adecuadamente para «pulir» el texto -identificando errores tipográficos o facilitando la traducción al inglés-, pero hay grandes matices de gris, y algunos científicos van un paso más allá y utilizan la ayuda de ChatGPT. mientras que no hay resultados de verificación. “Es imposible saber qué tan grande es esta zona gris ahora porque las revistas científicas no exigen a los autores que declaren su uso de ChatGPT y hay muy poca transparencia”, lamentó.
Como lo demostró el equipo de James Zou de la Universidad de Stanford en Estados Unidos, los modelos de lenguaje de inteligencia artificial utilizan ciertas palabras de manera desproporcionada. Estos términos suelen tener connotaciones positivas, como loable, meticuloso, complejo, innovador y versátil. Zou y sus colegas advirtieron en marzo que los propios revisores de investigaciones científicas estaban utilizando estos procedimientos para escribir reseñas de trabajos antes de su publicación. Un equipo de investigación de la Universidad de Stanford analizó reseñas de investigaciones publicadas en dos conferencias internacionales sobre inteligencia artificial y descubrió que la palabra «meticuloso» aparecía 35 veces más a menudo.
Andrew Gray, bibliotecario, University College London.Colegio Universitario de Londres
Por otro lado, el equipo del profesor Zou no detectó rastros evidentes de ChatGPT en las correcciones realizadas en la prestigiosa revista Nature. El uso de ChatGPT se asocia con una peor calidad de las reseñas. «Creo que eso es realmente preocupante», explicó Gray. «Si sabemos que utilizar estas herramientas para escribir reseñas produce resultados de menor calidad, entonces debemos reflexionar sobre cómo se utilizan para escribir investigaciones y qué significa esto», afirmó el bibliotecario del University College de Londres. Según una encuesta de Nature, un año después del lanzamiento de ChatGPT, un tercio de los científicos admitieron que lo utilizan para escribir informes de investigación.
El análisis de Gray muestra que la palabra «complejo» apareció en 109.000 estudios en 2023, más del doble del promedio de 50.000 estudios de años anteriores. El término aumenta cuidadosamente los puestos de trabajo de unos 12.300 en 2022 a más de 28.000 en 2023. Hay que reconocer que aumentó de 6.500 a casi 12.000. El investigador bromeó diciendo que sus colegas lo felicitaron por el nivel de detalle de su informe, que aún es un borrador en espera de publicación en una revista profesional.
Pocos estudios han reportado el uso de inteligencia artificial en su elaboración. Gray advierte que esto podría crear un «círculo vicioso» en el que las versiones posteriores de ChatGPT se basen en artículos científicos escritos por versiones anteriores, lo que resultaría en investigaciones cada vez más loables, complejas, matizadas y, lo más importante, carentes de sustancia.
El catedrático de Filología Ángel María Delgado Vázquez destacó la perspectiva anglosajona del nuevo análisis. «ChatGPT es utilizado a menudo por investigadores cuya lengua materna no es el inglés como ayuda para escribir y mejorar su idioma inglés», dijeron investigadores de la Universidad Pablo de Olavide en Sevilla. «En mi entorno, la gente utiliza principalmente ChatGPT para la primera traducción o incluso simplemente conserva la traducción», señaló. El catedrático español omitió un análisis de los orígenes del autor que utilizó una terminología inusual.
Otra palabra favorita para referirse a la inteligencia artificial en inglés es profundizar (investigar o ahondar en). Jeremy Nguyen, investigador de la Universidad Tecnológica de Swinburne en Australia, calculó que profundizar ha aparecido en más del 0,5% de los estudios médicos, en comparación con menos del 0,04% antes de ChatGPT. Hay miles de autores de repente encuestando o ahondando en la investigación. Si le preguntas a la versión en español de ChatGPT 3.5 qué palabras usa con más frecuencia de lo habitual, te responderá con ejemplos como «complejo», «detallado», «encomiable» y «cuidadoso».
El bibliotecario Andrew Gray ha advertido que los humanos podrían resultar infectados por este nuevo lenguaje cuidadosamente elaborado. El propio Ruan también admitió en las redes sociales que el 8 de abril la cuenta oficial ChatGPT
Puedes seguir a MATERIA en Facebook, X e Instagram, o registrarte aquí para recibir nuestro boletín semanal.
