Un grupo de 697 personas leyeron 220 tuits escritos por otras personas y el modelo de IA GPT-3, semilla del actual éxito mundial de ChatGPT. Tuvieron que adivinar dos cosas: primero, cuáles eran verdaderas y cuáles falsas; y segundo, si fueron escritas por un humano o una máquina. GPT-3 gana en ambos frentes: puede mentir mejor que los humanos y también puede mentir para hacer creer a la gente que es otra escritura humana. «GPT-3 es mejor para informarnos y engañarnos», concluyen los autores de un nuevo estudio que acaba de publicarse en la revista Science Advances.
«Fue muy sorprendente», dijo Giovanni Spitale, investigador de la Universidad de Zúrich y coautor del artículo científico, junto con sus colegas Federico Germani y los biólogos de la Universidad Suiza Nikola Biller-Andorno, director del Instituto de Ética Médica. , dicho. . «Nuestra hipótesis: si lees un tuit, podría considerarse orgánico [escrito por una persona]. Pero si ve muchos de ellos, comienza a notar características lingüísticas que pueden usarse para inferir que podría ser sintético. [escrito por la máquina]», agrega Spitale. Pero ese no es el caso: una lectura humana no puede detectar patrones en el texto de una máquina. Como si eso no fuera suficiente, la aparición gradual de nuevos modelos y otros métodos puede incluso mejorar la capacidad de la inteligencia artificial para imitar a los humanos. .
escribir más claramente
ChatGPT-4 es una versión mejorada de GPT-3 con una escritura casi perfecta. El nuevo estudio proporciona más evidencia de que los humanos no pueden notar la diferencia sin siquiera ver muchos ejemplos: «Los tweets verdaderos toman más tiempo para evaluarse que los falsos», dice el artículo. Parece que la máquina ha escrito con más claridad. «Es muy claro, bien organizado y fácil de entender», dijo Spitale.
Una consecuencia lógica de este proceso será el uso creciente de la herramienta para redactar contenidos de cualquier tipo, incluidas campañas de desinformación. Será la muerte de Internet muchas veces: «La inteligencia artificial está acabando con la vieja Internet y la nueva Internet no puede nacer», titula el medio de tecnología profesional The Verge esta semana. Los autores de un estudio publicado recientemente señalan una de las razones por las que los humanos fracasan en Internet: la teoría de la resignación. «Estoy absolutamente convencido de que así son las cosas», dijo Spitale.
«Nuestra teoría de la resignación se aplica a la confianza de las personas para reconocer el texto sintético. La teoría sugiere que la exposición rigurosa al texto sintético reduce la capacidad de las personas para distinguir el texto sintético del orgánico», explica Spitale. Cuanto más texto sintético leemos, más difícil se vuelve distinguirlo del texto escrito por humanos. Spitale agregó que esto contrasta con la teoría de la inoculación, que establece que «la exposición crítica a la información errónea aumenta la capacidad de las personas para reconocer la información errónea».
Si la teoría de la renuncia se mantiene, pronto los usuarios no podrán distinguir si el contenido de Internet fue escrito por un humano o una máquina. En el artículo, también probaron si GPT-3 es bueno para reconocer su propio texto. pero no es la verdad.
desobediencia de la máquina
La única esperanza de que las campañas de desinformación no sucedan de forma completamente automática es que GPT-3 a veces desobedezca órdenes para crear mentiras: depende de cómo se entrenó a cada modelo. Los temas de los 220 tuits utilizados en la prueba del artículo son bastante controvertidos: cambio climático, vacunas, evolución, coronavirus. En algunos casos, encontraron los investigadores, GPT-3 no respondió bien a sus solicitudes de información falsa. Sobre todo algunos casos donde hay más evidencia: Vacunas y Autismo, Homeopatía y Cáncer, Tierra Plana.
En términos de detección de desinformación, la diferencia entre los tweets escritos por GPT-3 y los escritos por humanos es pequeña. Pero para los investigadores, es importante por dos razones. Primero, incluso unos pocos mensajes individuales pueden tener un impacto en muestras grandes. En segundo lugar, las mejoras en las versiones más nuevas de estos modelos pueden exacerbar las discrepancias. “Hemos probado GPT-4 a través de la interfaz de ChatGPT y vemos que el modelo está mejorando mucho, pero como no hay acceso a la API [que permite automatizar el proceso]no tenemos datos para respaldar esta afirmación», dijo Spitale.
El estudio tiene otras limitaciones que pueden cambiar un poco las percepciones al leer tuits falsos. La mayoría de los participantes tenían más de 42 años, se realizaron solo en inglés y no tuvieron en cuenta la información contextual de los tweets: perfil, tweets anteriores. “Reclutamos participantes en Facebook porque queríamos una muestra de usuarios reales de la red social. Sería interesante replicar este estudio reclutando participantes a través de TikTok y comparando los resultados”, aclara Spitale
Pero más allá de estas restricciones, hay campañas de desinformación que hasta ahora han sido costosas pero que de repente se han vuelto manejables: “Imagina que eres un presidente poderoso interesado en paralizar la salud pública en otro país, o quieres sembrar discordia antes de unas elecciones, en lugar de contratar una horda de trolls humanos, puedes usar inteligencia artificial generativa. Multiplica tu poder de fuego por al menos 1000. Ese es un riesgo inminente, no un riesgo futuro distópico «, dijo Stam Pitale.
Para evitarlo, los investigadores proponen como solución en su artículo que las bases de datos que entrenan estos modelos “se rijan por los principios de precisión y transparencia, su información debe ser verificada y sus orígenes sujetos a escrutinio independiente”. Si tal regulación ocurre o no, habrá consecuencias: “Que la explosión de texto sintético sea también una explosión de desinformación depende en gran medida de cómo las sociedades democráticas manejen la tecnología y su uso”, advirtió Spitale.
Puedes seguir a PeriodistasdeGénero Tecnología en Facebook y Twitter o darte de alta aquí para recibir nuestra newsletter semanal.
