EL PAÍS

El cerebro humano tiene una propiedad clave que hace posible el lenguaje y nos permite desarrollar el pensamiento complejo: la generalización compositiva. Es la capacidad de combinar elementos conocidos de formas nuevas con otros elementos que se acaban de aprender. Por ejemplo, una vez que un niño sabe saltar, comprende exactamente lo que significa saltar con las manos en alto o con los ojos cerrados. En la década de 1980, se especulaba que las redes neuronales artificiales, los motores que sustentan la inteligencia artificial y el aprendizaje automático, no serían capaces de establecer estas conexiones. Un artículo publicado en la revista Nature demuestra que pueden hacerlo, lo que podría abrir un amplio campo de mejora en el tema.

Los autores del estudio desarrollaron un método de entrenamiento innovador al que denominaron metaaprendizaje combinatorio (original en inglés), en el que una red neuronal se actualiza constantemente y se guía a través de una secuencia de fragmentos para que se pueda transferir experiencia. Luego realizaron experimentos con voluntarios, a quienes sometieron a las mismas pruebas que las máquinas. Los resultados muestran que las máquinas pueden generalizar tan bien como los humanos, o incluso mejor.

«Durante 35 años, los investigadores en ciencias cognitivas, inteligencia artificial, lingüística y filosofía han debatido si las redes neuronales pueden lograr una generalización sistemática similar a la humana. «Hemos demostrado esto por primera vez», dice Brenden Lake, asociado de NYU Data Science. Profesor del Centro y Departamento de Psicología y uno de los autores del artículo.

Más información

Los modelos de lenguaje grandes, como ChatGPT, pueden generar texto coherente y bien estructurado según las instrucciones dadas. El problema es que, antes de poder hacer eso, deben recibir capacitación con una gran cantidad de datos. Es decir, procesando bases de datos muy extensas y desarrollando inteligencia artificial o algoritmos de aprendizaje automático que sean capaces de extraer patrones y aprender que, por ejemplo, a la palabra «hierba es el color» le sigue la palabra «verde» con una probabilidad muy alta.

Estos procesos de entrenamiento son lentos y consumen mucha energía. Se necesita mucha potencia informática para entrenar un modelo como ChatGPT, que tiene en cuenta más de 175 mil millones de parámetros. Es decir, varios centros de datos (naves industriales llenas de ordenadores) funcionando día y noche durante semanas o meses.

Investigador Marco Baroni de la Universidad Pompeu Fabra de Barcelona.UPF

«Proponemos una solución parcial basada en ideas de la ciencia cognitiva», explica por teléfono Marco Baroni, investigador ICREA y profesor del Departamento de Traducción y Sociolingüística de la Universidad Pompeu Fabra de Barcelona. Autor del estudio… «Los humanos podemos aprender muy rápidamente. , porque tenemos la capacidad de combinar generalizaciones. Es decir, si nunca he escuchado la palabra «saltar dos veces» pero sé qué es «saltar» y qué es «dos veces», puedo entenderla. ChatGPT no puede hacerlo eso”, dijo Baroni. La herramienta estrella de OpenAI debe aprender lo que significa bailar una vez, bailar dos veces, cantar una vez, cantar dos veces…

El tipo de entrenamiento propuesto por Lake y Baroni puede ayudar a que los modelos de lenguaje grandes aprendan a generalizar con menos datos de entrenamiento. Baroni dijo que el siguiente paso es demostrar que su experimento es escalable. Han demostrado que puede funcionar en un laboratorio; ahora es el momento de hacerlo utilizando modelos conversacionales. «No podemos usar ChatGPT, es un producto propietario de OpenAI, pero hay muchos modelos más pequeños pero muy potentes desarrollados en centros académicos. Usaremos uno de ellos», enfatiza Baroni.

De hecho, una de las intenciones de los autores es “democratizar la inteligencia artificial”. El hecho de que los grandes modelos de lenguaje requieran grandes cantidades de datos y potencia informática limita el número de proveedores a unas pocas empresas con la infraestructura necesaria: Microsoft, Google, Amazon, Meta, etc. Si la propuesta de Lake y Baroni demuestra su valía entrenando este tipo de modelos, abrirá la puerta a que operadores más modestos desarrollen sus propios sistemas, y no tendrán nada que envidiar a ChatGPT o Bard.

El gráfico muestra un ejemplo de capacitación del estudio de Brenden M. Lake y Marco Baroni.

Los avances propuestos por los dos científicos también podrían utilizarse en otras disciplinas. «Brennan y yo venimos del campo de la psicología lingüística. No creemos que las máquinas puedan pensar como los humanos, pero sí creemos que comprender cómo funcionan las máquinas puede decirnos algo sobre cómo los humanos hacen las cosas», enfatiza Baroni. «De hecho, demostramos que cuando nuestro sistema comete errores, los errores no son tan grandes como los de ChatGPT, pero son similares a los errores humanos».

Esto sucede, por ejemplo, en las fallas relacionadas con la iconicidad, que es un fenómeno lingüístico que existe en todos los idiomas del mundo, si dices A y B, salí de casa para ir a cenar, significa que salgo de casa. primero y luego ir a comer. «En tareas experimentales, si enseñas a sujetos humanos a decir A y B cuando el orden correcto es B y A, normalmente se producen errores. Nuestro sistema también comete este tipo de errores», explicaron los investigadores italianos.

¿Qué caminos alternativos podría haber al enfoque ideado por Lake y Baroni? Todo depende de lo que suceda al realizar pruebas con modelos de lenguaje grandes. Teodoro Calonge, profesor del departamento de informática de la Universidad de Valladolid que revisó el código, dijo: «No puedo decir si esta serie de investigaciones conducirá a grandes avances a corto o medio plazo». Y añade en un comunicado de la plataforma española SMC: «Por supuesto, no creo que dé respuesta a las preguntas que se plantean actualmente en el campo de la explicabilidad en inteligencia artificial, especialmente en el campo de la inteligencia artificial».

Puedes seguir a PeriodistasdeGénero Tecnología en Facebook y X o registrarte aquí para recibir nuestra newsletter semanal.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí