Josué Bengiouno de los científicos más reconocidos en el desarrollo de inteligencia artificial sociedad moderna y ganadora del Premio Turing, ha sido una de las voces más preocupadas Riesgos que plantean los sistemas avanzados de IA.. En los últimos años, el investigador ha alertado sobre la posibilidad de que surjan sistemas superinteligentes capaces de engañar, manipular o incluso resistirse a la desconexión, lo que podría suponer una amenaza para la humanidad.
Sin embargo, en una entrevista reciente con Fortune, Bengio expresó un notable cambio de perspectiva.
LawZero tiene como objetivo desarrollar enfoques técnicos innovadores para la seguridad de la IA, con un enfoque que Bengio describe como «misión moral» Promover la IA como un bien público global. La organización ha formado un consejo asesor y una junta directiva de alto perfil, que incluyen figuras como María Eitel, Yuval Noah Harari i Mariano Florentino Cuéllarademás del propio Bengio.
Bengio ha compartido durante mucho tiempo las preocupaciones de otros pioneros de la IA sobre la pérdida de control ante sistemas cada vez más autónomos. Dijo que estaba «desesperado» hace tres años, al no ver una salida clara a los riesgos catastróficos que imaginaba con el avance de la IA.
Según explicó, lo que cambió no fue un descubrimiento concreto, sino el desarrollo de una nueva línea de trabajo que le llevó a una conclusión diferente: «Ahora estoy muy convencido de que es posible construir sistemas de IA que no tengan sus propios objetivos o agendas ocultas».
El núcleo de este enfoque es el concepto de «IA científica». La idea se aleja de la tendencia dominante de crear agentes autónomos capaces de tomar decisiones y ejecutar tareas en el mundo real.
En cambio, Bengio propone desarrollar sistemas centrados únicamente en comprender la realidad, estructurados para ofrecer respuestas veraces basadas en un razonamiento transparente y probabilístico, sin objetivos ni incentivos propios para persuadir o agradar al usuario. De esta forma, la IA actuaría como un observador y analista neutral, sin capacidad para desarrollar comportamientos estratégicos o manipuladores.
Bengio sostiene que los modelos actuales, optimizados para alcanzar objetivos, pueden acabar generando motivaciones ocultas o incluso resistirse a ser apagado, como ya se ha observado en algunos experimentos con modelos recientes. En cambio, una IA científica solo haría predicciones honestas sobre el mundo, permitiendo construir sistemas más complejos y seguros sobre esa base confiable.
El investigador sugiere que este tipo de IA podría acelerar el progreso científico y servir de manto supervisión independiente para sistemas más potentes. Sin embargo, reconoce que la mayoría de los grandes laboratorios de IA siguen apostando por agentes autónomos, presionados por la posibilidad de obtener beneficios inmediatos y reducir costes.
Bengio aclara que su propuesta técnica debe complementarse con una gobernanza sólida. Señala que incluso un método seguro podría ser mal utilizado si cae en las manos equivocadas. Por ello, LawZero ha armado un equipo con experiencia en derechos humanos y valores democráticos para guiar las decisiones de la organización.
Si bien gran parte de la comunidad sigue viendo los riesgos de la IA avanzada como un problema sin una solución clara, Bengio está convencido de que existen opciones viables para mitigar los peligros.
«Cada vez tengo más confianza en que se podrá lograr en un plazo de tiempo razonable»aseguró, optando por un enfoque que, según él, podría tener un impacto antes de que los sistemas más avanzados alcancen niveles problemáticos de autonomía.
