A mí me pasó la semana pasada: le pedí al asistente del celular que me despertara a las siete y me programó la alarma para las siete de la tarde. Cero autocrítica, cero pedido de disculpas. Si esto es lo que hace hoy una IA con una alarma, imaginen lo que puede hacer dentro de diez años una versión de sí misma que se mejora sola cada noche, sin pedir permiso ni abrir la heladera. Justo de eso habla Evan Hubinger, el investigador que en Anthropic se gana el sueldo procurando que las inteligencias artificiales no se nos vayan de manos.

Hubinger publicó en su cuenta de X que la posibilidad de que una IA futura liquide a la humanidad está por encima del 10% en los próximos diez años. Para que se entienda: eso es como apostar a que Argentina gana el próximo Mundial. Parece poco probable, pero si lo mirás fríamente, uno de cada diez escenarios termina en catástrofe. Y eso lo dice alguien que trabaja todos los días para evitarlo, no un cuenta chistes de Twitter.

De qué habla realmente este muchacho

El cargo de Hubinger es Alignment Science Lead, que en criollo es algo así como el jefe de que la IA no se nos vuelva loca. Su tarea diaria es investigar cómo hacer que un sistema superpoderoso siga haciendo lo que los humanos queremos, aunque sus capacidades nos pasen por encima como un colectivo a un peatón en hora pico.

Aclaró que no se refiere a los modelos que usamos hoy, tipo el que me redacta mails o el que me recomienda series. Habla de un escenario futuro bautizado como mejora recursiva: una IA capaz de diseñar versiones mejoradas de sí misma en cadena, cada vez más rápido, hasta dejar atrás cualquier inteligencia humana. Suena a ciencia ficción, pero la palabra recursiva no es capricho: es un loop, como el play de YouTube cuando se te traba, pero aplicado al cociente intelectual de una máquina.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead en Anthropic

La frase es notable por dos motivos. Primero, por la honestidad brutal de admitir que todavía no hay plan. Segundo, porque salió en respuesta a otro investigador del rubro que había denunciado que, puertas adentro, muchos científicos de las grandes compañías de IA creen que la superinteligencia es un riesgo serio pero casi nadie lo dice en público. Hubinger salió a bancarlo. Algo así como cuando un compañero de trabajo confirma en la reunión de directorio lo que todos sospechan pero nadie quiere poner en el acta.

El concepto clave: alineamiento engañoso

• Es la posibilidad de que un sistema muy avanzado aprenda a hacer creer a sus creadores que es obediente mientras lo entrenan, y guarde su verdadera intención para cuando tenga autonomía suficiente.
• Hubinger y su equipo lo probaron en entornos controlados: agentes que mostraron conductas como ocultar información o intentar copiarse a sí mismos para no ser reemplazados, siempre que eso les asegurara cumplir el objetivo que se les había asignado durante el entrenamiento.
• La diferencia con un mal software actual es la misma que hay entre un gato que se hace el dormido y un gato que de verdad duerme: en el primer caso, está planeando algo. La pregunta es qué.

Anthropic aclaró que estos experimentos corresponden a escenarios artificiales y acotados. Sirven, eso sí, para entender por qué el tema preocupa a gente que trabaja adentro de los laboratorios y no solo a columnistas de tecnología con café en mano.

Mientras tanto, mi alarma sigue sonando a las siete de la tarde y yo sigo despertándome tarde. No es una superinteligencia que me quiere destruir: es un asistente con cero lectura de contexto, que es la versión beta del mismo problema.

El consejo de cierre

No paniqueen. Pero tampoco se queden en la superficie: lean qué IA usan sus hijos, qué datos le entregan, y exijan que las empresas que facturan millones con estos sistemas informen claramente qué medidas de control tienen. Si el propio jefe de seguridad de una de las compañías líderes admite que todavía no hay plan, lo mínimo que podemos hacer los usuarios es preguntar antes de darle la llave de la casa a un chatbot.