Anthropic le dio una computadora, una oficina y barra libre: ahora METR puede mirar todo lo que quiera

Imagine, querido lector, que usted llama al plomero, le abre la puerta de su casa, le da las llaves y le dice puede mirar todo, tocar todo y después contarle al vecino lo que encontró sin que yo le tape la boca. Eso, más o menos, es lo que acaba de hacer Anthropic con un grupo de auditores externos.

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, trabajan desde adentro de Anthropic con el mismo nivel de acceso que un empleado del área de evaluación de riesgos. Tienen computadora de la empresa, un lugar físico en la oficina y las mismas herramientas que usa el personal interno. Pueden charlar con cualquiera como si fueran un colega más.

Tres puertas cerradas y el resto abierto

Hay tres temas vedados: datos de clientes, información bajo secreto profesional entre abogado y cliente y detalles sobre la arquitectura de los modelos. Todo lo demás, incluso los informes de riesgo y la forma en que se entrenan los sistemas, queda a su disposición.

• Nivel bajo: organizaciones como SecureBio hacen chequeos puntuales y necesitan pedir autorización antes de publicar.
• Nivel medio: acceden a más información y pueden publicar sin pedir permiso.
• Nivel alto: el que ocupa hoy METR, con acceso equivalente al de un empleado y libertad total para difundir hallazgos, reportes de incidentes y análisis de prácticas.

En el nivel más alto, Anthropic sí puede pedir que se redacte cierta información, pero solo dentro de categorías estrechas y predefinidas. Y METR queda habilitado a decir públicamente si esa redacción le pareció justificada o no. O sea, la empresa puede tapar un papel, pero no puede evitar que le digan al mundo por qué lo tapó.

Por qué tanto acceso

Anthropic justificó de por qué un auditor externo necesita meterse hasta la cocina: hace falta experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente; independencia económica y operativa respecto de la empresa auditada; acceso que vaya más allá de los modelos e incluya cómo se entrenaron y cómo funcionan sus mecanismos de seguridad; y libertad para publicar sin restricciones previas.

La compañía reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos podría ser útil para actores maliciosos o es sensible desde el punto de vista comercial. Por eso eligió un esquema con un grupo acotado que trabaja bajo acuerdos exigibles, mientras el resto del personal de METR queda aislado de esa tarea.

Dicho en criollo: en vez de mostrarle la casa entera a todo el mundo, le dan las llaves a un equipo chico que firma un compromiso y se hace responsable. Y yo, que vengo escribiendo sobre tecnología desde hace rato, celebro que al menos alguien pueda mirar adentro sin que le cambien el candado a último momento.

Consejo del día

Si usted usa cualquier herramienta de inteligencia artificial para trabajar, estudiar o manejar datos sensibles, no asuma que la empresa sabe todo lo que su modelo puede hacer. Exija reportes de seguridad públicos y auditorías independientes. Si no los encuentra, preocúpese.