Investigadores externos con acceso de planta auditan los modelos de Anthropic para anticipar fallas de alineación

A esto lo resumo en una idea que me parece central, porque cambia cómo se piensa el control sobre la inteligencia artificial: seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de IA, hoy se sientan en las propias oficinas de Anthropic con la misma computadora, las mismas llaves internas y, sobre todo, la misma libertad de criterio que tendría un empleado del área de evaluación de riesgos de la propia compañía, lo cual convierte a ese grupo chico en una suerte de auditor interno que, sin embargo, responde afuera y puede contar lo que vea sin pedir autorización previa, una figura rara, casi una contradicción funcional, y por eso mismo interesante de mirar de cerca.

Tres niveles de acceso, uno solo con libertad plena

La compañía diseñó un esquema con tres categorías de evaluadores externos que fue construyendo a lo largo del último año y que vale la pena entender en detalle. En el nivel más bajo están organizaciones como SecureBio, que hacen revisiones acotadas y necesitan pedir permiso antes de difundir sus conclusiones. En el nivel intermedio los revisores reciben más información y pueden publicar sin pedir autorización, aunque sin el grado de inmersión que tiene ahora METR. El nivel superior, que hoy ocupa únicamente METR, es el que agrega el acceso equivalente al de un empleado y la facultad de publicar evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que Anthropic pueda impedirlo.

La compañía sí puede pedir que se redacten ciertos fragmentos que entren en categorías estrechas y predefinidas, como datos de clientes, información cubierta por secreto profesional entre abogado y cliente o detalles sobre la arquitectura de los modelos, pero el acuerdo deja a METR en libertad de señalar públicamente si considera que esa redacción estaba o no justificada, un detalle clave porque convierte la queja sobre la transparencia en parte del expediente y no en un conflicto puertas adentro.

Las cuatro condiciones que, según Anthropic, hacen útil una auditoría

• Experiencia técnica suficiente como para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente, algo que la propia empresa reconoce como uno de los riesgos más delicados del momento.
• Independencia económica y operativa respecto de la compañía auditada, condición que METR cumple al ser una organización sin fines de lucro con financiamiento propio.
• Acceso que vaya más allá del modelo terminado e incluya información sobre cómo se entrenó y cómo funcionan sus mecanismos de seguridad, algo que hasta ahora la mayoría de las evaluaciones externas no consigue.
• Libertad para publicar lo que se encuentre sin restricciones previas, que es justamente el atributo que distingue al nivel más alto del esquema.

La propia Anthropic admite que no puede hacer pública toda su información de seguridad, ya que parte de esos datos podría ser útil para actores maliciosos o resulta sensible desde lo comercial, y por eso resolvió concentrar el acceso profundo en un grupo muy acotado que opera bajo acuerdos exigibles, mientras el resto del personal de METR queda aislado de ese trabajo y no tiene contacto con lo que revisa ese equipo chico.

Lo que más me interesa, y lo que creo que vale la pena mirar de cerca en los próximos meses, es que el equipo de METR ya había revisado varios reportes de riesgo durante el año anterior a recibir este nivel ampliado, así que no llega de afuera sin contexto sino que ya conoce la casa por dentro, y eso es justo lo que pedía la propia compañía: ojos que entiendan el oficio, que no se dejen engañar por un modelo que aparente estar alineado cuando en realidad está simulando, y que aun así puedan contarle al mundo lo que encuentren sin que la empresa les tape la boca.