INTELIGENCIA ARTIFICIAL

Anthropic usa Anvil para poner a prueba las defensas de Claude

El sistema usa Claude para buscar fallas antes de desplegar nuevas protecciones. La empresa informó mejores resultados que sus evaluadores humanos en pruebas específicas.

Ilustración de una sonda que examina un punto débil en una barrera protectora sobre una base de Anthropic.
Anvil automatiza pruebas para detectar fallas en las protecciones de los modelos de IA.

Anthropic presentó el 12 de noviembre Anvil, un sistema que utiliza inteligencia artificial para intentar vulnerar las defensas de Claude. La herramienta busca detectar problemas antes de que lleguen a producción y forma parte de las pruebas internas de seguridad de la compañía.

Según la investigación publicada por Anthropic, Anvil encontró fallas en protecciones relacionadas con riesgos biológicos, ciberseguridad y extracción de razonamiento interno. Son resultados del fabricante, no una evaluación independiente.

Qué defensas pone a prueba

El trabajo se inscribe en una estrategia que Anthropic viene desarrollando con sus clasificadores constitucionales. Estos sistemas examinan las consultas y respuestas para identificar contenido restringido. Se entrenan con ejemplos sintéticos generados a partir de reglas que distinguen lo permitido de lo prohibido.

Una dificultad es bloquear pedidos dañinos sin rechazar consultas legítimas. Otra es reconocer los intentos de eludir esas restricciones, conocidos como jailbreaks. En una demostración pública de febrero de 2025, la empresa encontró que, pese a varios días de resistencia, algunos participantes consiguieron superar las defensas. Las pruebas adversariales sirven precisamente para localizar esos puntos débiles.

Una comparación con condiciones especiales

En su hoja de ruta de seguridad, Anthropic detalló una comparación sobre ocho preguntas y tres generaciones de clasificadores: el sistema automatizado superó la mejor respuesta humana en 23 de las 24 combinaciones y la igualó en la restante. Según la compañía, lo consiguió en entre 24 y 48 horas, frente a semanas o meses de los programas de recompensas.

La comparación tiene un límite importante: Anvil dispone de acceso privilegiado. Para las tareas más difíciles utiliza modelos internos avanzados, información precisa sobre los clasificadores y una instancia atacante de Claude con sus propias protecciones desactivadas. No reproduce las condiciones de un usuario común.

Anthropic ya usa Anvil para evaluar nuevas defensas y sostiene que este método permite corregir vulnerabilidades con mayor rapidez. También reconoce que no elimina todos los problemas: todavía pueden aparecer ataques humanos exitosos y quedan escenarios por incorporar a las evaluaciones.

Temas