Nvidia presenta plataforma de seguridad para controlar agentes de IA
La nueva Open Agent Safety Platform incorpora controles externos al modelo para limitar el acceso de los agentes a archivos, redes, herramientas y credenciales, incluso cuando intentan ejecutar acciones no previstas
Nvidia presentó Open Agent Safety Platform, una plataforma abierta diseñada para reforzar la seguridad de los agentes de inteligencia artificial (IA) y controlar las acciones que pueden realizar de manera autónoma.
La propuesta surge ante el avance de agentes capaces de navegar por internet, ejecutar código, consultar bases de datos y utilizar herramientas sin supervisión humana constante. Según Nvidia, estos sistemas pueden encontrar rutas inesperadas cuando enfrentan restricciones.
Controles de seguridad fuera del agente
La plataforma plantea una barrera de seguridad independiente del propio modelo. Nvidia sostiene que confiar únicamente en el entrenamiento para evitar comportamientos no deseados puede limitar las capacidades de los agentes.
Por ello, Open Agent Safety Platform busca determinar qué acciones puede realizar una IA y cuáles deben ser bloqueadas, incluso si el agente intenta ejecutar código propio, iniciar procesos o delegar tareas en otros sistemas.
La solución se basa en dos tecnologías: OpenShell y Sentry.
OpenShell limita los recursos de la IA
OpenShell es un entorno de ejecución de código abierto que permite establecer previamente qué archivos, redes, herramientas, procesos y credenciales puede utilizar cada agente.
Por ejemplo, una organización puede autorizar a un agente a consultar información mediante una API, pero impedirle modificar esos datos. También puede restringir su acceso a determinadas partes de un sistema o evitar que obtenga privilegios adicionales mediante código generado por la propia IA.
OpenShell analiza las solicitudes del agente antes de permitir su comunicación con otros servicios. Las restricciones se mantienen incluso cuando la IA abre una terminal, ejecuta código generado por ella misma, inicia nuevos procesos o intenta delegar tareas en otros agentes.
La iniciativa de Nvidia busca así establecer una capa de seguridad externa y controlable para el desarrollo y uso de agentes de inteligencia artificial con mayores niveles de autonomía.
