Nvidia lanza una plataforma abierta para aislar agentes de IA y ponerlos en cuarentena si se salen de sus límites

Nvidia ha presentado Open Agent Safety Platform, una plataforma abierta de seguridad diseñada para imponer límites a los agentes de inteligencia artificial desde el software hasta la infraestructura que los ejecuta. El sistema combina el entorno de ejecución OpenShell con un diseño de referencia denominado Sentry, capaz de supervisar los agentes desde hardware separado y ponerlos en cuarentena si intentan salir de las políticas establecidas.

La compañía asegura que Sentry puede detener un agente en milisegundos cuando detecta que intenta operar fuera de sus límites. La propuesta está orientada principalmente a organizaciones que despliegan agentes autónomos con acceso a datos, herramientas, API, credenciales, infraestructura empresarial o sistemas físicos, no a controlar cualquier modelo de IA existente.

OpenShell crea una barrera de seguridad alrededor del agente

Una de las piezas principales de la plataforma es NVIDIA OpenShell, un entorno de ejecución de código abierto que permite definir qué recursos puede utilizar un agente mientras está funcionando.

En lugar de confiar únicamente en las instrucciones proporcionadas al modelo, OpenShell aplica controles fuera de la propia carga de trabajo del agente. Puede limitar los sistemas y datos a los que tiene acceso, controlar las conexiones de red, proteger credenciales y registrar las decisiones relacionadas con las políticas de seguridad.

El sistema utiliza entornos aislados en los que los permisos pueden establecerse individualmente para cada agente. Un supervisor situado fuera de la carga de trabajo comprueba además las solicitudes salientes antes de permitir que lleguen a servicios externos.

Por ejemplo, una organización podría autorizar a un agente a consultar información mediante una API y al mismo tiempo impedir que utilice esa misma API para modificar datos.

Las credenciales pueden mantenerse fuera del alcance del agente

OpenShell también pretende solucionar uno de los problemas de seguridad que aparecen cuando los agentes necesitan utilizar servicios empresariales: el acceso a claves y credenciales reales.

El sistema puede mantener esas credenciales fuera del entorno en el que se ejecuta el agente. Cuando una solicitud está autorizada, la infraestructura introduce las credenciales necesarias externamente y las utiliza únicamente con los destinos permitidos.

Esto reduce la posibilidad de que un agente, código generado durante una tarea o un proceso secundario pueda leer una credencial y reutilizarla posteriormente con otro servicio.

Sentry vigila al agente desde un BlueField-4 separado

La segunda capa destacada por Nvidia es Sentry, un diseño de referencia que utiliza las DPU NVIDIA BlueField-4 para supervisar el comportamiento del agente fuera del sistema donde este desarrolla su actividad.

Nvidia lo describe como un mecanismo de vigilancia out-of-band. Al funcionar en un dominio de confianza aislado, Sentry puede observar actividad y aplicar políticas independientemente del agente que está supervisando.

El sistema utiliza tecnología NVIDIA DOCA para inspeccionar solicitudes y respuestas, verificar la identidad del agente y aplicar políticas de acceso de tipo zero trust a datos, herramientas, API y servicios.

Según Nvidia, si un agente intenta superar los límites establecidos por el software, Sentry puede ponerlo en cuarentena y detenerlo en milisegundos.

La seguridad no depende solo de que el agente obedezca

El planteamiento de Nvidia intenta trasladar parte de las protecciones fuera del propio modelo. Un agente puede recibir nuevas instrucciones, generar código, iniciar procesos secundarios o cambiar su estrategia a medida que desarrolla una tarea, pero las restricciones externas continúan aplicándose.

OpenShell incluye controles sobre archivos y procesos a nivel del sistema operativo, mientras que las comunicaciones de red deben pasar por el supervisor configurado para el entorno.

La plataforma también incorpora análisis formal de políticas. Su objetivo es comprobar qué acciones permiten realmente unas reglas determinadas y detectar casos en los que una configuración aparentemente restrictiva siga dejando disponible otra vía para realizar una operación prohibida.

Microsoft, JPMorganChase, SAP y Red Hat participan en el ecosistema

Nvidia ha acompañado el lanzamiento con un amplio grupo de empresas que trabajan con diferentes componentes de Open Agent Safety Platform. La compañía afirma que más de 100 organizaciones ya colaboran con tecnologías relacionadas con la plataforma.

Entre las empresas citadas están Microsoft, Anthropic, Cisco, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI y ServiceNow.

Salesforce y Nvidia, por ejemplo, han integrado OpenShell con Slack para que los equipos puedan revisar la actividad de los agentes y aceptar o rechazar solicitudes de permisos adicionales.

SAP está integrando OpenShell con el entorno de ejecución de Joule Studio, mientras que Red Hat trabaja con OpenShell y DOCA dentro de su infraestructura empresarial de IA.

También está pensada para agentes que controlan sistemas físicos

La arquitectura no se limita a agentes que trabajan con archivos o aplicaciones empresariales. Nvidia incluye también sistemas de robótica entre los escenarios que pretende proteger.

Empresas como Figure, Gecko Robotics y Skild AI están trabajando con OpenShell para añadir controles de seguridad a agentes capaces de tomar decisiones que terminan produciendo acciones en sistemas físicos.

En estos casos, establecer los permisos fuera del agente resulta especialmente relevante porque una acción no autorizada puede superar el ámbito de una aplicación y afectar a maquinaria o robots conectados.

OpenShell ya está disponible como software de código abierto

Nvidia indica que el software de Open Agent Safety Platform, incluido OpenShell y sus recursos asociados, ya está disponible para desarrolladores. OpenShell puede utilizarse con diferentes modelos y frameworks y Nvidia afirma que, al ser abierto, también puede ampliarse a plataformas de computación de terceros.

La compañía cita específicamente plataformas basadas en Arm e Intel además de su propia arquitectura. En los sistemas de Nvidia, OpenShell está diseñado para ejecutarse junto a las CPU Vera, mientras que el componente de vigilancia Sentry está planteado alrededor de BlueField-4.

La propia Nvidia advierte, no obstante, que diferentes productos y funciones descritos alrededor de la plataforma pueden encontrarse en distintas fases de desarrollo. Open Agent Safety Platform debe entenderse por tanto como una arquitectura de seguridad para desplegar agentes empresariales con controles externos, y no como un mecanismo universal capaz de detener cualquier sistema de inteligencia artificial que actúe de forma inesperada.