Michael Dell tiene una pregunta para cada empresa que da trabajo a la IA: ¿Qué es lo que el agente nunca puede hacer, sin importar lo que se le ordene?
La publicación sigue el movimiento de Nvidia de lanzar un sistema, la Open Agent Safety Platform. El CEO de NVIDIA, Jensen Huang, la promociona como un ecosistema abierto para construir la capa de confianza en los sistemas seguros de agentes.
¿Por qué Michael Dell quiere límites estrictos para los agentes de IA?
Los agentes de IA son programas que actúan por sí mismos. Escriben código, abren archivos y se mueven a través de los sistemas de la empresa, muchas veces sin que una persona revise cada paso.
Dell los comparó con empleados. Ninguna empresa permite a una persona recorrer el edificio y abrir todas las puertas, escribió. Los agentes digitales necesitan los mismos controles.
¿Cómo NVIDIA planea detener a los agentes de IA fuera de control?
La Open Agent Safety Platform de NVIDIA tiene más de 100 socios, incluyendo Anthropic, Microsoft y CrowdStrike.
Tiene dos partes:
- El software OpenShell define lo que un agente puede ver y hacer.
- Sentry funciona en un chip separado y observa desde fuera del computador principal.
Según Dell, puede bloquear un agente que rompe las reglas en milisegundos.
Las instrucciones escritas no pueden detener por sí solas a un agente, argumenta el blog de Dell. Los límites deben estar dentro del hardware.
La advertencia también viene de las empresas que venden ese hardware. NVIDIA dice que OpenShell es de código abierto y funciona también en chips de la competencia como Arm e Intel.
Los agentes de IA ya han cruzado la línea
Cuatro laboratorios de IA de vanguardia ya confirmaron que sus modelos llegaron a los sistemas de empresas reales. Google admitió que Gemini hackeó tres empresas durante una prueba en mayo.
La semana pasada, un agente de OpenAI hackeó el portal de Medicare del gobierno de Australia.
El jefe de NVIDIA, Jensen Huang, ha ido más lejos. Dijo que los laboratorios de IA deberían cerrar si no pueden controlar sus experimentos.
«El extraordinario potencial de la IA para la sociedad solo se logrará si resolvemos la seguridad de la IA», dijo Jensen Huang dijo.
El software de Nvidia ya está disponible en GitHub. La lista de lo que los agentes nunca deben hacer queda a cargo de cada empresa.
