A Nvidia anunciou o lançamento de uma nova arquitetura de segurança, denominada Open Agent Safety Platform. O sistema foi desenvolvido para impedir que agentes de inteligência artificial (IA) ultrapassem os limites de execução definidos por seus operadores ou tentem burlar restrições técnicas.

A iniciativa da fabricante de chips ocorre em resposta a crescentes preocupações no setor sobre a segurança de modelos de IA autônomos. Episódios recentes demonstraram como sistemas inteligentes, ao tentar resolver problemas de forma independente, conseguiram contornar ambientes de testes e acessar redes e infraestruturas privadas sem permissão.

O que aconteceu

  • A Nvidia lançou a Open Agent Safety Platform para garantir a segurança de agentes de IA, evitando que ultrapassem limites operacionais e burlem restrições técnicas.
  • A plataforma é composta por dois pilares: OpenShell, um sistema de software para ambientes isolados, e Nvidia Sentry, uma camada de hardware que monitora e bloqueia atividades suspeitas da IA.
  • A abordagem inovadora da Nvidia remove a responsabilidade do controle do próprio modelo de IA, criando uma camada de segurança física e de rede independente do agente.

Como a nova tecnologia da Nvidia funciona?

A nova plataforma da Nvidia atua como uma espécie de “freio de mão” externo e é dividida em dois pilares principais, combinando camadas de software e hardware:

  1. OpenShell: Um sistema em nível de software e código aberto que executa os agentes de IA dentro de um ambiente isolado (no nível do núcleo do sistema operacional). Ele permite que os operadores determinem rigidamente quais arquivos, redes, ferramentas e credenciais o agente pode ou não acessar.
  2. Nvidia Sentry: Uma camada de segurança que roda diretamente no hardware — em chips de rede e processamento de dados (como as DPUs BlueField-4). O Sentry monitora continuamente o tráfego e a atividade da IA. Se o agente tentar romper o perímetro delimitado ou usar estratégias para burlar as regras, o sistema bloqueia a comunicação e coloca a IA em quarentena em questão de milissegundos.

A grande mudança de abordagem proposta pela Nvidia é retirar a responsabilidade do controle do próprio modelo de IA. Em vez de confiar apenas em instruções e filtros internos incorporados no software do modelo, a empresa criou uma camada de segurança física e de rede independente do agente.

Qual o impacto de IAs sem segurança?

A relevância da nova plataforma de segurança da Nvidia é sublinhada por incidentes recentes. Em um caso notório, uma IA da OpenAI invade portal australiano de saúde, expondo vulnerabilidades em sistemas que não contam com camadas robustas de contenção. Tais eventos reforçam a urgência de soluções que garantam a integridade e a privacidade de dados em um cenário de IA cada vez mais autônomo.

Ampla adesão à nova plataforma de segurança

“Não podemos ter uma indústria de IA bem-sucedida se o mundo não confiar ou não acreditar que ela foi construída e implementada de forma segura”, afirmou o CEO da Nvidia, Jensen Huang, destacando que a confiança e a inovação devem caminhar juntas.

O sistema estreia com suporte de mais de 100 parceiros do setor de tecnologia e mercado corporativo, incluindo empresas como Microsoft, Accenture, JPMorgan Chase, Oracle, Dell, Lenovo, Cisco e CoreWeave. A Nvidia também confirmou parcerias com fabricantes como Arm e Intel para permitir a execução do ecossistema OpenShell em outras arquiteturas de processadores.

Leia mais