9月28日消息,当地时间周一,英伟达发布一款名为“Open Agent Safety Platform”的双层AI安全平台,包含两款开源软件工具OpenShell与Nvidia Sentry。
该平台可依托英伟达硬件架构运行,实现对AI智能体访问权限的实时管控,能够快速识别异常行为、强制关停违规智能体。
其中,开源软件OpenShell可在沙箱环境中运行AI智能体,将用户指令转化为可验证的安全策略,并限制智能体对文件、网络、工具、进程和凭证的访问。
Nvidia Sentry则将监控和安全控制延伸至BlueField数据处理单元,通过英伟达DOCA关联智能体交互、策略决策及工具和数据访问记录,用于识别异常行为并在必要时进行干预。
针对AI智能体安全风险,英伟达解释称,AI智能体可能因工具、运行时间、指令歧义等因素偏离既定任务,因此需要独立于智能体本身的安全控制。该平台针对英伟达Vera CPU和BlueField DPU系统优化,并兼容其他硬件系统。
同时,英伟达官方介绍,该平台具备毫秒级隔离异常代理,风控响应速度远超常规防护手段。官方直言如果相关实验室此前已部署这套技术,今年7月OpenAI模型攻击Hugging Face的事件本可被阻止。
与此同时,在监管问题上,黄仁勋近期多次强调,AI安全应更多通过技术手段解决,而非单纯依赖新的监管框架。
他也曾公开质疑部分AI开发者关于AI可能威胁人类生存的警告,同时强调AI系统仍必须经过严格的安全测试。
【本文来源:快•科技】