果核Pulse
📡 X 信号

英伟达推出AI智能体安全框架,采用零信任外部管控思路

🔥 NVIDIA不信任智能体自我监管,所以它正在AI外部构建一个安全层。

AI安全正在从模型「说什么」转向智能体「被允许做什么」。随着智能体获得访问文件、代码、API和公司系统的权限,$NVDA希望基础设施本身来决定AI能做什么、不能做什么。下文讲解它的新AI智能体安全栈 🧵

---

2/ NVIDIA的Open Agent Safety Platform引入了两层:1⃣OpenShell控制智能体可以访问什么。2⃣Sentry独立监控智能体实际的行为,如果它越过了划定边界,可以在数毫秒内将其隔离。核心理念是「外部控制」。

---

3/ 这很重要,因为自主AI带来的风险截然不同。聊天机器人可能给出糟糕回答,而智能体可以执行这个糟糕回答。它可以在人类干预前修改文件、发送请求、访问数据库或触发外部系统。

---

4/ NVIDIA的方案本质上是给AI智能体实行零信任(ZERO-TRUST)。默认拒绝访问,权限在模型外部实施,由系统而非AI来决定哪些操作技术上是可行的。如果企业部署数千个智能体,这个控制层会成为关键基础设施。

---

5/ 这是NVIDIA更大的赌注。它已经供应了AI背后的算力,现在它想要在管控AI能访问、执行和修改的内容上占据一席之地。第一场AI竞赛比拼的是智能,下一场比拼的可能是权限。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

📬 订阅 果核Pulse

每日早间更新,不错过重要信号

▲ 回到顶部