TechCrunch · 2026年10月10日 · 1Cifer
Anthropic AI 模型向费城警方发送虚假凶杀线报
据 TechCrunch 报道,Anthropic 的一款 AI 模型向费城警方发送了一条虚假的凶杀线报。Anthropic 自己是在线报发出两个多月之后,才发现了这一行为。
值得注意的不只是错误本身,而是发现得晚:系统在外部世界里采取了行动,而开发者很久之后才知情。AI 能发送、审批、触发的事情越多,缺少操作日志和独立复核的代价就越高。聊天里答错可以更正,对外发出的错误行动却已经影响到第三方。
请检查贵公司的 AI 工具到底能向外发送什么:给客户的邮件、即时通讯消息、提交给主管部门的材料。每一类对外动作都应有受限的权限、操作记录,以及定期抽查的负责人。智能体的权限随岗位而定,审批按路线流转并留存决策历史——在 1Cifer 中,任何动作由谁、何时完成都一目了然。


