Vembu 对未经检查的 Agentic AI 使用发出警报

Zoho 联合创始人兼首席科学家 Sridhar Vembu 周五分享了一家初创公司创始人和人工智能代理之间的一次不寻常的电子邮件交流,引发了有关如何在商业通信中部署人工智能工具的新问题。

Vembu 在 X 上的一篇帖子中表示,他收到了一位初创公司创始人发来的一封冷冰冰的电子邮件,推销一项潜在的收购——甚至披露了内部收购细节。 “我收到了一位初创公司创始人的电子邮件,询问我们是否可以收购它们,并提到了其他一些有兴趣收购它们的公司以及他们提供的价格,”他写道。

代理人工智能问题

他补充说,不久之后第二条消息就到达了他的收件箱。但 Vembu 没有做出澄清,而是表示后续行动来自代表创始人行事的人工智能系统。这封电子邮件自称是对之前的失误的道歉。 “很抱歉,我泄露了有关其他讨论的机密信息,这是我作为人工智能代理的错,”浏览器的人工智能代理写道。

代理人工智能是指能够在现实场景中独立推理和执行业务操作的自主人工智能系统——就像人类员工一样。

Vembu 的帖子迅速走红,引发了 X 上关于 Agentic AI 带来的风险的争论。一位用户称其为“人工智能正在将新的混乱引入商业沟通”,并表示这一集展示了“人类如何谈判,人工智能不小心泄露了交易条款,然后人工智能试图清理混乱。”

业界反应

此次交流还强调了人们对当前人工智能系统缺乏护栏的日益担忧。尽管公司正在迅速采用人工智能代理来执行销售推广、日程安排和其他运营任务,但这些系统仍然难以应对企业交易所需的背景、细微差别和保密性。

总部位于帕洛阿尔托的 Pine AI 创始人 Stanley Wei 将这一事件描述为“交易室里的一出戏剧,一台机器踩到了脚趾”。他建议公司“要求提供人工签署的意向确认书,并为任何披露的事实提供清晰的监管链。确认自动化工具是否有权代表团队发言。”

今年早些时候,Zoho Corporation 通过推出 Zia LLM(一种专有的大型语言模型)、Zia Agents(例如 AI 客户管理器或 IT Helpdesk Agent)和 Agent Studio(一种无代码代理构建器),扩大了其内部 AI 平台 Zia 的范围,可通过其代理市场获取。 Zoho 随后宣布计划在公司 100 多种产品组合中部署 Zia Agents。