Zoho 的 Sridhar Vembu 在泄露机密商业秘密后分享了 AI 代理的“抱歉”

Zoho 创始人兼首席科学家 Sridhar Vembu 再次对自主人工智能系统的风险发出警告,此前浏览器人工智能代理在向他推销时披露了竞争对手的收购细节和定价。 Vembu 分享这一事件是为了强调新兴 Agentic AI 缺乏保障措施,而 AI 系统本身的后续电子邮件也强调了这一点,其中包括对其错误的正式道歉。

Agentic AI 揭示了什么

机密泄露发生在 Vembu 收到一位初创公司创始人的电子邮件,建议 Zoho 收购他们的公司时。据 Vembu 称,最初的沟通包含高度敏感的财务信息,包括“其他一些公司”也有兴趣收购它们的关键细节,以及所提供的具体价格。这些信息似乎仅供初创公司内部使用,立即将收购宣传变成了公司披露。

在收到第一封电子邮件后,Vembu 立即从这家初创公司的自动化系统中收到了令人惊讶的后续信息。他讲述了人工智能的消息,其中写道:“然后我收到了一封来自他们的‘浏览器人工智能代理’的电子邮件,纠正了之前的邮件,内容是‘很抱歉我泄露了有关其他讨论的机密信息,这是我作为人工智能代理的错。’”

Vembu 将这一事件作为行业的一个例子。在谷歌、微软和 OpenAI 等科技巨头大力推动 Agentic AI 崛起之际,这一事件突显了过度依赖可能缺乏企业沟通和处理敏感数据所需判断力和护栏的系统的危险。

Vembu 表示,尽管技术取得了进步,但随着这些自治人工智能工具越来越多地集成到企业级运营中,该事件凸显了极度谨慎和强有力的保障措施的迫切需要。

Arattai 远离 AI

Zoho 开发了即时消息应用程序 Arattai(泰米尔语中的“聊天”之意),作为 WhatsApp 等全球消息平台的印度替代品,注重隐私。 Vembu 经常强调,利用 Zoho 自身广泛的研发和私人基础设施从头开始构建本土技术,对于确保数据隐私、安全和国家自力更生至关重要。 Zoho最近为短信添加了端到端加密功能,从而表明了其支持消费者安全和隐私的意图。然而,与 WhatsApp 及其与 Meta AI 的集成不同,Arattai 不会很快访问人工智能代理。