人工智能创造了自己的影子IT:公司已经失去了对其代理的追踪

近二十年来,IT 部门一直试图重新控制一种已经司空见惯的现象:影子 IT。这句话的背后隐藏着一个简单的现实。员工在未经 IT 团队事先验证的情况下就采用了云工具、应用程序或服务。随后,公司发现越来越多的数字基础设施正在从他们身边流失。

今天的历史似乎在重演,但有一点不同:在组织中激增的不再是应用程序,而是人工智能代理。

代理平台的快速发展正在逐渐改变信息系统的本质。继对话助理之后,公司现在正在部署能够访问数据库、与业务软件交互、启动自动化流程甚至自主做出某些决策的代理。这些系统不再只是回答问题,而是采取行动。

这一发展为生产力开辟了新的前景,但也揭示了一个日益扩大的灰色地带。在许多组织中,如今没有人能够准确识别所部署的所有代理、他们的访问权限、他们的特权或他们的实际行为。

这种现象让人想起云计算的早期,随着团队采用新的 SaaS 服务,IT 部门逐渐失去了对其数字资产的可见性。这种失控催生了一个致力于盘点、管理和保护云环境的整个行业。

人工智能代理似乎遵循类似的轨迹,但更加复杂。 SaaS 应用程序执行相对定义的功能范围。自主代理可以根据上下文修改其行为,使用多种工具,访问不同的数据源并与其他系统交互,而无需直接人工干预。

因此,问题不再仅仅在于获取数据,而在于理解这些新数字参与者所做出的决策的能力。

这种变化在现场已经可以观察到。人工智能生物技术公司 Owkin 最近发现,其内部库存严重低估了其技术环境中代理的存在。在试点项目期间,识别出的特工数量是最初统计的三倍多。该行动还发现了几个关键漏洞,包括命令注入风险、凭证泄露和机密数据的潜在泄露。据该公司称,避免的风险估计为 1300 万美元。

这些数字说明了企业面临的新挑战。随着代理数量的增加,问题不再只是使用哪种人工智能模型,而是如何监督能够在关键基础设施内自主行动的系统。

这个问题可能很快就会成为一个治理问题,就像网络安全问题一样。从《人工智能法案》开始,欧洲法规已经对人工智能系统的可追溯性、可审计性和控制性提出了越来越高的要求。公司不仅需要能够展示他们使用哪些工具,还需要展示他们如何做出决策以及如何与数据交互。

对于一般管理来说,现在的问题超出了简单的技术框架。能够大规模部署代理,同时保持对其行为的完全可见性的组织可以从主要的竞争优势中受益。相反,那些在没有适当治理的情况下允许这些新系统激增的人可能会发现累积风险的程度,但为时已晚。

正是基于这一观察,Geordie AI 打算实现其增长。这家英国初创公司正在开发一个专门用于公司内部人工智能代理的库存、安全和治理的平台。其目标是提供对现有代理、其访问、行为和相关风险的实时可见性,同时允许组织在不减慢部署速度的情况下监督其行为。为了加速发展、加强平台并扩大在美国的业务,Geordie AI 刚刚从 Balderton Capital 筹集了 3000 万美元的 A 轮融资,Crosspoint Capital 及其历史投资者 General Catalyst 和 Ten Eleven Ventures 也参与其中。此次交易使公司的总资金达到 3650 万美元。