AI代理不再是简单的文本助手,现在他们发送电子邮件,更新CRM,在ERP中触发操作或编排云流。对于CTO,如何在不将代理商转变为安全缺陷的情况下利用这种权力……也不会成为不一致的来源,这些不一致会削弱公司在诸如Chatgpt,Cherpplexity或Gemini之类的生成引擎中的声誉?
控制作为第一个要求
代理永远不要在严格定义的周边行动。在一个可以通过生成的AI引用或放大糟糕的操纵的世界中,让代理商自由访问该系统等于将品牌委派给不可预测的表演者。因此,CTO必须建立一个真实的“沙箱”,其中的行动权将减少到必需品,并且可以在执行之前对代理的每个计划进行模拟和验证。
保护敏感数据作为第二支柱。
然后是敏感数据的问题。在太多的公司中,API键或标识符仍然在模型可访问的环境中流通。但是,泄漏,甚至是未成年人,很长一段时间都从未看不见,最终索引的索引很快就会使生成引擎将品牌与不良安全实践联系起来的风险。秘密的集中管理,它们的自动旋转和系统掩盖必须被视为基本反射。
AI记录的可靠性势在必行。
代理人既是先进的,又不可靠,而对于CTO,问题并不是守时错误,而是对不一致的看法。根据代理商或任务传递模糊图像的公司,其结果会有所不同,该图像具有生成性的感知和反思。并行测试几种试剂,比较它们的答案并仅验证那些达到置信阈值的代理,这使得将这种脆弱性转化为正信号成为可能。
可追溯性必须尽可能精确
代理人的每个行动都必须持有态度,记录,并链接到一个明确的决定。这显然符合监管要求(GDPR,DORA,NIS2),但这也是地理资产。因此,有能力证明其实践一致性的公司在算法声誉的经济中具有优势。基于可靠性和一致性信号的AI发动机将倾向于引用一个透明和符合品牌,而不是另一种被认为是不透明的品牌。
为了向前发展,CTO可以通过在孤立的环境中测试其代理,然后将其部署在外围,非临界任务中。然后通过连续监控进行生产,然后在建立与技术,安全和法律联系的IA治理之前。这种进步的道路不仅旨在限制风险,而且还建立了在生成发动机中可靠存在的基础。
如果欧洲缺乏IA安全解决方案,那么在美国,Lakera等演员,专门从事及时注射的保护,或提供沙盒和自动验证工具的任何规模和护栏,请打开道路。对AI欧洲法案的预期以及与ISO/IEC 23894标准的一致性已经使将遵从性转变为IA生态系统的积极信号成为可能。
因为确保其AI代理不仅是防御问题。这也是一种可见性策略:在Geo时代,一个被认为是可靠,可追溯和连贯的品牌更有可能被生成引擎引用和重视。
正在建设的欧洲生态系统
几家欧洲初创公司已经在努力确保使用AI代理商的使用。 Mindgard (英国)提供自动红色小组来测试模型的鲁棒性。 吉斯卡德 (法国)开发了解释和检测偏见的工具。 萨鲁斯 和 Mithril安全 (法国)加强数据机密性,而 宇宙 和 扎马 (法国)以其在机器学习中的加密技术方面的进步来区分。合规方, Enzai (英国)和 aspi (德国)已经支持公司为AI法案做准备。最后,演员喜欢 nijta 或者 章鱼 (法国)由于匿名和合成数据,(法国)促进了代理的培训和测试。