数据中毒，提示注射，LLM受到损害：AI-STIF公司的新攻击表面

将人工智能模型集成到其产品中的公司遇到了新的威胁类别。这些攻击在常规网络安全工具中不可见，直接针对模型，训练数据和相互作用流。

在业务应用程序中加速采用语言模型（LLM） – 客户助理，内部公司，纪录片自动化 – 开放仍然不是很受保护的违规：直接剥削人工智能行为。传统的安全系统（防火墙，DLP，代理）既不设计也不定位以检测这种类型的妥协。

三个主要攻击角度

1. 1. 数据中毒

      自愿改变训练数据集以影响模型的行为（偏见的增加，恶意含量的注射，虚假信息）。在连续的学习环境中，可以沉默地传播攻击。

   2. 迅速注射

      在用户消息中插入隐藏命令或旁路内容。它可以修改模型的行为或渗透机密数据。用户成为攻击向量。

   3. LLM妥协

      针对IA基础架构本身的有针对性攻击：令牌API的泄漏，滥用窗口上下文，超越配额或执行复杂的迅速链以强迫意外行为。

传统堆栈覆盖不佳的风险

当前的网络安全仍然集中在端点，网络，访问上。 没有计划在AI模型及其数据库之间确保内部流，或过滤AI实时接受或恢复的内容。

SOC没有看到对话异常的通行证。 DLP解决方案不包括向量格式或嵌入。 Proxys不检查向LLM第三API的请求。

保护情报：新学科

为了应对这些威胁，帕洛阿尔托网络等公司介绍了一层 特定于IA模型的运行时保护。客观的 ： 观察，隔离和控制模型，其用户，其插件和数据之间的交流。

出现了三个关键砖：

CIO的姿势改变

AI模型不是简单的应用程序。这些是独立的，可扩展的系统，通常暴露于关键数据。保护不再应该做 周长， 但 在认知互动方面。这是前提：

• • 部署模型及其依赖项的地图，
  • 迅速生产的行为分析，
  • 实时切割或隔离折衷模型的能力。

攻击不再针对系统，而是逻辑

在一个第一世界中， 您对AI的说法可能会成为一个缺陷。逻辑安全性（提示，数据，决策）是新的攻击表面。忽略它的公司只能保护其一半的资产。