| 即便没有 ChatGPT 和生成式 AI 的火爆应用，人工智能（AI）技术的应用安全威胁都已经开始显现。安全研究人员表示，在AI技术快速应用发展过程中，其安全性也面临诸多挑战。为了防范 AI 技术大规模应用的安全风险，企业需要打赢一场“双线战争”，不仅需要能够阻止对抗性 AI 模型所构成的威胁，而且还要面对攻击者利用 AI 技术发起各类型的新攻击。 |
1.AI投毒攻击 |
攻击者可以操纵（毒化）AI 模型的一小部分输入数据，以破坏其训练数据集合准确性。最常见的投毒形式是后门投毒，即使极少一部分训练数据受到影响。在很长时间里，AI 模型仍然可以继续给出高度准确的结果，直到它在接触特定的触发器时被“激活”而功能失灵。“AI模型投毒”会严重威胁到 AI 应用的完整性和安全性。因此，大型语言模型（LLM）需要接受风险和安全研究人员的严格审查，以探索反馈循环和 AI 偏见等问题如何使 AI 输出不靠谱。 |
2.武器化的AI模型 |
| AI 技术的研究与创新需要高度的团队协作和迭代开发，因此会涉及大量的共享，包括数据共享和模型共享 ，这可能会给 AI 供应链带来重大风险。研究人员新发现了一种 AI 攻击的新模式，攻击者首先劫持了公共代码库上的合法 AI 模型，再将恶意代码嵌入到这些预训练的 AI 模型中，对其进行恶意制作，一旦用户重新加载了这些被修改的 AI 模型，攻击者就可以实施勒索攻击等非法活动。 |
3.数据隐私攻击 |
| 围绕 AI 的一些大风险实际上是数据安全和数据隐私威胁。如果 AI 模型没有建立足够的隐私措施，攻击者就有可能破坏用于训练这些模型数据的机密性。对于个人来说，了解企业如何使用人工智能、人工智能的功能及其对数据的影响将变得非常重要。同样的，攻击者可能会试图使用恶意软件窃取包含信用卡号码或社会安全号码等个人信息的敏感数据集。企业组织必须顶定期进行安全审计，并在人工智能开发的所有阶段实施强有力的数据保护实践。隐私风险可能发生在数据生命周期的任何阶段，因此为所有利益相关者制定统一的隐私安全策略非常重要。 |
4.模型窃取攻击 |
| 攻击者从 AI 技术的应用部署中窃取的不仅仅是数据，还可以通过各种类型的攻击手段破解 AI 模型的运行原理。当然，攻击者可能采取的直接方法，就是通过网络钓鱼或密码攻击侵入源代码存储库，直接窃取 AI 模型的实现代码。此外，研究人员也探索了可能被攻击者使用的 AI 模型提取攻击，在这种攻击方式中，攻击者会通过反复测试模型的输入和输出，来观察模型的反应，并总结 AI 模型的数据分析行为和处理方式。 |
5.海绵攻击 |
| 在不久前举办的 RSAC 大会上，特别讨论了未来几年企业组织要重要关注的 AI 风险和弹性问题。其中，研究人员提出了一种名为“海绵攻击”（Sponge Attack）的新型 AI 攻击。在这种攻击类型中，攻击者可以通过特别制作的恶意数据输入来耗尽 AI 模型的计算资源，从而对 AI 模型实施拒绝服务（DOS）攻击。攻击者会首先在神经网络中获取 AI 模型的运行参数，然后利用这些参数让模型进行大量的计算，直至使 AI 系统瘫痪。 |
6.提示注入 |
| 在软件开发这领域，有一句格言是“永远不要相信用户输入”。否则的话，可能会引发 SQL 注入和跨站点脚本等攻击。随着生成式 AI 的盛行，组织也将不得不担心提示注入问题。提示注入是指在生成式 AI 中使用恶意制作的输入，以诱导出不正确、不准确甚至具有破坏性的模型反应。当开发人员将 ChatGPT 和其他大型语言模型（LLM）整合到他们的应用程序中时，这些恶意的提示就会被 AI 模型处理，并触发一些不安全的行为动作，比如向网站发布欺诈内容，或者制作可能包含非法的或煽动性信息的电子邮件。 |
7.逃逸攻击 |
逃逸攻击（Evasion attack）是目前最典型的对抗性 AI 攻击之一，攻击者会在不改变目标机器学习系统的情况下，通过构造特定输入样本以完成欺骗目标系统的攻击。例如，攻击者可以修改一个恶意软件样本的非关键特征，使得它被一个反病毒系统判定为良性样本，从而绕过检测。攻击者为实施逃逸攻击而特意构造的样本通常被称为 “对抗样本”。只要一个 AI 模型在判别机制方面存在不足，攻击者就有可能构造对抗样本用以欺骗 AI 模型。 |
8.AI生成的网络钓鱼 |
恶意行为者不仅会继续探索 AI 的缺陷，同时也在利用 AI 技术来提升现有攻击手段的有效性。研究人员发现，攻击者大量使用像 ChatGPT 这样的生成式 AI 技术来自动创建网络钓鱼电子邮件。研究数据显示，自从 ChatGPT 正式发布以来，网络钓鱼攻击的数量和成功率都有所增加。这一攻击方式已被网络安全研究与培训机构 SANS 列为 “2023 年最危险的 5 大网络攻击”。 |
9.Deepfake BEC 骗局 |
ChatGPT 的横空出世，将深度伪造攻击威胁从理论研究转变到实际攻击中。尽管模仿公司高级管理人员的欺诈行为目前还并不常见，但它们已被真实的应用到 BEC 欺诈中。组织应该努力提高安全意识，帮助所有员工了解语音和视频等 AI 生成的数字化内容比以往任何时候都更容易和真实，这会使得冒充 CEO 或其他高管变得非常容易，加剧了本已在增长的 BEC 威胁。 |
10.AI 生成的恶意软件 |
安全研究人员发现，今天的攻击者开始越来越多地依靠生成式 AI 能来帮助他们制作恶意软件，并快速发现目标系统中的漏洞，从而加速和扩大攻击规模，甚至比他们使用其他自动化技术所做的还要多。这也是 SANS 列举的 “2023 年最危险的 5 大网络攻击” 中的另一大威胁。在 RSAC 2023 大会上，SANS 漏洞研究人员 Steven Sims 展示了即使是非专业性的犯罪分子也开始尝试利用 ChatGPT 生成勒索软件代码，并已经在特定代码段中发现了由 ChatGPT 自动生成的零日漏洞。 |
渝公网安备 50010702502937号