探索网络安全新技术
攀登黑客技术最高峰

最危险的10种AI攻击:保护AI系统与隐私

当今世界,AI系统已经广泛应用于各种领域,如医疗、金融、安全等。然而,随着AI技术的发展,对其安全性和保护隐私的需求也越来越重要。在这个背景下,对AI系统进行攻击已经成为黑客和恶意用户的一种新型攻击手段。以下是最危险的十大AI攻击,了解这些攻击方式可以帮助人们更好地保护AI系统的安全性和隐私。

最危险的10种AI攻击:保护AI系统与隐私-威武网安

这十种攻击方式涵盖了对AI系统的不同类型攻击,如利用恶意软件注入、模型逆向工程、数据污染、未授权访问、数据盗窃、人工数据注入、人类工程、模型剪枝攻击和隐私攻击。对这些攻击方式的了解可以帮助AI系统的开发人员和使用人员更好地预测、防范和应对AI系统的攻击威胁。同时,掌握这些攻击方式也可以帮助人们更好地保护自己的隐私和数据安全。

AI中毒攻击

从数据和流程完整性的角度来看,CISO应该重点关注的一类攻击是中毒攻击。此类攻击的原理是通过操纵深度学习模型的训练数据入侵模型,甚至可以操纵其输出攻击者想要的结果。模型中毒只是AI完整性问题的冰山一角。大型语言模型(LLM)正受到风险和弹性研究人员的重点关注,后者正积极探索反馈循环和AI偏见等问题如何使AI输出不可靠。

武器化模型

数据科学和AI/ML研究植根于学术界,依赖高度协作和迭代开发,而这种开发依赖大量共享——无论是数据共享还是模型共享。这会给人工智能供应链带来重大风险,就像应用安全人员处理的软件供应链安全问题。

最近的研究概念验证了攻击者可以将恶意代码嵌入到预训练的机器学习模型中,利用公共存储库中的ML模型对组织进行勒索软件攻击。攻击者可以通过劫持公共存储库中的合法模型、植入恶意代码将其武器化。

数据隐私攻击

人工智能的最大风险实际上是数据安全和数据隐私威胁。如果AI模型没有采用足够的隐私措施,攻击者就有可能破坏用于训练这些模型的数据的机密性。一些攻击,如成员推理,可通过查询模型以确定模型中是否使用了特定的数据——这在医疗领域可能会成为大麻烦,因为通过攻击研究特定疾病的AI模型,攻击者有可能推断出某人是否患有某种疾病。

同时,模型反推(Model Inversion)之类的训练数据提取攻击实际上可以重建训练数据。这是一个挑战,因为“使用机密或敏感数据训练的ML系统会在训练中将数据的某些属性植入模型。”Berryville机器学习研究所的联合创始人Gary McGraw解释说。

模型提取攻击

攻击者不仅可以从AI/ML部署中窃取数据,还可能通过各种类型的模型盗窃攻击来窃取特定AI/ML模型工作原理和方法的机密信息。攻击者最有可能采用直接措施,例如通过网络钓鱼或密码攻击入侵私人源代码存储库,以彻底窃取模型。

但研究人员还探索了攻击者如何对他们无法用上述方法访问的模型实施模型提取攻击,通过系统地查询模型来重建模型如何预测某事。那些对与核心产品紧密相关的专有AI模型进行大量内部投资的组织的CISO尤其需要警惕此类攻击。

海绵攻击

2023年RSA会议有一个专家小组讨论了CISO将在未来几年面对的即将到来的AI风险和弹性问题。讨论最引人瞩目的一个话题是一种新兴攻击——海绵攻击。在这种攻击类型中,对手可通过特制输入来消耗模型的硬件资源,从而对AI模型进行拒绝服务攻击。

“该攻击试图让神经网络使用更多的计算,以达到可能超过系统可用计算资源的程度,并导致系统崩溃。”CalypsoAI的首席执行官Neil Serebryany解释道。

快速注入攻击

老一辈开发人员常挂在嘴边的格言是永远不要相信用户输入,因为这样做容易导致SQL注入和跨站点脚本等攻击。针对常规应用程序的注入攻击已经非常普遍,在最新的OWASP前10名中仍然占据第三位。现在随着生成AI的加入,CISO也将不得不担心针对AI系统的快速注入攻击。

提示注入是输入恶意制作的提示(词)到生成AI中,以引发不正确、不准确甚至可能具有攻击性的响应。这个问题可能特别麻烦,因为越来越多的开发人员将ChatGPT和其他大型语言模型(LLM)集成到他们的应用程序中,以便用户的提示被AI处理并触发一些其他操作,例如将内容发布到网站或制作自动电子邮件,这方面的潜在威胁还包括生成或传播错误甚至煽动性的信息。

逃避攻击

逃避攻击是最著名的一类对抗性AI攻击,其中一些攻击非常简单,甚至很有趣。这些攻击可以通过一些视觉欺骗来逃避检测或分类系统——比如面部识别或自动车辆视觉系统。例如,在停车标志上使用恶意制作的贴纸可能会使自动驾驶汽车无法正确阅读。

最近,在机器学习规避竞赛(MLSEC 2022)上引起广泛关注的一次攻击中,攻击者让AI面部识别系统微调名人照片,让他们被识别为完全不同的人。

人工智能生成的网络钓鱼和BEC诱饵

上述大多数攻击都是针对企业AI系统的攻击。坏人不仅会探索AI系统的缺陷,同时还会利用AI来增强他们对企业应用和系统的攻击。

攻击者的手段正不断增加,例如用像ChatGPT这样的生成人工智能来自动创建网络钓鱼电子邮件。安全研究人员已经报告说,自从ChatGPT在线发布以来,网络钓鱼的数量和“成功率”都有所增加。这是一个巨大的威胁,被列入SANS 2023年最危险的5大网络攻击名单。

Deepfake BEC和其他骗局

ChatGPT已经将deepfake(深度伪造)攻击从理论变成了现实威胁。CISO应该努力提高企业范围的安全意识,帮助员工认识到语音和视频等人工智能生成的媒体比以往任何时候都更容易制作,这使得冒充CEO或其他高管实施BEC商业电子邮件攻击骗取大笔资金变得非常容易。

人工智能生成的恶意软件和漏洞发现

安全研究人员预计,攻击者将越来越依赖生成式AI来帮助他们制作恶意软件并快速发现目标系统中的漏洞,以比他们此前已经开始使用的其他自动化技术效率高得多,能够快速扩大攻击规模。这也是SANS 2023年列举的最危险的五大网络攻击中的一种。

赞(0) 打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《最危险的10种AI攻击:保护AI系统与隐私》
文章链接:https://www.wevul.com/1354.html
本站所有内容均来自互联网,只限个人技术研究,禁止商业用途,请下载后24小时内删除。

评论 抢沙发

如果文章对你有帮助 可以打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏

登录

找回密码

注册