探索网络安全新技术
攀登黑客技术最高峰

全球最大规模 AI 黑客大赛即将开启,白宫支持,重点关注大模型安全

美国白宫在上周四宣布,OpenAI谷歌、Antrhopic、HuggingFace、微软、英伟达与StabilityAI等顶尖人工智能提供商,将在DEFCON31上共同参与对他们的生成式人工智能系统的公开安全评估。DEFCON是每年8月在拉斯维加斯召开的黑客大会,此次安全竞赛由人工智能黑客社区AIVillage主办。

自去年开始,ChatGPT等大语言模型(LLM)迅速成为加快写作和交流任务的流行方式,但官方承认这些模型中也存在固有风险。混淆、越狱和偏见等问题给安全专业人士和公众带来了挑战。正因为如此,白宫科学、技术和政策办公室才支持对这些新的生成式AI模型进行极限测试。

全球最大规模 AI 黑客大赛即将开启,白宫支持,重点关注大模型安全-威武网安

白宫在声明中表示,“这项独立测试将为研究人员和公众提供关于这些模型的关键信息,并使得人工智能公司和开发人员能够采取措施以解决在模型中发现的问题。”声明还提到,此次活动符合拜登政府提出的《人工智能权利法案》和国家标准与技术研究院(NIST)的《人工智能风险管理框架》。

在AIVillage发布的活动公告中,组织方SvenCattell、RummanChowdhury和AustinCarson将其称为“有史以来规模最大的人工智能模型红队演习”。将有数千人参与对公共人工智能模型的评估,期间使用的评估平台由ScaleAI负责开发。

所谓“红队”测试,是指安全专家尝试在组织系统中发现漏洞或缺陷,以提高整体安全性和弹性的过程。

AIVillage创始人SvenCattell表示,“只有让更多的人了解如何开展红队测试和评估人工智能模型,才能解决这些模型中的各种问题。”通过对人工智能模型组开展最大规模的红队演习,AIVillage和DEFCON希望能培养出处理人工智能系统漏洞的研究者社区。

事实证明,大语言模型的锁定难度远超想象,部分原因在于所谓“提示词注入”技术。人工智能研究员SimonWillison详细介绍了提示词注入的危险,这种技术可以令语言模型偏离正轨,执行创建者想要回避的操作。

在DEFCON大会期间,参与者将通过主办方提供的笔记本电脑定时访问多个大语言模型。夺旗式积分系统将鼓励大家测试各种潜在威胁。最终,得分最高的参与者将获得英伟达高端GPU作为奖品。

AIVillage公告中写道,“我们将公布从此次竞赛中得到的启发,帮助其他想要做类似尝试的人们。希望越来越多的人能知晓该如何使用大语言模型,了解这些模型的局限性。”

DEFCON31将于8月10至13日在拉斯维加斯凯撒宫酒店举办。

赞(0) 打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《全球最大规模 AI 黑客大赛即将开启,白宫支持,重点关注大模型安全》
文章链接:https://www.wevul.com/801.html
本站所有内容均来自互联网,只限个人技术研究,禁止商业用途,请下载后24小时内删除。

评论 抢沙发

如果文章对你有帮助 可以打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏

登录

找回密码

注册