大语言模型安全现状与挑战

• 全文链接
• 请求原文

作   者：

赵月;  何锦雯;  朱申辰;  李聪仪;  张英杰;  陈恺; 

作者机构：

中国科学院信息工程研究所; 

关键词：

人工智能安全;  隐私安全;  模型幻觉;  大语言模型;  恶意应用;  提示泄露; 

期刊名称：

计算机科学

i s s n：

1002-137X

年卷期：

2024 年 51 卷 001 期

页   码：

68-71

摘   要：

大语言模型因其出色的文本理解和生成能力,被广泛应用于自然语言处理领域并取得了显著成果,为社会各界带来了巨大的便利.然而,大语言模型自身仍存在明显的安全问题,严重影响其应用的可信性与可靠性,是安全学者需广泛关注的问题.文中针对大语言模型自身的安全问题,首先从基于大语言模型的恶意应用问题切入,阐述提示注入攻击及其相应的防御方法;其次,介绍大语言模型幻觉带来的可信问题,对幻觉问题的量化评估、幻觉来源和缓解技术是当前研究的重点;然后,大语言模型隐私安全问题强调了个人及企业数据的保护问题,一旦在进行人机交互时泄露商业秘密和个人敏感信息,将可能引发严重的安全风险,当前研究主要通过可信执行环境和隐私计算技术来进行风险规避;最后,提示泄露问题关注攻击者如何窃取有价值的提示词进行获利或通过个性化提示词泄露个人隐私.提升大语言模型的安全性需要综合考虑模型隐私保护、可解释性研究以及模型分布的稳定性与鲁棒性等问题.