首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【综述专栏】大型视觉语言模型攻击综述:资源、进展与未来趋势!

近年来,随着大型模型的显著发展,大型视觉-语言模型(LVLMs)在各种多模态理解和推理任务中展示了卓越的能力。相比于传统的大型语言模型(LLMs),由于更接近多资源的现实世界应用和多模态处理的复杂性,LVLMs 展示了巨大的潜力和挑战。然而,LVLMs 的脆弱性相对较少被探索,在日常使用中可能存在潜在的安全风险。在本文中,我们对现有的各种 LVLM 攻击形式进行了全面的回顾。具体来说,我们首先介绍了针对 LVLMs 攻击的背景,包括攻击的初步知识、攻击的挑战和攻击资源。然后,我们系统地回顾了 LVLM 攻击方法的发展,如操纵模型输出的对抗攻击,利用模型漏洞进行未授权操作的越狱攻击,设计提示类型和模式的提示注入攻击,以及影响模型训练的数据投毒攻击。最后,我们讨论了未来有前景的研究方向。我们相信,我们的调查为 LVLM 脆弱性的现状提供了洞见,激励更多研究人员探索和缓解 LVLM 开发中的潜在安全问题。最新的 LVLM 攻击论文会在 https://github.com/liudaizong/Awesome-LVLM-Attack 持续收集。

01
领券