推动黑盒LVLM攻击前沿通过精细粒度细节定位

黑盒对抗攻击大型视觉语言模型（LVLMs）由于缺失梯度和复杂的跨模态边界而具有挑战性。虽然之前最先进的基于迁移的方法，如M-Attack，通过在源图像和目标图像之间使用局部裁剪级别的匹配表现良好，但我们发现这会诱导迭代之间高方差、几乎正交的梯度，违反了局部对齐的连贯性并破坏了优化。我们将此归因于（i）ViT翻译敏感性导致尖峰状梯度以及（ii）源和目标裁剪之间的结构不对称。我们将局部匹配重新表述为对源变换和目标语义的不对称期望，并构建了一个梯度去噪升级版的M-Attack。在源端，多裁剪对齐（MCA）通过每迭代从多个独立采样的局部视图中平均梯度来减少方差。在目标端，辅助目标对齐（ATA）用语义相关分布的小辅助集替换了激进的靶增强，产生了更平滑、方差更低的目标流形。我们进一步将动量重新解释为Patch Momentum，重新播放历史裁剪梯度；结合改进的块大小集成（PE+），这增强了可迁移的方向。这些模块共同构成了M-Attack-V2，它是M-Attack的一个简单、模块化的增强，显著提高了对前沿LVLMs的基于迁移的黑盒攻击：将Claude-4.0的成功率从8%提高到30%，将Gemini-2.5-Pro从83%提高到97%，将GPT-5从98%提高到100%，优于之前的黑盒LVLM攻击。代码和数据在以下网址公开：