[论文翻译]探究稀疏注意力对交叉编码器的影响

Investigating the Effects of Sparse Attention on Cross-Encoders 探究稀疏注意力对交叉编码器的影响 Ferdinand Schlatt, Maik Frobe, and Matthias Hagen Ferdinand Schlatt, Maik Frobe, Matthias Hagen Friedrich-Schiller-Universit t Jena 弗里德里希·席勒大学耶拿 Abstract Cross-encoders are ef... 交叉编码器(Cross-encoder)是高效的段落和文档重排序器，但效率低于其他神经或经典检索模型。先前少数研究尝试通过窗口自注意力机制提升交叉编码器效率，但未深入探究不同注意力模式与窗口尺寸的潜力边界。本研究填补这一空白，系统分析如何在保持重排序效果的前提下减少token交互。通过非对称注意力与多窗口尺寸实验，我们发现：查询token无需关注文档token即可实现有效重排序，且极小窗口尺寸已足够。实验表明，仅4个token的窗口仍能保持与传统交叉编码器相当的效果，同时内存需求降低22%~59%，段落/文档推理速度提升1%~43%。代码已开源。