即使最大的神经网络也会出错，而且随着世界变化，曾经正确的预测也可能失效。模型编辑器 (model editor) 会对基础 (预训练) 模型的行为进行局部更新，以注入新知识或修正不良行为。现有模型编辑器虽展现出潜力，但存在表达能力不足的问题：它们难以准确界定编辑的影响范围 (受编辑影响的示例)，导致与编辑内容弱相关的测试输入出现预测偏差，且多次编辑后常完全失效。作为高容量替代方案，我们提出基于检索增强反事实模型的半参数化编辑方法 (Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model, SERAC)，该方法将编辑内容存储于显式记忆库，并学习如何基于这些记忆调控基础模型的预测。为建立更严苛的模型编辑器评估体系，我们基于问答、事实核查和对话生成任务构建了三个具有挑战性的语言模型编辑问题。实验表明，只有 SERAC 能在所有任务中保持优异表现，其性能始终显著优于现有模型编辑方法。代码、数据及项目详情详见 https://sites.google.com/view/serac-editing。

PRCA: Fitting Black-Box Large Language Models for Retrieval Question Answering via Pluggable Reward-Driven Contextual Adapter PRCA: 通过可插拔奖励驱动的上下文适配器适配黑盒大语言模型以用于检索问答 Haoyan Yang1,2†, Zhitao $\mathbf{Li}^{1}$ , Yong Zhang1, Jianzong Wang1∗, Ning Cheng1, Mi... 检索式问答 (ReQA) 任务采用检索增强框架，由检索器和生成器组成。生成器根据检索器获取的文档生成答案。由于大语言模型具备先进的问答能力，将其作为生成器具有优势，但其参数量通常过大难以在有限预算下微调，且部分模型仅能通过API访问。为解决该问题并进一步提升ReQA性能，我们提出可训练的即插即用奖励驱动上下文适配器 (PRCA)，将生成器视为黑盒。PRCA以即插即用方式部署于检索器与生成器之间，通过强化学习阶段奖励最大化的token自回归策略优化检索信息。实验证明PRCA能有效提升三个数据集的ReQA性能（最高达\$20\%\$），使黑盒大语言模型适配现有框架，展现了其在LLM时代的巨大潜力。

DEMONSTRATE–SEARCH–PREDICT: Composing retrieval and language models for knowledge-intensive NLP DEMONSTRATE–SEARCH–PREDICT: 检索与语言模型组合在知识密集型NLP中的应用 Omar Khattab 1 Keshav Santhanam 1 Xiang Lisa Li 1 David Hall 1 Percy Liang 1 Christopher Potts 1 Matei Zahari... 检索增强的上下文学习已成为利用冻结语言模型 (LM) 和检索模型 (RM) 处理知识密集型任务的有效方法。现有研究通过简单的"检索-读取"流程将二者结合，即RM检索文本段落并插入LM提示中。为充分释放冻结LM和RM的潜力，我们提出DEMONSTRATE–SEARCH–PREDICT (DSP)框架，通过在LM与RM之间构建复杂自然语言文本管道来实现。DSP能编写高级程序，实现管道感知演示的自主生成、相关段落检索及基于事实的预测生成，将问题系统拆解为LM和RM可可靠处理的微转换。我们针对开放域、多跳和对话场景编写了创新性DSP程序，早期评估显示其创造了上下文学习的新标杆：相比原始LM (GPT-3.5)、标准检索-读取流程及同期self-ask流程，分别实现37-120%、8-39%和80-290%的相对性能提升。项目代码发布于https://github.com/stanfordnlp/dsp。

When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories 何时不应信任语言模型：探究参数化与非参数化记忆的有效性 Alex Mallen∗♢ Akari Asai∗♢ Victor Zhong♢ Rajarshi Das♢ Daniel Khashabi♠ Hannaneh Hajishirzi♢♡ ♢University of Washington ♠Jo... 尽管大语言模型(LM)在各种任务上表现优异，但在需要丰富世界知识的任务上仍存在困难，这表明在其参数中编码大量世界知识具有挑战性。本文旨在通过在两个开放域实体中心问答数据集上进行大规模知识探测实验，来理解大语言模型在记忆事实知识方面的优势与局限：我们新构建的POPQA数据集(包含1.4万个关于长尾实体的问题)以及广泛使用的开放域问答数据集Entity Questions。研究发现，大语言模型对冷门事实知识的记忆能力较弱，而检索增强技术在这些情况下能显著提升性能。另一方面，模型缩放主要提升了对热门知识的记忆能力，却无法明显改善对长尾事实知识的记忆。基于这些发现，我们设计了一种新的检索增强方法，通过仅在必要时检索非参数化记忆，既提升了性能又降低了推理成本[20]。

Augmentation-Adapted Retriever Improves Generalization of Language Models as Generic Plug-In 增强适配检索器作为通用插件提升语言模型的泛化能力 Zichun $\mathbf{Y}\mathbf{u}^{1}$ Chenyan Xiong2 Shi $\mathbf{Y}\mathbf{u}^{1}$ Zhiyuan Liu13 Zichun $\mathbf{Y}\mathbf{u}^{1}$ Chenya... 检索增强能够通过提供外部信息，辅助语言模型(LM)完成知识密集型任务。现有检索增强研究通常联合微调检索器与语言模型，导致二者紧密耦合。本文探索通用检索插件的实现方案：检索器需辅助可能预先未知或无法联合微调的目标语言模型。为给未知目标语言模型检索有效文档，我们提出适配增强的检索器(AAR)，通过学习已知源语言模型获得的偏好来优化检索。在MMLU和PopQA数据集上的实验表明，使用小型源语言模型训练的AAR能显著提升250M参数Flan-T5至175B参数InstructGPT等不同规模目标模型的零样本泛化能力。进一步分析表明，不同语言模型的偏好存在重叠，使得基于单一源模型训练的AAR可作为通用插件服务于各类目标模型。代码已开源：https://github.com/OpenMatch/AugmentationAdapted-Retriever。

Atlas: Few-shot Learning with Retrieval Augmented Language Models Atlas: 基于检索增强的大语言模型的少样本学习 Abstract 摘要 Large language models have shown impressive few-shot results on a wide range of tasks. However, when knowledge is key for such results, as is the case f... 大语言模型在广泛任务上展现了令人印象深刻的少样本学习能力。然而，当任务结果高度依赖知识时（如问答和事实核查），似乎需要海量参数来存储知识。检索增强模型虽以较少参数就能在知识密集型任务中表现优异，但其在少样本环境下的有效性尚不明确。本研究提出的Atlas是一个经过精心设计和预训练的检索增强语言模型，能够通过极少量训练样本掌握知识密集型任务。我们在MMLU、KILT和Natural Questions等多样化任务上展开评估，并分析文档索引内容的影响，证明其可轻松更新。值得注意的是，Atlas仅用64个样本就在Natural Questions任务中达到42%以上的准确率，以50倍的参数劣势超越5400亿参数模型3个百分点。