[论文翻译]基于记忆的大规模模型编辑

即使最大的神经网络也会出错，而且随着世界变化，曾经正确的预测也可能失效。模型编辑器 (model editor) 会对基础 (预训练) 模型的行为进行局部更新，以注入新知识或修正不良行为。现有模型编辑器虽展现出潜力，但存在表达能力不足的问题：它们难以准确界定编辑的影响范围 (受编辑影响的示例)，导致与编辑内容弱相关的测试输入出现预测偏差，且多次编辑后常完全失效。作为高容量替代方案，我们提出基于检索增强反事实模型的半参数化编辑方法 (Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model, SERAC)，该方法将编辑内容存储于显式记忆库，并学习如何基于这些记忆调控基础模型的预测。为建立更严苛的模型编辑器评估体系，我们基于问答、事实核查和对话生成任务构建了三个具有挑战性的语言模型编辑问题。实验表明，只有 SERAC 能在所有任务中保持优异表现，其性能始终显著优于现有模型编辑方法。代码、数据及项目详情详见 https://sites.google.com/view/serac-editing。