# LLMs是否受益于自身的言语? (或题目可翻译为:大语言模型是否受益于自。.

与大型语言模型的多轮交互通常在对话历史中保留助手自身过去的回应。在本工作中,我们重新审视这一设计选择,通过提问大型语言模型是否受益于对其自身先前回应的条件化。使用真实场景中的多轮对话,我们在三个开源推理模型和一个最先进的模型中比较标准的(全上下文)提示方法与仅用户轮次提示方法。仅用户轮次提示方法省略了所有之前的助手回应。令我们惊讶的是,我们发现在大部分轮次中,移除先前的助手回应不会影响回应质量。省略助手端历史记录可以将累积上下文长度减少高达10倍。为了解释这一结果,我们发现多轮对话包含相当比例(36.4%)的自包含提示,并且许多后续提示提供了足够的指令,仅使用当前用户轮次和先前用户轮次就可以回答。在分析仅用户轮次提示明显优于全上下文的情况时,我们识别出了上下文污染的实例,其中模型过度依赖其先前的回应,引入错误、幻觉或跨轮次传播的风格伪影。受这些发现的激励,我们设计了一种上下文过滤方法,有选择地省略助手端上下文。我们的发现表明,有选择地省略助手历史记录可以改进回应质量,同时减少内存消耗。
评论
    公告

    AI千集是一个专注于科研服务的智能平台
    在这里您可以获得本平台自训练的
    科研智能体
    和小伙伴一起玩转AI,做自己的AI机器人
    来AI千集,赋能智慧快人一步
    扫一扫,快速获取解决方案与报价
    立即咨询

    积分排行