大规模预训练语言模型 (PLM) 已成为自然语言处理 (NLP) 的新范式。具有数千亿参数的 PLM（如 GPT-3 [1]）通过少样本上下文学习在自然语言理解和生成方面展现出强大性能。

本研究专注于意图检测的上下文数据增强。我们发现仅通过大型预训练语言模型（PLM）的上下文提示进行增强无法提升性能，因此提出了一种基于PLM和点式V信息（PVI）的新方法——PVI是一种能衡量数据点对模型训练有用性的指标。该方法首先在小规模种子训练数据上微调PLM，随后合成新数据点（即对应给定意图的话语），并基于PVI进行意图感知过滤，以剔除对下游意图分类器无益的数据点。通过这种方式，我们的方法能够利用大语言模型的表达能力生成多样化训练数据。实验结果表明：在少样本场景下（5-shot绝对提升1.28%，10-shot平均提升1.18%），本方法生成的合成训练数据能在三个高难度意图检测数据集上达到最先进性能；在全样本场景下（平均绝对差异0.01%以内）与当前最优方法表现相当。

结构句法知识已被证明对语义角色标注(SRL)有效，而现有工作大多仅使用单一语法结构，例如句法依存树或成分树。本文探索了异构句法表示在SRL中的融合应用。我们首先提出基于TreeLSTM的融合方法，协同学习成分树的短语边界和依存树的语义关系。进一步引入标签感知(labelaware)的图卷积网络(GCN)方案，同时建模句法边和标签。实验结果表明，通过有效结合异构句法表示，我们的方法在基于跨度和基于依存的SRL任务上均取得提升。同时，我们的系统实现了新的SRL最先进性能，并带来可解释的任务改进。

近期在文本到SQL (Text-to-SQL) 领域最成功的尝试之一是预训练语言模型。由于SQL查询的结构特性，序列到序列 (seq2seq) 模型需要同时解析模式项 (即表和列) 和骨架 (即SQL关键字)。这种耦合目标增加了解析正确SQL查询的难度，尤其是当涉及大量模式项和逻辑运算符时。本文提出了一种基于排序增强的编码和骨架感知解码框架，以解耦模式链接和骨架解析。具体而言，对于seq2seq编码器-解码器模型，其编码器注入的是最相关的模式项而非整个无序集合，从而减轻SQL解析时的模式链接负担；其解码器首先生成骨架，再生成实际SQL查询，从而隐式约束SQL解析过程。我们在Spider及其三个鲁棒性变体 (Spider-DK、Spider-Syn和Spider-Realistic) 上评估了所提框架。实验结果表明，该框架展现出优异的性能和鲁棒性。代码已开源：https://github.com/RUCKBReasoning/RESDSQL。

摘要—对话推荐系统(CRS)利用自然语言交互和对话历史推断用户偏好并提供精准推荐。由于对话上下文和背景知识有限，现有CRS依赖知识图谱等外部资源来丰富上下文，并基于实体间关系建模。然而这些方法忽略了实体内部丰富的固有信息。为此，我们提出知识增强的实体表示学习(KERL)框架，通过结合知识图谱和预训练语言模型来提升CRS对实体的语义理解。在KERL框架中，实体文本描述通过预训练语言模型编码，知识图谱则用于强化实体表示。我们还采用位置编码来有效捕捉对话中实体的时序信息。增强后的实体表示被用于开发两个组件：融合实体与上下文表示以生成更明智推荐的推荐组件，以及在回复文本中生成信息性实体相关内容的对话组件。

前缀调优 (Prefix-tuning) 是一种强大的轻量级技术，可将大型预训练语言模型适配到下游应用。然而，它对数据集中的所有样本使用相同的数据集级调优提示。我们扩展了这一思路，提出了一种动态方法 CONTROL PREFIXES，该方法支持融入条件性输入依赖信息，结合了提示调优 (prompt tuning) 和受控生成 (controlled generation) 的优势。该技术将属性级可学习表征嵌入预训练 Transformer 的不同层，从而引导生成文本朝特定方向发展。我们对该技术进行了系统评估，并将其应用于 GEM 基准测试中五个自然语言生成 (NLG) 数据集。

已有研究证明，预训练语言模型(PLMs)能够存储事实性知识。但我们发现PLMs存储的事实并不总是正确的，这促使我们探索一个根本性问题：如何在不从头训练的情况下校准PLMs中的事实性知识？本文提出了一种轻量级解决方案CALINET。具体而言，我们首先通过正确事实与虚假事实的对比分数检测PLMs是否掌握了正确事实；若未掌握，则采用轻量化方法针对特定事实文本添加并适配新参数。知识探测任务实验验证了该校准方法的有效性和高效性。通过闭卷问答测试，我们发现校准后的PLM经过微调后具备知识泛化能力。除性能评估外，我们还对知识校准机制进行了可视化分析与探究。代码与数据详见https://github.com/dqxiu/CaliNet。