biscuitの博客

词法与语义知识#

在预训练语料中加入语言知识任务：

• 词法知识：利用 WordNet 等词汇知识库，设计“掩盖词还原”“词汇关系分类”等任务，让模型学习同义、反义、上下位等关系。WordNet 把同义词组织成同义词集合（synset），再用语义关系连接成网络；
• 语义知识：从大规模语料中挖掘具有逻辑关系的句子，去掉“因为……所以”“虽然……但是”等连词，构造蕴含、因果、转折关系的分类任务，让模型从句子内容而不是连接词判断逻辑。

世界知识#

世界知识常以 知识图谱 的三元组形式存在。预训练时可以采用联合掩码：同时掩蔽文本中的实体和知识图谱中对应的三元组，让模型在文本与结构化知识之间建立对应关系。

例如文本提到“姚明出生于上海”，图谱中有 （姚明，出生地，上海）。联合训练让模型既从上下文学习，也从结构化事实中学习，增强对实体和关系的表示。

知识内化的优点和局限：

• 优点：推理时不需要额外检索，速度快；
• 局限：更新成本高，新知识仍需重新训练或继续预训练，且难以保证事实可追溯。

动机#

外部知识源可以是搜索引擎、领域数据库、知识图谱、文档库或实时 API。它们提供高质量、专业化、可更新的信息，弥补模型记忆的不准确和不完整。

例如用户问“这个国庆档票房排行前十的电影”，票房数据实时变化，模型内化的知识不可能覆盖；接入票房数据库后，模型可以获取最新数据并生成准确回答。

内容规划#

内容规划负责理解需求、决定是否检索、检索什么、如何选择知识：

1. 理解阶段：分析用户意图，判断问题是否需要外部知识；
2. 检索阶段：从领域知识库、论文、文档或实时信息源获取候选内容；
3. 选择阶段：对候选内容排序、去重、截断，保留与问题最相关的证据。

常用方法包括：

• 检索增强生成（RAG）：先检索文档片段，再把片段作为上下文输入模型，详见 RAG；
• 思维链（CoT）：把复杂问题拆成多个步骤，每一步都可以查询外部知识，详见 CoT、ToT 与 GoT；
• 上下文学习：把预设知识转成示例或上下文，让模型在推理时参考。

内容生成#

生成阶段要让显式知识（检索到的文本、三元组）与隐式知识（模型参数中的常识和语言能力）相互验证，而不是简单拼接。

一个典型例子是消解冲突。用户问“庆承瑞教授的出生年份”，训练数据中有 1933 年和 1935 年两种说法；外部资料提到“2021 年的一场访谈中，何院士 94 岁，庆教授 88 岁，夫妇分别毕业于国立交通大学和清华大学”。模型需要结合访谈时间、年龄和毕业院校等信息推断出更可靠的年份，并在回答中说明依据。

这说明知识增强不仅是“把资料塞进提示”，还涉及证据筛选、冲突消解和引用。生成时通常要求模型：

• 区分哪些内容来自外部资料，哪些来自自身知识；
• 对相互矛盾的证据给出判断依据；
• 在无法确认时明确说明不确定性，而不是编造。