biscuitの博客

Token 嵌入#

使用 WordPiece 分词，BERT-base 的词表大小为 30,522。序列以 [CLS] 开头，句子之间和结尾用 [SEP] 分隔：

1
[CLS] 句子A 的 token [SEP] 句子B 的 token [SEP]

• [CLS]：序列起始标记，其最终隐藏状态 $\mathbf{T}_{\text{[CLS]}}$ 作为整句的聚合表示，用于分类任务；
• [SEP]：分隔句子，同时标记句子边界；
• [MASK]：MLM 任务中遮蔽 token 的占位符。

Segment 嵌入#

用两个可学习的段向量区分句子 A 和句子 B：句子 A 的 token 加 $\mathbf{e}_A$，句子 B 的 token 加 $\mathbf{e}_B$。这种设计服务于句子对任务和 NSP。

Position 嵌入#

BERT 使用可学习的位置嵌入，而不是原始 Transformer 的正弦编码。最大序列长度为 512，因此有 512 个位置向量，维度与隐藏层一致（BERT-base 为 768）。

512 的选择与 self-attention 的 $O(n^2)$ 复杂度有关：在 2018 年的硬件条件下，512 是计算量和效果的折中。现代模型通过 Flash Attention、稀疏注意力等把窗口扩展到 32K 甚至更长。

Masked Language Model#

随机选择输入中 15% 的 token 作为预测目标。若直接让双向编码器预测下一个词，每个位置都能看到答案，训练没有意义；MLM 改为遮住部分输入，让模型根据两侧上下文还原。

被选中的 token 按以下比例处理：

如果 100% 替换为 [MASK]，模型只需学会“看到 [MASK] 就预测原词”，而下游微调时根本没有 [MASK]，会造成预训练与微调的不匹配。随机替换迫使模型不能盲目信任输入；保持不变则让模型在正常输入上也能工作。

对被遮蔽位置集合 $\mathcal{M}$，MLM 损失为

只有被遮蔽的位置参与损失计算。

Next Sentence Prediction#

NSP 判断句子 B 是否是句子 A 的真实后续。用 [CLS] 的表示做二分类：

训练时 50% 的样本取真实相邻句对，50% 从语料中随机抽取第二句。NSP 的初衷是让模型理解句子间关系，但后续研究发现它对许多任务并非必要：RoBERTa 移除 NSP、使用更大批次和更长序列后效果反而更好。NSP 还可能让模型学到“主题是否一致”，而不是“逻辑是否连贯”。

单句分类#

情感分析等任务使用 [CLS] 表示：

句子对分类#

自然语言推断等任务把两个句子用 [SEP] 拼接，仍用 [CLS] 表示做分类。

序列标注#

命名实体识别等任务对每个 token 的输出独立分类：

同一个词在不同上下文中可以得到不同标签，例如 “Apple” 在 “Apple Inc.” 中是组织名，在 “I eat an apple” 中不是实体。

抽取式问答#

SQuAD 风格的任务预测答案在原文中的起始和结束位置：

训练时最大化真实起止位置的对数似然；预测时在合法跨度中选得分最高的一段。

与 LLM 的 SFT 区分

BERT 的微调是任务特定微调：每个下游任务训练一个输出头，通常需要几千到几万条标注数据。大语言模型中的 SFT（Supervised Fine-Tuning）通常指指令微调：用“指令—回答”数据让模型学会遵循指令，一个模型可以适配多种任务。二者都是有监督微调，但数据形式、训练目标和目的不同。

预训练与微调的成本差异正是该范式的价值：预训练需要大规模无标注语料和大量算力，微调只需要少量标注数据和单卡几小时。一次预训练可以适配多种任务。