biscuitの博客

2.1 共现概率比#

首先构建一个 $V \times V$ 的共现矩阵 $\mathbf{X}$，其中 $X_{ij}$ 表示词 $j$ 在词 $i$ 的上下文窗口中出现次数。定义共现概率：

GloVe 的关键洞察是：共现概率的比值比纯粹的概率值更能编码语义。考虑三个词 $i = \text{ice}$、$j = \text{steam}$ 和探测词 $k$：

• 当 $k$ 与 ice 相关但不与 steam 相关（solid），比值 >> 1
• 当 $k$ 与 steam 相关但不与 ice 相关（gas），比值 << 1
• 当 $k$ 与两者都相关或都不相关（water, fashion），比值 ≈ 1

直观理解

仅看 $P(\text{solid} \mid \text{ice})$ 本身，你只知道”solid”偶尔出现在”ice”旁边。但比值 $P(\text{solid} \mid \text{ice}) / P(\text{solid} \mid \text{steam})$ 告诉你：solid 更偏向 ice 而不是 steam。这个”偏向”信息才是区分语义的关键。

word2vec 间接利用了这种信息（通过负采样让共现词的向量靠近），但 GloVe 直接对共现概率比建模。

2.2 模型#

GloVe 希望词向量 $\mathbf{w}_i$ 和 $\tilde{\mathbf{w}}_j$ 的内积能够编码概率比：

这个等式来自以下推导：我们希望 $\mathbf{w}_i^T \tilde{\mathbf{w}}_j$ 近似 $\log P_{ij}$，而 $\log P_{ij} = \log X_{ij} - \log X_i$。引入偏置项 $b_i$ 吸收 $\log X_i$，$\tilde{b}_j$ 平衡对称性，最终得到上述形式。

损失函数为加权最小二乘：

其中加权函数 $f(X_{ij})$ 的设计非常关键：

典型参数：$\alpha = 0.75$，$x_{\max} = 100$。

加权函数的作用

• 低频词对（$X_{ij}$ 小）：权重小，因为统计不靠谱——“cat”和”quantum”可能只共现了 1 次，纯属巧合
• 高频词对（$X_{ij}$ 大）：权重截断为 1，防止”the”和”a”这种无意义高频词对主导训练
• $\alpha = 0.75$ 的幂次：在低频和高频之间平滑过渡，既不过度信任低频统计，也不被高频词对淹没

相比之下，word2vec 的负采样用 $P(w) \propto \text{count}(w)^{3/4}$ 来处理类似问题，但 GloVe 的加权机制更精细——它直接作用于共现矩阵的每个元素。

2.3 GloVe vs word2vec#

实际应用中两者效果接近，但 GloVe 的全局视角使其在词类比任务上略优，word2vec 的局部视角使其在稀有词上略优。

4.1 fastText#

fastText 的解决方案简单而有效：每个词表示为其字符 n-gram 向量之和。

以词 “where” 为例，加上边界标记 < 和 > 后变成 <where>。取 $n=3$ 的字符 trigram：

1
<wh, whe, her, ere, re>

词 “where” 的向量 = 所有 trigram 向量之和 + 词本身的向量。

这使得 fastText 能够：

• 处理 OOV：未见过的词 “wheres” 可以由 trigram <wh, whe, her, ere, res, es> 的向量和表示
• 共享词根：“where” 和 “wherever” 共享 trigram whe, her, ere，向量自然相近
• 捕捉拼写规律：前缀、后缀、词根等形态信息自动编码在 n-gram 中

4.2 BPE（Byte Pair Encoding）#

BPE 是当今 LLM 分词器的核心算法，minimind 使用的正是 BPE tokenizer。它从字符级别开始，通过迭代合并最频繁的字符对来构建子词词汇表。

算法流程：

1. 初始化：词汇表 = 所有字符 + 结束符
2. 统计所有相邻符号对的频率
3. 合并频率最高的符号对为一个新符号
4. 重复步骤 2-3，直到词汇表达到预设大小 $V$

具体例子：

初始语料（每个词后加 _ 表示词尾）：

1
low_ lower_ lowest_ newer_ wider_

字符级拆分：

1
l o w _   l o w e r _   l o w e s t _   n e w e r _   w i d e r _

统计频率最高的相邻对：e r 出现 4 次 → 合并为 er：

1
l o w _   l o w er _   l o w e s t _   n e w er _   w i d er _

继续：er _ 出现 3 次 → 合并为 er_：

1
l o w _   l o w er_   l o w e s t _   n e w er_   w i d er_

继续：l o 出现 3 次 → 合并为 lo：

1
lo w _   lo w er_   lo w e s t _   n e w er_   w i d er_

经过足够多次合并后，词汇表可能包含：low, er, est, er_, new, wid 等子词。

这样，“lowest” 被切分为 low + est，而 “lower” 被切分为 low + er，共享了词根 low。

BPE 与 LLM 分词器

minimind 的 BPE tokenizer 词表大小为 6400，远小于 Qwen2（151,643）或 Llama 3（128,000），但这是小模型的有意设计——更小的词表意味着更小的 embedding 层和输出层，显著降低小模型的参数占比。

以 minimind-3 为例：$d = 768$，$V = 6400$，embedding 层参数量 $V \times d = 4.9\text{M}$，占总参数 $64\text{M}$ 的约 $7.6\%$。如果使用 $V = 32000$ 的词表，embedding 层将占用 $24.6\text{M}$，占比飙升到 $38\%$。

4.3 WordPiece 与 SentencePiece#

WordPiece 与 BPE 类似，但合并时选择使训练数据似然提升最大的对，而非单纯频率最高。例如，un + ##affable 即使频率不高，但如果合并后大幅提升语言模型概率，也会被优先合并。

SentencePiece 将空格也视为普通字符（用 ▁ 表示），因此可以处理任何语言，并且分词是可逆的——直接拼接 tokens 即可还原原文。