biscuitの博客

项目整体结构#

MiniMind 的学习主线可以压缩为下面这条数据和参数流：

1
原始文本/对话/偏好数据
2
        │
3
        ▼
4
dataset/lm_dataset.py
5
        │  tokenization + padding + loss mask
6
        ▼
7
model/model_minimind.py
8
        │  Embedding → Decoder Blocks → LM Head
9
        ▼
10
trainer/train_pretrain.py
11
        │
12
        ├── Pre-training：学习下一个 Token
13
        ▼
14
trainer/train_full_sft.py
15
        │
16
        ├── SFT：只对 assistant 回复计算损失
17
        ▼
18
trainer/train_dpo.py
19
        │
20
        └── DPO：提高 chosen 相对 rejected 的概率

模型架构#

本次训练使用 MiniMind 默认配置，未启#用 MoE：

这是一个 8 层 Decoder-only Transformer，约 6400 万参数，属于极轻量级 LLM。对比 GPT-2 Small（124M 参数）小约一半

预训练目标#

标准自回归语言建模（Causal LM）：给定前文 token 序列，预测下一个 token，使用交叉熵损失。

数据格式：每行一条纯文本 {"text": "一段中文文本..."}。

训练参数#

1
python train_pretrain.py \
2
  --batch_size 128 \
3
  --max_seq_len 512 \
4
  --num_workers 0 \
5
  --epochs 1 \
6
  --data_path ../dataset/pretrain_t2t_mini.jsonl

训练日志#

训练共 9924 步，耗时约 55 分钟。Loss 从初始的 7.2 持续下降至 2.25：

Loss 下降趋势平滑，说明模型在有效学习中文语言的统计规律。最终 loss 2.25 意味着模型对每个 token 的平均困惑度（perplexity）约为 $e^{2.25} \approx 9.5$，即平均从约 10 个候选词中选一个。 原始日志见 log-pretrain.txt。

输出#

1
out/pretrain_768.pth  (约 131.3 MiB, 63.91M 参数)

SFT目标#

在预训练权重基础上，用对话数据（问答对）进行监督微调。核心区别：仅对 assistant 回复部分计算损失，忽略 user 和 system 部分。这样模型学会的是「如何回答」而非「如何提问」。

数据格式：每行一组对话 {"conversations": [{"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}。

SFT训练参数#

1
python train_full_sft.py \
2
  --batch_size 64 \
3
  --max_seq_len 512 \
4
  --num_workers 0 \
5
  --epochs 1 \
6
  --from_weight pretrain \
7
  --data_path ../dataset/sft_t2t_mini.jsonl

关键机制#

SFT 与预训练的核心区别在于 损失掩码（Loss Mask）：

1
# SFTDataset.generate_labels() 的逻辑：
2
# 1. 初始所有位置 label = -100（PyTorch 交叉熵忽略）
3
# 2. 扫描 token 序列，找到 "assistant\n" 标记
4
# 3. 找到对应的 "<eos>\n" 标记
5
# 4. 将两者之间的 token 标记为真实 token ID（参与损失计算）

这样确保模型只学习生成 assistant 的回复内容，不学习 user 的提问。

SFT输出#

1
out/full_sft_768.pth  (约 131.3 MiB, 63.91M 参数)

本次训练共 14152 步，最终记录 loss 为 1.8913。原始日志见 sft-log.txt。

DPO目标#

在 SFT 模型基础上，利用人类偏好数据（chosen vs rejected 对比）进行偏好对齐。DPO 的核心思想是：让模型对「好回答」的概率高于「差回答」，同时用参考模型（冻结的 SFT 模型）作为锚点，防止策略模型偏离太远。

DPO 损失函数#

DPO 损失公式为：

其中：

• $\pi_\theta$：策略模型（可训练）
• $\pi_{\text{ref}}$：参考模型（冻结的 SFT 模型）
• $y_c$：chosen 回复（好回答）
• $y_r$：rejected 回复（差回答）
• $\beta$：温度参数，控制偏离参考模型的惩罚力度
• $\sigma$：sigmoid 函数

直觉理解：当策略模型对 chosen 的偏好与参考模型一致时，$\log \frac{\pi_\theta(y_c)}{\pi_\theta(y_r)} - \log \frac{\pi_{\text{ref}}(y_c)}{\pi_{\text{ref}}(y_r)} > 0$，sigmoid 接近 1，loss 接近 0；当策略模型开始偏好 rejected 时，该项为负，sigmoid 接近 0，loss 迅速增大。

DPO 训练参数#

1
python train_dpo.py \
2
  --batch_size 8 \
3
  --max_seq_len 512 \
4
  --num_workers 0 \
5
  --epochs 1 \
6
  --beta 0.15 \
7
  --from_weight full_sft \
8
  --data_path ../dataset/dpo.jsonl

DPO 关键机制#

DPO 与 SFT 的关键区别：

1. 双模型架构：同时加载策略模型（可训练）和参考模型（冻结），参考模型提供「锚点」
2. 数据格式：每条数据包含 chosen（好回答）和 rejected（差回答）两套对话
3. 损失计算：不是交叉熵，而是 sigmoid-based 的偏好对比损失
4. 梯度只更新策略模型：参考模型完全不参与梯度计算

DPO 输出#

1
out/dpo_768.pth  (约 131.3 MiB, 63.91M 参数)

本次训练共 2146 步，最终记录 DPO loss 为 0.5031。原始日志见 dpo-log.txt。