公告
欢迎来到我的博客喵。
MiniMind 数据侧：Tokenizer 与三阶段数据处理
2026-09-06
从 6400 词表的构成讲起，再分别拆解 Pre-training、SFT、DPO 三个阶段如何把原始 jsonl 变成模型可以吃下的张量
3635 字
|
18 分钟
MiniMind 训练实战 （四）LoRA 微调与推理部署
2026-08-14
使用宠物问答数据对 MiniMind 64M 模型进行 LoRA 微调，并通过前后样例分析领域适配中的能力退化
318 字
|
2 分钟
MiniMind 学习成果总览：从源码阅读到 Pre-training、SFT 与 DPO
2026-08-13
汇总 MiniMind 项目的学习路径、代码注释、三阶段训练实践、成果链接与当前局限，作为科研实习申请材料入口
427 字
|
2 分钟
MiniMind 训练实战：从预训练到偏好对齐的全流程记录
2026-07-20
在 A100-80GB 上完成 MiniMind 的三阶段训练（Pre-training → SFT → DPO），详细记录每阶段的参数配置、训练日志、loss 曲线与权重文件
1377 字
|
7 分钟
MiniMind 代码导读（二）：Attention 的完整张量流
2026-07-20
沿着 MiniMind 的 Attention.forward，将 Q/K/V 投影、QK Norm、RoPE、GQA、KV Cache、因果掩码与缩放点积注意力逐段翻译为数学公式和张量形状
3815 字
|
19 分钟
MiniMind 代码导读（一）：从 Token IDs 到训练 Loss
2026-07-20
沿着 MiniMind 的一次前向传播，将模型配置、Embedding、Decoder Block、LM Head 与错位交叉熵逐段翻译为数学公式和张量形状
3431 字
|
17 分钟
统计语言模型：n-gram 与数据平滑
2026-07-18
语言模型的定义、马尔可夫假设、n-gram 极大似然估计，以及加一、插值、回退、Good-Turing 与 Kneser-Ney 平滑
1884 字
|
9 分钟