公告
欢迎来到我的博客喵。
745 字
4 分钟
NLP 课程复习索引：课件与博客对应关系
| 讲次 | 课件主题 | 对应文章 | 外部笔记与补充 |
|---|---|---|---|
| 1 | 绪论 | 不整理 | 按约定跳过 |
| 2 | 基础理论：信息论、机器学习范式 | 无专门文章，概念分散在后续文章中 | 自信息量、联合熵与条件熵、KL 散度与交叉熵、困惑度、强化学习基础 |
| 3 | 统计建模与经典技术 | 统计语言模型、词法分析、句法分析与语义角色标注、经典 NLP 任务 | 评价指标见 NLP 评价指标 |
| 4 | 深度学习基础 | 无专门文章，按网络类型分布在不同分类 | CNN、RNN 基础、BPTT、GRU 与 LSTM、Seq2Seq、自注意力、Transformer 编码器、Decoder-only Transformer |
| 5 | NLP 评价 | NLP 评价指标、词向量的评价 | 大模型评价见 大语言模型的评价；基础概念见 困惑度 |
| 6 | 词向量与神经语言模型 | 词向量基础、Word2Vec、GloVe、子词分词、NNLM 与 RNNLM、ELMo、BERT、GPT、BART 与 T5、BERT 微调实践 | SVD 数学基础：奇异值分解；ELMo 的序列建模：LSTM |
| 7 | 大模型预训练 | LLM 预训练：框架与架构、大模型训练系统 | 架构组件细节：现代 LLM 组件 |
| 8 | 有监督微调 SFT | LLM 有监督微调、参数高效微调 | 提示与上下文学习：提示工程；量化部署：模型压缩 |
| 9 | 大模型强化学习 | RLHF 与 PPO、DPO | MDP 与强化学习基础、PPO、GRPO |
| 10 | 知识增强与模型评价 | 知识图谱、知识增强的大语言模型、大语言模型的评价 | 检索增强的工程实现：RAG；经典信息抽取：经典 NLP 任务 |
| 11 | 推理部署 | 推理框架与部署、量化与蒸馏 | 现代 LLM 组件、LoRA 与 QLoRA |
| 12 | 应用场景适配 | 提示工程、CoT、ToT 与 GoT、RAG、智能体 | 课件只展开提示工程，RAG 与智能体按教材目录补充；知识增强背景见 知识增强的大语言模型 |
按主题复习
语言模型与预训练演进
统计语言模型 → NNLM 与 RNNLM → ELMo → BERT / GPT、BART 与 T5 → LLM 预训练
大模型训练与对齐
LLM 有监督微调 → 参数高效微调 → RLHF 与 PPO → DPO
经典 NLP 与评价
词法分析 → 句法分析与语义角色标注 → 经典 NLP 任务；指标贯穿其中：NLP 评价指标、词向量的评价
知识、部署与应用
覆盖说明
- 第 1 讲绪论未整理；
- 第 2 讲的信息论与机器学习基础由
dl-basics、math和reinforcement-learning分类承载； - 第 4 讲的 CNN、RNN 与 Transformer 由对应深度学习笔记承载，NLP 文章不重复；
- 第 12 讲课件正文只覆盖提示工程，RAG 与智能体依据教材目录和相关研究补充；
- 各文章末尾的“相关阅读”提供局部交叉引用，本文只负责课程层面的总览。
NLP 课程复习索引：课件与博客对应关系
https://biscuit0613.github.io/posts/nlp/00-course-map/