biscuitの博客

按课程讲次整理 NLP 博客文章：统计 NLP、深度学习、预训练与 LLM 生命周期、知识增强、推理部署与应用适配的复习入口

词向量内在评价的两类任务：余弦相似度与词类比，以及常用数据集、评价指标和局限

one-hot 表示的局限、分布式假设、共现矩阵、PMI/PPMI 加权与奇异值分解降维

用共现概率的比值构造词向量目标，把全局统计与加权最小二乘结合起来的 GloVe 模型

把词向量学习转化为上下文预测：Skip-gram 与 CBOW 的结构、softmax 的计算瓶颈、负采样与层次 Softmax

从 OOV 与形态问题出发，介绍 fastText 的字符 n-gram、BPE 的合并算法、WordPiece 的似然准则与 SentencePiece 的 Unigram 模型

用前馈网络和循环网络估计下一词概率：NNLM 的嵌入、隐藏层与输出层，RNNLM 的隐藏状态递推及其优缺点

用字符 CNN 和双层双向 LSTM 预训练语言模型，再按任务加权组合各层表示，得到随上下文变化的词向量