NLP 评价指标:从分类、回归到文本生成
准确率、混淆矩阵、P/R/F1、宏平均/微平均、ROC-AUC、MAE/RMSE/相关系数,以及 BLEU、ROUGE、BERTScore、COMET 与 LLM-as-a-Judge
3240 字
|
16 分钟
BERT:预训练 + 微调范式
用 Transformer 编码器做双向预训练:输入表示、MLM 与 NSP 任务,以及分类、序列标注和抽取式问答的微调方式
1584 字
|
8 分钟
GPT、BART 与 T5:三种预训练范式
自回归解码器、去噪编码器-解码器与 text-to-text 统一框架:三种预训练语言模型的结构、训练目标和适用任务
1700 字
|
9 分钟
大模型预训练:整体框架与模型架构
大模型的三阶段训练流程、decoder-only 架构的演进,以及位置编码、归一化、注意力和激活函数上的现代改动
1301 字
|
7 分钟
BERT 微调实践:情感分析
以 IMDb 影评情感分析为例,梳理 BERT 微调的数据处理、模型结构、训练策略、评估与常见问题
1153 字
|
6 分钟
大模型训练系统:显存、并行与数据
大模型训练中的显存构成、混合精度、梯度累加与重计算,以及数据并行、张量并行、流水线并行和预训练数据的处理
1643 字
|
8 分钟
LLM 有监督微调:指令微调与数据构建
SFT 如何让预训练模型学会遵循指令:指令数据的形式与构建、Self-Instruct、全量微调与灾难性遗忘
1802 字
|
9 分钟
参数高效微调:LoRA、Adapter 与 Prefix Tuning
冻结大部分预训练参数,只训练少量新增参数:Prefix Tuning、Adapter、LoRA 的原理、参数量对比与 QLoRA 量化微调
1260 字
|
6 分钟