Biscuitの赛博小窝 - 还没想好喵

RLHF 与 PPO：用人类偏好对齐语言模型

2026-10-20

09-自然语言处理

NLP

/

LLM

/

RLHF

/

PPO

/

Reward-Model

/

GAE

从 3H 原则到奖励模型与 PPO：策略、评论、奖励、参考四个模型如何协作，GAE 如何估计优势，KL 约束如何防止跑偏

1464 字

|

7 分钟

知识图谱：表示、构建与应用

2026-10-20

09-自然语言处理

NLP

/

Knowledge-Graph

/

RDF

/

OWL

/

Knowledge-Representation

从语义网到三元组：知识表示、RDF/RDFS/OWL、知识图谱的构建流程（定义、抽取、补全、存储）与领域应用

1217 字

|

6 分钟

DPO：跳过奖励模型的直接偏好优化

2026-10-20

09-自然语言处理

NLP

/

LLM

/

DPO

/

Preference-Optimization

/

Alignment

从带 KL 约束的 RLHF 目标推导隐式奖励，把偏好对齐转化为二分类损失：DPO 的公式、直觉与优缺点

970 字

|

5 分钟

知识增强的大语言模型

2026-10-20

09-自然语言处理

NLP

/

LLM

/

Knowledge-Augmentation

/

RAG

/

Hallucination

知识内化与知识外用：预训练阶段融合词法、语义和世界知识，推理阶段用检索、思维链和上下文学习补充外部知识

1435 字

|

7 分钟

大语言模型的评价：能力维度与基准

2026-10-20

09-自然语言处理

NLP

/

LLM

/

Evaluation

/

Benchmark

/

MMLU

/

Chatbot-Arena

从基础能力、应用能力到安全可靠性：LLM 的评价维度，以及 MMLU、AlpacaEval、Chatbot Arena 等基准和自动评价方法

1260 字

|

6 分钟

大模型推理部署：KV Cache、PagedAttention 与推理框架

2026-10-20

09-自然语言处理

NLP

/

LLM

/

Inference

/

vLLM

/

PagedAttention

/

Deployment

自回归推理的两个阶段、KV Cache 的显存问题、PagedAttention 与连续批处理，以及 vLLM、TGI、TensorRT-LLM、llama.cpp 等框架的选择

1323 字

|

7 分钟

模型压缩：量化与蒸馏

2026-10-20

09-自然语言处理

NLP

/

LLM

/

Quantization

/

Distillation

/

Deployment

用低精度表示权重和激活：均匀量化、粒度与 QAT/PTQ，以及 LLM.int8、GPTQ、SmoothQuant、AWQ 和知识蒸馏

1525 字

|

8 分钟

提示工程：从手工模板到自动优化

2026-10-20

09-自然语言处理

NLP

/

LLM

/

Prompt-Engineering

/

In-Context-Learning

/

APE

提示的组成与构建策略、离散提示与连续提示、上下文学习，以及 APO、APE 等自动提示优化方法

1463 字

|

7 分钟

1 2

3

4 5 33

biscuitの博客