biscuitの博客

基础能力#

• 阅读理解：读一段或多段文本，准确回答相关问题；
• 文本生成：生成符合语义逻辑和语言规范的文本，关注准确性、多样性和一致性；
• 代码生成：根据需求生成语法正确、可执行、性能合理的代码；
• 逻辑推理：基于已知事实和逻辑关系进行推理与决策；
• 数学推理：理解问题、多步推理并完成数值计算；
• 记忆能力：在长上下文中保持和调用信息。

应用能力#

• 指令遵循：准确理解用户意图，按指定格式、语言、长度完成任务；
• 工具使用：调用搜索、计算器、代码执行器、API 等外部工具完成复杂任务；
• 角色扮演：模仿指定人物或性格，保持设定一致。

安全与可靠性#

• 安全与伦理：冒犯性、偏见与公平性、身心健康、非法活动、隐私与财产等；
• 真实与可信：事实准确性、前后一致性、来源可靠性、抗攻击性（对提示注入、越狱的鲁棒性）。

这些维度不能用单一分数概括。一个模型可能在数学基准上很强，却在指令遵循或安全性上表现很差；评价报告需要明确测了什么、没测什么。

MMLU#

MMLU（Massive Multitask Language Understanding）衡量模型在预训练阶段获得的知识广度，覆盖 STEM、人文、社会科学等 57 个主题，难度从小学到专业水平。

• 共 15,908 道四选一多选题；
• 分为少样本开发集、验证集和测试集；
• 评测时通常从开发集取 5 道题作为提示示例；
• 模型预测概率最高的选项，指标为平均准确率。

MMLU 适合比较知识覆盖，但对推理过程、指令遵循和开放性任务覆盖不足。后续出现了 MMLU-Pro、GPQA 等更难或更专业的基准。

AlpacaEval#

AlpacaEval 评价模型遵循用户指令的能力，采用模型评委 + 成对比较：让待评模型和参考模型对同一指令各生成一个回答，由 GPT-4 判断哪个更好，最后统计胜率。

AlpacaEval 2.0 对胜率做了长度控制，以消除评委偏爱长回答的偏差。它与人工评价的一致性较高，成本远低于大规模人工标注，但结果依赖评委模型和参考回答的质量。

Chatbot Arena#

Chatbot Arena 是一个匿名对抗平台：用户同时向两个匿名模型提问，投票选出更好的回答，投票后才揭晓模型身份。平台用 Elo 评分系统根据胜负关系更新排名。

它的优点和局限：

• 优点：贴近真实用户偏好，覆盖开放对话场景；
• 局限：用户群体和问题分布有偏，投票噪声大，且模型版本和参评时间会影响可比性。