整体流程#

四个实验阶段#

Phase 2（实验阶段）被实验进度管理器细分为 4 个明确的科学探索阶段：

Stage 1: 预研（Preliminary Investigation）

• 从 Idea 描述出发，并行生成多种代码实现（21 个节点）
• 建立最小可行原型，验证基本可行性
• 每个节点执行：代码生成 → 运行 → 绘图 → VLM 审查
• 非 Buggy 节点可 Refine 改进，Buggy 节点进入 Debug 子流程
• 最佳节点传递给 Stage 2

Stage 2: 超参数调优（Hyperparameter Tuning）

• 以 Stage 1 最佳节点为根，生成超参数探索节点（12 个）
• 追踪已测试的超参数配置，避免重复
• 最佳配置节点进入 Stage 3（多个随机种子复制求统计）

Stage 3: 研究议程执行（Research Agenda Execution）

• 基于调优后的基线实现核心实验
• Refine 改进 + Debug 修复持续进行
• 若实验完成远早于分配时间，自动建议增加复杂度
• 12 个节点，直至预算耗尽

Stage 4: 消融研究（Ablation Studies）

• 系统评估各组件的重要性（12 个节点）
• 复制节点（Replication）：不同 seeds 重复实验，获取均值/标准差
• 聚合节点（Aggregation）：汇总复制结果，产出包含统计信息的最终可视化

Agentic Tree Search 节点模型#

每个实验节点是一个复合结构：

1
Node = {
2
  experiment_script: str,        # Python 实现文件
3
  plan_description: str,         # 高层计划描述
4
  error_trace: str | None,       # 执行错误
5
  runtime: float,                # 实验耗时
6
  metrics: dict,                 # 性能指标
7
  llm_feedback: str,             # LLM 对脚本的反馈
8
  visualization_script: str,     # 绘图脚本
9
  figure_paths: list[str],       # 输出图片路径
10
  vlm_feedback: str,             # VLM 对图表的反馈
11
  status: "buggy" | "non-buggy"  # 节点状态
12
}

关键技术参数#

数据集与 Hugging Face#

v2 直接使用 Hugging Face Hub 的 datasets.load_dataset() 获取公开数据集，不再需要手动准备。论文中遇到的实际问题：

• 标准 ML 数据集（MNIST, CIFAR-10, Fashion-MNIST）：自动下载，表现良好
• 真实世界数据集（Kaggle 害虫检测数据集）：需要人工下载并缩减规模（v2 仍需人工介入数据准备环节）

实验设计#

与 ICLR 2025 ICBINB Workshop（“I Can’t Believe It’s Not Better”）合作进行受控实验：

1. AI 生成投稿：三篇完全由 v2 生成的论文，从广义主题提示开始，全流程无人工干预
2. 盲审：43 篇总投稿中混入 3 篇 AI 论文，审稿人被告知可能存在 AI 生成内容但不知具体是哪几篇（可 opt-out）
3. 结果：一篇平均分 6.33 被接收，两篇被拒
4. 后审撤回：根据与 ICLR 领导层协议，接收后撤回，不进入正式学术记录

投稿论文概览#

论文生成过程#

被接收论文的完整生成流水线：

1. 广义 Idea 生成：以 workshop 主题（negative results + unexpected findings）为提示，生成约 20 个核心 ML 想法
2. 应用方向提示调整：修改 prompt 关注金融、心理学、农业等应用领域，再生成约 20 个想法
3. 人工挑选：从 40 个 AI 生成的 idea 中选择 3 个最有前景的（此为唯一的 “人工干预”，类似于教授决定资助哪些研究方向）
4. 全自动执行：每个 idea 多次运行完整流水线（不同随机种子），再从中选出最优结果（“meta-selection”）
5. 论文写作：LLM 单次生成 + o1 反思 + VLM 图注审查 + chktex 纠错

作者声明：除 “选择哪些 AI 生成的 idea 去执行” 和 “从多次运行中选最佳结果” 外，生成过程中的代码、实验、图表、文字完全由 AI 自主完成。

仓库结构#

v2 代码已合入 SakanaAI/AI-Scientist 主仓库（原 v1 仓库），与 v1 共享相同的顶层架构但大幅扩展：

1
AI-Scientist/
2
├── launch_scientist.py              # 主入口（兼容 v1 + v2 模式）
3
├── ai_scientist/                    # 核心包
4
│   ├── llm.py                       # ~30 个 API 支持
5
│   ├── generate_ideas.py            # Idea 生成 + 新颖性检查
6
│   ├── perform_experiments.py       # 实验执行
7
│   ├── perform_writeup.py           # LaTeX 写作
8
│   ├── perform_review.py            # 多审稿集成 + AC 聚合
9
│   └── fewshot_examples/            # 3 个示例论文+审稿
10
├── templates/                       # 11 个模板
11
│   ├── nanoGPT/ nanoGPT_lite/       # 语言模型
12
│   ├── 2d_diffusion/                # 扩散模型
13
│   ├── grokking/                    # 学习动态
14
│   ├── MACE/ seir/ tensorf/ ...     # 8 个社区模板
15
├── experimental/
16
│   ├── launch_oe_scientist.py       # 开放进化版本
17
│   └── Dockerfile                   # 容器化部署
18
└── review_iclr_bench/              # ICLR 审稿基准

新增能力#

• OpenAlex 文献引擎：除 Semantic Scholar 外可选
• GPT-4.1 / o3-mini / Gemini 2.5 支持：紧跟模型生态
• 社区模板贡献机制：earthquake-prediction（地震预测）、MACE（量子化学）、SEIR（传染病）、probes（LLM 探测）等
• Docker 支持：完整 texlive + NPEET + 数据准备 + 基线运行

论文认定的局限#

1. Workshop 级别而非主会级别（workshop 接收率 60-80%，主会 20-30%）
2. 仅 1/3 投稿被接收，一致性不足
3. 生成真正新颖的高影响力假设仍具挑战
4. 数据准备自动化不足（真实世界数据集仍需人工下载）
5. 代码实现仍有错误（与 v1 类似的数据泄漏、图注错误、幻觉引用等问题）

作者团队内部审查发现的系统性问题#

伦理与安全#

• 获得 UBC 伦理批准（H24-02652）
• 所有审稿人被告知可能审阅 AI 生成论文并可 opt-out
• 接收论文已撤回，不进入 OpenReview 公共记录
• 作者明确主张 AI 生成论文应被清晰标注
• 担忧：被滥用于淹没审稿系统、伪造学术履历

架构演进#

v1 是 “一个 idea → 线性实验 → 写作 → 审稿” 的流水线，而 v2 在每个环节都做了质的提升：

实验阶段（最核心变化）：

• v1：Aider 编辑 experiment.py → 运行 → 失败重试 ≤ 4 次 → 最多 5 轮 → 结束
  • 本质是单链 LLM 代码编辑，实验深度有限
• v2：并行生成多个代码 → 执行 → 分类(Buggy/Non-buggy) → Debug/Refine → 最佳节点传播 → 下一阶段
  • 引入树结构，不同路径并行探索，LLM 评估后选择最佳方向

写作阶段：

• v1：Aider 逐节填充 + self-reflection 优化 + 20 轮引用搜索
• v2：单次生成 + 推理模型（o1）反思 + VLM 图注审查（确保图与注对齐）+ 自动篇幅控制

图表能力：

• v1：完全无视觉反馈，图表质量依赖 LLM 代码能力
• v2：VLM（GPT-4o）审查每个图表，返回结构化 JSON 反馈

领域通用性：

• v1：每个新领域需要手动写 template（experiment.py + plot.py + prompt.json + seed_ideas.json）
• v2：只需提供高级主题描述（如 “negative results in deep learning”），系统自行生成完整实验

能力边界#

成本与效率#

• v1：单篇约 **$15**（DeepSeek Coder 约$0.2/篇），1-2 小时内完成
• v2：单篇数小时至 15 小时（API 成本更高，因为并行探索 + VLM 调用增加）
• v2 的树搜索虽然更耗时，但产出质量更高（能在更广泛的空间中探索更好的实验）

核心洞察#

v1 证明了 “AI 可以自动完成科研闭环”，v2 证明了 “AI 生成的论文可以通过同行评审”。从 v1 到 v2 的演进揭示了几个关键 insight：

1. 探索/利用权衡：树搜索比线性管道更接近真实科研过程——好科学家不会只沿一条路走到底
2. 视觉能力不可或缺：VLM 审图能捕获 LLM 无法感知的图表问题（缺失图例、标签不清晰、与描述不符）
3. 模板限制创造力：v1 的模板引导虽然提供了稳定性，但也限制了系统探索超出模板范围的实验设计
4. 人类在回路中仍有价值：尽管全自动，但 “选择 idea” 和 “挑选最优输出” 的 meta-selection 仍需要人类判断