IdeaScientist 阅读笔记：AI 怎样提出有依据的研究方案

三个主要角色各做什么？#

另外，调度者负责安排步骤和决定是否回到前一阶段；论文阅读者在独立上下文中阅读全文，返回针对问题的摘要；评审者检查证据和新颖性，要求保留、修改或放弃候选方案。

这套流程的价值，在于让不同阶段的错误有地方可以追查：缺口引用错了，就回去读论文；迁移条件不成立，就修改机制；评估计划无法区分方案与基线，就重写实验。最终文本之前有一串可以检查的中间产物。

一个帮助理解的例子#

下面是解释流程的假设示例，不能当作论文已经验证的结果。

假设我们想降低文献检索工具的响应延迟，同时尽量不损失相关文献的召回率。

第一步，找缺口：检查相近系统，确认延迟究竟来自大范围检索、全文读取，还是昂贵的重排序。假如主要瓶颈是对所有候选都使用昂贵模型，那么缺口就具体了：当前流程没有区分“需要精细判断”和“明显不相关”的候选。

第二步，找机制：推荐系统中常见的两阶段处理，可以提供一个候选思路——先以较低成本召回候选，再对少量候选精排。这里的共同结构是：候选很多，精细判断昂贵，而最终需要的结果较少。

第三步，检查适配：文献检索可能更怕漏掉罕见但关键的论文。第一阶段如果过早删除候选，第二阶段就无法补救。因此需要考虑召回保护、候选数量和不确定性，而不能只把推荐系统的名字搬过来。

第四步，写可检验方案：在同一查询集合上，与现有流程比较延迟、召回率和遗漏的关键文献。若加速来自大量漏检，或者便宜筛选本身已经很慢，这个方案就需要修改或放弃。

这个例子也说明：跨领域迁移本身不能保证创新。如果目标领域早已有类似做法，重新发现它只能算有依据的借鉴。创新还要与最接近的本领域工作比较。

论文如何约束“听起来很新”的想法？#

创新者不能只写一句“借鉴某领域的方法”。它需要交代来源问题、借用机制、两边共享的结构、目标场景的适配、成立假设，以及与本领域近邻工作的差别。方案撰写者再把这些内容落实成模型或方法细节和评估计划。

两个角色都使用文献检索工具。区别主要来自检索问题和任务要求：找缺口偏向本领域相近工作，找机制偏向不同问题场景。读者不应把它理解为某个神奇的跨领域搜索引擎。

文献库与训练样本是两件事#

论文构建了 Svalbard Idea Vault 离线文献库，报告约有 470 万篇文献、280 万篇全文，并从文献中重构约 277 万条研究构想记录。每条记录包含问题、挑战、缺口、直觉和方案等内容。

这里的“人类参考”来自人类撰写的论文，但结构化记录主要由模型提取。它并不是数百万份研究者亲自标注的构思过程，也不记录作者真正如何一步步想到方法。

用于训练与评估的机器学习方法论文，共筛选出 14,977 篇：14,500 篇训练、200 篇验证、277 篇测试。作者过滤了综述、数据集、基准和一些非方法型工作，并对引用全文可用性提出要求。

在重构参考方案时，作者移除已测得的实验结果，保留方法设计和相关内容。这样可以减少“把结果直接告诉系统”的问题，但参考方案仍然来自事后完成的论文。作者抽查 50 个问题输入，没有发现目标方法泄露；0/50 的抽查结果有参考价值，不能证明全量数据完全没有泄漏。

为什么不只给最终方案打分？#

长流程最终得分低，可能是缺口找错、机制适配失败，也可能只是报告遗漏了评估计划。如果只给最后一步奖励，很难告诉前面的角色该改哪里。

论文因此分别训练三个专业角色，使用 LoRA 和异步 GRPO。可以粗略理解为：LoRA 让模型通过较小的附加参数学习角色任务；GRPO 让同一任务的多个候选输出相互比较，再据此更新模型。调度者没有随这三个角色一起训练。

训练奖励结合了几种信号：

• 独立质量：产物是否具体、合理、有证据。
• 参考相符程度：是否抓住参考研究中的实质内容，同时允许有效的替代思路。
• 引用重合：引用集合与参考集合的 F1，也就是精确率和召回率的综合。
• 流程合规：工具调用、格式和必需字段等是否满足要求。

论文将前三项平均后通过有效性门控，再与流程奖励组合。引用重合不等于引用真的支持论断；阶段奖励提高，也不等于真实科研成功率提高。理解这个区别，才能正确看待训练曲线。

先读懂评分表#

主评审模型是 Qwen3.6-27B，另外四个模型用于交叉核验。方案质量由相关性、清晰度、具体性、可执行性、技术合理性和潜在影响六项构成。

新颖性由三项组成：

All 和 Cutoff 是评分后换算到百分制的数值，In-domain 则是满足条件的方案占比。三个分项被等权平均为“平均新颖性”，再与“平均方案质量”等权平均得到综合分。

因此，综合分既包含质量与新增内容的判断，也包含某种特定研究行为是否出现。它不能直接读成“研究成功的概率”。

277 个测试任务上的主要比较#

这里摘录了与讨论最相关的系统；完整分项及其他骨干模型的比较见论文 Table 1。

同骨干比较最有解释力：训练版比 DeepScientist 高 14.0 个百分点，其中未训练框架已经贡献 12.9 点，训练再增加 1.1 点。训练版相对 Base 的平均新颖性增加 1.9 点，方案质量增加 0.4 点。

这说明，在这套任务和评价下，流程组织带来的变化比后续训练的增量更大。但流程同时改变了分工、提示、检索和修订，不能仅凭这张表认定某一个因素造成了全部提升。

不同骨干的表格也不能用来概括“27B 模型全面胜过更强的模型”。Claude 骨干的 IdeaScientist-Base 综合分达到 77.7；Claude Code 与 Codex 在方案质量项上的分数，也高于训练版 Qwen 系统。对用户而言，更相关的问题是流程能否改善自己的任务结果。

拆开看那 14.0 点优势#

根据论文的评分权重，综合分可以写成：

这里用 Transfer 表示论文名为 In-domain 的迁移比例，方便理解。用表中的分项计算训练版相对 DeepScientist 的差距：

合计约 14.0 点，其中约三分之二来自迁移指标。

这是我们根据论文数据做的算术分解，不是作者另做的一组实验，也不是因果分析。它说明总分对权重与指标定义敏感。如果去掉迁移项，让剩余两项新颖性的平均值与方案质量重新等权，训练版仍领先约 6.3 点。不过这已经是另一个评价口径，不能用它替换论文报告的结果。

扎实的部分：没有只依赖一张主结果表#

作者报告了数据划分、角色训练与工具设置，比较多个系统，并检查角色消融、检索范围、推理预算、多模型评审和人工盲评。这些实验让读者能够区分流程、训练与评价的一部分影响。

所谓消融实验，就是去掉或替换系统的一部分，观察表现是否改变。加入缺口发现者和创新者后，新颖性提高，支持这些步骤在当前设置下有用。不过新增步骤也引入更多计算，仍不能完全隔离“专业分工”与“花了更多资源”的贡献。

跨领域检索增加了迁移，原创性的提升较小#

将创新者从同领域检索改为跨领域检索后，迁移比例从 36.3% 提高到 67.0%。All 和 Cutoff 的提升分别约为 5.3 和 3.7 个百分点。

作者还做了更严格的“机制非显然性”检查：让评审根据最接近的已有工作提出可能的机制，再比较生成方案是否超出这些容易想到的候选。这项指标只从 33.5% 提高到 35.7%。

两类结果应一起看：系统明显更经常进行跨场景迁移，但对“提出不容易从近邻工作想到的机制”，观察到的提升小得多。小幅提升不能证明机制没有价值，却提醒我们别把“跨领域”自动等同于“原创”。

人工评审没有完全支持自动排名#

两名标注者对 50 个任务的方案做匿名成对比较。训练版对多数基线的胜率为 75% 至 92%；对 Base 为 57%，对 DeepScientist 为 43%，后两项差异都没有达到统计显著。

怎样理解“没有显著差异”？样本中的偏好不足以清楚排除随机波动。它不证明两个系统完全一样，也不能因为 43% 低于 50% 就宣布 DeepScientist 显著更好。尤其在只有 50 个任务时，细小差距需要更充分的评价。

另外，两位专家的方案质量评分相关系数为 0.56；表现较好的三个模型评审与专家平均分的相关系数约为 0.51 至 0.59。它们有一定一致性，但距离可以互换还有明显差距。

这也解释了为什么自动评审很适合快速筛选，却不足以单独裁定研究价值。论文的数据重构、部分生成与奖励、主评审涉及相同模型家族，多评审能缓解单一偏好，却不能完全排除共同的表达风格偏好。

时间截断减轻泄漏，但不是严格预测未来#

生成时，检索限制在 2026 年 1 月 1 日以前的文献；训练、验证和测试的目标论文都来自该日之后，并在这些目标论文中划分留出集。

这个设计控制了检索工具能读到什么，但有两点边界：一是基础模型参数中的知识难以完全控制；二是训练目标本身也来自截断后的论文，因此不能说整个系统只用截断日前的知识学习。

作者做了标题记忆探测，每个模型抽查 10 篇目标论文，没有发现明显标题记忆。这是有用的排查，但模型记不住标题，仍可能熟悉相近的方法或改写后的内容。

更稳妥的表述是：系统在受限文献检索条件下，对留出的论文问题进行构想生成。将它称为“预测未来研究”，需要更严格的训练时间控制、前瞻收集任务和结果验证。

训练有收益，但最终方案的增量有限#

三个角色的验证奖励都提高约 10 个百分点，说明训练成功优化了阶段目标。端到端综合分则只提高 1.1 点，人工比较也没有显示训练版显著优于 Base。

这不是训练无效的证据。它更像一个提醒：优化中间步骤，未必能等比例改善最终结果。在我们的任务里，不能仅凭 Codex 的回答更完整、更符合模板，就认为科研判断变好了。

资源与真实执行仍是重要缺口#

外部系统保留原有智能体循环，所有系统没有统一严格的总调用量和计算预算。结果可能同时反映检索策略、流程组织、迭代次数和资源投入。补充预算实验也显示，增加推理轮数能够提高完成率及报告阶段奖励。

论文的训练设置规模不小：每个角色使用 40 个节点、每节点 8 张 H100。这个配置不能直接换算为总费用，论文缺少完整的 GPU 小时与运行时间信息。训练版每个方案的生成 token 总量比 Base 约少 11.1%，也不等于总成本或延迟减少同样比例。

最关键的缺口仍是：方案没有经过系统性的实际实验验证。技术上听起来合理，可能在代码实现、数据、收敛、测量或预算阶段失败。论文能支撑哪些结论，可以按下面的层次理解：

精读论文时，增加一张“机制卡”#

只记录问题、方法名和主要分数，过一段时间很难重新使用。建议每篇论文另留一段简短记录：

每条关键判断都留下论文位置。不要让 Codex 把“作者的主张”“实验观察”和“我们的推测”揉成同一句确定结论。

构思时，分阶段保存，而不是一直扩写最终报告#

可以在现有研究文件夹中固定保存六类产物：问题定义、文献证据、方法缺口、候选机制、质疑记录、验证计划。文件名与目录可以按项目习惯设置，不必为了形式增加一套复杂系统。

每一步给 Codex 一个明确的停止条件。例如，找缺口阶段先交付两三个带出处的具体缺口，证据不足就标记待查；不要为了填满格式直接推断。候选机制阶段再检查本领域是否已有类似工作。只有证据与机制可以对上，才继续写完整方案。

这样也能改善可读性：我们先看决定方案是否成立的几条信息，再决定是否需要长报告。篇幅服务于判断，而非每一步都扩写成论文。

把跨领域灵感写成可以检查的迁移依据#

要求 Codex 对每个机制回答五件事：来源是什么、两边哪里相同、目标场景怎样修改、成立条件是什么、最容易在哪种情况下失败。

同时保留一个本领域强基线和一个简单方案。复杂方案如果只比一个弱对照好，就很难说明跨领域机制提供了什么。若简单方案已经解决问题，也没有必要追求更复杂的角色流程。

给评审者明确的反方任务#

“请评价这个方案”容易得到一段鼓励性的意见。更有用的要求是：找出最接近的已有工作，检查引用是否支持主张，指出最脆弱的假设，并设计一个尽快发现失败的实验。

另一个角色或新的对话可以提供复查视角，但同一模型多次赞同，不构成独立验证。关键数字要回到原表，重要引用要读原文，方法主张最终要用数据和实验判断。

用最小验证来决定是否继续#

在一个机制上花很多时间之前，先找出最容易导致失败、又可以低成本检查的假设。例如，迁移方案依赖某种信号区分两类样本，就先测这个信号是否具有区分度，而不是立即搭建整套训练系统。

最小验证至少应写清：对照是什么、观察什么、怎样算值得继续、怎样算应当放弃。允许失败成为一个有效结果，能够减少“已经写了很多，所以一定要继续”的惯性。

我们应先迁移可检查的研究习惯。提示、角色分工、项目说明或 skill 可以复用流程，但它们不等于论文中的 LoRA 参数更新与 GRPO 训练。也没有证据表明日常 Codex 使用需要复刻论文的文献库和算力规模。