直播中｜Claude垫底，GPT表现不佳，PhAI Labs用DiscoveryRSI探索科研Agent自我进化

机器之心发布 Claude，竟然排在最后？ PhAI Labs 最新公布了一项 AI 研究能力对照，结合后续发表的科学文献，考察不同模型提出的研究假设能否为未来的研究思路与探索方向提供启发。报告所列的 Claude Opus 5 组对应比例为 2.3%，排在图中五个模型组的末位。GPT 组为 2.5%，GLM 为 2.8%，DeepSeek 为 5.4%。 排在最前面的，是 DiscoveryRSI：6.3%，约为 GPT 组的 2.5 倍、Claude 组的 2.7 倍。 图 1｜五个模型组对未来研究的启发：DiscoveryRSI 总体比例为 6.3%。 这项比较观察的是：AI 提出的研究假设，能否在后续发表的论文中找到具体的研究依据。例如，一个能够采用的实验对照、一种测量方法，或一个值得进一步检验的证据缺口。这里的 “后续” 以各模型组记录的时间界限为起点。 这对应着一项更通用的研究能力： 提出有价值、可检验的研究假设，并将它发展为能够实际开展的研究。 一项研究需要从值得探索的假设出发，逐步形成可行的调查与验证方案。研究问题从哪里来，为什么值得做，哪些证据能够改变判断，都需要在探索中不断明确。 围绕这一任务，PhAI Labs 联合多家高校与研究机构提出 DiscoveryRSI 。论文由 23 位 AI 和科学领域的作者共同完成，包含国内外 16 个机构署名 ，汇集斯坦福大学、MIT、哈佛医学院、北京大学、牛津大学、普林斯顿大学等机构的研究力量。 合作研究作者包括 斯坦福大学副教授 James Zou，以及 MIT 计算生理学实验室临床研究主任、哈佛医学院医学副教授 Leo Anthony Celi 。Celi 作为 MIMIC 数据发起人和 PI，他的团队建设并维护了 MIMIC 数据库，为临床数据研究提供了重要基础。两位研究者均为这篇论文的通讯作者。 这项工作将研究问题的形成与 Agent 的持续学习联系起来：模型需要提出经得起讨论的研究方案，在数据与证据的约束下不断修订，并接受专业人工评价。 论文： https://arxiv.org/abs/2610.23839 代码：https://github.com/Gen-Verse/DiscoveryRSI 模型：https://huggingface.co/collections/Gen-Verse/discoveryrsi 与此同时， PhAI Labs 正在开展为期三天的 DiscoveryRSI 技术直播，欢迎进入直播间观看 。 直播更直观地呈现科研 Agent 如何发现问题、发展假设、形成可检验的研究方案。更重要的是，检验科研 Agent 提出的假设能否启发未来的研究。 对于希望理解 AI 如何真正参与科学发现的研究者和技术开发者，这也是一次从论文方法走向具体科研过程的机会。 直播入口 ：https://foundry-arena.rsi-arena.workers.dev/arena 直播内容预览版 01｜DiscoveryRSI: 从提出研究假设，到从超长程研究中学习 提出一个好假设，还不足以让科研 Agent 持续成长。 在一次研究中，Agent 可能补充了关键对照，也可能发现原有方案无法用现有数据检验。假设不断变化，研究经验随之积累。但如何把这些经验变成模型下一次还能用上的能力，仍然具有挑战。 DiscoveryRSI 为此提出一套面向科学发现的递归自我改进范式，让假设发展过程成为模型学习的来源。 系统首先将研究假设与检验方案共同组织起来。每个假设需要明确研究论断、检验方法、判定标准和替代解释，说明这个问题为什么值得研究，以及什么结果能够支持或削弱原有判断。 不同版本被保存在研究假设树中。多智能体围绕已有方向持续演化、修复缺陷，必要时组合不同思路或重新开始。每次修改所依据的文献、数据和研究决策，也被一并记录。 图 2｜DiscoveryRSI：研究假设树、贡献归因与模型和工作流的递归改进。 有了这些记录，系统便可以进一步追溯研究进展来自哪里。 Hypothesis Credit Optimization（假设贡献归因与优化） 将科学评价连接到有记录支持的具体贡献，再把有效行为转化为不同权重的训练目标。 一个 Agent 找到了关键证据，另一个提出必要对照，后续修订修复了研究设计的缺陷，这些贡献可以被分别识别，用于指导模型优化。 团队基于这一机制训练了 DiscoveryRSI-27B。 改进还可以发生在工作流上。Harness Replay 在模型保持不变时，回看重复探索、工具失败或上下文丢失等问题，测试有针对性的调整。Rediscovery 将经过评估的更新用于新的研究任务，继续积累经验。这些机制共同构成了跨研究轮次学习的框架。 与之配套的 DFM-Bench 将评价范围从单个假设扩展到假设修订、研究路径与整轮研究过程，关注研究是否积累了证据、作出了合理判断，以及产生了怎样的科学贡献。 实验覆盖临床与 人群健康、治疗靶点优先级、疾病机制、人群多组学 四类 生命科学 场景，使用 HCC、MIMIC-IV、eICU、UK Biobank 及 GEO、ArrayExpress 等数据资源。 图 3｜生命科学与电池领域共享的科学发现流程：从证据与问题出发，在探索、评价与修订中发展研究假设。 在 电池领域，围绕电学诊断、寿命预测、材料退化与使用历史 四条研究线。系统已经覆盖 300 个研究 episodes、351 个研究假设，在 DFM-Bench 上：58.47% 的研究演化被判定为实质进展，完整研究路径评分达到 81.52，全图组织评分达到 71.25。更重要的是，每个候选都能追溯到数据、测量条件、实验设计、反例和后续决策，让 DiscoveryRSI 参与的研究过程变得可检查、可复盘、可持续迭代。接下来，我们会继续把这套能力推进到更真实、更复杂的电池研发问题中。 从生物医学到电池研究，多领域实验为 DiscoveryRSI 科学发现新范式的有效性提供了初步支撑，也展现出其跨领域应用潜力。 围绕这套框架，技术报告从四个研究问题展开实验：模型是否越研究越强、研究行为如何变化、专业研究者如何评价，以及生成的假设能否接上有用的研究线索。 02｜从研究经验中持续学习，提升研究假设的质量与可检验性 PhAI Labs 在 241 个留出研究问题上，比较基础模型与完成一轮、两轮自改进的模型，使用统一的自动评价标准考察假设质量。 平均评分从 4.86 升至 5.18，再升至 5.39。 第二轮在四个领域均超过基础模型，提升幅度从疾病机制方向的 0.28 分，到人群多组学方向的 0.94 分。 图 4｜两轮自改进，四个领域的假设自动质量评分均高于基础模型。 提升最突出的，是假设能否进入实际检验。 可证伪性从 4.00 升至 6.20， 对替代解释的考虑从 4.44 升至 5.98；数据能否回答问题的评分从 3.73 升至 4.99，可行性从 4.79 升至 5.87。 这些结果说明，研究经验能够推动模型把方案写得更具体，明确如何开展检验，以及怎样解释不同的结果。当前提升主要集中在这些方面，重要性和新颖性的自动评分尚未同步上升。