野外的思维链推理并不总是可靠的

计算机科学 > 人工智能 arXiv:2503.08679 (cs) [提交于 2025 年 3 月 11 日 ( v1 )，最后修订于 2026 年 6 月 16 日（本版本，v6）] 标题：Chain-of-Thought Reasoning In the Wild Is Not Always Faithful 作者：Iván Arcuschin、Jett Janiak、Robert Krzyzanowski、Senthooran Rajamanoharan、 Neel Nanda、Arthur Conmy 查看 Iv\'an Arcuschin 和其他 5 位作者撰写的标题为 Chain-of-Thought Reasoning In The Wild Is Not Always Faithful 的 PDF 文件 查看 PDF HTML（实验） 摘要：最近的研究表明，当面临提示中的明确偏差时，模型经常会在其思维链 (CoT) 输出中忽略提及这些偏差，这表明语言推理可能会错误地描述模型如何得出结论（不忠）。在这项工作中，我们表明，不忠实的 CoT 也会发生在自然措辞、非对抗性的提示上，而无需添加人为偏差或编辑模型输出。我们发现，当单独提出问题“X 比 Y 大吗？”时和“Y 比 X 大吗？”，模型有时会产生表面上连贯的论据，以证明系统地回答“是”或“否”，尽管存在矛盾。我们提供了初步证据，表明这是由于模型对“是”或“否”的隐含偏见，将这种隐含的事后合理化标记为隐含的事后合理化。我们的结果显示，生产模型的比率高达 13%，虽然前沿模型更忠实，但没有一个模型完全如此，包括像 DeepSeek R1 (0.37%) 和 Sonnet 3.7 with Thinking (0.04%) 这样的思考模型。我们还研究了不忠实的不合逻辑的捷径，其中模型使用微妙的不合逻辑的推理来使数学难题的推测答案看起来得到了严格的证明。我们的研究结果表明，虽然 CoT 对于评估输出很有用，但它并不能完整地说明产生模型答案的内部过程，因此在代理或安全关键环境中应谨慎使用。点评：发表于第43届国际机器学习会议（ICML 2026）主题：人工智能（cs.AI）；计算和语言（cs.CL）；机器学习 (cs.LG) 引用为：arXiv:2503.08679 [cs.AI]（或此版本的 arXiv:2503.08679v6 [cs.AI]） https://doi.org/10.48550/arXiv.2503.08679 重点了解更多通过 DataCite 发布的 arXiv DOI 提交历史记录 来自：Iván Arcuschin [ 查看电子邮件 ] [v1] 2025 年 3 月 11 日星期二 17:56:30 UTC (4,311 KB) [v2] 2025 年 3 月 13 日星期四 17:49:58 UTC (4,348 KB) [v3] 2025 年 3 月 19 日星期三 19:20:42 UTC (4,349 KB) [v4] 2025 年 6 月 17 日星期二 17:59:57 UTC (2,337 KB) [v5] 2026 年 5 月 29 日星期五 17:38:22 UTC (2,378 KB) [v6] 2026 年 6 月 16 日星期二 17:36:22 UTC (2,378 KB) 全文链接： 访问论文：查看 PDF标题为“野外思维链推理并不总是忠实”的论文，由 Iv\'an Arcuschin 和其他 5 位作者查看 PDF HTML（实验性）TeX 源代码 查看许可证 当前浏览上下文：cs.AI < 上一页 | 上一页 | 下一页下一页 > 新 |最近 | 2025-03 更改为浏览方式：cs cs.CL cs.LG 参考文献与引文 NASA ADS Google Scholar 语义学者导出 BibTeX 引文 正在加载... BibTeX 格式的引文 × 正在加载... 数据提供者： 书签 书目工具 书目和引文工具 书目浏览器 切换书目浏览器（什么是浏览器？） 关联论文 切换关联论文（什么是已连接论文？ ) Litmaps 切换 Litmaps（什么是 Litmap？） scite.ai 切换 scite 智能引文（什么是智能引文？） 与本文相关的代码、数据、媒体 代码、数据和媒体 alphaXiv 切换 alphaXiv（什么是 alphaXiv？） 代码链接 切换 CatalyzeX 论文代码查找器（什么是 CatalyzeX？） DagsHub 切换 DagsHub (什么是 DagsHub？) GotitPub 切换 Gotit.pub (什么是 GotitPub？) Huggingface 切换拥抱面 (什么是 Huggingface？) ScienceCast 切换 ScienceCast (什么是 ScienceCast？) 演示 演示 复制 切换复制 (什么是复制？) Spaces 切换拥抱面 空间 (什么是空间？ ) 空间 切换 TXYZ.AI（什么是 TXYZ.AI？） 相关论文推荐器和搜索工具 链接到 Influence Flower Influence Flower（什么是 Influence Flowers？） 核心推荐器切换 CORE 推荐器（什么是 CORE？） 作者地点 机构 主题 关于 arXivLabs arXivLabs：与社区合作者的实验项目 arXivLabs 是一个允许合作者开发和共享新 arXiv 的框架直接在我们的网站上提供功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个能为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。这篇论文的哪些作者是认可者？ |禁用 MathJax（什么是 MathJax？）