首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

克劳德,请停止尝试记住随机的废话

2026-07-03 1 阅读 约5分钟阅读 theahura
分享:
字号:
Agentics:记住会话记录没有用 跟踪工件,而不是临时记录。 Alt 标题:Claude,请停止尝试记住随机废话 theahura Jul 02, 2026 1 6 分享 31 个赞可能看起来不是很多,但这实际上是子堆栈笔记上的每个人我们发现,当代理可以搜索访问他们以前的记录会话时,只要他们可以访问其他形式的上下文,SWE 任务的性能优势为零。我们还没有发现尝试自动搜索会话记录以改善代理上下文有多大好处,除非有人在循环中。感谢您的阅读!免费订阅以接收新帖子并支持我的工作。这真是令人惊讶。直观上,感觉代理和工程师之间的笔录中有很多有价值的信息。也许它会包含有关代码存在原因和用户意图的信息。或者它可能有用户尝试过但放弃的其他方法。至少,它会有一些额外的上下文,代理可以用来增强其理解。我坚信这一点,以至于我的公司围绕这个概念构建了整个产品。我曾经告诉人们“会话记录是新的石油”,它们比代码本身更有价值。其他人显然也有类似的想法,这就是为什么有这么多不同的工具来实现会话支持内存,包括(当然)Claude Code 本身。我认为最常见的架构是这样做: 将整个组织的所有记录存储在数据库中 在其前面放置矢量搜索、弹性搜索或 SQL 搜索层。雄心勃勃的团队将使用这三个。也许会涉及到图表。使用 MCP 或通过使用技能公开 cli 来将其提供给代理。对于我们来说,这项额外的工作似乎没有什么区别。如果有什么不同的话,根据数月的测试(有或没有会话搜索访问),它可能会使模型变得更糟。为什么这可能是真的?我们团队非常关心的一件事是编码工件。我们不再真正手工编写代码了。为了使 PR 清晰易读,我们强调良好的提交消息、良好的 PR 消息和全面的文档。每个代码更改都附带与代码一起提交的大量元数据。当我们的代理处理一段代码时,他们会被指示去查看文档和以前的 PR。换句话说,代理已经在提取有关转录本的所有有价值的信息,并将其存储在需要且易于访问的地方。因此,当代理使用转录搜索服务器时,它最终会花费令牌来读取它已经知道的内容,同时拾取代理最初决定不写下的所有内容。也许,时不时地,里面就会有一些有用的信息。但大多数时候,代理只是看着一个伪无意义的便签本,并浪费宝贵的代币来这样做。这些代理在实际删除上下文方面也很糟糕,而上下文是维持长期记忆的关键能力。我的意思是,在数千次会议中,我从未见过这种情况发生过一次。这不是一个可以通过一些巧妙的提示工程来消除的特征。代理没有状态,因此他们必须假设输入上下文窗口中的所有内容都是真实情况。每行代码、每一个现有的内存位、每个令牌都被视为意图的表达——即使该代码或该内存是由先前的某个代理会话做出的随机决策生成的,从未被人类审查或什至理解过。当智能体尝试自主建立记忆基础时,这种意图漂移就会变得更加复杂。据我所知,假设输入数据已损坏的编码基准为零。事实上,模型会因为假设输入数据错误而受到惩罚。这在一定程度上也是一个对齐问题——我们不想让代理做意想不到的事情,并且没有一种简单的方法来解决“不要删除代码库”和“删除一些输入上下文”的问题。由于模型实际上无法建立自己的记忆,自动记忆最终会出现在同一个地方:大量垃圾吃代币、膨胀的账单和降低模型质量。净净,我已经变得非常看跌那些索引、存储和在会话记录中呈现给代理的工具。会话记录可能对团队可观察性有用,但它不会让您的座席变得更好。这并不意味着代理在随着时间的推移学习上下文方面没有作用。我们使用内部的 nori 机器人每周回顾公司在 PR、slack、drive 等方面发生的所有事情。然后他们对我们内置的 nori 技能组提出一系列更改,将团队标记为 Slack。这些都默认拒绝。为了接受更改,您必须实际查看差异并确保它符合意图。我们接受低于 20% 的
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱