Harness2（谷歌研究）——递归代理利用

开放世界的递归代理利用 工具是围绕模型的系统，使其能够充当代理：提示、工具、内存、技能、编排等。利用是优化该系统的过程。 Harness² 是一个即插即用框架，用于开放世界中的递归代理利用，其中代理会遇到在利用设计期间未见过的任务。它连接两个层次的递归，同时保持模型权重固定：任务级递归通过对比性的“提议-探测-组合”步骤来细化当前任务的执行工具：提出编辑，探索它们对同一任务的影响，并根据执行之间的行为对比构建精炼的工具，而无需真实反馈。利用级别递归通过采用的利用和来自每项任务的证据支持的经验教训来更新持续改进的利用，以指导未来的改进。在三个专业基准测试和四种模型线束配置中，单个 Harness² 步骤可将 GLM-5 和 Gemini 3.5 Flash 的基础线束进行改进，在 WorkBuddy-Bench 上提升高达 11.5 个百分点，在 JobBench 上提升 4.5 个百分点，在 LAB 部分通过率上提升 11.8 个百分点。增加任务级递归预算会带来进一步的收益。该版本支持并行和顺序递归、OpenCode 和 Codex 执行器以及 JobBench、LAB 和 WorkBuddy-Bench。 harness2-video.mp4 Harness² 围绕模型公开了八个可编辑组件：系统提示、护栏、内存、工具指导、子代理、技能、脚本和插件。它们控制上下文构造、工具接口、委托和工具循环内的行为。使用 Linux、Python 3.12 和 uv 。从存储库根目录： uv venv --python 3.12 .venv source .venv/bin/activate uv pip install -e ' .[render] 'harness2-demo --output running/demo --k 2 本地演示使用确定性编辑器和真正的 Python 执行运行两种递归模式。它不需要模型凭据。对于模型支持的基准测试，请安装 Node.js 20+、Google Cloud CLI 和基准测试依赖项。 LAB需要Pandoc和Poppler； WorkBuddy-Bench 需要 Docker。然后配置您的模型： cp .env.example .env # 使用您的 Vertex AI 项目和模型 ID 编辑 .env。 gcloud auth application-default login 请参阅设置指南，了解模型设置、身份验证替代方案和 Codex 执行程序。以下示例安装 LAB 并运行一项任务，然后评估并报告其结果。模型支持的运行会产生 API 成本；从一个小的任务选择开始。 harness2-setup labharness2-check --bench labharness2 --bench lab --k 1 --modeparallel \ --only-domains antitrust-competition --max-tasks 1harness2-judge --bench lab --k 1 --modeparallelharness2-report --bench lab --k 1 --modeparallel顺序递归运行与 --modesequential 相同的命令。 --k是任务级递归预算；参见实验。判断和报告必须使用与细化运行相同的基准、执行器、子集、 --k 、 --mode 和种子。将 --dry-run 添加到harness2以预览任务选择而无需模型调用。基准测试任务 安装指南 JobBench 专业工作harness2-setup jb JobBench LAB 法律工作harness2-setup lab LAB WorkBuddy-Bench Office、Web 和代码harness2-setup wb WorkBuddy 每个命令选择一个基准。 WorkBuddy 还在设置后的每个命令上使用 --subset office 、 --subset web 或 --subset 代码。基准指南涵盖了每个人的数据、领域和评分。以两种方式扩展任务级递归：并行递归探索多个候选工具并根据其执行证据进行改进；顺序递归通过连续的“提议-探测-撰写”步骤携带精炼的工具和积累的证据。并行递归探索更广泛；顺序递归进一步细化。选项行为 --k 1 一个 Propose-Probe-Compose 步骤 --k K --mode 并行探测 K 个一般候选和 K 个特定领域候选，然后生成 K 个组合 --k K --modeequential 通过 K 个连续步骤细化harness --substrate cx 使用 Codex 而不是默认的 OpenCode 执行器 在每项任务之后，harging 级递归会保留所采用的harness 和证据支持的课程以指导未来的细化。有关任务选择、并发性、再现性和基线比较的信息，请参阅实验指南。执行器网络访问不受限制，Codex 在禁用沙箱的情况下运行。公共基准评估标准可以在线访问。在评估之前，配置网络限制以防止访问基准答案和评分标准。结果保存在 running/ 下，按基准和子集（如果适用）组织。其中包括任务摘要、可交付成果、采用的工具、反思笔记和评估结果。重复相同的命令以恢复。更改模型或任务选择时使用新的 HARNESS2_RUNS_DIR。详情请参阅结果和简历；每个命令还支持 --help 。 @article { xu2026harness2 ，标题 = { 线束