开发者生态
evening
通过将代码转换为图像并使用模型 OCR 来降低 Fable 成本 60%
2026-07-03
1 阅读
约7分钟阅读
dimitropoulos
字号:
pxpipe 通过将庞大的上下文渲染为图像来削减 Claude Code 的输入标记 — 相同的系统提示、工具文档和历史记录,仅占标记的一小部分。图像的令牌成本由其像素尺寸决定,而不是由其中的文本数量决定。密集内容(代码、JSON、工具输出)在真实的 Claude Code 流量中每个图像令牌包约 3.1 个字符,而每个文本令牌包约 1 个字符。 pxpipe 是一个利用这一差距的本地代理:它会在请求离开您的计算机之前将请求的大量部分(系统提示、工具文档、较旧的历史记录)重写为紧凑的 PNG。节省的费用取决于工作负载——pxpipe 在令牌密集的内容上获胜,而稀疏/小的请求保持不变——因此这些是测量的快照,而不是常量。主要的、持久的结果是输入令牌减少:密集的系统提示、工具文档和历史记录以紧凑的图像而不是文本的形式输入(上面的示例是将约 25k 文本令牌渲染为约 2.7k 图像令牌),每个请求都根据其自己的 count_tokens 反事实进行测量。美元处于下游——按照目前的《神鬼寓言》标价,代币削减导致端到端账单降低约 59-70%(压缩请求约 72-74%;常见问题解答中的完整定价数学)。但标价明天可能会改变,而代币数量不会改变,因此值得关注的是代币数量,而不是美元。从 ~/.pxpipe/events.jsonl 复制两者。这是模型看到的而不是文本的内容:约 48k 个字符的系统提示 + 工具文档(此存储库自己的 README、FINDINGS 和源),约 25k 个标记作为文本,约 2.7k 个图像标记作为此页面。由真实的transformRequest管道生成:空格缩小,回流成整行,并用↵标记原始换行符,OCR指令横幅在顶部共同渲染。该模型在干净的评估中以 100/100 读取渲染(请参阅基准)。演示 Fable 5 演示(默认,100/100 阅读器):Fable-AB-Demo.mp4 Fable-AB-Demo.mp4 两个演示均在 Fable 5 上显示两个窗格(左侧为 plain,右侧为 pxpipe)。 《寓言》读懂了《作品》读不到的内容。 Opus 拒绝的图像短语计数(请参阅下面的 Opus 演示):pxpipe 臂在 39 个图像填充文件中计算精确的标记 10/10(与 grep 地面实况逐行匹配),并获得正确的多步账本算术(8037 → … → 15,021)。相同的答案,便宜约 7 倍。两个演示后的会话总计:普通 $42.21 ,上下文 96% 已满(964.5k/1M - 远离强制压缩的一项任务) vs pxpipe $6.06,上下文空闲(73.5k/1M)。诚实的警告,在剪辑中可见:pxpipe 臂首先回答计数,并需要一个后续推动来以请求的单行格式打印分类帐余额;第一次尝试时,普通手臂就遵循了格式。 《神鬼寓言》的易读性得到了解决——单一回复格式合规性是剩下的难题。 Opus 4.8 演示(默认情况下禁用 Opus):Opus-AB-Demo.mp4 并排 — 普通 Claude(左)与 pxpipe(右),均在 Opus 4.8 上(选择加入;pxpipe 针对《神鬼寓言》进行了调整 — 请参阅上面的《神鬼寓言》剪辑)。单击图像观看(Google 云端硬盘)。演示 1 — 修复失败的测试套件:均通过;仪表板显示 pxpipe 将请求削减为一小部分令牌(真实的、服务器测量的上下文/令牌减少)。演示 2 — 一个大文件上下文(40 个文件,约 382k 标记)加上一个数学问题和一个“计算这个短语”任务:数学答案(一个小文本针)在两者上读取。短语计数需要读取图像填充符 - 因此 pxpipe-on-Opus 无法读取它,并且诚实地表明它不会伪造数字(记录的有损限制:精确值保留文本)。与此同时,Plain 则陷入了逐文件计数的困境。尝试一下(30秒) npx pxpipe-proxy # proxy on 127.0.0.1:47821 ANTHROPIC_BASE_URL=http://localhost:47821 claude # point Claude Code at it 打开 http://127.0.0.1:47821/ 以获得实时仪表板:保存的令牌、每个会话的统计信息、并排的每个文本→图像转换、全局终止开关和运行时模型芯片,包括GPT 5.6 和 GPT 5.5。其他什么都没有改变。响应流正常; pxpipe 仅压缩请求(您的上下文上升),而不压缩模型的输出。最近的转弯保持文本;系统提示、工具文档和较早的批量历史记录都会被镜像。诚实的部分,在依赖它之前先阅读它是有损的。 pxpipe 是一个要点层,而不是无损存储。在大海捞针的评估中,密集图像内容中的精确 12 个字符的十六进制字符串在 Opus 上返回 0/15,在 Fable 5 上返回 13/15,并且失败模式是静默虚构:一个看似合理的错误值,而不是错误。您需要精确返回字节的任何内容(ID、哈希值、秘密、精确数字)都必须保留文本。最近的转变确实如此;专门的逐字风险防范机制尚未建立。准确回忆逃生舱口。 pxpipe 仅图像 Fable 请求 ( PXPIPE_MODELS=claude-fable-5 ),因此非 Fable 模型上的任何子代理都会作为文本传递。将需要字节精确值的工作路由到 1 — 全局使用 CLAUDE_CODE_SUBAGENT_MODEL=claude-sonnet-4-6 ,或者每个代理在代理 frontmatter 中使用 model: sonnet 。它从源(文件/JSONL)读取,而不是成像历史记录。这包括准确回忆您故意的路线;它不猫
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱