开发者生态
evening
推出 HN:Tokenless(YC S26)——自动模型切换以节省资金
2026-07-29
1 阅读
约2分钟阅读
rohaga
字号:
【HN用户评论摘要】
因此,只有在缓存处于冷状态时才会切换模型,否则切换的经济性将不起作用。但大多数代理工作涉及一长串连续的工具调用,这些工具调用受益于热缓存。热缓存调用将输入成本降低了 90%。这基本上只能节省成本,即 AI 将结果交付给用户,用户等待至少 5 分钟(或缓存的长度),然后响应。但是用户->AI 调用现在非常罕见,越代理
有趣的方法。多模型进度监控的想法很聪明,我见过的大多数路由要么是静态规则,要么是预先选择一次的廉价分类器。并行查询和中途决策感觉不同。我很好奇的一件事是:如何处理在较困难的转弯时旋转多个模型带来的延迟影响?与直接访问 Claude 相比,面向用户的延迟是否仍然具有竞争力,或者在路由器决定时是否有明显的暂停?此外,任何平面
模型路由似乎是人工智能堆栈的一部分,如果它真的有用的话,它将很快进入工业界。我仍然不相信您需要在提供商停机时间之外进行即时选择。您更有可能想要评估一些,然后确定适合您的模型-代理-任务配对
这是否意味着每次发布新模型时都必须重新训练路由规则?我想由于价格/代币(或者更确切地说每个代币可以完成的工作量)不会随着新模型单调增加,因此路由逻辑必须一直改变
> Tokenless 将您的请求分散给一组模型并观察他们的思考。一旦模型明显步入正轨,当模型“步入正轨”时,它将已经收到输入令牌。初步估计,输入令牌通常是许多查询成本的大部分,这会增加此类查询的成本。似乎它只会降低提示的成本,您首先向模型提供相对少量的输入,并可以判断模型是否“走上正轨”
原始链接:https://usetokenless.com/
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱