01. 便宜 Token，未必便宜任务
一个模型的 Token 单价更低，不代表它完成任务更便宜。因为工程团队最终购买的不是一百万个 Token，而是一个通过测试、可以合并的结果。这期只解决一个问题：AI 编程工具的成本，应该怎么按“任务”算，而不是按价目表猜。
02. Databricks 的内部实测
二零二六年七月八日，Databricks 工程博客发布《Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase》。作者是 Vinay Gaba、Ankit Mathur、Rishabh Singh、Patrick Wendell 和 Matei Zaharia。文章用数百万行私有代码库里的真实工程任务，同时比较模型和运行外壳。它最重要的结论不是谁排第一，而是 Token 单价对端到端任务成本的解释力很差。
03. 计费单位必须换掉
企业真正关心的成本，可以拆成四项：模型在每轮读取和生成的 Token，工具与沙箱计算，失败后的重试，以及最后的人类复核。只有结果通过验收，这些投入才形成一个完成任务。于是更合理的指标不是“每百万 Token 多少钱”，而是“每个通过任务多少钱”。便宜模型如果读得更多、绕得更久、重试更多，总成本完全可能更高。
04. 一个反直觉的数字
Databricks 给了一个直接例子。Sonnet 5 的 Token 单价大约比 Opus 4.8 低一点七倍，但在他们的任务上，Sonnet 平均每题花二点零九美元，Opus 是一点九四美元；任务完成率分别是百分之八十一和百分之八十七。主要原因是 Sonnet 工作时间更长、读取内容更多，消耗了约一点九倍 Token。这里不该外推成所有代码库的固定排名，但足以否定“单价低就一定省钱”。
05. Harness 是成本放大器
更值得收藏的是第二组实验：同一个模型、同一档思考强度，换两个不同 Harness，部分任务的成本差距超过两倍，而质量相同。Databricks 的分析认为，主要差异来自每轮送给模型的上下文。较精简的 Pi 每轮发送的上下文大约少三倍，保持了更紧的工作集，也用更少轮次完成任务。模型没有变，账单却被上下文管理改写。
06. 为什么上下文会重复收费
长对话里，模型不是只为新增的一句话付费。系统提示、工具说明、对话历史、文件片段和上轮输出，可能在后续回合反复进入输入。一次读取看起来不贵，但十轮都把大块历史重新送入，累计成本就会快速增长。Harness 的摘要、裁剪、文件选择和工具返回格式，本质上都在决定“每轮重读多少、要走多少轮”。这就是工程层面的上下文税。
07. 一条可执行的任务成本公式
可以把单个任务的总成本写成：所有回合的输入加输出费用，加工具和沙箱费用，加失败重试，再加人工复核。然后再除以通过验收的任务数。评测时至少同时记录四个数：完成率、通过任务成本、完成轮数和多次运行的波动。只看平均 Token，会把失败样本和不稳定性藏掉；只看完成率，又可能用无限预算买高分。
08. 模型不能脱离 Harness 评测
因此，企业的评测单位应该是“模型加 Harness 的组合”，而不是模型名字。同一个模型在不同运行外壳里，会看到不同系统提示、不同工具、不同上下文压缩，也会走出不同轨迹。采购一个 API，并不等于采购了最终生产力。你真正部署的是模型、Harness、工具、权限和代码环境组成的系统。
09. 按任务难度路由
Databricks 还观察到，内部任务大致形成不同能力层。改配置、翻开关这类常见任务，不必默认调用最贵模型；复杂设计探索才需要更强推理。工程上更合理的做法，是先按任务复杂度分桶，再为每一桶选择质量达标时成本最低、波动最小的组合。所谓智能路由，不是永远选最便宜，而是把昂贵能力留给确实需要它的任务。
10. 最小可用成本基准
普通团队不需要复制一套大榜单。先拿三到五个真实、可自动验收的任务，固定代码快照、工具权限和成功条件。对每个模型与 Harness 组合重复运行，记录通过率、每次成本、轮数和失败类型。不要只算成功样本，也不要把人工救场从成本里删掉。数据少时不宣布冠军，先看差距是否稳定。
11. 选型时只看这张表
最后把结果放进一张四列的表：质量是否达标，每个通过任务的总成本，结果波动，以及适用任务层级。Token 单价只作为成本分解项，不作为最终排序。团队还要保留执行轨迹：成本突然升高时，能定位是模型绕路、Harness 重送上下文、工具返回过大，还是测试失败导致重试。可优化的成本，必须先可解释。
12. 从价目表回到任务
这期的结论很短：别买便宜 Token，要买便宜而可靠的完成任务。模型单价、上下文效率、执行轮数和通过率必须一起看；评测单位是模型加 Harness，计费单位是通过验收的任务。把这套四列成本表收藏下来，下次有人只拿 API 价目表证明“能省一半”，先让他把任务级数据补齐。
参考资料与延伸阅读
本文事实来源
- 发布方：Databricks Engineering Blog
- 发布日期：2026-07-08
- 作者：Vinay Gaba、Ankit Mathur、Rishabh Singh、Patrick Wendell、Matei Zaharia
- 原始标题：Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase
- Databricks：Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase
使用边界：文章基于 Databricks 的私有代码库与内部工程任务；视频保留原始数据，但不把结果外推成通用模型排名。
资料核验日期：2026-08-23。