The Agent Said It Was Done. The Database Disagreed.
The Agent Said It Was Done. The Database Disagreed.
Marked important, but published more than 30 days ago, so it moved down to this band.
On this page11 sections
The full write-up and the editors' notes are in Chinese; the summary above is from the original announcement.
Record
The signal
#发生了什么
10 月 3 日 Microsoft 在 Hugging Face 博客发布 ThinkingBox：一个给智能体跑业务流程的沙盒，以及配套的评测 ThinkingBox-Bench。它的评分对象是后端数据库的最终状态和副作用，而不是智能体最后那句「已完成」。代码以 MIT 许可开源（microsoft/thinkingbox），数据集以 CDLA-Permissive-2.0 发布，论文为 arXiv:2608.19741。
评测怎么做
- 507 个有状态的业务流程，每个从干净的后端开始，重复跑 20 次
- 测了 18 个模型，10 个闭源、8 个开放权重
- 判定看三件事：字段值是否正确、该有的效果是否都有、有没有多出不该有的效果
最重要的数字：没有报错的失败
在 12 个模型、121,680 次运行的消融实验里，79,853 次没有通过检查。这些失败里：
- 67.24% 是「干净地结束」：调用过改写状态的工具、没有报错、报告完成
- 其中 77.61% 写错了字段值，43.30% 产生了多余的副作用，25.36% 漏掉了必须的效果
换句话说，三次失败里有两次，从智能体的输出和日志上看不出任何问题。只看「是否报错」或「是否声称完成」的监控，会把这些当作成功。
至少做对一次，和每次都做对
- Claude Opus 5.5 的单次通过率最高，67.16%
- Kimi-K3 在 507 个任务里有 476 个至少做对一次（93.89%），但 20 次全对的只有 68 个（13.41%）
- Claude Opus 5 有 241 个任务 20 次全对（47.53%）
这和本站 9 月 15 日 IBM 的一致性差距信号是同一个现象：平均成绩和可靠成绩之间隔着一大段。按「每个可靠完成的任务」折算成本，估算最低的是 GPT-5.4，约 6.80 美元。
对读者意味着什么
- 给智能体做验收时，检查它改过的数据，而不是它的回复。没有报错不等于做对。
- 评估时多跑几次，看全对率，不只看平均通过率。
- ThinkingBox 的环境与数据是开放的，可以拿来跑自己的候选模型，但流程是通用业务场景，和你的系统未必相同。
Why now
Why it matters
#它给「智能体说做完了」和「真的做完了」之间的差距量出了大小：三分之二的失败没有任何报错。只看日志和自述的验收方式，会把这部分错误当成功放过去。
Background
Technical context
#有状态的流程会改写数据库或外部系统。按最终状态评分，是把任务前后的数据做比对，检查字段值、遗漏和多余的写入。pass@1 是单次通过率；20 次全对衡量的是同一任务能否稳定完成。
Audience
Who should care
#Next
Learning path
#- 读《完成判定与验收信号》，弄清楚任务完成该看什么证据
- 读本站 9 月 15 日的一致性差距信号，对比平均成功率与全对率
- 挑一个自己的智能体流程，写一个按数据库最终状态判定的检查
- 读《智能体可观测性与评测运维》，把这类检查放进持续评测
Network
Where it sits in the network
#How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.
Further thought
Follow-up questions
#- 你的智能体改写数据后，有没有一个不依赖它自述的检查？
- 同一个任务跑 20 次，你的系统全对率是多少？
- 多余的副作用（43.30%）在你的业务里会造成什么后果？谁会先发现？
Publication record
Featured in
#The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.
技术简报 - 2026-10-08
Immediate attentionWeekly review · Sep 28 – Oct 4
Worth tracking
Sources