智能体做错的任务，三分之二没有报错
Microsoft 发布 ThinkingBox-Bench：507 个有状态的业务流程，按后端最终状态评分，而不是看智能体怎么说。12 个模型的 121,680 次运行里有 79,853 次没通过，其中 67.24% 正常结束、调用过改写状态的工具、也没有报错。Kimi-K3 有 93.89% 的任务至少做对一次，但 20 次全对的只有 13.41%。代码与数据均已开源。
编辑标为重要，发布已满 30 天，从立即关注降到这一档。
本页目录11 节
记录
信号正文
#发生了什么
10 月 3 日 Microsoft 在 Hugging Face 博客发布 ThinkingBox：一个给智能体跑业务流程的沙盒，以及配套的评测 ThinkingBox-Bench。它的评分对象是后端数据库的最终状态和副作用，而不是智能体最后那句「已完成」。代码以 MIT 许可开源（microsoft/thinkingbox），数据集以 CDLA-Permissive-2.0 发布，论文为 arXiv:2608.19741。
评测怎么做
- 507 个有状态的业务流程，每个从干净的后端开始，重复跑 20 次
- 测了 18 个模型，10 个闭源、8 个开放权重
- 判定看三件事：字段值是否正确、该有的效果是否都有、有没有多出不该有的效果
最重要的数字：没有报错的失败
在 12 个模型、121,680 次运行的消融实验里，79,853 次没有通过检查。这些失败里：
- 67.24% 是「干净地结束」：调用过改写状态的工具、没有报错、报告完成
- 其中 77.61% 写错了字段值，43.30% 产生了多余的副作用，25.36% 漏掉了必须的效果
换句话说，三次失败里有两次，从智能体的输出和日志上看不出任何问题。只看「是否报错」或「是否声称完成」的监控，会把这些当作成功。
至少做对一次，和每次都做对
- Claude Opus 5.5 的单次通过率最高，67.16%
- Kimi-K3 在 507 个任务里有 476 个至少做对一次（93.89%），但 20 次全对的只有 68 个（13.41%）
- Claude Opus 5 有 241 个任务 20 次全对（47.53%）
这和本站 9 月 15 日 IBM 的一致性差距信号是同一个现象：平均成绩和可靠成绩之间隔着一大段。按「每个可靠完成的任务」折算成本，估算最低的是 GPT-5.4，约 6.80 美元。
对读者意味着什么
- 给智能体做验收时，检查它改过的数据，而不是它的回复。没有报错不等于做对。
- 评估时多跑几次，看全对率，不只看平均通过率。
- ThinkingBox 的环境与数据是开放的，可以拿来跑自己的候选模型，但流程是通用业务场景，和你的系统未必相同。
为什么是现在
为什么重要
#它给「智能体说做完了」和「真的做完了」之间的差距量出了大小：三分之二的失败没有任何报错。只看日志和自述的验收方式，会把这部分错误当成功放过去。
背景
技术背景
#有状态的流程会改写数据库或外部系统。按最终状态评分，是把任务前后的数据做比对，检查字段值、遗漏和多余的写入。pass@1 是单次通过率；20 次全对衡量的是同一任务能否稳定完成。
关注人群
谁该关注
#下一步
学习路径
#- 读《完成判定与验收信号》，弄清楚任务完成该看什么证据
- 读本站 9 月 15 日的一致性差距信号，对比平均成功率与全对率
- 挑一个自己的智能体流程，写一个按数据库最终状态判定的检查
- 读《智能体可观测性与评测运维》，把这类检查放进持续评测
关系网络
在技术网络中的位置
#当前技术与相邻技术、技能和背景知识的连接，点击节点可继续探索。
延伸思考
后续问题
#- 你的智能体改写数据后，有没有一个不依赖它自述的检查？
- 同一个任务跑 20 次，你的系统全对率是多少？
- 多余的副作用（43.30%）在你的业务里会造成什么后果？谁会先发现？
发布记录
收录于
#收录这条信号的技术简报，新的在前；最后一行是它那一周的周回顾。标签是它在那一期所在的栏目。
来源参考