周回顾
周回顾 · 9 月 14 日 – 9 月 20 日
9 月 14 日 – 9 月 20 日(周一–周日)已发布的技术信号,按优先级汇总。纯派生自已发布信号,无编辑撰写、无 AI。
立即关注
1 条本周编辑标为关键、或标为重要且发布不满 30 天的信号。
Anthropic 公布内部测量:Claude 主导 26% 的研发,裁判也是 Claude
OpenAI 公开研发提速数据两周后,第二家实验室跟上:Anthropic 发布三组内部测量,并对每一组写明任何开发者今天就能怎样发布同样的数字。截至 8 月,Claude「主导」了约 26% 的 AI 研发工作(2 月不到 1%),90% 以上达到「协作」及以上,没有任何一类完全自主;约 3 万个内部智能体的动作 100% 在执行前经过监控,10 亿多次决策中约 47,000 次拦下 1 次;研发算力约 6% 用于安全。它自己点出最大的弱点:给自动化等级打分的裁判也是 Claude,模型与人一致率 59%,而人与人之间只有 35%。
值得跟踪
2 条本周值得持续留意、等待更多验证的变化。
Copilot 运行时改写成 83 万行 Rust:别让智能体碰判卷标准
GitHub 把支撑 Copilot 命令行、SDK 与多款产品的智能体运行时从 TypeScript 整个重写成 Rust:832,378 行生产代码加 468,689 行单元测试,大部分由智能体编写,分 128 个 PR 逐步合入,主要由一名开发者用几个月完成。最值得抄的是教训清单里写得最重的一条:改动实现的智能体不能同时被允许重新定义「什么是正确」——端到端测试在迁移中不能被重写,护栏放在单独的所有权之下,检查分层且失效方式不同。会话数据还显示,智能体的阅读与搜索调用约是编辑调用的 10 倍。
平均成功率 77%,五次全对只有 53%:智能体的一致性差距
IBM Research 指出,几乎所有基准只报平均成功率:AppWorld 上一个 GPT-4.1 的 ReAct 智能体五次运行平均成功 77.4%,但五次全对的任务只有 53.0%,差 24.4 个点,难任务上达 30 个点。原因在于决策分布的形状——平坦分布里的近似平局会被 GPU 浮点、批处理等平台侧扰动翻转,几十个决策串起来就累积成很大的走偏概率,所以温度设成 0 也没用。他们用一条轨迹、无需标准答案就能找出易翻转决策点,并据此生成指引,把差距从 24.4 降到 12.0 个点,平均准确率不降。