Workflow · 2026-10-12

华为 Memento 3:把规则写成代码,打满 ARC-AGI-3

华为诺亚方舟实验室联合 UCL 等团队的智能体 Memento 3 打通了 ARC-AGI-3 公开集全部 25 款游戏、183 个关卡,RHAE 满分 100,总操作 7518 次,比人类的 17135 次少约 56%。底模 Claude Opus 5 不更新权重、不做游戏微调,靠「代码即模型」(一份规则手册加一个可执行的世界模型)递归地自我改进。

量子位2026-10-12About 5 min readImmediate attention

Marked important by the editors and published within 30 days.

AI agentsAgent runtimes & protocolsBenchmarks & evaluation
On this page11 sections

This signal comes from a Chinese-language source and is written in Chinese.

Record

The signal

#

发生了什么

华为诺亚方舟实验室联合 UCL 等团队发布了智能体系统 Memento 3。它把 ARC-AGI-3 公开集的 25 款游戏、183 个关卡全部打通,RHAE(Relative Human Action Efficiency,相对人类行动效率)拿到满分 100。人类过完这套关卡要 17135 次操作,Memento 3 用了 7518 次,少了约 56%。

底模是 Claude Opus 5,整个过程没有更新过模型权重,也没有针对这些游戏做微调。对照一下:同一个 Claude Opus 5 放进 ARC Prize 官方的标准测试框架,平均 RHAE 只有约 40.7 分。底模没变,换一套智能体系统,差了 59.3 分。

这些游戏难在哪

ARC-AGI-3 和之前的 ARC 系列不一样,不再是出一道题让模型解,而是把 AI 直接放进一个陌生的游戏世界,规则要自己摸。25 款公开游戏、183 个关卡,画面基本是简单的像素、方块、颜色和图形。

此前的成绩单:普林斯顿大学的 Continual Harness 通关 3 款,20.5 分;有英伟达研究人员参与的 DreamTeam 通关 6 款,38.1 分;OPINE-World 78.4 分;NOOA 85.1 分;独立开发者 Sergey Rodionov 的 baseline1 打通了全部 25 款,99 分。Memento 3 补上了最后那 1 分,操作总数 7518 次,比 baseline1 的 8347 次再省 829 次。

核心方法:代码即模型

Memento 3 的方法叫 Code as Model(代码即模型),靠两样东西:

  • Rulebook(规则手册):一份 Markdown 文档,写下摸索出来的规律,包括哪个操作触发什么效果、怎么过关、还有哪些规则没弄清。
  • Executable World Model(可执行世界模型):把手册里的规则写成能跑的 Python 代码,等于给自己造了一个简化版的游戏模拟器。

代码对不对,要拿真实画面验:AI 会一格一格比对 64×64 的游戏画面,确认代码能复现实际结果。论文里有个例子:AI 起初认定踩到特殊地板后,角色带的图案会按进入方向镜像翻转,实际试过才知道是顺时针转 90 度,而且和进入方向无关。符号解密游戏 tr87 里,AI 一开始搞不清符号的朝向是否影响含义,后来发现不同朝向的符号可能是同一个字母;新关卡出现后,它又推翻了自己对游标位置的判断。一局下来,同一份规则手册改了 11 版。每次修改都走 Git 版本管理,改错了可以回溯、恢复。

对照实验与 Pong 测试

团队在三款游戏上做了消融:留着规则手册,AI 一共操作 617 次;拿掉手册只留代码世界模型,要 677 次。有了「攻略」,操作次数少约 9%,智能体执行轮次少约 18%。游戏 wa30 上,单世界模型要 899 次操作通关,双世界模型降到 597 次,少约 34%。不过双世界模型的收益目前只在 wa30 上验证过,不能直接推到别的游戏。

团队还让 Memento 3 去打 Atari 的 Pong:AI 一边打一边改反弹公式,控制策略成熟后,程序独立上场,不再调用 Claude Opus 5,规则也不再更新,三次不同开局都打出 21:0。作为对照,不用世界模型、只让大模型看着当前画面决定下一步,最终得分只有 -19;随机乱按是 -20.7。学出这套策略,Memento 3 大约只看了 9500 帧画面,而一些传统强化学习方法要几十万甚至上亿帧。

代价与边界

底模是开了 Extra-High 推理强度的 Claude Opus 5,探索、写代码、验证这一整套都很耗 token 和算力。实验目前集中在规则相对明确的游戏环境,换到更复杂多变的现实场景能否奏效,还没有答案。论文的结论是:递归自我改进(RSI)不一定要改模型底层的权重。只要外部世界模型可检查、可执行、可回滚,参数冻结的通用大模型照样能在陌生领域里自我迭代。

Why now

Why it matters

#

这条信号给出了一种不动模型权重也能持续提升智能体表现的工程路径:把对环境的理解写成可执行、可回滚的代码,再用它替代每一步都调用大模型。对需要长时程探索、规则未知的任务,这种「代码即模型」的结构比单纯堆推理算力更容易检查和复用。ARC-AGI-3 的公开成绩也提供了一个可与既有方案横向对比的基准。

Background

Technical context

#

ARC-AGI-3 把 AI 放进规则未知的游戏环境,考验探索与规则归纳能力,RHAE 是相对人类操作效率的归一化指标。Memento 3 的思路属于基于世界模型的智能体:先归纳环境规则,再把规则写成可执行代码,用模拟推演替代真实试错,并在预测与观测不符时修正模型。递归自我改进(RSI)在这里指模型权重冻结、通过外部规则与代码迭代来提升表现。

At your level

Have AI explain this signal at your level

Pick your level of experience and AI writes an explanation for it on the spot.

Audience

Who should care

#
在做长时程、规则未知任务的智能体团队需要控制 token 成本与推理调用的工程负责人关注 ARC-AGI-3 等新评测基准的研究与评测人员探索用代码作为世界模型表达形式的架构师
Areas it may affect
智能体评测基准推理成本世界模型

Next

Learning path

#
  1. 先读 ARC-AGI-3 的公开说明,弄清 RHAE 是怎么算的,以及它和普通通关率的区别。
  2. 再看 Memento 3 论文中 Rulebook 与 Executable World Model 的更新流程,弄清规则改错时如何验证与回滚。
  3. 对照 baseline1、NOOA 等方案的成绩与做法,判断这套方法的增益来自哪里。
  4. 最后在自己的一个规则未知的小任务上,试着让智能体先写规则手册再行动,观察操作次数是否下降。

Getting started

Have AI draft a learning path

From the related knowledge and skills on this page, AI drafts a path from the basics to applying it.

Network

Where it sits in the network

#

How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.

Comparison

Compare with another technology

Pick another published technology and AI writes a comparison of what they share, how they differ and when to use each.

Further thought

Follow-up questions

#
  • 规则手册与代码世界模型的维护成本,在更长任务上会不会超过它省下的操作?
  • 双世界模型的 34% 提升只在 wa30 上验证,换到别的游戏或任务上还剩多少?
  • 如果底模换成更弱或更便宜的模型,这套外部世界模型还能撑住多少性能?

Publication record

Featured in

#

The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.

  1. 技术简报 - 2026-10-13

    Immediate attention

Sources

量子位

华为诺亚方舟实验室Research lab2026-10-12
Open original sourcehttps://www.qbitai.com/2026/10/502654.html