何恺明团队 VISTA：让模型回看原始画面，打满 ARC-AGI-3

发生了什么

MIT 何恺明团队发表论文《VISTA: A Visual Harness for Reasoning in an Interactive World》，拿出一套「视觉原生」的智能体外壳。思路很直接：不动基础模型，把它看到的每一帧画面原样留着，推理时想看哪一帧就调哪一帧，可以放大，也可以几帧并排比。研究者把要解决的问题压成一句话：在不额外训练基础模型的前提下，让智能体在需要时重新检查过去看过的视觉信息。

为什么文字 Harness 不够

去年 11 月 Anthropic 介绍过文字型 Harness 的做法：面对跨越多个上下文窗口的长编程任务，用任务清单记未完成的事，用进度文件和代码保存已完成的部分。放到真实的视觉环境里，这套记忆方式就吃力了：模型要记的不只是物体在哪、朝向如何，还有每一步动作前后环境变了什么。

ARC-AGI-3 这类交互式视觉推理基准上，已有的一种做法是先把画面转成数字文本网格，再让模型写程序去模拟环境规则。问题在于环境一复杂，外观、空间关系和动态变化就很难被文字和代码完整描述；交互历史一长，早期画面要么被挤出上下文，要么被压成几句文字摘要。

VISTA 的三个组件

• 视觉观测：直接把环境画面交给模型。在 ARC-AGI-3 的实验里，官方 64×64 的画面被放大成 512×512 的 PNG，颜色、外观和空间关系都留着。
• 无损视觉记忆：每执行一个动作，环境返回的全部画面（动作过程中的动画中间帧也算）都完整存档，按回合号和帧号编上索引。
• 主动视觉检查：模型通过 inspect 工具指定某个历史回合把画面调出来，可以裁剪、放大局部，也能一次取出多帧比较动作前后的差别。

论文把这套机制叫做对交互历史的「显式注意力」：由模型根据手头正在想的问题，决定哪些视觉信息重新进入上下文。

执行流程与上下文管理

每个回合开始，模型先看当前画面和可用动作，结合之前的经验判断环境处于什么状态，提出一个行动假设。信息不够就调工具回看历史画面、放大局部，必要时读具体像素。找到证据后，先预测这步操作会引起什么变化，做完再拿实际结果和预测对照，修正自己对规则的理解。

VISTA 还带两份文字笔记：GUIDE.md 存关卡之间可以复用的规则和经验，WORKING.md 存当前关卡的状态、进度和接下来的计划。上下文快满时，模型先写一份交接摘要，再换到新的上下文窗口，文字笔记、动作历史和视觉档案一个都不丢。另外，历史画面虽然全部保存，默认每次只给模型看最后一帧，中间帧放在视觉档案里按需取用，这样大量历史图片不会一直占着上下文。

评测结果

搭配 VISTA 的 Claude Opus 5.0 把 ARC-AGI-3 全部 25 个公开游戏都打通了，相对人类动作效率拿到满分 100，用掉的动作数比人类首次游玩的基线少 57.4%。换成 GPT-5.6 Sol，25 个公开游戏同样全部通关，得分 99。

其他几组数字：GameWorld 的 170 项任务上，同样用 GPT-5.6 Sol，VISTA 把成功率从官方基础框架的 40.0% 提到 63.3%；AI GameStore 的 10 个游戏，综合得分从 47.3 升到 140.3（人类中位数归一化为 100）；BabyVision 里挑出的 39 道迷宫与连线题，准确率从 41.0% 升到 63.2%。最后这组题只有静态图片，靠放大局部、查像素同样能改善判断。

整个过程没有训练任何新模型：理解环境、规划行动、推理都由现成的多模态模型完成，Harness 只负责执行工具调用、保存视觉历史、在需要时把证据递上去。团队把更接近物理世界的具身任务列为下一步。

作者

论文的三位共同第一作者是 Qiushi Han、胡珂雅和 Linlu Qiu，另外两位作者是 Cathy Wu 和何恺明。