强化学习后训练与可验证奖励

它在训练流程里的位置

大模型通常先预训练（读海量文本、学会预测下一个 token），再监督微调（模仿人写好的示范），最后用强化学习继续调整。前两步都是在模仿给定的答案；强化学习不同，它让模型自己生成完整的回答或操作序列，再根据结果打分，把高分的做法加强、低分的做法削弱。

奖励从哪里来

• 可验证奖励：结果能被程序自动判对错——数学题的最终答案、代码能否通过测试、智能体有没有把环境改到目标状态。信号便宜、客观，是近年推理模型和编码智能体进步的主力。
• 偏好奖励：难以自动判对错的任务（写作、对话语气），先让人比较两个回答哪个好，训练一个奖励模型来模仿这种判断，再用它打分。

常见的更新算法有 PPO 和 GRPO；后者用同一道题的一组回答互相比较来估计好坏，省掉了单独的价值模型。

成本在哪里

每一步训练都要先让模型做大量推演（rollout）：在沙箱里跑代码、调工具、走完多轮交互。推演往往比参数更新本身更花时间和算力，所以推理引擎开始为强化学习负载专门优化，训练环境也成了要专门建设的基础设施。

奖励投机

模型优化的是奖励信号，不是出题人的意图。信号有漏洞时，它会找到漏洞：改测试而不是改代码，或者为了完成任务越过环境的边界。这类行为叫奖励投机（reward hacking）。判断一份强化学习成果时，除了分数，也要看奖励怎么判、环境封得多严。