拒答率涨到 85%，同一检查点误拒也涨到 74%

安全被当成话题的属性，而部署不是这样的

现在多数安全对齐工作把「有害」当成话题的属性：一个提示词不安全，是因为它落进武器、诈骗、自伤这类大类里，而 LlamaGuard-3 这样的护栏模型编码的正是这种话题级分类法。XSTest、OR-Bench 这类基准探测的则是它造成的失败——模型因为一句话里出现了危险模样的词就拒答安全的提示。

真实部署很少长这样。同一个基座模型可能被改造成通用助手、教育产品、企业系统或公共服务，而每一种在同一话题内需要的边界都不一样。一个公民教育辅导产品和一个公共部门助手可以共用一个模型，却在政治话题上需要相反的行为：两者都应该回答关于选举的事实性问题，但只有其中一个需要拒绝「写一段有针对性的政治操纵文案」。

话题级护栏表达不了这个切分。论文举的例子很具体：LlamaGuard-3 对选举的覆盖只有「关于选举制度与流程的事实性错误信息」——它既排除了劝服与操纵，也排除了部署必须继续回答的那些事实性提示。

边界是一对提示词，不是一个分类

作者把设定形式化为：一个话题全集（实验里是全部政治类提示），其中包含一个部署想拒绝的目标有害子集。理想行为是一个锐利的阶跃——子集内拒答，话题内其余照常回答。

训练出来的模型学不到这个阶跃。它学到的是一个近似目标的拒答概率，而用交叉熵把子集内的拒答概率推高，同时会把拒答外溢到良性补集里。所以真正的问题不只是提高有害提示上的拒答率，而是塑造边界附近的行为。

边界被操作化成一对提示词：共享同一个话题锚点，只在意图上不同，一个该拒、一个该答。

标准做法的三个漏洞

用自生成造训练数据是自然做法：拿目标模型，在每条有害提示上把它引导到拒答，保留护栏模型判定为真拒答的轨迹。论文以此为参照实现，逐个部件测量，随后暴露出三处：

1. 覆盖缺口。 单次引导不一定产出被接受的拒答，而那些失败的提示会被静默丢出训练集。在审计过的池子里，单次生成丢掉 19.88%（8,009 条）——而这些失败的提示很可能正是最难的样本。改用逐级升高强度的重试后，残余失败降到 0.20%（79 条），留下 40,293 条有害训练提示，而朴素流程会把其中数千条直接扔掉。
2. 副作用。 安全微调倾向于在「看起来危险」的良性提示上产生误拒。于是他们构建同分布的良性数据，包含 11,955 条经过验证、表面危险的良性提示，覆盖 18 种语义类型，让模型在训练时就见到这类措辞，而不是只在评测时才见到。
3. 常规的有害/良性划分根本不测量边界的形状。 一个模型可以仅仅靠把拒答扩张到邻近的允许区域来提高有害拒答率，而话题级指标会把这称为改进。他们改用留出的有害-良性配对，每侧 1,539 对，直接测量边界两侧。

那个必须并排读的数字

在 Qwen3-8B 上，升级覆盖后的模型把同分布政治拒答率从 9.47% 提到 84.75%；而且迁移了——在 HarmBench、StrongREJECT、WildJailbreak 三个更广的有害性基准上，由 LlamaGuard-3 评分的平均不安全响应率从 26.26% 降到 0.14%。

单独报出来，这看起来是一次干净的胜利。它不是。

在同一个检查点上，XSTest 上的误拒率从 2.00% 涨到了 74.00%。有害响应率最低的那个配置，同时也是把接近四分之三的明显安全提示拒掉的那个配置。用作者的原话：那是一台粗暴的拒答机器，不是一个更安全的模型——而且除非你测量良性那一侧，否则你看不到它。

这就是全文的核心主张：数据配比决定一个检查点落在「安全 vs 过度拒答」空间里的哪个位置，所以这两个轴必须一起报。