评估开放权重模型能否自托管

先读许可证，按尺寸逐个读

同一次发布里的几个尺寸，许可可能不一样。Holo4 系列权重全部公开，但分数最高的 27B 用的是 CC BY-NC 4.0，不能商用。Clef 用 Apache 2.0，Kumo Tabular 用允许商用的 OpenMDW-1.1，条款各不相同。没写许可的，不要默认可以商用；承诺开放、权重还没落地的（Kimi K3 发布时承诺月内开放），对自托管来说暂时没有价值。

算显存，别按参数量猜

1. 权重：参数量乘以精度，再看有没有官方量化版本。Muse Glimmer 是 30B，4 位动态量化把 55GB 以上的需求压到 17 至 20GB。混合专家模型按总参数存、按激活参数算：BigBang-v1 是 35B 总参数、约 3B 激活，Inkling 约 1 万亿总参数、41B 激活。
2. 上下文：给 KV 缓存留出余量。LM Studio 默认 8,192 的上下文上限，会被 Qwen3.8 的思考过程整个吃光。
3. 规模：先问任务需不需要大模型。Hugging Face 的统计里，1B 以下的模型拿走了 83% 的下载量；EmbeddingGemma 2 只处理文字时只需 270M，LFM2.5 的小编码器能在 CPU 上跑长文档。

查引擎支持到了哪一级

权重放出来，不等于你的引擎能高效跑它。SGLang 在 Kimi K3 发布首日就带着完整的性能路径，而 Muse Glimmer 发布当天的硬件支持是分档的。确认你用的引擎、你的硬件落在哪一档。

在自己的机器上复测

• 先改出厂默认值。 Qwen3.8-27B 默认推理强度是 xhigh：同一道题跑了 21 分钟、22,276 个思考 token，关掉思考只要 137 秒。
• 厂商自己命名的基准不算数。 Qwen3.8 领先最多的那一项，跑在以厂商命名的基准上；Holo4 的分数全部来自厂商博客，没有第三方复现。
• 看它输在哪里。 Muse Glimmer 在工具调用和检索类基准上领先，在桌面和终端操作上输给 Qwen3.6-27B。和你的任务对得上的那几项才有用。

最后和 API 比总成本

把机器、显存、运维人力和 API 按量价格放在一起比。自托管的理由往往不只是便宜：数据不出本地、能微调、换供应商的成本低——这些要和能力差距一起算。

与相邻能力的分工

这一条回答「能不能、该不该自己跑」，把几件事串成一次上线决定，细节在相邻的两项技能里：「模型与推理引擎的支持路径」讲引擎支持到哪一级、走哪条路接入；「端侧模型部署与硬件适配」讲一台具体机器上的量化档位、运行时和验收。要不要换掉正在用的模型，先看「旗舰模型发布解读与换代判断」。