LFM2.5-Encoders for Fast Long-Context Inference on CPU
Two new encoder models, LFM2.5-Encoder-230M and 350M: they match larger encoders on GLUE, SuperGLUE and multilingual tasks, handle 8,192-token context, and run about 3.7x faster than ModernBERT-base on CPU at long context.
Marked important, but published more than 30 days ago, so it moved down to this band.
On this page12 sections
The full write-up and the editors' notes are in Chinese; the summary above is from the original announcement.
Record
The signal
#它解决的是哪一半问题
站内大部分推理信号讨论的是生成式模型怎么跑得起、跑得快。但生产系统里还有另一半负载：意图路由、安全过滤、策略检查、PII 识别、文本分类。这些任务不需要生成，需要的是理解一段输入并给出标签——它们整天在跑，通常跑在 CPU 上，而且输入长度在持续变长。
这一类任务的主力一直是编码器模型：BERT 定义了这个门类，ModernBERT 在准确率、速度和上下文长度上又推了一步。LFM2.5-Encoders 是在 LFM2 架构上继续往前的一步，主张是成本随输入变长而缓慢增长。
三个可直接对照的数字
- 参数量 230M / 350M：在 GLUE、SuperGLUE 与多语任务上追平或超过更大的编码器
- 上下文 8,192 token：延迟随输入变长的增长速度是它的卖点，不只是长度本身
- CPU 长上下文快约 3.7 倍：对照组是 ModernBERT-base
怎么造出来的
这一步值得单看：两个编码器不是从零训练的，而是从对应的 LFM2 解码器骨干初始化（LFM2.5-230M 与 LFM2.5-350M），再把因果解码器改造成双向编码器：
- 双向注意力掩码——每个 token 同时看得到左右两侧，而不只是前面
- 非因果短卷积——对称补齐，让每个 token 的卷积同时混入两侧邻居
- 掩码语言建模——训练时遮蔽 30% 的 token
训练分两段：先在大规模网页语料上以 1,024 token 上下文做通用语言能力，再扩到 8,192 token 做长上下文适配，同时强化事实性、法律与多语能力。
什么时候该考虑它
它不与生成式模型竞争，而是替换掉「用大模型做分类」这个常见但昂贵的做法。判断线很直接：如果一项任务的输出是标签、路由决定或抽取结果，而不是一段自然语言，那么用编码器几乎总是更便宜；这次的增量是把「输入很长」这个原本会逼你上 GPU 的条件，重新拉回 CPU 可承受的范围。
同一家此前发布过面向多语检索的 LFM2.5-Retrievers；这次是通用编码器，掩码语言目标预训练，所以分类、token 级任务和检索都能在其上微调。
Why now
Why it matters
#生产系统里整天在跑的那一半负载——意图路由、安全过滤、分类、抽取——输出的是标签而不是一段话，用生成式模型做这件事一直是笔糊涂账。这次的增量是把「输入很长」从必须上 GPU 的条件里拿掉：8,192 token 上下文，CPU 上比 ModernBERT-base 快约 3.7 倍。
Background
Technical context
#两个模型从 LFM2.5-230M / 350M 的解码器骨干初始化，再改造为双向编码器：双向注意力掩码、对称补齐的非因果短卷积、30% 掩码语言建模。训练两段式——先 1,024 token 通用语言能力，再扩到 8,192 token 做长上下文适配。与同厂此前面向多语检索的 LFM2.5-Retrievers 同族，但目标是通用编码器，可在其上微调分类、token 级任务与检索。
Audience
Who should care
#Next
Learning path
#- 先用「模型选型与约束匹配」判断手上这项任务的输出到底是标签还是自然语言
- 再用「交互系统中的延迟权衡」看长输入下的延迟增长是否真的是瓶颈
- 配合「端侧模型部署与硬件适配」在目标机器上实测首 token 与稳态吞吐，而不是照抄基准数字
- 如果要换掉现有的生成式分类方案，用「推理服务容量规划」重算成本
Network
Where it sits in the network
#How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.
Further thought
Follow-up questions
#- 现在用大模型在做的分类或路由任务，有多少可以换成编码器？
- 自己的输入长度分布是否真的落在需要 8,192 token 的区间？
- 所用的推理运行时对这种改造过的双向结构支持到哪一级——能加载，还是有性能路径？
Publication record
Featured in
#The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.
技术简报 - 2026-08-06
Worth tracking技术简报 - 2026-07-30
Immediate attentionWeekly review · Jul 27 – Aug 2
Worth tracking
Sources