IBM 发布 Granite Switch 4.1(8B 与 30B),把三件事合进一个端点:自然语言对话、通用与专用决策、语音转文字。
组成:
- Decision aLoRA —— 通用决策能力
- Guardian aLoRA —— 安全相关决策,官方称在安全判断任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flash
- Granite-Speech-5.0-Turbo-CTC —— 官方称是 OpenASR 榜上最快的 ASR 模型
真正的关键是显存
三个能力加基座,占用约等于基座模型自己。
原因是这些适配器是 Activated LoRA:基座生成时建立的 KV cache,可以继续给后续的适配器判断复用。加上团队对 vLLM 低秩适配推理的优化,以及同址的 ASR 编码器,切换一次请求类型的成本被压得很低。
这件事的实际含义:「安全判断」「意图分类」这类附属任务,不必再单独部署一个小模型。以前它们是独立服务、独立显存、独立监控;现在挂在同一个端点下,几乎不额外花钱。
一个可参照的对比
官方做了个「赛跑」:Granite-Switch-4.1-30B(冻结基座 + 4 个专用 aLoRA)对比 Jev-27B(冻结 Qwen 基座 + 1 个通用决策 LoRA),跑同一个五步 RAG 流程,前者明显更快。
这个对比成立的原因不在参数量,而在专用适配器的组合:通用型负责覆盖面,专用型负责准确率,两者的 KV cache 共享,所以加专用几乎不增加成本。
该等的
官方说要出 Adapter SDK(基于 Mellea)让社区自己训适配器。这件事比这次发布的模型更重要——能自己造适配器,才谈得上把内部规则塞进去,而不是永远用别人预设的那几个。
update 2026.10.15