AINotes 101
菜单
Radar / 工具 / 正文

Granite Switch 4.1:一个端点同时出对话、决策和语音,显存只按基座算

2026.10.15 Tooling 今天就能用上什么

关键数字是「三个能力塞进一份显存」——靠 Activated LoRA 复用 KV cache,不是并排放三个模型。这让「安全判断、意图分类这类附属任务要不要单独部署」的答案从「要」变成「不用」。

IBM 发布 Granite Switch 4.1(8B 与 30B),把三件事合进一个端点:自然语言对话、通用与专用决策、语音转文字。

组成:

  • Decision aLoRA —— 通用决策能力
  • Guardian aLoRA —— 安全相关决策,官方称在安全判断任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flash
  • Granite-Speech-5.0-Turbo-CTC —— 官方称是 OpenASR 榜上最快的 ASR 模型

真正的关键是显存

三个能力加基座,占用约等于基座模型自己。

原因是这些适配器是 Activated LoRA:基座生成时建立的 KV cache,可以继续给后续的适配器判断复用。加上团队对 vLLM 低秩适配推理的优化,以及同址的 ASR 编码器,切换一次请求类型的成本被压得很低。

这件事的实际含义:「安全判断」「意图分类」这类附属任务,不必再单独部署一个小模型。以前它们是独立服务、独立显存、独立监控;现在挂在同一个端点下,几乎不额外花钱。

一个可参照的对比

官方做了个「赛跑」:Granite-Switch-4.1-30B(冻结基座 + 4 个专用 aLoRA)对比 Jev-27B(冻结 Qwen 基座 + 1 个通用决策 LoRA),跑同一个五步 RAG 流程,前者明显更快。

这个对比成立的原因不在参数量,而在专用适配器的组合:通用型负责覆盖面,专用型负责准确率,两者的 KV cache 共享,所以加专用几乎不增加成本。

该等的

官方说要出 Adapter SDK(基于 Mellea)让社区自己训适配器。这件事比这次发布的模型更重要——能自己造适配器,才谈得上把内部规则塞进去,而不是永远用别人预设的那几个。

update 2026.10.15