AINotes 101
菜单
Radar / 能力 / 正文

NVIDIA 扩展 Nemotron:开放 1200 亿参数 Super VL,另有能进 24GB 的边缘版

2026.10.15 Capability 什么变得可能了

值得盯的是「同一家族同时给出数据中心版和 24GB 边缘版」这个组合——它把「在哪儿跑」从选型问题变成部署参数。74B 总参数、激活 9B 那档,正好对应显存够、算力不够的工作站场景。

NVIDIA 发布 Nemotron 3.5 Super VL:一个开放权重的 1200 亿参数模型,官方定位是「always-on agent」——常驻、长跑、专用任务,而不是聊天。

同时放出两个边缘模型,其中一个规格很有意思:Nemotron 3.5 Bolt 74B-A9B 24GB —— 总参数 74B、每次激活 9B,量化后塞进 24GB 显存。

为什么「同一家族跨两个尺度」值得注意

单看 120B 或单看 24GB 版本,都只是常规迭代。放在一起看,它改变的是选型问题。

以前做本地/边缘部署,常见路径是「先用云端大模型跑通,再找一个同家族的小模型替代」。而小模型往往不是同一代、同一个训练配方,替换意味着重新调提示、重新测效果、重新踩一遍坑。

现在同一个家族横跨数据中心与消费级显卡,「在哪儿跑」退化成一个部署参数,而不是一次重做。

74B-A9B 这个规格的含义

这是典型的 MoE 折中:显存要装下 74B(量化后 24GB 装得下),但每个 token 的计算量按 9B 算。

它对应的正是「显存够、算力不够」这类工作站和家用显卡场景——单张 24GB 卡能跑,代价是最慢也就那样。

保留意见

「开放权重」不等于「开放训练数据」,也不等于可商用,许可证要单独看。另外这些数字来自厂商,边缘模型的实际吞吐得自己在目标硬件上测——尤其是长上下文时的显存增长,那通常才是先撞墙的地方。

update 2026.10.15