AINotes 101
菜单
Radar / 工具 / 正文

Transformers 开始直接加载 llama.cpp 的 GGUF 量化权重

2026.09.22 Tooling 今天就能用上什么

同一个量化文件现在两边都能跑,本地部署少了一次格式抉择;这比「多支持一种格式」更重要——它让更换运行时不再需要重新准备权重,也让「用哪套工具链」退化成一个小问题。

Hugging Face 的 Transformers 现在可以直接加载 llama.cpp 的 GGUF 量化权重。

同一份文件,两边都能跑

GGUF 是 llama.cpp 生态的量化格式。此前要在 Transformers 里跑量化模型,通常得另备一套权重(GPTQ、AWQ、bitsandbytes 等)。现在同一个 .gguf 文件,本地用 llama.cpp 跑一遍、再用 Transformers 跑一遍,不需要转换。

为什么这比「多支持一种格式」重要

格式支持是小事。真正变的是更换运行时的成本。

以前从 llama.cpp 换到 Transformers(或反过来)意味着重新准备一份权重、重新验证一遍数值、重新测一遍显存——一次迁移要按天算。现在这件事退化成一个加载参数。

对一个还在快速变化的领域,降低「换掉现有选择」的成本比增加选项本身更有价值:它让「用哪套工具链」从一个架构决策降级成一个小问题,而架构决策本该留给真正重要的部分。

边界

量化本身仍有精度损失,两种运行时对同一份量化文件的具体实现细节也未必完全一致。同一份权重在两边给出相同输出是需要验证的假设,不是保证。

update 2026.09.22