Hugging Face 的 Transformers 现在可以直接加载 llama.cpp 的 GGUF 量化权重。
同一份文件,两边都能跑
GGUF 是 llama.cpp 生态的量化格式。此前要在 Transformers 里跑量化模型,通常得另备一套权重(GPTQ、AWQ、bitsandbytes 等)。现在同一个 .gguf 文件,本地用 llama.cpp 跑一遍、再用 Transformers 跑一遍,不需要转换。
为什么这比「多支持一种格式」重要
格式支持是小事。真正变的是更换运行时的成本。
以前从 llama.cpp 换到 Transformers(或反过来)意味着重新准备一份权重、重新验证一遍数值、重新测一遍显存——一次迁移要按天算。现在这件事退化成一个加载参数。
对一个还在快速变化的领域,降低「换掉现有选择」的成本比增加选项本身更有价值:它让「用哪套工具链」从一个架构决策降级成一个小问题,而架构决策本该留给真正重要的部分。
边界
量化本身仍有精度损失,两种运行时对同一份量化文件的具体实现细节也未必完全一致。同一份权重在两边给出相同输出是需要验证的假设,不是保证。
update 2026.09.22