Transformers

Transformers 加载模型会默认使用 float32，而非依赖模型本身的 dtype（即 config.json 中的 torch_dtype）。可以使用 dtype="auto" 来自动使用模型本身的 dtype。参考 Transformers 相关文档。