BF16 和 FP8 的区别主要在每个数值占的位数。FP8 能让权重和 KV 缓存的显存占用约减半，在支持原生 FP8 的 GPU 上还能提高吞吐；BF16 数值更稳定，适合代码、数学推导和结果对齐。本文按显存、速度、质量和硬件四项说明差异，给出自部署和 API 调用两种情况下的选择方法，以及验证模型是否降精度的步骤。
0 条留言
NexAIX-官方博客
