#大模型部署

大模型量化怎么选：INT4、INT8、FP8 的显存、速度与质量取舍

量化精度按「显存定下限、任务容错定上限」选：INT8 与 FP8 几乎无感，INT4 是多数场景的甜点，2bit 以下慎用。本文拆解 bitsandbytes、GPTQ、AWQ、GGUF、NVFP4 五条路线的取舍与显存估算，附六步选型验证…