美团开源首发 INT8 无损满血版 DeepSeek R1，部署 A100 实现 50% 吞吐提升
感谢IT之家网友 HH_KK、天擎 的线索投递！IT之家 3 月 7 日消息，美团搜推机器学习团队 3 月 4 日公布最新首发开源成果，实现对 DeepSeek R1 模型基本无损的 INT8 精度量化。
DeepSeek R1 原生版本的模型权重为 FP8 数据格式，对 GPU 芯片类型有严格限制，仅能被英伟达新型 GPU 支持（如 Ada、Hopper 架构芯片），其他型号 GPU（如 A100）无法直接部署。
目前，量化代码已经合入到了开源 LLM 推理框架 SGLang，量化模型已经发布到了 Hugging Face 社区，方便用户使用。官方测试，满血版 DeepSeek R1 部署 A100，基于 INT8 量化，相比 BF16 实现 50% 吞吐提升。
IT之家附开源地址：
https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8
此文章来自:IT之家如有涉及侵权请通过邮箱联系:fnhjeqj@163.com删除。
页:
[1]