自家芯片助力：SambaNova 推出“最快”DeepSeek-R1 671B 模型推理云服务

cy7AFCbTmQ

IT之家 2 月 21 日消息，AI 芯片与解决方案企业 SambaNova 宣布在其基于自研 SN40L RDU 处理器的云平台上推出号称“市面最快”的 DeepSeek-R1 671B 模型推理云服务，并表示其 token 输出速度可达每 prompt 每秒 198 个。

SambaNova 的 SN40L RDU 芯片基于台积电 5nm 制程，BF16 算力可达 638 TFLOPS。其采用了一种三层存储结构：片上的 520MB SRAM 缓存、2.5D 封装集成的 64GB HBM 内存、片外的 1.5TB 超大容量 DDR DRAM 内存，这使得单芯片能容纳的参数远超一般竞品。
此外 SN40L RDU 在结构上的灵活性使得其能动态重新配置硬件资源和数据流，提升计算与访存效率。

SambaNova 宣称，其仅需一台容纳 16 个 SN40L RDU 芯片的机架就能完成 DeepSeek-R1 671B 部署。

此文章来自:IT之家如有涉及侵权请通过邮箱联系:fnhjeqj@163.com删除。