研华边缘AI平台测试DeepSeek蒸馏版模型的最新数据
来源：研华工业物联网本期导读
随着Deepseek大模型的横空出世，预计对整个工业领域会产生颠覆性的影响力，尤其针对边缘部署部分独创动态剪枝与量化技术，DeepSeek大模型支持在边缘设备低功耗运行（最低适配5 TOPS算力硬件），推理速度能够提升3倍。
研华选择了多款基于英伟达技术的边缘AI产品，针对目前DeepSeek-R1 系列的不同蒸馏模型进行测试，下面让我们来看下最新测试数据！
微型边缘端推理应用
算力100 TOPS
推荐型号：
基于ARM平台AI Box：ICAM-540 /MIC-711 / MIC-713
支持DeepSeek-R1蒸馏模型版本：
DeepSeek-R1-Distill-Qwen-1.5B
DeepSeek-R1-Distill-Qwen-7B
DeepSeek-R1-Distill-Llama-8B
测试型号：MIC-711
*同时在MIC-711-OX4A 开启了Super Mode来跑同样的模型, 在整体效能上有提升了将近25%, 这也表示了 Jetson super mode在AI应用上有明显的效能增强。
边缘端推理应用
算力100-500 TOPS
推荐型号：
基于ARM平台Edge AI Box：MIC-732/MIC-733/736
基于X86平台 Edge AI Box：MIC-770V3
Edge AI 服务器 ：HPC-6240/HPC-7420/SKY-602E3 （支持1-4张GPU卡）
支持DeepSeek-R1蒸馏模型版本：
DeepSeek-R1-Distill-Qwen-1.5B
DeepSeek-R1-Distill-Qwen-7B
DeepSeek-R1-Distill-Qwen-14B
DeepSeek-R1-Distill-Llama-8B
测试型号：MIC-770V3
*DeepSeek-R1:32b于此系统配置下使用约18GB VRAM，可正常运行，但相同LLM model放在较高阶显卡上测试时VRAM使用达到21GB 故猜测模型会自动调整参数降低VRAM使用量，但在效能会有其影响。
高性能边缘AI服务器
算力500-1000+ TOPS
推荐型号：
Edge AI 服务器 ：HPC-6240 /HPC-7420/SKY-602E3 （支持1-4张GPU卡）
支持DeepSeek-R1蒸馏模型版本：
DeepSeek-R1-Distill-Qwen-14B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Llama-70B
测试型号：SKY-602E3
研华全栈式边缘AI平台
以“边缘原生智能”重塑工业生产力
研华打造了全栈式边缘AI硬件矩阵，从微端到边缘云：包括AI模块、AI板卡、AI 加速卡、AI 嵌入式和工业平台，AI边缘平台、边缘AI服务器，乃至边缘整机柜服务器。算力范围从5 TOPS至2000+TOPS，用户可根据业务场景灵活选型，实现精度与效率的最佳平衡。研华希望与伙伴携手，以“边缘原生智能”重塑工业生产力！
如果您对研华基于英伟达技术边缘AI产品感兴趣，可以点击阅读原文下载型录资料，也可以联系研华在地业务，咨询产品相关资讯。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
[*] 研华 研华
+关注
关注
0
文章
380
浏览量
38805
[*] 边缘AI 边缘AI
+关注
关注
0
文章
102
浏览量
5089
[*] DeepSeek DeepSeek
+关注
关注
1
文章
459
浏览量
198
原文标题：研华边缘AI平台测试DeepSeek蒸馏版模型数据大公开！
文章出处：【微信号：研华智能地球，微信公众号：研华智能地球】欢迎添加关注！文章转载请注明出处。
收藏 0人收藏 扫一扫，分享给好友
复制链接分享
评论
林超文PCB设计：PADS教程，PADS视频教程郑振宇老师：Altium Designer教程，Altium Designer视频教程张飞实战电子视频教程朱有鹏老师：海思HI3518e教程，HI3518e视频教程李增老师：信号完整性教程，高速电路仿真教程华为鸿蒙系统教程，HarmonyOS视频教程赛盛：EMC设计教程，EMC视频教程杜洋老师：STM32教程，STM32视频教程唐佐林：c语言基础教程，c语言基础视频教程张飞：BUCK电源教程，BUCK电源视频教程正点原子：FPGA教程，FPGA视频教程韦东山老师：嵌入式教程，嵌入式视频教程张先凤老师：C语言基础视频教程许孝刚老师：Modbus通讯视频教程王振涛老师：NB-IoT开发视频教程Mill老师：FPGA教程，Zynq视频教程C语言视频教程RK3566芯片资料合集朱有鹏老师：U-Boot源码分析视频教程开源硬件专题
发布评论请先 登录
相关推荐
普渡机器人接入DeepSeek满血版模型
自2月20日起，普渡机器人正式接入DeepSeek满血版模型，机器人智能语音交互能力迎来智能化升级里程碑！此次升级中，首批搭载该模型的贝拉Pro机器人已在部分商超落地测试，后续将逐步推
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-20 16:50 •309次阅读
研华推出GenAI Studio边缘AI软件平台 助力本地端大语言模型开发，推动边缘AI创新
模型（LLM）解决方案日益增长的需求。 加速人工智能发展，应对行业挑战 作为研华边缘AI软件开发工具包（Edge
发表于 02-19 11:13 •55次阅读
研华发布昇腾AI Box及Deepseek R1模型部署流程
。这一举措标志着研华在AI边缘计算领域迈出了重要一步。 研华
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-19 10:41 •133次阅读
宁畅推出DeepSeek大模型一体机
R1/V3满血版模型和蒸馏版模型，通过软硬件深度协同优化，为企业提供从部署到场景定制的全栈交付能力，帮助制造、金融、医疗、科研等行业突破AI应用瓶颈，迈向智能化转型新阶段。
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-15 14:51 •762次阅读
添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略
DeepSeek 模型的部署与测试，开启这场充满挑战与惊喜的技术探索之旅。RK3588 开发板：AI 性能担当RK3588 开发板基于先进的 8nm LP 制程工艺精心打造，其硬
发表于 02-14 17:42
研华边缘AI Box MIC-ATL3S部署Deepseek R1模型
随着深度求索(DeepSeek)大模型的发布引发行业热议，研华科技基于昇腾Atlas平台边缘AI
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-14 16:08 •436次阅读
IBM在watsonx.ai平台推出DeepSeek R1蒸馏模型
IBM近日宣布了一项重要更新，为其企业级AI开发平台watsonx.ai引入了DeepSeek R1的Llama 3.1 8B和Llama 3.3 70b
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-14 10:21 •163次阅读
了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择
DeepSeek-V3 和 DeepSeek-R1 是深度求索公司（DeepSeek）推出的两个不同定位的大模型，其核心差异主要体现在目标场景、能力侧重和技术优化方向上。以下是二者的实
发表于 02-14 02:08
移远通信边缘计算模组成功运行DeepSeek模型，以领先的工程能力加速端侧AI落地
。 目前，该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力，加速端侧AI技术在各行各业的规模化应用与普及。 DeepSeek ：
发表于 02-13 11:32 •83次阅读
【实测】用全志A733平板搭建一个端侧Deepseek算力平台
随着DeepSeek 的蒸馏技术的横空出世，端侧 SoC 芯片上运行大模型成为可能。那么端侧芯片跑大模型的效果如何呢？本文将在全志 A733 芯片
发表于 02-13 10:19
IBM企业级AI开发平台watsonx.ai上线DeepSeek R1蒸馏模型
IBM日前宣布，DeepSeek-R1 的 Llama 3.1 8B 和 Llama 3.3 70b 蒸馏版本现已在 IBM 的企业级 AI 开发平台 watsonx.
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-12 10:02 •114次阅读
研华WISE-AI Agent借助DeepSeek引领企业级AI全新范式
本期导读 研华WISE-AI Agent平台结合DeepSeek大模型，通过Edge
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-12 09:42 •180次阅读
Gitee AI 联合沐曦首发全套 DeepSeek R1 千问蒸馏模型，全免费体验！
模型相比，较小尺寸的 DeepSeek 蒸馏版本模型 更适合企业内部实施部署，可以极大的降低落地成本 。 同时，这次 Deepseek R
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-10 09:56 •161次阅读
华为ModelEngine AI平台全面支持DeepSeek
在全球人工智能技术飞速发展的今天，模型的快速迭代与高效部署成为各大科技企业竞相追逐的焦点。华为DCS AI全栈解决方案中的重要产品—ModelEngine AI平台，全面支持
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-07 10:24 •425次阅读
摩尔线程宣布成功部署DeepSeek蒸馏模型推理服务
近日，摩尔线程智能科技(北京)有限责任公司在其官方渠道发布了一则重要消息，宣布公司已经成功实现了对DeepSeek蒸馏模型推理服务的部署。这一技术突破，标志着摩尔线程在人工智能领域迈出了坚实的一步
https://www.elecfans.com/d/6464581.html#render_38b46e74788e4f0c3adfd10f8786c6c1 发表于 02-06 13:49 •351次阅读
页:
[1]