研华边缘AI平台测试DeepSeek蒸馏版模型的最新数据

PZKkzUbvi

来源：研华工业物联网
        本期导读

        随着Deepseek大模型的横空出世，预计对整个工业领域会产生颠覆性的影响力，尤其针对边缘部署部分独创动态剪枝与量化技术，DeepSeek大模型支持在边缘设备低功耗运行（最低适配5 TOPS算力硬件），推理速度能够提升3倍。
        研华选择了多款基于英伟达技术的边缘AI产品，针对目前DeepSeek-R1 系列的不同蒸馏模型进行测试，下面让我们来看下最新测试数据！
        微型边缘端推理应用
        算力100 TOPS
        推荐型号：
        基于ARM平台AI Box：ICAM-540 /MIC-711 / MIC-713
        支持DeepSeek-R1蒸馏模型版本：
        DeepSeek-R1-Distill-Qwen-1.5B
        DeepSeek-R1-Distill-Qwen-7B
        DeepSeek-R1-Distill-Llama-8B
        测试型号：MIC-711
       
        *同时在MIC-711-OX4A 开启了Super Mode来跑同样的模型, 在整体效能上有提升了将近25%, 这也表示了 Jetson super mode在AI应用上有明显的效能增强。
        边缘端推理应用
        算力100-500 TOPS
        推荐型号：
        基于ARM平台Edge AI Box：MIC-732/MIC-733/736
        基于X86平台 Edge AI Box：MIC-770V3
        Edge AI 服务器 ：HPC-6240/HPC-7420/SKY-602E3 （支持1-4张GPU卡）
        支持DeepSeek-R1蒸馏模型版本：
        DeepSeek-R1-Distill-Qwen-1.5B
        DeepSeek-R1-Distill-Qwen-7B
        DeepSeek-R1-Distill-Qwen-14B
        DeepSeek-R1-Distill-Llama-8B
        测试型号：MIC-770V3
       
        *DeepSeek-R1:32b于此系统配置下使用约18GB VRAM，可正常运行，但相同LLM model放在较高阶显卡上测试时VRAM使用达到21GB 故猜测模型会自动调整参数降低VRAM使用量，但在效能会有其影响。
        高性能边缘AI服务器
        算力500-1000+ TOPS
        推荐型号：
        Edge AI 服务器 ：HPC-6240 /HPC-7420/SKY-602E3 （支持1-4张GPU卡）
        支持DeepSeek-R1蒸馏模型版本：
        DeepSeek-R1-Distill-Qwen-14B
        DeepSeek-R1-Distill-Qwen-32B
        DeepSeek-R1-Distill-Llama-70B
        测试型号：SKY-602E3
       
        研华全栈式边缘AI平台
        以“边缘原生智能”重塑工业生产力
        研华打造了全栈式边缘AI硬件矩阵，从微端到边缘云：包括AI模块、AI板卡、AI 加速卡、AI 嵌入式和工业平台，AI边缘平台、边缘AI服务器，乃至边缘整机柜服务器。算力范围从5 TOPS至2000+TOPS，用户可根据业务场景灵活选型，实现精度与效率的最佳平衡。研华希望与伙伴携手，以“边缘原生智能”重塑工业生产力！
        如果您对研华基于英伟达技术边缘AI产品感兴趣，可以点击阅读原文下载型录资料，也可以联系研华在地业务，咨询产品相关资讯。
                                       
                                            声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。                        举报投诉                    
                    

                           

•                                 研华                                                                                                                                                                                                        研华                                            
                                              +关注
                                         
                                         
                                                                                                                                      关注
                                                  0                                            
                                                                                              文章
                                                  380                                            
                                                                                              浏览量
                                                  38805                                            
                                         
                                      
                                  
  
•                                 边缘AI                                                                                                                                                                                                        边缘AI                                            
                                              +关注
                                         
                                         
                                                                                                                                      关注
                                                  0                                            
                                                                                              文章
                                                  102                                            
                                                                                              浏览量
                                                  5089                                            
                                         
                                      
                                  
  
•                                 DeepSeek                                                                                                                                                                                                        DeepSeek                                            
                                              +关注
                                         
                                         
                                                                                                                                      关注
                                                  1                                            
                                                                                              文章
                                                  459                                            
                                                                                              浏览量
                                                  198                                            
                                         
                                      
                                  
                          
  

                                       

                                                原文标题：研华边缘AI平台测试DeepSeek蒸馏版模型数据大公开！
                            文章出处：【微信号：研华智能地球，微信公众号：研华智能地球】欢迎添加关注！文章转载请注明出处。
                        
               
                                                            收藏                        0人收藏                                                                                                                                                                                                扫一扫，分享给好友
                                       
                                        复制链接分享
                                    
                                
                           
                        
                    
                                                        
                                                    评论

               

林超文PCB设计：PADS教程，PADS视频教程	郑振宇老师：Altium Designer教程，Altium Designer视频教程
张飞实战电子视频教程	朱有鹏老师：海思HI3518e教程，HI3518e视频教程
李增老师：信号完整性教程，高速电路仿真教程	华为鸿蒙系统教程，HarmonyOS视频教程
赛盛：EMC设计教程，EMC视频教程	杜洋老师：STM32教程，STM32视频教程
唐佐林：c语言基础教程，c语言基础视频教程	张飞：BUCK电源教程，BUCK电源视频教程
正点原子：FPGA教程，FPGA视频教程	韦东山老师：嵌入式教程，嵌入式视频教程
张先凤老师：C语言基础视频教程	许孝刚老师：Modbus通讯视频教程
王振涛老师：NB-IoT开发视频教程	Mill老师：FPGA教程，Zynq视频教程
C语言视频教程	RK3566芯片资料合集
朱有鹏老师：U-Boot源码分析视频教程	开源硬件专题

                                                                                    发布评论请先 登录
               
                                                    相关推荐
                                                
            普渡机器人接入DeepSeek满血版模型   

    自2月20日起，普渡机器人正式接入DeepSeek满血版模型，机器人智能语音交互能力迎来智能化升级里程碑！此次升级中，首批搭载该模型的贝拉Pro机器人已在部分商超落地测试，后续将逐步推
                    发表于 02-20 16:50                •309次阅读            
   
                                        研华推出GenAI Studio边缘AI软件平台 助力本地端大语言模型开发，推动边缘AI创新   

    模型（LLM）解决方案日益增长的需求。   加速人工智能发展，应对行业挑战 作为研华边缘AI软件开发工具包（Edge
                    发表于 02-19 11:13                •55次阅读            
   
                                        研华发布昇腾AI Box及Deepseek R1模型部署流程   

    。这一举措标志着研华在AI边缘计算领域迈出了重要一步。 研华
                    发表于 02-19 10:41                •133次阅读            
   
                                        宁畅推出DeepSeek大模型一体机   

     R1/V3满血版模型和蒸馏版模型，通过软硬件深度协同优化，为企业提供从部署到场景定制的全栈交付能力，帮助制造、金融、医疗、科研等行业突破AI应用瓶颈，迈向智能化转型新阶段。
                    发表于 02-15 14:51                •762次阅读            
   

                                        添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略   

     DeepSeek 模型的部署与测试，开启这场充满挑战与惊喜的技术探索之旅。RK3588 开发板：AI 性能担当RK3588 开发板基于先进的 8nm LP 制程工艺精心打造，其硬
                    发表于 02-14 17:42                           
   
                                        研华边缘AI Box MIC-ATL3S部署Deepseek R1模型   

    随着深度求索(DeepSeek)大模型的发布引发行业热议，研华科技基于昇腾Atlas平台边缘AI
                    发表于 02-14 16:08                •436次阅读            
   
                                        IBM在watsonx.ai平台推出DeepSeek R1蒸馏模型   

    IBM近日宣布了一项重要更新，为其企业级AI开发平台watsonx.ai引入了DeepSeek R1的Llama 3.1 8B和Llama 3.3 70b
                    发表于 02-14 10:21                •163次阅读            
   
                                        了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择   

    DeepSeek-V3 和 DeepSeek-R1 是深度求索公司（DeepSeek）推出的两个不同定位的大模型，其核心差异主要体现在目标场景、能力侧重和技术优化方向上。以下是二者的实
                    发表于 02-14 02:08                           
   

                                        移远通信边缘计算模组成功运行DeepSeek模型，以领先的工程能力加速端侧AI落地   

    。   目前，该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力，加速端侧AI技术在各行各业的规模化应用与普及。     DeepSeek ：
                    发表于 02-13 11:32                •83次阅读            
   
                                        【实测】用全志A733平板搭建一个端侧Deepseek算力平台   

    ​ 随着DeepSeek 的蒸馏技术的横空出世，端侧 SoC 芯片上运行大模型成为可能。那么端侧芯片跑大模型的效果如何呢？本文将在全志 A733 芯片
                    发表于 02-13 10:19                           
   
                                        IBM企业级AI开发平台watsonx.ai上线DeepSeek R1蒸馏模型   

    IBM日前宣布，DeepSeek-R1 的 Llama 3.1 8B 和 Llama 3.3 70b 蒸馏版本现已在 IBM 的企业级 AI 开发平台 watsonx.
                    发表于 02-12 10:02                •114次阅读            
   
                                        研华WISE-AI Agent借助DeepSeek引领企业级AI全新范式   

    本期导读 研华WISE-AI Agent平台结合DeepSeek大模型，通过Edge
                    发表于 02-12 09:42                •180次阅读            
   

                                        Gitee AI 联合沐曦首发全套 DeepSeek R1 千问蒸馏模型，全免费体验！   

     模型相比，较小尺寸的 DeepSeek 蒸馏版本模型 更适合企业内部实施部署，可以极大的降低落地成本 。 同时，这次 Deepseek R
                    发表于 02-10 09:56                •161次阅读            
   
                                        华为ModelEngine AI平台全面支持DeepSeek   

    在全球人工智能技术飞速发展的今天，模型的快速迭代与高效部署成为各大科技企业竞相追逐的焦点。华为DCS AI全栈解决方案中的重要产品—ModelEngine AI平台，全面支持
                    发表于 02-07 10:24                •425次阅读            
   
                                        摩尔线程宣布成功部署DeepSeek蒸馏模型推理服务   

    近日，摩尔线程智能科技(北京)有限责任公司在其官方渠道发布了一则重要消息，宣布公司已经成功实现了对DeepSeek蒸馏模型推理服务的部署。这一技术突破，标志着摩尔线程在人工智能领域迈出了坚实的一步
                    发表于 02-06 13:49                •351次阅读