English 简体中文 繁體中文 한국 사람 日本語 Deutsch русский بالعربية TÜRKÇE português คนไทย french
查看: 1|回复: 0

Java调用QwQ实战,32B模型对标DeepSeek R1满血版

[复制链接]
查看: 1|回复: 0

Java调用QwQ实战,32B模型对标DeepSeek R1满血版

[复制链接]
查看: 1|回复: 0

218

主题

0

回帖

664

积分

高级会员

积分
664
RW9VZjZuedHI

218

主题

0

回帖

664

积分

高级会员

积分
664
4 天前 | 显示全部楼层 |阅读模式
QwQ-32B: 高效推理大模型

概述

QwQ-32B 是阿里巴巴 Qwen 团队基于 Qwen2.5 架构研发的先进大语言模型,专为高性能推理任务设计。本文档介绍 QwQ-32B 的性能优势及应用实践,帮助开发者快速了解并应用这一前沿模型。
性能表现

QwQ-32B 性能对比图
根据阿里巴巴官方自己的基准测试数据(X平台及技术白皮书),QwQ-32B 在多项核心能力指标上均展现领先优势:
能力维度
评测基准
QwQ-32B
DeepSeek-R1
性能优势
数学推理
AIME24
79.74
79.13
+0.61
代码生成
LiveCodeBench
73.54
72.91
+0.63
综合推理
LiveBench
82.1
81.3
+0.8
指令跟随
IFEval
85.6
84.9
+0.7
安全合规
BFCI
92.4
91.8
+0.6
资源效率突破

QwQ-32B 在保持高性能的同时,实现了显著的资源效率突破:

  • DeepSeek-R1:需要超过 1,500 GB 的 vRAM 才能运行(16 块 Nvidia A100 GPU)
  • QwQ-32B:仅需 24 GB 的 vRAM,可在单 GPU(如 Nvidia H100)上运行
这一突破性进展使 QwQ-32B 能够在消费级硬件上高效部署,大幅降低了应用门槛和运营成本。
快速上手指南

Ollama 环境部署

QwQ-32B 模型已正式登陆 Ollama 模型库,开发者可通过以下步骤快速体验:
# 查看可用模型列表$ ollama lsNAME        ID             SIZE    MODIFIEDqwq:latest  cc1091b0e276   19 GB   17 minutes ago# 启动模型交互$ ollama run qwq:latest>>> 请用java实现快速排序算法

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.





Java 应用集成

通过兼容 QwQ 的 deepseek4j 库,可轻松将模型能力集成到 Java 应用中:
Maven 依赖配置

  io.github.pig-mesh.ai  deepseek-spring-boot-starter  1.4.5

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.





应用配置

deepseek:  base-url: http://127.0.0.1:11434/v1  model: qwq:latest  api-key: local-key

  • 1.
  • 2.
  • 3.
  • 4.





基础调用示例

@Autowiredprivate DeepSeekClient deepSeekClient;@GetMapping(value = "/chat", produces = MediaType.TEXT_EVENT_STREAM_VALUE)public Flux chat(String prompt) {    return deepSeekClient.chatFluxCompletion(prompt);}

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.





Java 集成效果
函数调用能力

QwQ-32B 作为专注推理的大模型,令人振奋地支持 Function Calling 能力(该特性在 DeepSeek-R1 中尚未实现)。这使模型能够主动调用外部工具进行逻辑推演,大幅拓展了 AI 推理的应用边界。
Function Calling 示例
天气查询示例

以下代码演示了如何让 QwQ-32B 模型调用天气查询工具函数:
@GetMapping(value = "/chat", produces = MediaType.TEXT_EVENT_STREAM_VALUE)public Flux chat(String prompt) {    // 定义天气查询函数    Function WEATHER_FUNCTION = Function.builder()            .name("get_current_weather")            .description("Get the current weather in a given location")            .parameters(JsonObjectSchema.builder()                    .properties(new LinkedHashMap() {{                        put("location", JsonStringSchema.builder()                                .description("The city name")                                .build());                    }})                    .required(asList("location", "unit"))                    .build())            .build();    // 将 Function 转换为 Tool    Tool WEATHER_TOOL = Tool.from(WEATHER_FUNCTION);    // 创建请求    ChatCompletionRequest request = ChatCompletionRequest.builder()            .model("Qwen/QwQ-32B")  // 指定模型            .addUserMessage(prompt)            .tools(WEATHER_TOOL)    // 添加工具函数            .build();    // 发送请求并获取响应    ChatCompletionResponse response = deepSeekClient.chatCompletion(request).execute();    // 获取工具调用信息    AssistantMessage assistantMessage = response.choices().get(0).message();    ToolCall toolCall = assistantMessage.toolCalls().get(0);    // 解析函数调用参数    FunctionCall functionCall = toolCall.function();    String arguments = functionCall.arguments();  // 例如: {"location": "北京"}    // 执行函数获取结果    Map map = Json.fromJson(arguments, Map.class);    String weatherResult = map.get("location") + "气温 20°";    // 创建工具消息    ToolMessage toolMessage = ToolMessage.from(toolCall.id(), weatherResult);    // 继续对话    ChatCompletionRequest followUpRequest = ChatCompletionRequest.builder()            .model("Qwen/QwQ-32B")            .messages(                    UserMessage.from(prompt),                    assistantMessage,                    toolMessage  // 添加工具消息            )            .build();    return deepSeekClient.chatFluxCompletion(followUpRequest);}

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
  • 44.
  • 45.
  • 46.
  • 47.
  • 48.
  • 49.
  • 50.
  • 51.
  • 52.
  • 53.
  • 54.
  • 55.
  • 56.





总结

QwQ-32B 作为阿里巴巴 Qwen 团队的最新推理型大模型,在多项关键指标上全面超越 DeepSeek R1 的 671 能力基准。同时,QwQ-32B 创新性地支持 Function Calling 能力,将模型从单纯的语言生成工具提升为可与外部系统交互的智能助手,为开发者提供了构建复杂 AI 应用的强大基础。
您现在可以通过 PIG AI 的深度推理模块快速体验 QwQ-32B 模型。PIG AI 让您无需复杂配置即可体验 QwQ-32B 的强大能力。QwQ 模型的推理速度非常出色,响应几乎实时,快 快 快 !!
1741270591
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

218

主题

0

回帖

664

积分

高级会员

积分
664

QQ|智能设备 | 粤ICP备2024353841号-1

GMT+8, 2025-3-11 00:02 , Processed in 1.498606 second(s), 30 queries .

Powered by 智能设备

©2025

|网站地图