微软首个多模态Phi-4问世，56亿参数秒杀GPT-4o！LoRA华人大佬带队

B1yRwMab7R

今天，微软CEO纳德拉官宣，Phi系列家族新增两员：Phi-4-multimodal和Phi-4-mini。

这是微软Phi系列小模型（SLM）中的最新模型，尤其是Phi-4-multimodal是微软的首款多模态模型。
这两款模型虽然参数不大（56亿和38亿），但性能强劲，甚至不输一些大型的开源模型，例如Llama-3.3-70B-Instruct、Qwen2.5-72B-Instruct。

其中，Phi-4-multimodal是一款单体模型，采用混合LoRA技术，集成了语音、视觉和文本多模态能力，皆可在同一表示空间内同时处理。
Phi-4-mini支持128k上下文，还可以借用函数调用功能，在基于文本的任务中表现出色，以紧凑的形式提供了高精度和可扩展性。
与此同时，Phi-4新款模型39页技术报告新鲜出炉了。

论文地址：https://huggingface.co/microsoft/Phi-4-multimodal-instruct/blob/main/phi_4_mm.tech_report.02252025.pdf
值得一提的是，Phi-4-mini在Math-500数学测试集中，拿下了90.4分惊人的成绩，与蒸馏千问7B后的DeepSeek R1、o1-mini不相上下。

现在，Phi-4-multimodal可以在Azure AI Foundry、HuggingFace和NVIDIA API Catalog中使用，开发者可以在NVIDIA API Catalog上探索Phi-4-multimodal的全部潜力，从而轻松地进行实验和创新。

传送门：https://huggingface.co/microsoft/Phi-4-multimodal-instruct
Phi-4-multimodal，微软首个多模态

Phi-4-multimodal作为微软首个全模态语言模型，标志着微软人工智能开发的一个新里程碑。
它是一个56亿参数的模型，将语音、视觉和文本处理无缝集成到一个统一的架构中。
通过利用先进的跨模态学习技术，该模型实现了更自然、更具上下文感知能力的交互，使设备能够同时理解和推理多种输入模态。
无论是解释口语、分析图像还是处理文本信息，它都能提供高效、低延迟的推理——同时还针对设备端执行和减少计算开销进行了优化。
举个栗子，上传一张与不同时代（Z世代、千禧一代、X世代、婴儿潮一代等）在工作中使用非组织提供的AI工具的百分比图像。
Phi-4-multimodal看懂图之后，就能帮你出一个Markdown形式的表格，并且与之相关的问题均可以答对。

原生支持多模态

Phi-4-multimodal是一个单一模型，采用了混合LoRA（Low-Rank Adaptation）技术，集成了语音、视觉和语言功能，所有这些都在同一个表示空间内同时处理。
其结果是一个统一的单一模型，能够处理文本、音频和视觉输入，无需复杂的处理流程或为不同模态使用单独的模型。
Phi-4-multimodal基于一种全新的架构，显著提升了效率和可扩展性。它拥有更大的词汇量以改进处理能力，支持多语言功能，并将语言推理与多模态输入相结合。所有这些都集成在一个强大、紧凑且高效的模型中，非常适合在设备端和边缘计算平台上部署。
Phi-4-multimodal整体架构
解锁新能力

Phi-4-multimodal能够同时处理视觉和音频内容。
下图1展示了当视觉内容的输入为合成语音时，模型在图表/表格理解和文档推理任务上的表现。与其他现有的能够同时处理音频和视觉信号作为输入的最先进多模态模型相比，Phi-4-multimodal在多项基准测试中取得了显著更强的性能。
Phi-4-Multimodal-Instruct音频和视觉基准
Phi-4-multimodal在语音相关任务中展现了卓越的能力，成为多个领域的领先开源模型。
它在自动语音识别 (ASR) 和语音翻译 (ST) 方面超越了WhisperV3和SeamlessM4T-v2-Large等专业模型。该模型以惊人的6.14%词错误率登顶Huggingface OpenASR排行榜，超过了截至2025年2月之前的最佳表现6.5%。
此外，Phi-4-multimodal是少数成功实现语音摘要并达到与GPT-4o模型相当性能水平的开源模型之一。
在语音问答 (QA) 任务中，该模型与Gemini-2.0-Flash和GPT-4o-realtime-preview等相近模型存在差距，因为其较小的模型规模导致事实性问答知识的能力较弱。
下图2比较了不同AI模型在语音识别、语音翻译、语音问答、音频理解和语音摘要等类别中的表现。模型包括Phi-1-Multimodal-Instruct、Qwen-2-Audio、WhisperV3、SeamlessM4T-V2-Large、Gemini-2.0-Flash和GPT-4-turbo-preview-10-01-2024。
Phi-4-Multimodal-Instruct在语音识别和翻译中表现优异，而Gemini-2.0-Flash和GPT-4o-RT-preview在问答和音频理解任务中领先。

图2：Phi-4-Multimodal-Instruct语音基准测试
以下视频为Phi-4 Multimodal分析口语语言，以帮助规划前往西雅图的旅行，展示了其先进的音频处理和推荐能力。

Phi-4-multimodal仅拥有56亿个参数，却在多个基准测试中展现了卓越的视觉能力，尤其在数学和科学推理方面表现突出。
尽管其规模较小，该模型在通用多模态能力上仍保持竞争力，例如文档和图表理解、光学字符识别 (OCR) 以及视觉科学推理，甚至超过了Gemini-2-Flash-lite-preview和Claude-3.5-Sonnet等模型。
如下图3所示，Phi-4-Multimodal-Instruct在多个任务中表现出色，如MMMU (55.1)、ScienceQA (97.5) 和 ChartQA (81.4)，而GPT-4o和Gemini-2.0-Flash在综合性能上得分较高。

图3：Phi-4-Multimodal-Instruct视觉基准测试
以下视频为Phi-4-Multimodal如何通过视觉输入解决复杂的数学问题，展示了其处理和解决图像中呈现的方程的能力。

Phi-4-mini，数学媲美o1-mini

Phi-4-mini拥有38亿参数，它是一个稠密、仅包含解码器的Transformer模型，具有分组查询注意力、20万词汇量和共享输入输出嵌入，旨在提高速度和效率。
尽管规模小巧，但在推理、数学、编程、指令跟随和函数调用等任务中，它的表现优于更大的模型。
该模型支持长达128K token的序列，提供高精度和可扩展性，使其成为先进AI应用的强大解决方案。
为了了解模型质量，微软将Phi-4-mini与一系列模型在如下图4所示的多个基准上进行比较。

Phi-4-mini语言基准测试
在多种基准测试中，Phi-4-mini展现出了出色的性能。函数调用、指令跟随、长上下文处理和推理等强大能力，使它能够访问外部知识和功能。
通过标准化协议，函数调用使模型能够与结构化编程接口无缝集成，当用户发出请求时，它可以对查询进行推理，识别并调用带有适当参数的相关函数，接收函数输出，并将这些结果融入到响应中，创建了一个基于智能体的可扩展的系统。
定制化与跨平台

Phi-4-mini和Phi-4-multimodal模型的规模较小，这一特点让它们能在计算资源有限的推理环境中使用。
在设备端，通过ONNX Runtime进一步优化后，两款模型可以跨平台使用。它们对计算资源需求低，延迟表现也更理想。
同时，模型拥有更长的上下文窗口，推理和逻辑能力强大，非常适合用于分析任务。较小的模型规模让微调或定制变得更轻松，成本也更低。
下表是Phi-4-multimodal在微调场景中的示例。

小模型，跑起来了
从一开始，微软设计Phi系列模型的初衷，便是加速SLM实际落地应用。
而如今，有了多模态Phi-4-multimodal，以及参数更少、数推更强的Phi-4-mini，又能赋能一大片应用了。
嵌入智能设备

手机制造商可以将Phi-4-multimodal直接集成到手机中，用户可以使用先进功能，如实时语言翻译、增强的照片和视频分析，能理解并回应复杂查询的智能个人助理。
这将在手机上直接提供强大的AI能力，提升用户体验，确保低延迟和高效率。
汽车领域

汽车公司将模型集成到车载辅助系统中，车辆可以理解并回应语音指令、识别驾驶员手势，以及分析来自摄像头的视觉输入。
它可以通过面部识别检测驾驶员的疲劳状态并提供实时警报，从而提高驾驶安全性。
此外，它还能提供无缝的导航辅助、解读路标并提供情境信息，在联网及离线状态下，都能创造更直观、更安全的驾驶体验。
金融服务

金融服务公司集成Phi-4-mini模型，以实现复杂金融计算的自动化、生成详细报告，并翻译成多种语言。
例如，该模型可以通过执行风险评估、投资组合管理和财务预测所需的复杂数学计算，为分析师提供帮助。
此外，它还能将财务报表、监管文件和客户沟通内容翻译成多种语言，有助于改善全球客户关系。
以下视频为Phi-4-mini作为智能体的功能，展示了其在复杂场景中的推理和任务执行能力。
微软19年老将，LoRA核心缔造者带队

作为微软副总裁和GenAI团队负责人，19年老将Weizhu Chen的研究为AI领域带来了多项突破性贡献，包括LoRA、DeBERTa、Phi和Rho-1等技术。
他开创的LoRA技术革新了大语言模型的应用方式，使其更加高效、经济且易于部署，不仅为众多微软产品提供了强大支持，还对整个行业产生了深远影响。

在微软，他的工作让公司能够为特定产品场景训练专业模型，尤其专注于OpenAI模型的应用。并且，还为Azure AI、GitHub、Office、Biz Apps、MAI、DevDiv和Security等多个产品部门创造了显著的业务价值。
比如在2022年共同推出的GitHub Copilot，就一举成为了微软首个极为成功的Copilot产品。
同时，他还将BerryRL流程整合到微软产品中的工作，显著提升了Codex-V2和SWE-Agent等多个应用的模型训练效率和质量。
在此之前，他在香港科技大学获得计算机科学博士学位。