英特尔酷睿Ultra平台Day 0支持Qwen3-VL轻量化新模型，带来卓越AI体验

在阿里通义今晨发布Qwen3-VL系列新成员Qwen3-VL-4B和Qwen3-VL-8B之际，英特尔于今日同步宣布，已经在酷睿 Ultra 平台上完成对这些最新模型的适配。此次Day 0支持延续了十天前对Qwen3新模型快速适配的卓越速度，再次印证了英特尔在加速AI技术创新、积极构建模型合作生态方面的深度投入与行动力。

此次发布的Qwen3-VL系列新模型，在延续其卓越的文本理解和生成、深度视觉感知与推理、更长的上下文长度、增强的空间与视频动态理解及强大代理交互能力的同时，凭借其轻量化的模型参数设计，在英特尔酷睿Ultra平台上可以实现高效部署，为复杂的图片和视频理解及智能体应用带来更出色的性能与体验。

为确保用户能够获得更流畅的AI体验，英特尔在酷睿Ultra平台上，对Qwen3-VL-4B 模型进行了创新的CPU、GPU和NPU混合部署，充分释放了XPU架构的强大潜力。通过精巧地分解并优化复杂的视觉语言模型负载链路，并将更多负载精准调度至专用的NPU上，此次英特尔的Day 0支持实现了：

•显著的能效优化：大幅降低CPU占用率，更好地支持用户并发应用。

•卓越的性能表现：在混合部署场景中，模型运行吞吐量达到22.7tps。

•流畅的用户体验：充分利用酷睿Ultra的跨平台能力，提供无缝的AI交互。

以下的演示视频充分地展示了该成果：Qwen3-VL-4B模型在图片理解与分析任务中，在高效利用NPU算力的同时，显著降低了CPU的资源占用。

快速上手指南

第一步环境准备

基于以下命令可以完成模型部署任务在Python上的环境安装。

该示例在以下环境中已得到验证：

•硬件环境:

英特尔® 酷睿™ Ultra 7 258V

iGPU驱动版本：32.0.101.6733

内存: 32GB

•操作系统：

Windows 11 24H2 (26100.4061)

OpenVINO版本:

openvino 2025.3.0

第二步模型下载和转换

在部署模型之前，首先需要将原始的PyTorch模型转换为OpenVINOTM的IR静态图格式，并对其进行压缩，以实现更轻量化的部署和最佳的性能表现。通过Optimum提供的命令行工具optimum-cli，可以一键完成模型的格式转换和权重量化任务：

开发者可以根据模型的输出结果，调整其中的量化参数，包括：

--model： 为模型在HuggingFace上的model id，这里也提前下载原始模型，并将model id替换为原始模型的本地路径，针对国内开发者，推荐使用ModelScope魔搭社区作为原始模型的下载渠道，具体加载方式可以参考ModelScope官方指南：https://www.modelscope.cn/docs/models/download

--weight-format：量化精度，可以选择fp32,fp16,int8,int4,int4_sym_g128,int4_asym_g128,int4_sym_g64,int4_asym_g64

--group-size：权重里共享量化参数的通道数量

--ratio：int4/int8权重比例，默认为1.0，0.6表示60%的权重以int4表，40%以int8表示

--sym：是否开启对称量化

第三步模型部署

除了利用Optimum-cli工具导出OpenVINOTM模型外，我们还在Optimum-intel中重构了Qwen3-VL和Qwen3-VL-MOE模型的Pipeline，将官方示例示例中的的Qwen3VLForConditionalGeneration替换为OVModelForVisualCausalLM便可快速利用OpenVINOTM进行模型部署，完整示例可参考以下代码流程。

以下为该模型在图像理解任务中的输出示例：

（图片由AI生成，仅做效果演示）

*性能数据基于以下测试获得：在搭载酷睿Ultra 7 258V处理器的平台上，采用OpenVINO框架2025.4.0.dev20250922版本，所有计算均在XPU上完成。测试评估了首个token延迟和在nf4-mixed-cw-sym精度设置下处理1K输入时的平均吞吐量。为保证数据可靠性，每个测试均在预热后执行三次，并取平均值作为最终结果。性能因使用方式、配置和其他因素而异。

性能结果基于测试时的配置状态，可能未反映所有公开可用的更新内容。请参阅相关文档以获取配置详情。没有任何产品或组件能够保证绝对安全。您的实际成本和结果可能会有所不同。