通义千问大模型，将跑在AI PC上，没网也能玩

当我们使用ChatGPT、文心一言和通义千问等等大语言模型支持的AI工具时，有一个必要条件：必须连网。

因为AI工具的运算在云端，并非电脑本地。但是在上游芯片厂商和终端厂商看来，有网环境下大模型固然强大，但也需要无需网络也能运行的端侧大模型来补充，端云结合，才是万全之策。

于是在12月15日的英特尔AI主题活动上，我们看到了阿里云通义千问大模型成功适配英特尔酷睿Ultra平台，未来可在PC等端侧部署。

得益于第一代酷睿Ultra平台Meteor Lake有着英特尔40年来最重大的处理器架构变革，即分离式模块架构，以及首次集成神经网络处理单元（NPU），部署在英特尔酷睿Ultra平台设备上的通义千问大模型能够大幅缩短模型推理响应时间，平均加速可达3倍。

AI PC的概念，因为端侧大模型的逐渐落地，变得清晰起来。

自去年年底ChatGPT发布开始，大语言模型技术支持下的AIGC应用获得了极大的发展。这一波AI浪潮的主阵地便发生在PC上，因为PC在交互和呈现上，都更契合多数的AIGC应用。但是不管是ChatGPT还是MidJourney，都需要联网使用，一旦没有网络，我们便与AI断连。

因而，PC想要真正进化为AI PC，不仅是AIGC应用能方便地运行在上面，本身自己也需要有强悍的AI处理能力。

所以，阿里云通义千问大模型成功适配英特尔酷睿Ultra平台，未来可在PC等端侧部署的新闻就有两层含义，和一个象征性意义了。

第一层含义，英特尔喊出AI PC口号，依仗的是什么？

在今年9月硅谷举办的On技术创新大会上，英特尔CEO帕特·基辛格提出了PC的革命性概念——AI PC。

想要在PC上高效进行AI计算，运行AI应用，传统的CPU+GPU架构并非最优解，因而在第一代酷睿Ultra Meteor Lake处理器上，英特尔创新性地采用了分离式模块架构，这也是英特尔历史上最大的处理器结构变革，处理器将由计算模块、SoC模块、图形模块以及IO模块这4个独立模块组成，并通过Foveros 3D封装技术连接。

新增的NPU模块将主要承担起AI运算的责任，因为是针对人工智能加速的专项计算单元。NPU机型AI计算时的优势是高性能低功耗，另外，低延迟高响应速度的CPU和高性能高吞吐量的GPU也会负担起AI算力的需求，三者协作，就构成了终端上的强大AI算力。

AI PC的体验效果深受其所配备软件的性能影响，遇强则强。作为AI PC加速计划的一部分，超过100家独立软件供应商（ISV）和300余项AI加速功能将针对英特尔酷睿Ultra处理器进行专属优化，提供丰富的AI应用程序和框架。

举个实际的例子，英特尔和字节跳动旗下的视频剪辑工具剪映一起优化了用户高频使用的「智能抠像」功能。在把这个功能的计算需求切换到第一代酷睿Ultra产品的NPU之后，我们发现，处理视频素材时不仅耗时降低，功耗也降低了，这个时候空余出来的CPU和GPU算力就可以用在其他的剪辑需求上。

因而，所谓AI PC，不仅是能更好地运行AI功能，也能让效率提升，功耗降低。

第二层含义，像通义千问这样的大模型，能干啥？

现在我们已经可以在PC上进行的AI操作百花齐放，包括但不限于，文生文、文生图、文生音乐，还有AI抠图、手势识别、动作捕捉，更细节地还有AI配音变声和视频会议眼神矫正等。

其中有一些基于大语言模型的功能是全新体验，有一些功能则早就在PC上实现了，比如10代酷睿就率先引入了AI性能的支持，可以为PC带来自动图像增强、视频分辨率增强和智能降噪等AI功能。

大语言模型技术被认为是通往通用型人工智能（AGI，Artificial General Intelligence）的道路，AGI是指一种具备与人类相似的广泛智能水平和能力的人工智能系统，相较之下，目前大多数人工智能系统专注于特定任务或领域。

在这个前提下，阿里云刚刚开源的通义千问720亿参数模型（Qwen-72B）可以称之为目前最强开源大模型，Qwen-72B在10个权威基准测评创下开源模型最优成绩，性能超越开源标杆Llama 2-70B和大部分商用闭源模型，已经具有一定的通用能力了。

基于阿里云开源的Qwen-72B，Qwen-14B、Qwen-7B、Qwen-1.8B四款大语言模型，以及视觉理解大模型Qwen-VL、音频理解大模型Qwen-Audio，阿里云实现了「全尺寸、全模态」的开源。

这意味着，对于各行各业的开发者来说，这些开源大模型能够有多种选择，PC、手机，甚至是IoT设备的端侧部署都有可能。

通义千问大模型部署在英特尔酷睿Ultra平台，未来可在PC等端侧部署便是其中一种成为现实的可能。

另外，华东理工大学X-D Lab团队基于通义千问开源模型Qwen-7B和Qwen-14B开发了多款行业大模型，包括心理健康大模型MindChat（漫谈）、医疗健康大模型Sunsimiao（孙思邈）、教育/考试大模型GradChat（锦鲤）等等。

浙江大学联合高等教育出版社基于Qwen-7B开发了智海-三乐教育垂直大模型，已在全国12所高校应用，可提供智能问答、试题生成、学习导航、教学评估等能力，模型已在阿里云灵积平台对外提供服务，一行代码即可调用。

脱离比特世界，在现实世界，浙江有鹿机器人科技有限公司在路面清洁机器人中集成了Qwen-7B，使机器人能以自然语言与用户进行实时交互，理解用户提出的需求，将用户的高层指令进行分析和拆解，做高层的逻辑分析和任务规划，完成清洁任务。

简言之，AI的舞台不仅仅在于PC，PC也不仅仅只有AI应用，但它们之间开始产生巨大的交集，并将改变我们的PC使用习惯。

画图，是用数位板加压感笔进行创作，还是用文生图？

写作，是用键盘一个字一个字敲出来，还是用文生文？

这些问题已经显现，每一个拥有AI PC的用户，也将逐渐面临选择和使用习惯的转变。