腾讯混元大模型发布：预训练语料超2万亿tokens

9月7日消息，2022年底至今，各种AI大模型火爆全球，国内更是掀起“千模大战”，众多头部科技企业竞相投入研发。

在今日举行的2023腾讯全球数字生态大会上，腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生正式发布腾讯混元大模型。

据悉，该大模型为腾讯全链路自研大语言模型，参数规模超千亿，预训练语料超2万亿tokens(大语言模型文本单位)，具有中文创作能力、任务执行能力和复杂语境下的逻辑推理能力。

混元大模型已在腾讯云、腾讯广告、微信搜一搜等多个腾讯内部业务和产品经过测试。同时也服务产业场景，客户可基于API调用混元，也可基于混元做专属的行业大模型。

因此，腾讯方面推出了“腾讯云MaaS服务”，在腾讯云行业大模型精选商店中，不仅提供混元大模型，还上架了20多种行业最新、最流行的开源通用大模型，以及覆盖金融、文旅、零售、政务、医疗、教育等20多个领域的行业大模型。

据介绍，混元大模型能在多种场景下处理超长文本，通过位置编码优化，提升长文处理效果和性能，结合指令跟随优化，让产出内容更符合字数要求。

值得一提的是，该大模型号称能识别“陷阱”，简单说就是通过强化学习方法拒绝被“诱导”，比如用户有意或无意问出难以回答、无法回答的问题，安全诱导类问题拒答率提升20%。

据了解，微信已上线“腾讯混元”公众号、“腾讯混元助手”小程序，但目前“腾讯混元助手”小程序还是内测状态，只有受邀用户才能体验，但根据界面来看，这是一款能够进行智能对话的助手。

小程序简介显示，“腾讯混元助手”的功能包括AI问答、AI绘画，可以回答各类问题，也能处理多种任务，如获取知识、解决数学问题、翻译、提供旅游攻略、工作建议等。