阿里云发布大数据平台是为了什么

虽然Jack马先生总是口出惊人之语，但事实证明他说的话总是不断被应验。

2016年的“新零售”现在已经是公认的零售新篇章，而2014年的“人类正从IT时代走向DT时代”，也在逐渐变成现实——不管什么样的企业，都习惯要“大数据”一下。

这其中，阿里自己往往成为“预言”的忠实拥趸，新零售跑马圈地，现在大数据也要“搞个大新闻”。

不久前，阿里云在其峰会上发布了大数据服务产品“飞天大数据平台”，从公开信息来看，该平台被称为“中国唯一自主研发的大数据计算引擎”，以及“全球集群规模最大的计算平台”。

参数能力上，有诸如单一引擎支持10万台服务器组合计算、支持超600PB计算能力等。

今年6月以来，阿里在AI能力上频频对外界秀肌肉，连续获得5个世界大赛第一（详见相关报道），现在，阿里云高调发布“飞天大数据平台”，在马云口中的DT时代大干一把的野心摆上台面。

大众心中“商业”标签浓厚的阿里，拉开遮盖的幕布，开始把“技术”标签显露出来。

大数据技术之争，为什么“商业”阿里却率先冒出？

众所周知，DT时代一定建立在云计算基础之上。

但是，当大数据技术和服务成为云计算标配时，为什么“中国唯一自主研发”以及“全球集群规模最大”这些头衔会落到一贯以“商业”姿态示人的阿里头上？

这种“出人意料”，原因恰恰也出在“商业”两个字上。

阿里云此次是“对外发布”飞天大数据平台，在这之前，这款产品已经在阿里云内部实质运行和服务了十年之久（以前称作MaxCompute平台，也是现在飞天的核心）。

某种程度上，阿里在大数据技术上令人意外地“冒出”，既有主观追赶DT时代的内在动机，也不能否认是被自己的“商业”发展所倒逼。

1、自身商业的业务膨胀所倒逼

阿里虽然是商业起家，但却技术上最早遭受规模化带来的技术压力。

2008年淘宝网上已经有9800万注册会员，用户一多就带来数据存储和计算的压力，而这个数字还在持续暴增。

在全球范围内，Google、AWS、微软也面临类似的问题，老的数据系统（例如Oracle、Greenplum、Hadoop等）都没办法适应暴增的数据需求（类似于马车设计时没办法考虑到汽车的运载能力），各家都在研发自己的大数据技术。

而且，与搜索、社交不一样，“商业”场景下的用户与信息存储更复杂，个人信息、消费信息、金融信息，甚至早期的推荐机制，都对大数据技术提出了更高的要求。

所以，这造成一个奇特的现象：“商业”做得越成功、标签越浓厚，背地里“技术”就必须越深度。

我们今天看到阿里在商业上如日中天，已经是“技术没有拖后腿”的结果。

而面对几何级膨胀的商业需求能够不拖后腿，这样的技术拿出来对外开放时，获得“中国唯一”、“全球最大”之类的成绩似乎并不意外。

从2009年阿里云成立时，“飞天”就已经事实上开始起步。

从其发展轨迹来看，2013年8月突破同一个集群内5000台服务器同时计算，2016年2月单集群突破10000台，2019年多集群突破10万台，这样的技术成长，从时间线来看与阿里的商业成长几乎同频。

阿里系旗下的支付宝芝麻信用分、淘宝商家的每日商铺账单、高德、优酷、阿里妈妈等的大数据业务都通过MaxCompute平台进行，2018年双11，单日处理超过600PB的数据，交易峰值平滑度过。

现在，阿里99%的计算和95%的存储都由飞天支撑，其展示出来的技术成就始终与阿里的“商业”标签紧密相连。

2、对外生态服务扩张所倒逼

阿里云在国内处在领先位置，服务大量大大小小的企业，这反过来像内部商业发展一样倒逼阿里云在大数据技术有所突破，毕竟，现在人人都在谈大数据。

例如，阿里云服务知名APP“墨迹天气”，该产品要为4亿用户提供气象预报服务，每天用户查询超过5亿次，对数据调用和运算产生很大压力，阿里云必须“跟上”客户的脚步进行技术革新。

类似高数据需求的客户还有很多。

此外，在过去几年的智慧城市大战中，阿里云抢先发车，在大本营浙江搞出许多明星项目。例如，其服务浙江“最多跑一次”政务体系建设，面临老百姓办事最密切相关的100个事项70多亿条数据，大数据平台没有跟上是无法想象的。

云计算生态越庞大，这种底层技术就必须越走在前面。

3、“领头羊企业”的头衔所倒逼

一谈中国有哪些知名互联网科技企业，无非就是BAT等少数几个公司，而从市值上看，阿里又处在领头羊位置。

这是商业成功带来的荣誉不假，但其实暗地里，从国家层面看，商业的成功最终一定要承担技术的职责。

核心技术是国之重器，但谁来创新核心技术，责任只能落到这些商业上成功的企业头上。

2018年3月，Forrester发布《2018年一季度云端数据仓库》大数据服务榜单，阿里与AWS、Google、微软进入全球一线阵营。

在全球范围内，阿里无法永远在“商业”标签下存在和发展，中国从IT时代走向DT时代，阿里这样的企业露出技术标签是时代的必然。

全新的DT时代，大数据平台如何参与竞逐？

DT时代替换IT时代，在全新阶段面前，核心的角逐场大数据平台究竟要怎么玩，没有经验可供借鉴。

作为孤例，拆解阿里云飞天大数据平台的一些做法，它们未必全面，但或可以作为行业参考。

1、“物”膨胀下的“DT系统”构建

DT时代，数据无非包括“人”和“物”两个部分，过去10年，“人”（即用户）的增长和沉淀已经基本完成，数据定格在高位。

下一步可以预见的是，未来10年IoT的全面发展，基于“物”的数据将迎来新的爆发，万物互联、万物映射到数字世界，大数据将迎来新一波井喷。

所以，对大数据平台服务而言，关注“物”数据的膨胀成为重中之重。

以阿里云“飞天大数据平台”为例，目前该平台支撑全国442个城市、超过1000项公共服务，而在杭州的典型应用“城市大脑”，需要在数分钟内优化1300个核心路口、万级交通配时的控制参数，此外，还需要处置110种交通警情。

这些，与大量交通IoT数据密切相关。海量物联网终端数据汇总、分析与处理，“物”数据膨胀下事实上构建了一套“DT系统”（相对IT系统）。

此外，在工业领域，“物”数据的膨胀也十分明显，以阿里云服务的协鑫光伏、天合光能等为例，大数据技术必须帮助这些企业完成上千个参数的最优搭配，提升制造的良品率，这是“物”数据的直接产业价值。

2、极致的“低延时”战争

5G不仅仅是速度快，更重要的是低延时。

低延时改变了数据传输和运算的逻辑，在包括工业在内的许多领域有着颠覆性价值，也为5G带来了改造世界的无限可能。

但是，5G毕竟只是负责信息传输的技术，在数据存储、调用、处理上，未来的5G还必须搭配与低延时“理念”一致的大数据技术服务，否则“孤掌难鸣”。

在此次阿里云峰会上，阿里巴巴集团CTO张建锋用手机淘宝APP做了一个现场展示，用户输入一个搜索关键词点击之后，下拉屏幕将出现与之相关的内容。

张建锋称，“每个人的购物喜好和变化，可以在秒级之内被计算出来。”7亿淘宝用户的行为与运算由飞天支撑，实现实时化。

想象一下未来5G物联网应用当中，当5G完成了极低延时的传输任务后，在需要大数据的部分，大数据技术无法用配合实现实时分析，最终总体响应能力没有发生根本改变，那样的变革很难创造颠覆性价值。

DT时代大数据技术的发展，必须与5G应用有相同的步调。

3、大数据普惠化倒逼“客户体验”

IT时代企业人人IT，同理，DT时代，企业也必将人人DT。

阿里云飞天一发布就强调对中小企业的服务，大量需求大数据而又缺乏技术基础、近乎“小白”的中小企业在等着大平台赋能。

而既然是小白，既然DT时代要实现大数据的普惠化，门槛尽可能低、企业信息系统改造尽可能平滑就成为实操落地的关键。

谁能让中小企业零门槛拥抱DT，谁就占据时代的先机。

2019年1月，阿里首款大规模分布式科学计算引擎Mars开源，该产品基于MaxCompute，在技术实现上，官方宣称“降低编程难度，兼容Numpy接口，无需修改代码即可处理比原来规模大上万倍的数据量”。

显然，阿里云试图让大数据技术的开放变得和常规云服务产品部署一样简单，按照这个趋势，无代码部署也不是不可能。

DT竞争是组合拳，大数据平台只是开始

在此次峰会上，阿里云提出“全面上云的拐点到了”，张建锋还把企业上云划分为企业基础设施上云、大数据上云、云上中台、云上智能四个阶段。

对应地，阿里云发布了飞天云操作系统、飞天大数据平台、阿里巴巴双中台和智联网AIoT四个产品，一些媒体称之为阿里云的“四张王牌”。

而事实上，阿里云一次发布包括大数据平台在内的四款产品，涉及基础机构、数据中台、智能化等内容，本身就证明了DT时代的竞争是组合拳，大数据平台是其中的构成部分。

也即，只有大数据平台，撑不起DT时代的企业上云，在叠加的时代浪潮下，“客户”们的需求往往是多元化的，要技术、要运营、要紧跟趋势。

要想在DT时代有所建树，不管是大型云计算平台，还是中小云服务商，云基础架构、大数据技术、管理中台、AI、IoT等可赋能的技术能力都是“标配”。

正因为如此，当阿里云决意把大数据平台开发出来，它就必须、不得不一次性推出云计算产品“全家桶”，只有这样才能全方位满足“客户”们的需求，单一的大数据技术无法形成全面的技术和生态势能。

当然，这也使得“商业”阿里更难以藏住“技术公司”标签，未来，阿里技术的一面将露出得越来越多。