阿里云飞天大数据计算平台：一个十年前就启动的核心技术长征

 7月25日，阿里云飞天大数据平台在上海引发世人侧目，这是中国唯一自主研发的大数据计算引擎，单一引擎可将10万台服务器合为一体，也是全球集群规模最大的计算平台。支撑海量数据存储和计算。在民生服务领域，飞天大数据平台已经“最多跑一次”、城市大脑等场景中，协助政府优化服务模式，实现更智能便捷的服务能力，保障信息安全。

飞天大数据平台此前已经在行业内广为人知，背后是一代中国技术人的十年的拼搏成果。

与此同时，阿里云飞天大数据平台是在解决阿里巴巴客户发展问题(这同样是广大中国政企会遇到的问题)的基础上成长起来的，解决了普遍性的问题，带来了开创性的成果，普惠了中小企业。而这种从需求出发倒逼技术进步，并进而对外服务的研发的道路，也成为可复制的成功模式。

十年前，阿里巴巴遇到了其他公司都还没遇到的挑战

十年前，阿里巴巴比其它公司更早地遇到互联网规模化带来的挑战。传统软件已无法承载，这也推动了大数据技术的发展，Google、AWS、微软等硅谷巨头纷纷投入大数据技术的研发。而在国内，王坚也在十年前带领阿里云团队研发飞天大数据计算平台，率先在国内开启大数据计算平台的自研之路。

当时全球企业的数据库基本都是Oracle，而阿里巴巴拥有亚洲最大的Oracle集群，计算规模达百TB级别。

按照当时淘宝用户量的增长速度，Oracle集群很快将无法支撑业务发展，而最核心的问题就是算力不足。尽管当时阿里已开始把数据迁移到更大规模的开源平台，但后者在百台机器规模时就遇到瓶颈，给业务增长造成极大阻碍。

此外，Hadoop之类的开源技术在可靠性、安全性上也遭遇了天花板。

2008年，王坚带着解决大规模算力瓶颈的任务加入阿里。他发现，无论是Oracle还是Greenplum、Hadoop，都不是大规模数据计算的最优解，必须自研一套自己的大数据处理平台。

2009年这项关于大数据的技术长征开始。王坚带队，目标是自研大数据计算平台——飞天。

事实证明，阿里做了正确的选择。

四年攻坚，MaxCompute终于取得重大突破：2013年8月15日，阿里云历史性地突破了同一个集群内5000台服务器同时计算的局限，为未来的大规模服务奠定基础。十年后，单集群规模已超过1万台，能做到这一能力的科技公司在全球都寥寥可数。

在杭州云栖小镇竖立着一尊飞天5K的纪念碑，碑上刻着参与解决这一技术难题的技术人员名字。

解决世界级算力难题

通过大数据计算平台，可以让订单实时准确汇聚，也可以精准预测变幻莫测的天气变化，各行各业都在大规模使用大数据来提供更好的服务，而实现这一能力就是海量数据分析的结果。

但要处理好这些数据并不容易。除了数据量的剧增，不同行业数据类型丰富多样，如结构化数据、非结构化数据等，都给大数据计算平台带来新的挑战。

基于这套创新技术，2015、2016年，阿里云刷新世界计算奥运会之称的SortBenchmark世界纪录;2017年，完成全球首次基于公共云的100TB BigBench大数据基准测试。

顶级算力走向世界

过去十年，MaxCompute能力不断提升：单日数据处理量从2015年100PB，2016年180PB，到2017年320PB，再到2018年的单日处理超过600PB。

记录被不断刷新，并且得到了权威机构的认可：在Forrester发布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里云MaxCompute、DataWorks、ADB等三款产品成功入选，并在产品功能(Current Offering)方面力压微软。

这一世界级的大数据计算能力也逐渐展示其价值，帮助数万企业用更低成本、更高效率计算海量数据，为社会和消费者提供服务。

在交通领域，城市大脑在杭州实时指挥1300个红绿灯路口、200多名交警。从2016年到2018年，杭州从全国最拥堵城市排行榜上下跌52名。

在工业领域，阿里云的大数据处理技术帮助制造企业寻找上千个参数的最优搭配，提升制造的良品率。协鑫光伏、天合光能等行业龙头企业，都在尝试这一全新的生产模式。

在政务领域，浙江最多跑一次通过大数据处理平台打通政务数据，将与老百姓办事最密切相关的100个事项70多亿条数据，按照统一标准汇入统一的数据仓，实现共通共享共用。老百姓办事不仅能最多跑一次，甚至有可能一次都不跑。

而在海外，MaxCompute也已进入新加坡、欧洲等市场，将这一技术服务给更多用户。