万万没想到，1200年前老祖宗们就知道大数据了

最近，如果你不知道《长安十二时辰》，显然你已经 Out 了！

 

这部豆瓣评分 8.6 的古装悬疑剧，讲述的是，唐朝上元节前夕，长安城陷入危局，长安死囚张小敬临危受命，与靖安司司丞李必，携手在十二时辰内拯救长安的故事。

 

整部剧场景精致，没有一哭就半集的爱情故事，没有慢节奏的舞刀弄枪，一句话概括：简洁明快，看点出奇。

 

随着剧情的推进，靖安司在辅助查案的过程中，居然出现了不少黑科技，让人叹为观止。举几个例子：

这玩意叫望楼，八丈高，星罗棋布的安置于长安城中，楼与楼间靠旗语、鼓声或灯火光来传递信息。依靠这一体系，坐镇靖安司大望楼，就可以统一遥控调度全城的城防力量。

 

腻不腻害？古代的无线电通讯啊！

这玩意叫长安城沙盘，真实复现长安城建筑和地貌，结合望楼体系，靖安司就好比拥有了一个可以鸟瞰全长安的无人机，随时可以了解，被追踪目标当下的位置，从而做出及时的指挥调度。

 

腻不腻害？古代的虚拟现实啊！

 

其实，当我看到这些的时候，幼小的心灵虽然受到了猛烈的冲击，但凭借多年的看片经验，我抗住了。

 

直到，我看到这个哥们……

 

徐宾，靖安司书令吏，八品小官。

 

此人放到现在，也就相当于情报局的一个办事员，但就是这个小小办事员，让佯装淡定的我一秒破功，为他尖叫、欢呼……

 

为什么呢？

 

剧中的他不仅博学多才，还有着出色的记忆力，对于术数有着浓厚的兴趣，经过他的刻苦专研，最后研究出了一套，以档案数据为基础的处理事务的方法，即为“大案牍术”！

 

有了大案牍术，无论是查案找人，甚至预言未来，都可以通过大批书籍，汇总一切机密信息进行分析，从数据与信息间发现诸多关联，进而找到线索。

 

此时，作为程序员的朋友们，是不是已经觉察到了什么？

 

偶买噶！这不就是大！数！据！吗？

 

徐宾，1200 多年前的程序员？

 

聊到这，可能很多不是程序员的朋友，之前也没有接触、或完全不了解大数据。那么问题就来了！啥是大数据呢？

 

呵呵，你们真以为我是来聊电视剧的吗？图样，图森破！

 

其实这篇文章呢，主要是想借着电视剧的热点，和大家聊一下，什么是大数据，顺道分享一些和大数据有关的趣事。

 

别着急点叉！我们简单科普、不聊技术……

 

大数据，很明显从字面上理解就是大量的数据，海量的数据。

 

大，意思就是数据的量级很大，不上 TB 都不好意思和别人打招呼。

 

数据，狭义上理解就是 12345 那么些数据，毕竟计算机底层是二进制来存的，那么在大数据领域，数据就不仅仅包括数字这些，它可以是所有格式的东西，比如日志，音频视频，文件等等。

所以，大数据从字面上理解就是海量的数据，技术上它包括这些海量数据的采集，过滤，清洗，存储，处理，查看等等部分，每一个部分包括一些大数据的相关技术框架来支持。

 

举个例子，淘宝双十一的总交易额的显示，后面就是大数据技术的支持，全国那么多淘宝用户的交易记录汇聚到一起，数据量很大，而且要做到实时的展现，就需要强有力的大数据技术来处理了。

 

概括起来就是这个亚子，但咱们万一哪天和别人聊到大数据，一点名词不懂，岂不露怯？所以，在这里简单说一下，在技术实现方面，大数据的一些的名词，大家看一看，有个印象就好。

 

刚才说到，数据量会很大，那就牵扯到一个问题，数据存放在哪？一个服务器硬盘，肯定满足不了这么大的数据量存储啊，所以，分布式的存储系统应运而生，那就是 HDFS 分布式文件系统。简单的说，就是把这么大的数据分开，存在几台、几十台、甚至几百台服务器上，管理他们的系统就是 HDFS 文件系统，也是大数据技术的最基本的组件。

 

有地方存了，还需要一些分布式的数据库来管理查询啊，那就有了 Hbase 等，还需要一些组件，来计算分析这些数据啊，MapReduce 是最基本的计算框架，其他的计算框架比如 Spark、Storm、Flink 还可以完成实时数据的处理。

 

……完事，就介绍这么多名词，你们记住了吗？

 

长安十二时辰，带我们走进了一个拥有大数据的唐代，给人无限遐想。那么在现代社会、现实生活中，大数据又使用在哪些地方呢？

 

咱们来分享几个有关大数据的经典案例。

 

1. 啤酒与纸尿裤

 

这个故事产生于 20 世纪 90 年代的美国沃尔玛超市中，沃尔玛的超市管理人员，分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，啤酒与纸尿裤两件看上去毫无关系的商品，却经常会出现在同一个购物篮中，这种独特的销售现象，引起了管理人员的注意，经过后续调查发现，这种现象普遍出现在年轻的父亲身上。

 

原来，在美国有婴儿的家庭中，一般是母亲在家中照看婴儿，年轻的父亲前去超市购买纸尿裤。父亲在购买尿布的同时，往往会顺带为自己购买啤酒。所以沃尔玛超市打破常规，将纸尿裤与啤酒放在同一个区域内，使得纸尿裤与啤酒的销量双双激增。

 

2. 数据新闻让英军撤军

 

2010 年 10 月 23 日，卫报利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中，所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件，鼠标点击红点后，弹出的窗口则有详细的说明：伤亡人数、时间，造成伤亡的具体原因。密布的红点多达39万，显得格外触目惊心。一经刊出，立即引起社会强烈反响，也推动了英国最终做出撤出驻伊拉克军队的决定。

 

3. 成功预测冬季流感

 

2009 年，Google 通过分析 5000 万条美国人最频繁检索的词汇，将之和美国疾病中心在2003 年到 2008 年间季节性流感传播时期的数据进行比较，并建立一个特定的数学模型。最终 Google 成功预测了 2009 冬季流感的传播甚至可以具体到特定的地区和州。

 

4. 奥巴马大选连任成功

 

2012 年 11 月奥巴马大选连任成功的胜利果实也被归功于大数据，因为他的竞选团队进行了大规模与深入的数据挖掘。时代杂志更是断言，依靠直觉与经验进行决策的优势急剧下降，在政治领域，大数据的时代已经到来。

 

各色媒体、论坛、专家铺天盖地的宣传让人们对大数据时代的来临兴奋不已，无数公司和创业者都纷纷跳进了这个狂欢队伍。

 

5. 超市预测高中生顾客怀孕

 

明尼苏达州一家塔吉特门店被客户投诉，一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿：一个高中生。但没多久他却来电道歉，因为女儿经他逼问后，坦承自己真的怀孕了。塔吉特百货就是靠着分析用户所有的购物数据，然后通过相关关系，分析得出事情的真实状况。

  

在文章的结尾，我想说，大数据给人们生活带来的不仅仅只是便利，还有紧密的生活服务网络。

 

通过大数据，如果银行能及时了解风险，我们的财产将更加安全；如果医院能够更早发现疾病，我们的身体将更加健康；如果交通动态、天气预报能够随时掌握，我们日常出行将更加通畅；如果商场的库存能够动态调整，我们购买商品将更加实惠……

 

而当一切的需求，都可以按照人们的喜好来计量，社会又会步入怎样的崭新时代呢？也许那句老话：“你一撅屁股，我就知道你要放什么屁“……就真的离我们不远了哟！

特别推荐一个分享架构+算法的优质内容，还没关注的小伙伴，可以长按关注一下：

长按订阅更多精彩▼
如有收获，点个在看，诚挚感谢