当前位置:首页 > 智能硬件 > 人工智能AI
[导读] 说起大数据,估计大家都觉得只听过概念,但是具体是什么东西,怎么定义,没有一个标准的东西,因为在我们的印象中好像很多公司都叫大数据公司,业务形态则有几百种,感觉不是很好理解,所以我建议还是从字面上

说起大数据,估计大家都觉得只听过概念,但是具体是什么东西,怎么定义,没有一个标准的东西,因为在我们的印象中好像很多公司都叫大数据公司,业务形态则有几百种,感觉不是很好理解,所以我建议还是从字面上来理解大数据,在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征:

1.大量

大数据的特征首先就体现为“大”,从先Map3时代,一个小小的MB级别的Map3就可以满足很多人的需求,然而随着时间的推移,存储单位从过去的GB到TB,乃至现在的PB、EB级别。只有数据体量达到了PB级别以上,才能被称为大数据。1PB等于1024TB,1TB等于1024G,那么1PB等于1024*1024个G的数据。随着信息技术的高速发展,数据开始爆发性增长。社交网络(微博、推特、脸书)、移动网络、各种智能工具,服务工具等,都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB;脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据。

2.高速

就是通过算法对数据的逻辑处理速度非常快,1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同。大数据的产生非常迅速,主要通过互联网传输。生活中每个人都离不开互联网,也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的,因为花费大量资本去存储作用较小的历史数据是非常不划算的,对于一个平台而言,也许保存的数据只有过去几天或者一个月之内,再远的数据就要及时清理,不然代价太大。基于这种情况,大数据对处理速度有非常严格的要求,服务器中大量的资源都用于处理和计算数据,很多平台都需要做到实时分析。数据无时无刻不在产生,谁的速度更快,谁就有优势。

3.多样

如果只有单一的数据,那么这些数据就没有了价值,比如只有单一的个人数据,或者单一的用户提交数据,这些数据还不能称为大数据。广泛的数据来源,决定了大数据形式的多样性。比如当前的上网用户中,年龄,学历,爱好,性格等等每个人的特征都不一样,这个也就是大数据的多样性,当然了如果扩展到全国,那么数据的多样性会更强,每个地区,每个时间段,都会存在各种各样的数据多样性。任何形式的数据都可以产生作用,目前应用最广泛的就是推荐系统,如淘宝,网易云音乐、今日头条等,这些平台都会通过对用户的日志数据进行分析,从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据,还有一些数据结构化不明显,例如图片、音频、视频等,这些数据因果关系弱,就需要人工对其进行标注。

4.价值

这也是大数据的核心特征。现实世界所产生的数据中,有价值的数据所占比例很小。相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识。你如果有1PB以上的全国所有20-35年轻人的上网数据的时候,那么它自然就有了商业价值,比如通过分析这些数据,我们就知道这些人的爱好,进而指导产品的发展方向等等。如果有了全国几百万病人的数据,根据这些数据进行分析就能预测疾病的发生,这些都是大数据的价值。大数据运用之广泛,如运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

大数据已经成为过去几年中大部分行业的游戏规则,行业领袖,学者和其他知名的利益相关者都同意这一点, 随着大数据继续渗透到我们的日常生活中,围绕大数据的炒作正在转向实际使用中的真正价值。

大数据已经无处不在,大数据应用于各个行业,包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。

通讯,媒体和娱乐行业

由于消费者期望有不同格式和各种设备的多媒体需求,通信,媒体和娱乐行业的一些重大数据挑战包括:

(1)分析和利用消费者洞察(2)利用移动和社交媒体内容(3)解实时,媒体内容使用情况(4)大数据在通信,媒体和娱乐行业的应用

该行业的企业同时分析客户数据以及行为数据,以创建详细的客户资料,可用于:

(1)为不同的目标受众创建内容(2)根据需要推荐内容(3)衡量内容效果

比如,淘宝会根据你搜索过,浏览过的内容进行分析,在下次登录的时候,会在首页为你推荐你相关喜好的商品,你喜欢什么样的球鞋,你爱吃什么样的零食。大数据分析下,为你投其所好。

银行证券行业

一项研究对10个顶级投资和零售业务银行的16个项目进行了调查,结果显示:行业的挑战包括:证券欺诈预警,超高频金融数据分析,信用卡欺诈检测,审计跟踪归档,企业信用风险报告,贸易可见度,客户数据转换,交易的社会分析,IT运营分析和IT策略合规性分析等。

证券交易委员会(SEC)正在使用大数据来监控金融市场活动。他们目前正在使用网络分析和自然语言处理器来捕捉金融市场的非法交易活动。

金融市场的零售商,大银行,对冲基金和其他所谓的“大男孩”使用大数据进行高频交易,交易前决策支持分析,情绪测量,预测分析等方面的交易分析。

该行业还严重依赖大数据进行风险分析,包括反洗钱,企业风险管理,“了解你的客户”和减少欺诈。

医疗领域

医疗保健部门获得了大量的数据,但一直没能使用数据来遏制医疗保健成本上升,提高医疗保健收益,提高系统效率。这主要是因为电子数据不足或不可用。另外,保存健康相关信息的医疗保健数据库很难与医疗领域有用模式的数据链接起来。

大数据分析应用的计算能力可以让我们能够在几分钟内就可以解码整个DNA。并且让我们可以制定出最新的治疗方案。同时可以更好的去理解和预测疾病。就好像人们戴上智能手表等可以产生的数据一样,大数据同样可以帮助病人对于病情进行更好的治疗。在医疗领域中,物联网的重大作用就表现在大数据上。大数据技术目前已经在医院应用监视早产婴儿和患病婴儿的情况,通过记录和分析婴儿的心跳,医生针对婴儿的身体可能会出现不适症状做出预测。这样可以帮助医生更好的救助婴儿。

一些医院正在使用从数百万患者手机应用程序收集的数据,允许医生使用循证医学,而不是对所有去医院的患者均进行多次医学检查。佛罗里达大学运用免费的公共健康数据和谷歌地图创建了视觉数据,以便更快地识别和有效分析医疗信息,用于跟踪慢性病的传播。

制造业与能源领域

石油、农产品、矿物、天然气、金属等自然资源的需求不断增加,导致数据数量、复杂性增加。制造业的大量数据尚未开发。这些信息的利用不足会妨碍产品质量、能效、可靠性和更高的利润空间。

能源大数据理念是将电力、石油、燃气等能源领域数据及人口、地理、气象等其他领域数据进行综合采集、处理、分析与应用的相关技术与思想。能源大数据不仅是大数据技术在能源领域的深入应用,也是能源生产、消费及相关技术革命与大数据理念的深度融合,将加速推进能源产业发展及商业模式创新。

在自然资源行业,通过大数据可以利用地理空间数据,图形数据,文本和时间数据中摄取和整合大量数据建立预测模型,帮助做出决策,应用的领域包括:地震解释和油藏表征。

保险业 行业具体挑战

主要挑战包括缺乏个性化服务,缺乏个性化定价和缺乏针对新细分市场和特定细分市场的有针对性的服务。在由Marketforce进行的调查中,保险业专业人士确定的挑战包括数据不足带来的利润损失,以及渴望更好的洞察力。

业界已经在使用大数据,通过从社交媒体,支持GPS的设备和监控录像中得到的数据分析和预测客户行为,为透明和简单的产品提供客户洞察。大数据还可以保护公司更好的提高客户留存。

在索赔管理方面,大数据的预测分析已被用于提供更快的服务,因为大量的数据可以在承保阶段进行特别分析。欺诈检测也得到了加强。通过数字渠道和社交媒体的大量数据,索赔周期的索赔实时监控已被用于为保险公司提供见解。

交通领域

近来,来自基于位置的社交网络的大量数据和来自电信的高速数据影响了旅游行为。令人遗憾的是,了解旅游行为的研究并没有如此迅速。在大多数地方,交通运输需求模式仍然对社交媒体结构的了解不足。

作为信息时代海量数据的来源之一,视频监控产生了巨大的信息数据。物联网在安防领域应用无处不在,特别是近几年随着平安城市、智能交通等行业的快速发展,大集成、大联网、云技术推动安防行业进入大数据时代。安防行业大数据的存在已经被越来越多的人熟知,特别是安防行业海量的非结构化视频数据,以及飞速增长的特征数据,带动了大数据应用的一系列问题。

政府使用大数据:交通管制,路线规划,智能交通系统,拥堵管理(预测交通状况)

私营部门在运输中使用大数据:收入管理,技术改进,物流和竞争优势(通过整合出货量和优化货运)

个人使用大数据包括:路线规划节省燃料和时间,旅游安排等。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: 驱动电源

在工业自动化蓬勃发展的当下,工业电机作为核心动力设备,其驱动电源的性能直接关系到整个系统的稳定性和可靠性。其中,反电动势抑制与过流保护是驱动电源设计中至关重要的两个环节,集成化方案的设计成为提升电机驱动性能的关键。

关键字: 工业电机 驱动电源

LED 驱动电源作为 LED 照明系统的 “心脏”,其稳定性直接决定了整个照明设备的使用寿命。然而,在实际应用中,LED 驱动电源易损坏的问题却十分常见,不仅增加了维护成本,还影响了用户体验。要解决这一问题,需从设计、生...

关键字: 驱动电源 照明系统 散热

根据LED驱动电源的公式,电感内电流波动大小和电感值成反比,输出纹波和输出电容值成反比。所以加大电感值和输出电容值可以减小纹波。

关键字: LED 设计 驱动电源

电动汽车(EV)作为新能源汽车的重要代表,正逐渐成为全球汽车产业的重要发展方向。电动汽车的核心技术之一是电机驱动控制系统,而绝缘栅双极型晶体管(IGBT)作为电机驱动系统中的关键元件,其性能直接影响到电动汽车的动力性能和...

关键字: 电动汽车 新能源 驱动电源

在现代城市建设中,街道及停车场照明作为基础设施的重要组成部分,其质量和效率直接关系到城市的公共安全、居民生活质量和能源利用效率。随着科技的进步,高亮度白光发光二极管(LED)因其独特的优势逐渐取代传统光源,成为大功率区域...

关键字: 发光二极管 驱动电源 LED

LED通用照明设计工程师会遇到许多挑战,如功率密度、功率因数校正(PFC)、空间受限和可靠性等。

关键字: LED 驱动电源 功率因数校正

在LED照明技术日益普及的今天,LED驱动电源的电磁干扰(EMI)问题成为了一个不可忽视的挑战。电磁干扰不仅会影响LED灯具的正常工作,还可能对周围电子设备造成不利影响,甚至引发系统故障。因此,采取有效的硬件措施来解决L...

关键字: LED照明技术 电磁干扰 驱动电源

开关电源具有效率高的特性,而且开关电源的变压器体积比串联稳压型电源的要小得多,电源电路比较整洁,整机重量也有所下降,所以,现在的LED驱动电源

关键字: LED 驱动电源 开关电源

LED驱动电源是把电源供应转换为特定的电压电流以驱动LED发光的电压转换器,通常情况下:LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: LED 隧道灯 驱动电源
关闭