关于大数据技术的这些知识，你都了解多少？

从某种程度上说，大数据是数据分析的前沿技术，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术，也正是这一点促使该技术具备走向众多企业的潜力。大数据最核心的价值就是在于对于海量数据进行存储和分析，相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。尽管有些网络数据披着大数据的外衣，但并不是每一种数据融合都可以叫做大数据。有些数据拥有以下4种属性中的一种或多种，也不能被归类为大数据，要完全拥有以下4种特性(大数据的4个“V”)才能称得上是大数据。

大数据是在运动着的，通常处于很高的传输速度之下。它经常被认为是数据流，而数据流通常是很难被归档的(考虑到有限的网络存储空间，单单是高速就已经是一个巨大的问题)。这就是为什么只能收集到数据其中的某些部分。如果我们有能力收集数据的全部，长时间存储大量数据也会显得非常昂贵，所以周期性的收集数据遗弃一部分数据以节省空间，仅保留数据摘要(如平均值和方差)。这个问题在未来会显得更为严重，因为越来越多的数据正以越来越快的速度产生。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。

大数据采集技术:数据采集是通过RFID射频技术、传感器以及移动互联网等方式获得的各种类型的结构化及非结构化的海量数据。大数据采集一般分为大数据智能感知层和基础支撑层: 大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统。实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。

基础支撑层:提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的区络传输与压缩技术，大数据隐私保护技术等。

大数据预处理技术:大数据预处理主要完成对已接收数据的抽取、清洗等操作。

抽取:因获取的数据可能具有多种结构和类型，数据抽取过程可以将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

清洗:对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤"去噪"从而提取出有效数据。

在实现技术层面确实差别会很大，但是总体的分析流程其实和传统的数据分析差不多，也是有着：数据采集、预处理、数据存储、数据分析这样的过程。但因为大数据分析数据量十分庞大的特点，导致这些过程在处理技术上都要依托相应的底层框架。这也使得大数据分析具有以下特点

数据量大：因为数据量的庞大，导致大数据分析需要另外的实现工具和框架。但这个庞大的界定有多种说法，有的是说几十万，几百万就是很大的数据量，有的说数据量达到传统处理根据没法处理的程度才算大(包括非结构化数据处理维度很大，上万的数据量就很难处理了)，这些都可以称为大数据。

对算法要求较低：随着数据量的增加，大数据分析的方法可能会趋向于基础化，就是不会很复杂。其实大数据挖掘更多的是挖掘相关性，而这种相关性也难以被严格证明为因果，且大数据的繁杂，导致很难做精确的分析，或者说做出的精确分析的可靠性也会打折扣，所以一般会用基础的算法(实际中往往是更简单些的算法效果更好)。