大数据常用术语都了解吗?如何处理大数据中的冷数据?

在这篇文章中，小编将对大数据的相关内容和情况加以介绍以帮助大家增进对它的了解程度，和小编一起来阅读以下内容吧。

一、大数据常用术语

1.ETL

ETL 指的是提取，转换和加载。具体指的是“提取”原始数据的过程，通过清理、丰富数据将其“转换”成适合使用的，并“加载”到适当的存储库中以供系统使用。虽然它源于数据仓库，但ETL过程也被用来从大数据系统的外部资源中获取和吸收数据。

2.Hadoop

当想到大数据时，人们立即会想到 Hadoop 。Hadoop(具有可爱的大象标志)是一个开源软件框架，由所谓的 Hadoop 分布式文件系统(HDFS)组成，并允许使用分布式硬件对非常大的数据集进行存储，检索和分析。如果你真的想给别人留下深刻的印象，还可以谈谈 YARN，顾名思义，这是一种资源调度程序。取名字的人真太有才了。Apache 基金会还推出了 Hadoop，Pig，Hive 以及 Spark(是的，这些都是各种软件的名称)。真是服了这些名字。

3.内存计算(In-memory computing)

一般来说，任何可以在不访问 I / O 的情况下完成的计算都是很快的。内存计算是一种将工作数据集完全放在集群的集体内存中，避免将中间计算写入磁盘的技术。Apache Spark 是一个内存计算系统，它在速度超过 I / O 绑定系统(如 Hadoop 的MapReduce)方面拥有巨大的优势。

4.物联网(IoT)

最新的流行语是物联网(IOT)。IOT 通过互联网将嵌入式对象(传感器，可穿戴设备，汽车，冰箱等)中的计算设备进行互连，并且能够发送以及接收数据。IOT 生成大量数据，提供了大量大数据分析的机会。

5.机器学习(Machine learning)

机器学习是指通过提供的数据，使系统能够学习，调整和改进。通过预测和统计算法，他们不断学习“正确”的行为和洞察力，随着更多的数据流通过该系统，得以不断地改进。

6.MapReduce

MapReduce 可能会有点难懂。MapReduce 是一个编程模型，为了更好的理解，需注意 Map 和 Reduce 其实是两个独立的部分。在这种情况下，编程模型首先将大数据数据集分解成多个部分(在技术术语中称为“元组”)，因此可以分布在不同位置的不同计算机上(即前面所述的集群计算)，这基本上就是 Map 部分。然后，该模型收集结果并将其“减少”为一个报告。MapReduce 的数据处理模式与Hadoop 的分布式文件系统紧密相关。

二、如何处理大数据中的冷数据

1、使用便宜但可靠的冷存储

对于很少使用或存档的数据，慢速硬盘驱动器和磁带是最常用的存储介质。重要的是定期测试磁盘和磁带，以确保它们工作正常。另外，要避免将旧的驱动器和磁带降级为归档和数据备份功能——这些资源仍然有使用寿命，如果它们太旧，则更有可能出现故障。

2.考虑基于云的冷存储

如果您不想在现场或物理外部设施中存储大数据，则可以选择使用云。基于云的冷存储有很多选择，您可能会找到一种存储所有冷数据最合适的选择。

3.对冷数据进行年度评估

即使您已经有存储冷数据的方法，也并不意味着您应该存储所有数据。如果您还没有，您可以与管理层和法律部门商议确定应该保留哪些数据、丢弃哪些数据，每年评估一次即可。

4. 使用数据/存储自动化

大多数存储提供商提供分层的数据存储，这种存储是通过人工智能实现的。人工智能会采用您定义的存储数据的规则，并自动应用它们来确定数据的存储位置。

数据存储的主要层是内存存储或固态驱动器，您经常访问的数据存储就在其中。不常访问的数据可以存储在更便宜的硬盘存储的二级数据层上。

很少使用的数据或冷数据将被分配给速度较慢的磁盘驱动器或磁带，这些磁盘或磁带是您最便宜的存储介质。通过利用这种自动化，您可以确保经常以最低的成本存储冷数据的同时，始终可以将大量热数据提供给用户。

最后，小编诚心感谢大家的阅读。你们的每一次阅读，对小编来说都是莫大的鼓励和鼓舞。希望大家对大数据已经具备了初步的认识，最后的最后，祝大家有个精彩的一天。