基于机器学习平台如何获取、处理和保留数据

人工智能和机器学习已成为两个最重要的工具，它们可帮助企业利用其核心数字资产创造竞争优势。但是在购买AI数据存储之前，企业必须考虑各种需求–基于机器学习平台如何获取、处理和保留数据。

首先我们应确定机器学习软件使用的数据的生命周期，因为这可帮助企业了解在为AI选择存储时需要考虑的因素。最初，企业必须获取数据来训练机器学习或AI算法，这里涉及软件工具来处理数据以学习任务，例如识别对象、处理视频和跟踪运动。而这些数据可能来自多种来源，并且通常本质上是非结构化的，例如对象和文件。

这个训练过程将获取数据资产，并使用机器学习或AI软件来创建算法以用于处理未来数据源。在训练或开发算法时，AI软件将处理源数据来开发模型，从而创建洞察力或满足业务需求。

开发机器学习算法很少是单一流程。随着企业积累新数据，算法会得到完善和改进。这意味着几乎没有数据被丢弃，而是随着时间的推移不断增加和重新处理。

购买AI数据存储的标准

在为AI平台选择存储前，企业必须首先考虑以下事项：

成本。对于企业而言，AI数据存储的价格是关键因素。显然，最高管理层和采购决策人员都希望存储尽可能具有成本效益，并且在许多情况下，这将影响企业的产品选择和策略。

可扩展性。我已经强调创建机器学习或AI模型需要收集、存储和处理大量数据。机器学习算法要求源数据呈指数增长，以实现精确度的线性提高。创建可靠而准确的机器学习模型可能需要数百TB甚至PB的数据，而且这只会随着时间的推移而增加。

而构建PB级存储系统通常意味着使用对象存储或横向扩展文件系统。现代对象存储肯定可以解决AI工作负载的容量需求，但是它们可能无法满足其他标准，例如高性能。另一方面，横向扩展文件系统可以提供高性能和良好的可扩展性，但在单个平台存储整个数据集可能会很昂贵。同时，考虑到可扩展性要求和高容量产品的成本，块存储通常不是机器学习或AI的正确选择。这里唯一的例外是在公共云中，稍后我们将对此进行讨论。

存储成本的变化引入了分层或使用多种类型存储来存储数据的想法。例如，对象存储库是存储大量非活动AI数据的好办法。当需要数据进行处理时，数据可被移动到高性能文件存储集群或为高性能而设计的对象存储的节点中，当完成处理，数据将被移回。

性能。AI数据的存储性能包括三个方面。首先，可能也是最重要的是延迟性。这定义了软件发出的每个I / O请求的处理速度。低延迟很重要，因为改善延迟会直接影响创建机器学习或AI模型所需的时间。复杂的模型开发可能需要数周或数月的时间才能运行。通过缩短此开发周期，企业可以更快地创建和完善模型。在检查延迟功能时，由于对象访问的流性质，对象将参考传送首字节的时间(Time To First Byte)，而不是单个I / O请求的延迟。

性能的另一个方面是吞吐量，以及数据写入存储平台或从存储平台读取数据的速度。系统吞吐量很重要，因为AI培训会处理大量数据集，通常会反复读取和重新读取相同的数据，以准确地开发模型。机器学习和AI数据的来源(例如自动驾驶汽车上的传感器)每天可以产生数TB的新数据。所有这些信息都必须添加到现有数据存储中，并且需确保对任何现有处理只有最小影响。

性能的最后一个方面是并行访问。机器学习和AI算法会并行处理数据，运行多个任务，这些任务会多次读取同一数据且跨多个并行任务。对象存储擅长并行读取I / O处理，因为不需要管理对象锁定或属性。文件服务器会跟踪内存中打开的I / O请求或文件句柄。因此，活跃I / O请求的数量取决于平台上可用的内存。

此外，机器学习数据可能包含大量的小文件。在这方面文件服务器可以提供比对象存储更好的性能。企业可向AI存储供应商提出的关键问题是，当面对大文件类型或小文件类型，其产品的性能特征将如何发生变化。

可用性和耐用性。机器学习和AI学习模型需要长时间连续运行。通过训练开发算法可能需要几天或几周的时间。在此期间，存储系统必须保持持续可用，这意味着任何升级、技术更换或扩展都不能停机。

在大型系统中，组件故障是正常现象，但必须确保不会导致停机。这意味着用于AI??的任何平台都应该能够从设备(例如HDD或SSD)以及节点或服务器故障中恢复。对此，对象存储使用擦除编码将数据广泛分布在很多节点中，并可使组件故障的影响降至最低。还有些擦除编码技术可横向扩展文件系统以提供同等级别的弹性。擦除编码方案的效率很重要，因为这直接与读写I / O的性能有关，尤其是对于小文件。

由于大多数大型对象存储太大而无法定期备份，因此可靠的擦除编码将成为AI存储平台的基本功能。

公共云。开发机器学习和AI算法既需要高性能存储又需要高性能计算。很多AI系统都是基于GPU(例如Nvidia DGX)，这可移除开发精确算法所涉及的很多复杂数学计算。

公共云服务提供商已开始提供可用于机器学习的GPU加速虚拟实例。在公共云中运行机器学习工具可降低构建为机器学习开发构建基础架构的资本成本，同时可扩展基础设施以开发机器学习模型。

使用公共云计算的挑战是如何以经济高效且实用的方式将数据导入公共云。基于云的对象存储太慢，无法满足机器学习的I / O需求;因此，必须使用本地块存储。然而，在移动数据时，每分钟延迟都会提高运行基础架构的成本，还有执行机器学习的延迟。

公共云的另一个问题是数据转出的成本。尽管云服务提供商不收取将数据移入其平台的费用，但他们会对从其平台外部的公共网络访问数据收取费用。因此，虽然公共云提供计算灵活性，但是在公共云可能难以确保及时且经济高效地将数据移入和移出云。

供应商正在开发存储产品，以公共云中运行其产品，跨越本地和云端。这些产品可以有效地复制数据或将数据移至云中，并且在完成后仅将结果移回。这些复制技术具有高带宽效率，使在本地存储数据并导入到云中进行分析工作变得切实可行。

整合。在整篇文章中，我们都着眼于机器学习和AI的存储方面。构建AI数据存储可能会很困难，我们需要考虑多种因素以确保存储网络和调整存储可配合机器学习应用程序。

正如我撰写的有关融合基础架构的文章所述，预包装产品使供应商能够在将产品交付给客户之前对其产品进行测试和优化。现在市面上有些存储产品整合了流行的AI软件、(通用CPU和GPU等)计算、网络和存储，以提供支持AI就绪的平台。在部署这些系统之前，很多细节调试工作已完成。尽管成本可能是问题，但对于很多客户而言，预包装的系统可以减少部署AI存储的障碍。

当然，选择正确的AI数据存储平台需要权衡指标，例如性能、可扩展性和成本。正确设置存储平台至关重要，因为这里涉及的数据量非常大，选择错误的产品可能会代价高昂。与任何存储产品决策一样，企业应该与供应商交谈，以准确了解其产品如何满足AI和机器学习的需求。这个过程应包括展示和评估，作为任何潜在购买决策的前提。
作者：Chris Evans来源：TechTarget中国