大数据或将面临的问题

 全世界都知道大数据是怎么回事：埃森哲公司的“大数据的成功”研究发现，79%的企业高管表示，不采用大数据的公司将失去市场实力，可能面临倒闭。大数据被广泛视为所有连接到互联网的组织的生命线。此外，89%的受访者认为，大数据将以互联网的方式彻底改变商业运营。早期采用者在大数据方面看到了竞争优势，并正在迅速改变颠覆他们自己的数据实践。

但问题的关键在于许多组织只是在努力实施大数据。Unravel公司最近对组织对其大数据堆栈的意见和期望进行了一项研究，结果显示只有17%的受访者将其大数据堆栈的性能评为“最佳”，几乎满足所有关键绩效指标和目标。这主要是由于缺乏合适的技能、成本以及获得有价值和可操作的见解所需的时间等障碍。

那么，如果关键在人们的掌握之外，那么如何才能通过数据必杀技?答案是优化。但首先，人们必须评估酋长给他们当前数据堆栈带来的疑虑，以便充分理解为什么人们作为DataOps社区需要如此拼命地进行优化。

由于技能仍然稀缺，大数据引擎是否会停滞不前?

我们的研究揭示了IT运营人员的广泛痛点。然而，由于36%的受访者将其列为主要的痛点，因此缺乏技能不断成为追求数据堆栈协同效应的持续障碍。在这种技能差距中，最迫切的需求是大数据架构师，几乎一半的组织(45%)存在问题。

随着大数据不断爆炸，日常生活越来越多，人们需要大数据架构师大规模处理数据库，并使数据科学家和分析师能够梳理这些数据，以便提取可行的见解为需要见解做出业务决策的利益相关者提供更好的生活。它们对于实现企业领导者对组织的期望至关重要，特别是当他们着眼于改进的数据分析、转换和可视化时。建筑师将是企业实现这些目标的不可或缺的组成部分。

其中一个主要问题可能是让企业重新回到数据栈协调和商业幸福的风险中，因为很多组织还没有在云中托管他们的大数据应用程序。许多人的意图是：82%的受访者表示他们具有将现有大数据应用程序迁移到云端的战略。这里的推论是，他们中的许多人还没有将他们的应用程序放在云中，因此面临着随意扩展和缩小的挑战，这需要所有基础设施的准备和维护。

托管在云中的好处是众所周知的：更多的企业正在意识到云计算提供的可能性。云计算的可扩展性为业务基础设施提供了包含多个服务器，并提供前所未有的容量水平的可能性。在云中托管还可以降低成本，并提高大数据应用程序的性能。迁移到云端可能会从企业尚未意识到的大数据堆栈中释放出大量潜力。

使用APM尽早结束组织的生活

目前，大数据在防御性使用时似乎最有利可图或最有效。报告的主要四个用例是：

网络安全情报(42%)

风险。监管。合规报告(41%)

预防性维护的预测分析(35%)

欺诈检测和预防(35%)

超越经过试验和测试的项目可以对业务应用程序性能管理(APM)解决方案产生更大的影响，这是对大型数据堆栈的复杂软件和硬件冲突进行的微调、处理和增压。

APM虽然相对较新的大数据堆栈，但是DevOps团队熟知的一类技术，曾经负责管理企业内不同项目组的工具和技术。

APM是一种能够支持双方分歧并帮助企业找到共同点的技术。是否错过了服务等级协议(SLA)、失败的作业或工作流程，缓慢的作业或查询，或计算资源不明智地分配并导致延迟或最终用户的挫折。通过监控大数据平台并尝试无法实现预防或解决这些问题使用日志和图表修复问题。在典型的大数据部署中，该方法无法扩展。从隐喻的角度来说，传统的监控和调试方法就像试图解开交织在一起的电线。它只是无法扩展。对于DevOps来说，在太多不同的系统中存在太多潜在问题，可以通过反复试验来解决问题并保持准时。

该技术有望为企业带来新的数据使用方式，但DevOps团队可能会在可预见的未来管理混合平台，因为这不是一夜之间的过渡。利用APM的强大功能和优化业务流程将揭示大数据堆栈的真正可能性，更多业务领导者将开始看到此技术满足其KPI，有助于降低整个业务的成本和时间管理。

在“大数据或将消亡”的世界里，是时候认真解决复杂、快速、不断发展的大数据栈所带来的挑战了。现在的主要挑战是确保大数据栈可靠、高效地运行，并且大数据团队拥有交付下一代应用程序、分析、人工智能和机器学习的工具和专业知识。