未来十年大数据分析的发展趋势 AI、IoT也离不开它

今天的大数据分析市场与几年前的市场截然不同，正是由于海量数据的暴增，未来十年，全球各行各业都将发生变革、创新和颠覆。

在最近Wikibon分析机构发布的市场研究报告发现，全球大数据分析市场在2017年相比前一年增长24.5%，主要是由于公有云的部署和应用强于预期，以及加速平台、工具及其它解决方案的融合。此外，不少企业正在通过大数据分析更快脱离实验和验证阶段，并从部署中获得更高的商业价值。

展望未来，Wikibon预测2027年整体大数据分析市场的年增长率将以11%的速度增长，全球将达1030亿美元。其主要市场来源于物联网、移动端和边缘计算等中采用大数据分析技术。

正如Wikibon的研究所证实，未来十年将推动大数据分析行业发展的主要趋势如下：

公有云供应商正扩大其影响力。大数据行业正围绕三大主要公有云供应商，即AWS、微软Azure和谷歌云平台，大部分软件供应商正在构建可以在这些平台运行的解决方案。除此之外，数据库供应商正在提供托管的IaaS和PaaS数据湖，鼓励客户和合作伙伴开发新的应用程序，并将其迁移到其中的旧应用程序中。因此，纯数据平台、NoSQL供应商在日益被多元化的公有云供应商的大型数据领域逐渐陷入边缘化。

公有云优于私有云的优势继续扩大。公有云正逐步成为客户群的首选大数据分析平台。这是因为公有云解决方案比内部部署堆栈更为成熟，增加了更丰富的功能，且成本日益增加。另外，公有云正在增加其应用程度编程接口生态系统，并加快开发管理工具的速度。

加速融合以企业实现商业价值。用户开始加快将孤立的大数据资产融合到公有云的速度。而公有云厂商也在优化困扰私有大数据架构的跨业务孤岛。同样重要的是，云数据和本地数据解决方案正融合到集成产品中，旨在降低复杂性并加快实现业务价值。更多的解决方案提供商正在提供标准化的API，以简化访问，加速开发，并在整个大数据解决方案堆栈中实现更全面的管理。

大数据初创公司将越来越复杂的AI注意应用程序推向市场。过去几年来，许多新的数据库，流处理和数据初创公司加入到市场中。不少公司也开始通过AI的解决方案加入到市场竞争中。其中大部分创新方案都是为公有云或混合云部署而设计的。

新兴解决方案逐渐替代传统方法。越来越多的大数据平台供应商将涌现出融合物联网、区块链和流计算的下一代方法。这些大数据平台主要针对机器学习、深度学习和人工智能管理端到端devops管理进行优化。此外，不少大数据分析平台正在为AI微服务架构设计边缘设备。

Hadoop 地位屹立不倒。Hadoop 现今更多的迹象表明，市场将Hadoop视为传统大数据技术，而不是颠覆性业务应用程序的战略平台。不过，Hadoop作为一种成熟技术，被广泛用于用户的IT组织的关键用例，并且在许多组织中仍然有很长的使用寿命。考虑到这一前景，供应商通过在独立开发的硬件和软件组件之间实现更平滑的互操作性，不断提高产品性能。

打包的大数据分析应用程序正变得越来越广泛。未来十年，更多服务将自动调整其嵌入式机器学习、深度学习和AI模型，以持续提供最佳业务成果。这些服务将纳入预先训练的模式，客户可以调整和扩展到自己的特定需求。

虽然大数据分析采用的预测看起来很好，但仍存在许多障碍：

复杂度过高。大数据分析环境和应用程序仍然过于复杂。因此，厂商需要继续简化这些环境接口、体系结构、功能和工具。以将复杂的大数据分析功能应用于主流用户和开发人员。

成本高昂且效率低下。对于许多IT专业人员来说，大数据分析管理和治理流理仍然过于孤立，成本高昂且效率低下。供应商需要构建预先打包的流程，帮助大型专业人员团队更有效、快速和准备的管理数据及分析。

缺乏自动化功能。大数据分析应用程序的开发和运营仍然过于耗时且需要手动。供应商需要加强其的自动化功能，以确保提高用户技术人员的生产力，同时确保即使是低技能人员也能处理复杂业务。

对于企业IT来说，Wikibon的主要建议是开始将更多的大数据分析开发工作迁移到公有云环境中，这也将加速AWS，微软，谷歌等云厂商提供的快速成熟且低成本产品的能力。