大数据变“小”的云存储

 一、概述

近年来视频监控行业的发展愈发蓬勃，监控点位装机数量呈爆发式增长。2014年全球摄像头出货量达到5646万台，每天产生的视频监控数据量达160PB，同时随着监控IP化特征的持续加力等因素的影响，市场对视频监控存储产品的应用和发展提出了更高要求。其主要体现在对庞大存储系统的资源的合理利用、性能的持续增长、以及管理和服务获取的方式等多个方面。

二、视频监控存储现状

在当前视频监控存储产品中传统的DVR/NVR、SAN、NAS等存储方式虽仍然占有大量份额，但多适用于满足小型视频监控的需求。对于庞大存储系统的整合、资源利用率的提升、存储服务获取和管理的便利性等方面，云存储的产品化应用无疑是行业中的亮点。在云存储的概念提出初期，其特点和功能长期处于非常模糊的状态，业界对云存储的理解也常常是云山雾罩，究其原因实际是云存储还没有完成产品化。而从2013年起在安防行业就陆续有云存储系统的产品出现，并迅速在行业中取得突破，从厂区、楼宇到金融银行、再从交通系统到大型平安城市的视频监控系统都陆陆续续出现云存储部署的身影。随着视频监控行业云存储项目的遍地开花，尽管实现的技术路线不尽相同，但是对云存储的特质和能力却有了较为普遍的认识。

三、大数据的云存储服务特征

首先，从目前多种云存储的方案中可以明显体会到，云存储本身并非某一特定的技术路线，而是一种具有典型特质的存储服务方式，即可以明确地指出云存储是一种服务，而非某种单一的技术。云存储的服务就屏蔽了大量的技术细节、功能特点等繁琐的实现原理，做到无论其构成如何复杂、系统如何庞大，其服务方式始终是具有共性和可描述的。

那么云存储的服务可以描述为是统一、灵活、安全的存储服务。统一体现在对云存储内部的多种存储技术、多种存储设备形态的屏蔽。通过软件的统一整合向用户提供唯一的服务获取出口，具体可以体现为唯一访问IP、唯一的管理界面、唯一的操作方式等等。

灵活则体现在从云存储获取服务时的自由度上。早期曾有业界人士将使用云存储服务比作用水用电一样，这种思想和方式即体现在对存储容量获取的灵活性上。用户使用云存储服务，将自己的数据写入云存储，可做到需要多少容量就获取多少容量，不受限于底层存储设备的规格限制。这个就需要云存储系统在容量分配时能够做到足够的精准，同时对调整的要求也要足够灵活。

安全体现的是云存储提供可靠保障的能力，对不同的数据可以提供不同的安全级别保障，差异化服务。视频监控数据体量庞大，因此常有不同的存储周期要求，不同的存储周期对于数据的完整性要求也不尽相同。因此云存储系统提供存储安全保障的能力应该匹配实际项目的需求，在项目成本控制和安全级别要求上达到平衡和共识。

四、大数据的云存储服务难点与挑战

1、统一服务

上述云存储的服务能力虽然容易达成一致，但是在技术路线选取、具体能力级别的实现上却普遍出现较大差异。首先就统一的服务获取出口这一功能就需要云存储系统具有强大的横向扩展能力，需要在系统容量扩展上不存在上限，同时性能也要与容量保持同等线性增长才能满足在扩容的同时服务质量不至于下降。当前实现云存储的架构一般多为分布式存储架构，虽然云存储系统是物理位置相对集中的中心存储方案，但是在系统内部数据却是被切片后存储在不同的物理设备上的。在这种架构上元数据服务器起到对数据分布式的统一调度、灵活分配、动态调整的作用，其性能直接决定云存储系统的规模。常规的元数据服务器主备工作模式采取的是一主一备两台元数据服务器，其中只有一台服务器在工作，另一台仅同步配置信息和元数据信息，并不响应业务的分布式调度需求，因此性能并未有任何提升。在此种工作模式下，云存储系统也往往存在容量和性能瓶颈，我们常规看到的可管理存储设备最大数量从16台到30台不等，各厂商实现也不尽相同。这种规模级别直接制约了云存储系统的统一服务能力。

而最新兴起的元数据服务器集群组建方式则有效地解决了这一问题。元数据服务器通过彼此间相互同步元数据信息，共同对整个系统提供分布式存储策略调度和管理，有效地提升整个云存储系统管理性能。通过元数据集群本身的线性增长，可以促使存储设备数量的不断增加，真正实现容量的无阻碍横向扩展，在超大规模云存储系统的统一服务提供上做出了有效的支撑。

2、灵活服务

在存储容量灵活性要求下，需要云存储系统能够最大限度匹配视频监控的存储需求。1路2Mbps的标清摄像头，一天产生的数量约为21GB。若一天中只有工作时间录像或者事件触发录像则产生的数据量更低。在民用视频监控行业中对于按需付费的思路则要求云存储分配的存储空间粒度至少是GB级别。这对于云存储的空间分配策略、虚拟化容量整合能力提出了严峻的要求。传统按照逻辑卷或者磁盘大小为单位的构建方式将直接导致分配容量时粒度过大，不能满足这种灵活的容量分配需求。因此在云存储技术实现中对磁盘容量进行更低粒度的切片，生成更低粒度的数据块，以在容量的分配、调整上换取更大的灵活性成为一种可行的技术方向。以数据块作为云存储基础的数据单元之后，可以实现数据的灵活分配、调整、以及对分布式存储的支持和大数据并发吞吐性能的提升都带来的意想不到的好处。但是随之而来的问题则是对大量数据块如何进行有效的管理，在这里业界主要有两种不同的方向。

第一种方向的思路通过文件系统对数据块资源进行组织和利用，这种思路的优势是可以支持多种数据的存储，不限定数据类型。但同时也忽略了视频录像数据是流式数据的这一本质特点，在视频录像的存储效率和应用扩展上做出了牺牲和让步。要说清这个问题需要理解视频流式数据与非流式的文件数据的差异。简单来讲流式数据在视频监控领域是由摄像机产生，以开始录像为起点持续不断的产生，在不做时间限定的前提下是没有结束的，因此其数据量大小也会不断增加没有终点。而非流式的文件型数据则是有固定的文件大小、文件格式、文件名称等文件属性。如果以非流式的文件方式存储流式的视频数据则需要将视频流人为截断、按照文件名、按照数据量大小生成一个个单独的视频文件，这从本质上就破坏的流式数据的特征。再加上对视频流检索查找时，在文件系统中就只能通过文件名、目录结构、文件属性等进行检索查找，无法深入精确的定位到每一秒或者每一毫秒的视频数据，在视频数据的使用和大数据分析上人为增加了技术壁垒。

第二种方向的思路则跳开了文件系统对流式视频数据的制约，采用流式系统存储流式数据的方式，若不限定视频流的录像时间则满足视频流不断持续写入数据块，同时在视频流写入时加入精确的时间点定位以支持精准检索的需要。这样的视频写入方式直面视频录像数据本质，不但能够满足视频流高效、连续的存储需要，同时又能精准定位到视频数据的每一个时间点，在视频数据应用上极大的满足了其本质需求。因此此种方式不但回放和下载时更精准，同时更为可贵的是不会产生文件碎片，从而大幅提高云存储系统的吞吐性能和资源利用率。

就目前行业内对于云存储的具体处理方式上，以上两种方式都已经实现。以海康威视为代表的安防行业的视频监控厂商则更为关注于视频流式数据的本质，因此应用第二种方式的较多。

3、安全服务

在数据安全的可靠性保障上，目前主流应用的技术也较为丰富。从RAID5、6技术到基于纠删码的网络RAID技术、到多副本保障技术、到异地数据中心的备份恢复技术等多种。需要理清的是采取更高级别的安全可靠性保障的同时对具体的物理设备数量、功能要求也越为严格。就视频录像数量的容量上看，其体量是非常庞大的，而且在大量视频录像产生的基础上，多数视频录像是会随时间不断被循环覆盖掉。在这样情况下为满足过高的可靠性保障而投入大量成本和资金就变成一种不经济的做法。因此对数据安全性需求进行区分，支持分级别安全可靠性保障就是一种结合安全和成本的综合考虑方式。这种方式就对云存储提出了要支持分级安全存储的功能要求。就目前行业云存储的实现来看，也仅仅是少量厂商能够支持如此丰富的安全和可靠性的要求，多数厂商在安全可靠性上还停留在某种单一方案上。当然，随着技术的不断发展，越来越丰富的安全可靠性机制也会逐渐被大家所认识和接受。

海康威视云存储系统秉承于技术服务安防的理念，将云存储核心技术框架与视频监控行业特性结合。通过统一的服务窗口、灵活的容量分配方式和基于业务的分级可靠性保障为云存储在视频监控系统中的应用提供有效的方案支撑。

五、大数据的云存储价值

在风起云涌的大数据云时代，机遇始终是与挑战并存的。大数据的核心诉求是对数据内容的分析和价值的挖掘。在多种数据类型中，结构化数据是最便于提取到信息价值的，而以视频数据为代表的非结构化数据的提取难度则是非常大的。因此作为存储系统，其是否能够对于大数据应用做出良好的支撑就显得尤为重要。而作为整个大数据体系中，存储系统又是最底层的，其保留的是大量未经分析的基础数据，大数据的挖掘则是需要通过云计算系统的超强计算能力对庞大的基础数据进行计算分析，得出可结构化的价值信息，以提供给各个应用需求进行整理和挖掘。视频数据的结构化除了完全依赖云计算系统外，云存储系统如果具备基本的处理能力，与云计算系统进行配合则可大幅提高整个过程的效率。这就要求云存储不仅满足高效存储的功能，还能够针对应用做出适度的调整。目前沿着整个大数据视频分析挖掘的方向来看，前端智能、后端分析的结合处理效果会比较明显。前端摄像机在录像时即可产生基础的智能化结构信息，云存储负责视频录像数据和智能结构化数据存储，同时也可以对视频画面做基础的剥离和提取，云计算直接从云存储中获取剥离的画面数据和智能结构化数据用于进一步的分析计算，全面生成有价值的结构化数据，各个大数据分析应用从结构化数据中提取数据原型进行规则比对、筛选最后得出大数据应用的结果并进行呈现，这些过程一环接一环配合推进才能高效实现视频大数据的价值挖掘。海康威视云存储系统作为大数据整体解决方案的重要组成部分，在提供统一、灵活、安全数据存储服务的同时，充分理解大数据价值挖掘所面临的挑战，将数据存储与基础分析完美融合，向大数据平台提供有效的数据来源，全面服务视频大数据的工作开展，做出了积极、有效的尝试和努力。

海康威视云存储系统作为大数据整体解决方案的重要组成部分，在提供统一、灵活、安全数据存储服务的同时，充分理解大数据价值挖掘所面临的挑战，将数据存储与基础分析完美融合，向大数据平台提供有效的数据来源，全面服务视频大数据的工作开展，做出了积极、有效的尝试和努力。

六、结语

无论现在或者是将来，云存储技术在视频监控行业的应用将是视频大数据系统中不可缺失的一环。云存储在未来发展的方向应不仅仅局限于本身存储业务的各种功能实现，更要从全面、宏观的角度找准自身在大数据浪潮中的定位，为视频监控行业中存储系统应用化的深度发展做好准备和经验积累。让躺在存储系统中宝贵的海量视频数据资源迸发出耀眼的光芒。