海康云存储分析报告目录1海康云存储系统架构分析12海康云存储工作流程分析22.1录像存储及回放流程分析22.2图片存储52.3服务叠加性业务62.3.1缓存补录62.3.2抽帧转存62.3.3录像备份73负载均衡和弹性扩展74海康云存储的用户价值84.1整合其他业务系统的部分预处理84.1.1智能分析预处理84.1.2大数据预分析95总结9第9页, 共11页1 海康云存储系统架构分析物理存储层 由标准的物理设备组成，支持FC-SAN或者IP-SAN等网络存储系统，兼容所有支持标准存储协议（块协议/流媒体协议）物理设备。数据存储层：（从后面工作模式分析来看，基本就是CVR软件）根据管理层业务分配，执行具体数据存储。从其宣传胶片突出点自主第二代流媒体直写技术+云计算调度机制=海康CVR云存储云存储管理层： 1）实现上层服务（视频录像、回放、查询、智能分析数据请求等）的响应。 2）实现整个存储系统的虚拟化统一化管理。（这个虚拟化并不是对外部呈现为一个通用存储空间，而是对录像计划来说可以做到存储节点收流存能力和空间共享） 3）建立云平台与云存储文件系统通讯连接：实现上层应用需求的协议封装，使之可以直接访问云存储文件系统。 4）当服务层有数据写入请求时，云存储管理层根据云存储文件系统各节点的压力自动分配到负载较小的节点完成数据存储，并生成索引文件，实现自动负载均衡。（根据描述，检索只需要由云存储管理节点即可完成，因此所有索引文件都会同步到云存储管理节点） 5）当上层应用有数据调用请求时，云存储管理层会按照索引信息查找到所需数据提供给上层。 6）负载均衡/故障透明。当云存储文件系统某节点负载过高或者故障时，该层会自动把该节点的部分负载或者全部负载均衡地转移到其他节点上，转移过程对上层透明。接口层： 实现上层不同类型应用的统一封装，提供对外一致的云存储访问接口。应用层： 为安防监控平台的业务提供不同数据存储支持，包括：实现实时录像、智能分析、智能数据搜索引擎等存储应用。2 海康云存储工作流程分析2.1 录像存储及回放流程分析管理节点对录像计划会进行整合和分解，然后再同步到相应的存储节点，由于存储空间不绑定，从CVR测试报告来看，其会按照2GB/2小时的间隔来定义一个录像分片，因此，推断其宣称的离散存储，分片粒度可能是2GB/2小时或是其整数倍，通过管理节点对存储节点起停录像计划来达到离散的目的，而由于索引统一在管理节点整合处理，配合客户端能达到并行下载的目的。视频存储模式实质还是存储节点（CVR）通过SDK方式进行取流存储，写完一段数据后均需要将时间片索引同步到管理节点中，管理节点和存储节点之间通过类似保活的机制来进行状态获取，存储节点的异常切换会受限于保活周期。管理节点不仅维护所有存储节点信息，而且需要同步调度存储计划，同时保存时间片索引，管理节点的性能要求很高，而且由于其调度的对象是录像计划，那么要实现类似高级存储特性，如节点间RAID支持就比较困难。对于国标模式，由于存储节点不再能通过SDK方式来直接取到视频流，因此，其引入VAG中心接入模块：其描述的国标录像详细流程如下：1、国标前端IPC通过SIP信令向平台（视频接入网关VAG）注册2、平台下发录像计划到云存储管理节点3、云存储管理同步录像计划到指定存储节点4、存储节点向平台（视频接入网关VAG）返回存储资源分配情况5、平台（视频接入网关VAG）向国标前端IPC转发存储资源分配情况6、国标前端IPC向指定的存储节点推送视频数据流7、视频数据存储完成后，存储节点向管理节点写入索引第5条应该是VAG直接通过国标协议通知IPC向某一个存储节点的IP/PORT发送实况流，此时如果存储节点宕机或是服务异常，管理节点并不能直接完成存储节点的切换，其需要通知平台VAG模块，然后通过平台下发录像计划的过程再次触发重新选择存储节点，切换的时间相比其通过SDK的方式切换要更长。2.2 图片存储分别对应我司的卡口TMS图片转存和即将推出的图片直存模式，与录像模式不同的是，图片直存应该是相机主动发起写入（仅对部分海康相机），然后获取到URL后推送到平台数据库进行保存，出于性能考虑，IPC不会每次写入图片时均从管理节点来获取空间，更可能的是获取一个存储节点IP及较大空间如2GB粒度，然后将图片推送到存储节点，文件格式沿用的应该也是其流结构文件系统，也即每次写请求分片（512KB）的模式。这里存在可能的几个问题：1、 如果其对512KB分片机制不做修改，其图片存储的空间利用率可能是个问题；2、 管理节点不做存储计划同步，仅做空间分配使用，分配粒度到底是固定大小还是直接就是仅分配一次，以及由此导致的负载分摊均衡度有待考证；2.3 服务叠加性业务由于存储节点和管理节点性能预留较多，能叠加很多录像处理类的服务，比如图片建模、抽帧转存、录像备份等。2.3.1 缓存补录2.3.2 抽帧转存2.3.3 录像备份说明：1、 备份数据段是基于管理节点中记录的录像分片，也即2GB或是一个固定大小段；2、 云内备份就是同一个管理节点域下的存储节点之间，多云备份就是不同管理节点域下的存储节点之间；3 负载均衡和弹性扩展利用管理节点的录像计划调度，要实现存储路数的分摊和切换，并不困难。但切换的粒度初步估计应该是以2GB/2小时近似的粒度。4 海康云存储的用户价值4.1 整合其他业务系统的部分预处理这部分的整合得益于存储节点和管理节点较高的硬件配置，整合较多的业务后期处理。4.1.1 智能分析预处理如以图找图：写入图片时存储节点进行特征建模，之后智能分析服务器定期获取相似图片模型信息。4.1.2 大数据预分析5 总结应该说海康安防云存储的基础就是NVR集群，所谓的CVR也就是仅保留存储、转发等基本业务的NVR，然后再通过录像计划调度来达到负载均衡和弹性扩展的监控云存储。后期在存储业务基础上也叠加了部分智能和大数据的预分析业务。从一个存储业务栈的角度来说，海康云存储是在包装成流媒体存储接口的存储设备，对外提供调度的是收流业务的能力，而不是数据组织层面的抽象，进一步说是一个业务层面的抽象，而不是存储层面的抽象。所以，当要求实现节点间RAID、普通文件存储服务等要求就会比较难实现，而且由于在存储设备上叠加了太多业务实现，设备硬件配置要求就会水涨船高。另外，由于IPC参与存储业务的环节很少，只需要发送一股实况流，虽然在一定程度上简化了IPC的设计，但一些能在发起存储侧第一时间感知的存储异常在这种模式下就只能依赖于保活等方式来实现了。