智能视频监控技术与应用分析1引言随着计算机、网络、信息与通信、音视频编解码、流媒体等技术的日趋成熟与完善，在安防 市场巨大的需求推动下，视频监控技术正在向着数字化、网络化、智能化的方向发展，视频 监控由目视解释转变为自动解释是视频监控技术的飞跃，也是安防技术发展的必然。在2008年北京安防展上，一批视频监控前端设备厂家分别展出了各自的智能视频监控产品， 标志着智能视频监控技术已经从概念转化为产品，并逐步进入实际应用。本文结合智能视频 监控应用系统开发与部署的经验，对智能视频监控技术及其应用现状与前景进行分析。2智能视频监控技术 智能视频监控技术源自计算机视觉与人工智能的研究，它的主要研究目标是利用计算机视觉 技术、图像视频处理技术和人工智能技术对监控视频的内容进行描述、理解和分析，并能根 据分析的结果对视频监控系统进行控制，从而使视频监控系统具有较高层次的智能化水平。 图1给出了一个典型的智能视频监控系统的基本工作流程。图1智能视频监控系统工作流程智能视频分析模块获取视频序列后，首先通过图像恢复或超分辨率复原技术提高图像质量, 然后对场景中的目标进行检测、分类和跟踪，进而实现视频内容的分析理解，包括场景中的 异常检测、人的身份识别以及视频内容的理解描述等。最后根据设定的规则产生报警，进而 触发后续业务处理。各步骤介绍如下：1. 目标检测将输入的视频图像中变化剧烈的图像区域从图像背景中分离出来，它处于视频 监控技术的前端，是各种后续处理的基础。目前，算法主要包括背景减法、相邻帧差法和光 流法等。2. 目标分类利用一些图像特征值实现目标类型（一般是人和车）的甄别。用于目标分类的 特征有空间特征和时间特征两种，空间特征包括目标轮廓、目标尺寸、目标纹理等，时间特 征包括目标大小的变化、运动的速度等。3. 目标跟踪依据目标及其所在的环境，选择能唯一表示目标的特征，并在后续帧中搜索与 该特征最匹配的目标位置。常用的跟踪算法包括：基于特征的跟踪算法，基于3D模型的跟 踪，基于主动轮廓模型的跟踪以及基于运动估计的跟踪等。4. 智能分析。它位于智能视频监控的高级阶段，是实现视频监控智能化的关键。包括异常 检测、身份识别及视频内容理解等：异常检测中典型的异常包括用户定义的异常情况和非常规事件，检测方法分为基于模型的方 法和基于分类器的方法；身份识别包括人脸识别和步态识别；视频内容理解是指在对序列进行低级处理的基础上，对场景中的事件进行分析和识别，用自 然语言等加以描述。根据目前智能视频分析技术的成熟度,智能视频监控应用场景主要包括人数统计、车牌识别、 事件检测和视频诊断等。人数统计：统计穿越入口或指定区域的人或物的数量。例如可为商场统计每天的客流量。车牌识别：识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者。此技术可应用于车 辆黑名单追踪。事件检测：对视频进行周界监测与异常行为分析。异常行为包括双向越界、单向越界、进入 禁区、离开禁区、徘徊、无人值守、骤变、人员聚集、烟雾检测、快速运动、逆行、打架等 事件。视频诊断：对视频图像出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡和云台失控等 常见摄像头故障做出准确判断并发出报警信息。该技术可应用于平安城市的建设中，自动检 测摄像机的状态，从而减轻维护人员的工作强度。3智能视频监控应用3.1智能视频监控产品形态根据智能视频分析模块所处的位置可将智能视频监控产品分为两种形态:前端智能和后端智 能。其中，前端智能通过DSP方式实现，将智能视频分析算法加载在视频服务器、数字硬盘 录像机、网络摄像机等前段设备中，对摄像头采集的视频数据直接进行分析。由于利用了 DSP强大的硬件处理能力，同时前端设备的架设针对具体的智能视频分析算法优化，从而提 高了视频分析准确率，因此目前智能视频监控产品多为前端智能。后端智能通过纯软件实现， 运行于普通PC或服务器上，构成视频分析服务器。视频分析服务器获取压缩的视频流后， 对视频进行解码、分析和处理。后端智能的优势在于可以方便的与其它视频监控应用软件融 合，而且不需要对已有的前端设备进行替换升级，保护原有投资，同时智能视频分析单元可 被多路视频分析分时复用，降低整个系统的投入。但后端智能受限于视频分析服务器的处理 能力，而且已有前端设备的架设往往不满足智能视频分析的要求，导致视频分析的准确率较 低。3.3智能视频监控系统实施随着智能视频监控产品日渐成熟，智能视频监控技术开始在视频监控系统中逐步应用，大大 提高了视频信息的价值。但是，要充分发挥智能视频监控技术在视频监控系统中的作用，却 不是想象中那么简单，主要面对以下几点挑战。智能视频检测准确率。智能视频监控技术运用数学模型来描述真实世界，并试图利用数学模型来分析视频数据，但 是实际环境比数学模型要复杂得多，智能视频分析受到诸多因素的干扰而影响其检测准确 率，存在较大程度的漏报和误报，当漏报和误报达到一定比例，视频检测就失去了它的意义。 智能视频监控产品生产厂家针对各种实际应用环境，对算法进行了大量的优化以排除干扰, 提高了智能视频检测的准确率，但是实际应用环境千差万别，生产厂家要对各种环境进行优 化，势必增加研发成本与产品版本管理的负担。工程施工要求提高。由于前端设备架设环境对智能视频分析的影响，在安装前端设备时，需要根据智能视频监控 应用场景，针对性的架设。如进行人流或者车流统计时，摄像机视角与人或车行进方向垂直 会达到比较好的分析效果;而应用在车牌识别时，摄像机视角又需要能够从正面拍摄到车牌, 并且选择摄像机时要考虑低照度、逆光、车速等因素。不同的应用场景对目标对象在整个视 频中的比例或者像素也有相应要求。所有的这些要求，需要施工调试人员对智能视频分析应用场景有比较深入的了解，在施工时 针对性的选型和架设前端设备，不断的调试以达到最佳分析效果。因此，智能视频监控系统 的施工要求比普通视频监控系统要高很多。用户应用需求实现。前文描述了智能视频监控的若干主要应用场景，而用户的需求并不局限于这些场景，常常是 上述几种应用场景的混合，或者介于几个应用场景之间，如何选择智能视频分析的算法和产 品形态满足用户的需求，是智能视频监控系统开发的主要问题。同时，由于智能视频分析主 要是检测视频中的事件，并不提供这些事件的统计分析，也就是说，如何进一步挖掘智能视 频分析检测到的事件信息的价值，以此为基础开发出更高层次的增值应用，是推动智能视频 监控广泛应用的关键，也是智能视频监控应用系统开发的关键。技术到实战的转化。基于智能视频监控技术，可以提出很多实用性很高的应用，但是这些应用用于实战时，却暴 露出技术的局限。以摄像机自动接力为例，环境中如果只有一个移动目标，智能视频分析可 以很快的定位到移动目标，并实施跟踪，摄像机之间的接力跟踪也得以实现，但是一旦环境 中不只一个移动目标，单纯的依靠智能视频监控技术，并不能确定要跟踪的目标。而且，由 于摄像机跟踪时需要快球的配合，而各种快球的性能指标并不相同，快球能否保持与智能视 频分析发出的跟踪指令一致，也是智能视频跟踪进入实战的障碍。建设成本。很明显，具备智能视频监控能力的前端设备价格会高出不少，其直接影响是增加了系统建设 成本。但是，增加系统建设成本的不只是前端设备价格，还有工程施工要求提高带来的成本 增加。如上文所述，不同的应用场景对前端设备的架设有不同的特殊要求，这就导致摄像机 可能只能为专门的应用场景使用，如车流统计和车牌识别就不能用相同的摄像机，如果在路 口要实现两种应用场景，必须安装两个摄像机才能满足要求；在智能视频跟踪应用中，需要 兼顾全局与局部，就必须在相同区域安装至少两个摄像机，对快球也有特殊要求；而某厂家 的烟雾检测产品，为提高检测的准确率，设计了专门的双镜头摄像机。智能视频监控系统建 设的方方面面都可能带来建设成本的增加。尽管面对不少挑战，智能视频监控系统还是在某些领域逐渐进入实用。针对这些挑战，要建 设实战的智能视频监控系统，除了用户的应用需求外，还需要考虑监控场景的复杂程度、监 控环境、以及算法选用和参数的合理设置等。此外，合理选择摄像机及其安装位置与角度， 也是非常重要的。在智能视频监控系统的开发与实施中，应注意以下四点：根据系统的需求选择合适的产品形态。前端智能和后端智能各具有缺点，前端智能和后端智能具有各自适用的场景，因此，在搭建 视频监控系统时，应清楚两者的区别，从而进行合适的选择。一般而言，对于分析实时性强 或者算法对环境要求高的应用场景，如火车轨道闯入、非法抛洒物等，应选择前端智能；若 算法对环境的要求不苛刻，可采用后端智能，从而减少资金的投入，视频诊断是后端智能的 最好应用。应合理选择摄像机及其安装位置与角度。合理选择摄像机及其安装位置与角度，是为了在条件允许的情况下尽量降低监控场景的复杂 度，凸出有效的信息。对于不同的应用场景,摄像机的选用及安装过程是不同的。对于人数 统计，摄像头的角度要求很重要，应尽量垂直于人的头部。通常来讲,当摄像头垂直向下对 着行人头部时，由于遮挡较少，统计精度较高。而当摄像头角度接近水平时，由于行人互相 遮挡，难度较大。对于车牌识别，应选用清晰度高、信噪比大、低照度功能的摄像机。同时， 为了降低环境光照对摄像机成像的影响，还应选用补光灯。除此之外，摄像机的架设高度、 位置也直接影响到车牌的识别效果。对于事件检测，大俯视觉角度会有较好的检测效果，同 时检测的目标大小也要满足检测算法的要求。由此可见，对于智能视频监控系统，现场施工 调试是比较繁琐的，但同时这也是比较重要的，它关系到智能视频监控系统的检测准确率。应合理选用算法及设置相关参数。智能视频技术运用数学模型来描述真实世界，并试图利用数学模型来分析视频数据，因此， 在设计智能视频监控系统时，应选择与监控场景最吻合的数学模型，保证检测的精度。如， 对于无人值守应用，可选用移动侦测、人数统计及人物出现等算法。其中，移动侦测算法无 法区分人或物，而且画面中稍微有动静就会产生告警，因此会存在大量的误报；人数统计算 法只能统计进入区域或离开区域的人数变化情况，无法检测区域中是否有人存在，因此会有 大量的漏报情况发生。因此，人物出现算法更适合无人值守应用。同时，选用了一种分析算 法后，也应不断调整监控环境和调试算法参数，如目标尺寸的大小、检测灵敏度、画面搜索 范围等，从而使得监控环境与智能分析技术内部的数学模型达到最大的一致性。应发掘智能视频监控技术与实际应用的合理切入点。智能视频技术经过多年的研究，有些算法已相当成熟，但如何发挥其最大优势，寻求更多的 应用模式还需进一步的探讨和尝试。如PTZ跟踪，算法已比较成熟，在演示系统中能获得较 好的效果，但在实际应用中由于检测场景复杂，画面中人员过多，导致摄像头无法定位需跟 踪的人员，因此在实际应用中还无法推广此项业务。对于车牌识别，车牌黑名单跟踪是车牌 识别的常见应用模式，除此之外，还可以将识别出的同一车牌的摄像头联系起来，形成车牌 识别新的应用模式：车辆跟踪。总之，市场需求是智能视频监控发展的强大推动力，只有立 足技术，面向市场，发掘应用，智能视频监控才能得到广泛应用。4结束语智能视频监控技术进入实用，极大提高了视频信息的价值，具有传统视频监控无法比拟的优 势，但是因为该技术尚欠缺成熟度和稳定性，集成商智能视频监控系统建设施工经验不足， 它投入实战还面临不少挑战。经验告诉我们，解决问题的方法总是比问题多，面对这些挑战， 一方面，我们可以依靠技术的进一步发展来解决，单纯技术不能解决的问题，可以辅以非技 术手段解决；另一方面，我们可以依靠智能视频监控系统建设施工经验的积累。智能视频监 控系统的应用刚刚起步，它所发掘的视频信息价值已经为用户带来全新的视频监控体验，面 对巨大的市场需求，智能视频监控系统应该同时也有能力为用户创造更大的价值。