Gao Lin,Sichuan University, Spring 2010,智能视频监控及其相关技术,主要内容,智能视频监视系统 目标检测 阴影去除 目标跟踪,视频监控在银行、电力、交通、安检以及军事设施等领域的安全防范和现场记录报警等方面有着非常广泛的应用。,监控技术发展的三个阶段,1 vs 1,1 vs N,智能视频监控系统是利用计算机视觉技术，在不需要人为干预的情况下，对视频信号进行处理、分析和理解，并对视频监控系统进行控制，从而使视频监控系统具有像人一样的智能。,应用实例,智能视频的应用大体上可以分为安全相关应用和非安全相关应用两大类。 安全类相关的应用是目前市场上存在的主要智能视频应用，特别是在911恐怖袭击、马德里爆炸案以及伦敦爆炸案发生之后，市场上对于此类应用的需求不断增长。这些应用主要作用是协助政府或其他机构的安全部门提高室外大地域公共环境的安全防护。此类应用主要包括：高级视频移动侦测、物体追踪、人物面部识别、车辆识别和非法滞留等。 除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类的应用当中。这些应用主要面向零售、服务等行业，可以被看作管理和服务的辅助工具，用以提高服务水平和营业额。此类应用主要包括：人数统计、人群控制、注意力控制和交通流量控制等。,安防,1、 绊线检测 针对人、车通过特定运动方向绊线的监控；其应用如：警戒线、单向闸门流向、栅栏攀爬等； 2、 警戒区域 针对人、车进入或离开特定管制区域的监控；其应用例：停机坪、码头车站的工作区域、营业场所后台等。 3、 闲逛 针对不合理滞留过久的人、车发出警示讯息，以提醒安管保全人员加以盘察注意。 4、 偷窃 针对特定重要资产的保全；例如：贵重的挂画或摆饰、装备器材、场站内的车辆或机具等。 5、 遗留物 针对可能的爆裂物、易燃物、生化污染物的恶意弃置。 6、 群体事件 针对人群聚集,车牌识别 车速测量 流量统计 逆行告警,智能交通监控,对设定区域的移动物体（通过预先设置的大小形状来进行过滤）进行动态跟踪。 可应用于监控物理周界和虚拟周界的区域，监视是否有目标进入或预进入， 可用于监控边界、监狱、机场、化学基地等周界,移动物体监视,智能交通监控,IVS研究现状,1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术,美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况,2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理,2003年,由欧盟发起，法国的SILOGIC公司和英国的雷丁大学等十几家机构参与研究的AVITRACK项目，该系统主要针对机场停机坪周围的环境，检测和跟踪停机坪中出现的飞机、汽车以及行人等，其目的是为机场管理者所关心的机场流量及调度形成一个强有力的决策辅助工具，以便提高机场的利用率同时对机场的安全提供一个有力的保障。,IEEE Conference on Computer Vision and Pattern Recognition,智能视频监视系统的基本框架,低层视觉处理,中层视觉处理,高层视觉处理,目标检测将输入的视频图像中变化剧烈的图像区域从图像背景中分离出来，它处于视频监控技术的前端，是各种后续处理的基础。目前，算法主要包括背景减法、相邻帧差法和光流法等。,目标跟踪依据目标及其所在的环境，选择能唯一表示目标的特征，并在后续帧中搜索与该特征最匹配的目标位置。常用的跟踪算法包括：基于特征的跟踪算法，基于3D模型的跟踪，基于主动轮廓模型的跟踪以及基于运动估计的跟踪等。,目标分类利用一些图像特征值实现目标类型（一般是人和车）的甄别。用于目标分类的特征有空间特征和时间特征两种，空间特征包括目标轮廓、目标尺寸、目标纹理等，时间特征包括目标大小的变化、运动的速度等。,行为理解指在对序列进行低级处理的基础上，对场景中的事件进行分析和识别，用自然语言等加以描述。根据运动目标的运动轨迹进行行为分析。,主要内容,智能视频监视系统 目标检测 阴影去除 目标跟踪,视频运动目标检测,运动目标检测的目的是从视频图像中 将运动目标与背景分割出来，由于光 照变化、背景物运动干扰、运动目标 阴影以及摄像机运动等干扰因素的存 在，为运动目标的正确检测带来了巨 大挑战。,Goals of motion detection Identify moving objects Detection of unusual activity patterns Computing trajectories of moving objects Applications of motion detection Indoor/outdoor security Real time crime detection Traffic monitoring Many intelligent video analysis systems are based on motion detection.,典型的运动目标检测方法主要有以下三种算法： 帧间差分法 光流法 背景差分法,帧间差分法,将连续的两帧或三帧图像对应像素点的灰度值相减，当环境亮度 变化不大时，如果对应像素值相差很小，则认为此处是静止的， 标记为背景；如果对应像素值相差较大，则认为这是由目标运动 引起的，该处像素标记为运动目标。,优点： 算法实现复杂度低； 检测速度快，易于实现实时监视； 由于相邻帧的时间间隔较短，因此该方法抗干扰能力较强，对环境有较好的适应性。 缺点： 该方法检测出的运动区域包含了相邻两帧中所有存在变化的区域，因此提取出的运动目标往往大于实际目标，不能够准确反映运动目标的真实形状。 当运动目标存在大范围的灰度相似区域时，会产生明显的“孔洞”现象，以至于运动目标提取不完整。 It evidently works only in particular conditions of objects speed and frame rate Very sensitive to the threshold Th,光流法,光流法是通过计算图像的光流场实现运动目标检测的一种方法。 所谓光流场是指空间运动物体被观测表面上的像素点运动产生 的瞬时速度场,一个二维的速度场，包含了物体表面结构和动态行为的重要信息。,光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。假设E(x,y,t)为(x,y)点在时刻t的亮度，设t+dt时刻该点运动到(x+dx,y+dy)点，它的亮度为E(x+dx,y+dy,t+dt)。我们认为，由于对应同一个点在短时内它的亮度值不变，所以 E(x,y,t) = E(x+dx,y+dy,t+dt) 光流约束方程 将上式右边做泰勒展开，并令dt-0，则得到： Exu+Eyv+Et = 0 其中：Ex = dE/dx Ey = dE/dy Et = dE/dt u = dx/dt v = dy/dt。上面的Ex,Ey,Et的计算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出u,v。,上述只有一个方程，有两个未知参数，所以这是个病态问题，要求解只有加入其他的约束方程以联立求解。针对摄像机固定的这一特定情 况，问题可以大大简化。 在摄像机固定的情形下，运动物体的检测其实就是分离前景和背景的问题。我们知道对于背景，理想情况下，其光流应当为0，只有前景才有光流。所以我们并不要求通过求解光流约束方程求出u,v。我么只要求出亮度梯度方向的速率就可以了，即求出 sqrt(u*u+v*v) 而由光流约束方程可以很容易求到梯度方向的光流速率为 V = abs(Et/sqrt(Ex*Ex+Ey*Ey) 这样我们设定一个阈值T V(x,y) T 则(x,y)是前景 ，反之是背景,背景差分法,利用建立的背景模型来生成背景图像的像素值，然后将当前帧 与背景图像求差，差值较大的像素区域被认为是运动目标区域， 而差值较小的像素区域被认为是背景区域。,First consequent problem: how to automatically obtain the image of the scenes static background?,requirements,The background image is not fixed but must adapt to: Illumination changes gradual sudden (such as clouds) Motion changes camera oscillations high-frequencies background objects (such as tree branches, sea waves, and similar) Changes in the background geometry parked cars, .,统计背景模型： 单高斯模型 混合高斯模型 非参数模型,单高斯模型：假定每个像素特征在时间域上的分 布可以由单个高斯分布来描述,假定每个像素点的颜色特征在时间域上的分布可以由单个高斯分布 来描述，,其中 ， ， 分别为 时刻像素颜色值，高斯分布的均值和方差。,其中 a为学习率，a取值范围是 0,1，可以通过取不同的a值调整背景的更新速度。,混合高斯模型(GMM)：为了描述分布形式更为复 杂的背景，有必要应用到多模态的分布形式。,GMM模型定义 Gaussian Component Weights of each component,Updating Weights For the matched component k, Updating Mean and Sigma,Matching Indicator, within 2.5 SD,GMM模型更新,GMM模型估计,Ordering Gaussian components by the value of The first B distributions are chose as the background model T: a measure of the minimum portion of the data that should be accounted for by the background.,混合高斯模型由于对每个象素，都建立了多个高斯分布， 因此对于象素的扰动，具有较强的适应性，能够造成较好 地排除噪声的干扰，具有较好的鲁棒性 和普通的背景减除法相比，是自适应前景检测阈值。 没有普通背景减除法的拖尾现象。,非参数模型：不需对背景模型做任何假设，直接利用 先前获得的像素值估计当前像素为背景 的概率. 常用的非参数密度估计法有 直方图估计法，Parzen的核估计法，等等,背景差分法存在的问题,不适应光照突变环境 可能检测出虚假目标,即“鬼影”,光照突变的类型和特点,光照突变分为环境光照强度发生突然变化和摄像机增益系数发生改变两种，如当视场内突然经过面积过大的目标时，摄像机会改变增益，虽然环境光照可能没变，但摄像机曝光强度改变，其效果和光照突变时一样。 光照突变通常是全局的，如室内突然开灯和摄像机的自动增益调整。,光照突变时运动目标检测的依据,根据朗伯反射定律，图象亮度和入射光照强度成正比，同时由于光照突变的全局性，因此当前帧图象中所有背景象素点亮度和对应高斯背景亮度之比值为一个常数。 考虑到朗伯防射定律的近似性和光照突变全局假设的局限性，当前帧所有背景象素点和对应高斯背景亮度之比分布在一个较窄范围之内。,光照突变时亮度比值的分布,光照突变前,光照突变后,光照突变前后当前帧背景象素