LOGO复杂监控视频中异常行为检测算法实现复杂监控视频中异常行为检测算法实现n答答 辩 人：人：刘刘 伟n指指导老老师：樊：樊亚文文苍苍松松优选优选背景及意义背景及意义u 背景及意义背景及意义 视频监控一直以来都是计算机视觉领域的一个活跃的方向，视频监控一直以来都是计算机视觉领域的一个活跃的方向，目前已经广泛应用于公共和私人场景中，如犯罪预防、交通控目前已经广泛应用于公共和私人场景中，如犯罪预防、交通控制、事故预测、病人监控。其中包括室内和室外场景的监控。制、事故预测、病人监控。其中包括室内和室外场景的监控。每天城市中的各个角落的摄像机都在采集着监控数据。如此庞每天城市中的各个角落的摄像机都在采集着监控数据。如此庞大的数据必须采取一个有效的方式去分析。而现在，大多数的大的数据必须采取一个有效的方式去分析。而现在，大多数的监控视频数据都是通过人工监督的，这是一个乏味且耗人力的监控视频数据都是通过人工监督的，这是一个乏味且耗人力的工作，并且人工监督实时性差，会存在监控漏洞。不能对监控工作，并且人工监督实时性差，会存在监控漏洞。不能对监控视频中发生的异常现象及时作出报警以采取措施应对。因此视视频中发生的异常现象及时作出报警以采取措施应对。因此视频监控中自动识别检测异常行为变得迫切需要。频监控中自动识别检测异常行为变得迫切需要。苍松松优选国内外研究现状国内外研究现状u国外研究现状国外研究现状 1999年，卡内基隆大学、戴维研究中心等知名高校和研究年，卡内基隆大学、戴维研究中心等知名高校和研究机构研制了视频监视与监控系统，目标开发自动视频理解技术。机构研制了视频监视与监控系统，目标开发自动视频理解技术。欧盟长期研究项目资助研究的，基于图像处理的视频监控系统，欧盟长期研究项目资助研究的，基于图像处理的视频监控系统，提供了图像处理、理解技术来视频数据中获得有用的信息。马提供了图像处理、理解技术来视频数据中获得有用的信息。马里兰大学研究的实时监控系统成功，完成了人的身体部分的定里兰大学研究的实时监控系统成功，完成了人的身体部分的定位与分割。英国雷丁大学计算机项目组位与分割。英国雷丁大学计算机项目组VIEWS项目组开展的项目组开展的对车辆和行人的跟踪及其交互作用识别的研究。对车辆和行人的跟踪及其交互作用识别的研究。u国内研究现状国内研究现状中科院基于三维线性模型、扩展的卡尔曼滤波跟踪算法实现的中科院基于三维线性模型、扩展的卡尔曼滤波跟踪算法实现的对交通场景的视觉监控，人的运动视频监控。并对目标轨迹和对交通场景的视觉监控，人的运动视频监控。并对目标轨迹和行为特征的学习的模糊自组织神经学习算法做了深入研究。行为特征的学习的模糊自组织神经学习算法做了深入研究。苍松松优选论文的框架论文的框架第三章异常检测第一章 背景介绍第二章 理论基础第三章 基于LDA模型异常检测第四章 实验设置第五章 总结展望 why? 即本文研究的目的即本文研究的目的what, what, 本文主要研究工作本文主要研究工作how！ 本文如何展开对工本文如何展开对工作的研究作的研究if,then. 对于文中研究的不对于文中研究的不足提出对未来的展望足提出对未来的展望苍松松优选论文主要工作论文主要工作u目标行为表示问题目标行为表示问题u 行为学习的策略行为学习的策略uLDA模型简介模型简介u基于基于LDA模型异常检测模型异常检测u实验结果与分析实验结果与分析u总结与展望总结与展望苍松松优选行为的表示行为的表示u光流特征法光流特征法 传统行为一般都是基于对象的表示，通过点对点的建模，传统行为一般都是基于对象的表示，通过点对点的建模，去学习运动轨迹数据的分布特征、比较轨迹点之间的相似程度。去学习运动轨迹数据的分布特征、比较轨迹点之间的相似程度。以及通过上述的方法获得目标的完整轨迹，根据这些目标的轨以及通过上述的方法获得目标的完整轨迹，根据这些目标的轨迹的信息去分析并理解这些目标行为。然而在实际复杂监控场迹的信息去分析并理解这些目标行为。然而在实际复杂监控场景中，涉及到多目标的跟踪，目标之间会频繁遮挡，如果采用景中，涉及到多目标的跟踪，目标之间会频繁遮挡，如果采用基于对象的表示方法运用传统的目标检测跟踪方法就不能获得基于对象的表示方法运用传统的目标检测跟踪方法就不能获得目标的完整轨迹了，从而无法完成对目标行为的检测与理解。目标的完整轨迹了，从而无法完成对目标行为的检测与理解。所以采用了光流法，它是基于像素级的，无需对目标先进行分所以采用了光流法，它是基于像素级的，无需对目标先进行分割以获得其目标轨迹。此方法算法相对简单，且对复杂视频监割以获得其目标轨迹。此方法算法相对简单，且对复杂视频监控有着很好的适应性。控有着很好的适应性。苍松松优选行为的表示行为的表示u不同行为表示方法效果图不同行为表示方法效果图 (a) 前景像素法前景像素法 (b)光流法光流法 基于像素的行为表示示意图基于像素的行为表示示意图 基于对象的行为表示示意图基于对象的行为表示示意图苍松松优选行为学习的策略行为学习的策略u行为学习策略的选择行为学习策略的选择 行为学习的方法有监督学习、无监督学习、半监督学习在行为学习的方法有监督学习、无监督学习、半监督学习在监督学习中，所有的正常样本和异常样本的定义都是明确的定监督学习中，所有的正常样本和异常样本的定义都是明确的定义，并通过训练来得到。早期的视频异常检测一般都是基于无义，并通过训练来得到。早期的视频异常检测一般都是基于无监督学习策略。然而在复杂视频监控场景中，包含多种目标，监督学习策略。然而在复杂视频监控场景中，包含多种目标，多类行为同时发生，且具有不可预测性的一些异常事件，监督多类行为同时发生，且具有不可预测性的一些异常事件，监督学习策略则完全不能运用在这些场景中，我们不可能对所有正学习策略则完全不能运用在这些场景中，我们不可能对所有正常模型和异常事件训练足够多的样本，且这种方法无法对未知常模型和异常事件训练足够多的样本，且这种方法无法对未知异常事件建模。而在无监督学习方法中，只训练正常事件的样异常事件建模。而在无监督学习方法中，只训练正常事件的样本，然后将测试数据集放在学习好的正常模型中进行测试比较，本，然后将测试数据集放在学习好的正常模型中进行测试比较，当与学习好的概率统计上偏离，则认为就是异常事件。这很好当与学习好的概率统计上偏离，则认为就是异常事件。这很好的避免了监督学习中无法对未知异常事件进行训练的问题。的避免了监督学习中无法对未知异常事件进行训练的问题。苍松松优选LDA模型简介模型简介u模型简介模型简介 LDA模型最初是用来文本挖掘的，它采用词袋模型，将每模型最初是用来文本挖掘的，它采用词袋模型，将每一篇文档视为一个词频向量。每一篇文档代表了一些主题所构一篇文档视为一个词频向量。每一篇文档代表了一些主题所构成的一个概率分布，而每个主题又代表了很多单词所构成的一成的一个概率分布，而每个主题又代表了很多单词所构成的一个概率分布。个概率分布。u生成过程生成过程 所谓生成模型，可以认为是一篇文章的每个词都是通过以所谓生成模型，可以认为是一篇文章的每个词都是通过以一定概率选择了某个主题，并从这个主题中以一定概率选择某一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语。具体步骤如下：个词语。具体步骤如下： 从狄利克雷分布从狄利克雷分布中取样生成文档中取样生成文档i的主题分布的主题分布i 从主题的多项分布从主题的多项分布i中取样生成文档中取样生成文档i第第j个词的主题个词的主题zi,j 从狄利克雷分布从狄利克雷分布中取样生成主题中取样生成主题zi,j的词语分布的词语分布z zj,ij,i 从词语分布多项式分布从词语分布多项式分布zi,izi,i中采样生成词语中采样生成词语w wi,ji,j苍松松优选LDA模型简介模型简介uLDA模型原理图及其参数含义模型原理图及其参数含义 ，狄利克雷分布参数，分别作为狄利克雷分布参数，分别作为主题分布和单词分布的先验主题分布和单词分布的先验 Nd表示词料库中的文档数表示词料库中的文档数 Nw文档包含的单词数，服从泊松文档包含的单词数，服从泊松分布分布 z为某一特定的主题为某一特定的主题 文档中主题概率分布，服从多项文档中主题概率分布，服从多项分布分布 表示单词表示单词-主题分布主题分布 LDA模型图模型图 LDA模型图模型图苍松松优选基于基于LDA异常行为的检测异常行为的检测u异常的定义异常的定义 首先是异常行为的定义问题，事件是很少发生的，或者之首先是异常行为的定义问题，事件是很少发生的，或者之前从未观察到过、事件是未知不可预测的。论文中关于异常事前从未观察到过、事件是未知不可预测的。论文中关于异常事件的定义也是运用的这种特性。件的定义也是运用的这种特性。u 检测的策略检测的策略 基于基于LDA模型的异常行为检测采用孤立点检测策略，在贝模型的异常行为检测采用孤立点检测策略，在贝叶斯模型的框架下，通过训练一个正常的模型，再对测试数据叶斯模型的框架下，通过训练一个正常的模型，再对测试数据进行测试匹配，如与概率统计的正常模型的似然值较小，则判进行测试匹配，如与概率统计的正常模型的似然值较小，则判断为异常事件。似然值较大，则可判断为正常事件。断为异常事件。似然值较大，则可判断为正常事件。苍松松优选基于基于LDA异常行为的检测异常行为的检测u 样本行为示意图样本行为示意图 其中其中(a)代表的是正常样本图，代表的是正常样本图，(b)(c)代表两种不同类型代表两种不同类型的异常行为示意图的异常行为示意图样本行为示意图样本行为示意图苍松松优选实验结果与分析实验结果与分析u建模时间与主题数关系图建模时间与主题数关系图 LDA模型的主题数是预先设定好的，当我们设置不同主题模型的主题数是预先设定好的，当我们设置不同主题对行为建模会产生什么样的影响？对行为建模会产生什么样的影响？ 通过设置不同主题数，并记录其建模时间结果，绘制如下表所示关系通过设置不同主题数，并记录其建模时间结果，绘制如下表所示关系主题数主题数建模时间建模时间(s)检测准确率检测准确率5725.5150950.734810995.9257740.6623151322.1072150.6589201599.5170170.6610251831.1512750.6789302001.9753570.6031352377.5731980.5984 从表中可以看出随着主题数设置的增多，行为建模消耗时间变长，当主题从表中可以看出随着主题数设置的增多，行为建模消耗时间变长，当主题数设置为数设置为5时检测效果最佳。时检测效果最佳。苍松松优选实验结果与分析实验结果与分析u异常检测中词频异常检测中词频-主题对应关系主题对应关系 当主题设置为当主题设置为10时，经过模型训练得到的词频时，经过模型训练得到的词频-主题分布图，主题分布图，它是对测试数据异常检测的必要数据条件。词频它是对测试数据异常检测的必要数据条件。词频-主题对应关主题对应关系示意图如下：系示意图如下： 主题主题1 主题主题2 苍松松优选实验结果与分析实验结果与分析u 不同数据库不同数据库ROC曲线图曲线图 ROC曲线图曲线图 图中横坐标为图中横坐标为未能成功检测出的异常的样本的个数未能成功检测出的异常的样本的个数(FPR),纵坐标纵坐标在所有在所有实际是异常的样本中，能被正确检测出来事件的比例实际是异常的样本中，能被正确检测出来事件的比例(TPR)。从图可以得出。从图可以得出LDA可用于模型异常行为检测性能良好。可用于模型异常行为检测性能良好。苍松松优选总结与展望总结与展望u 研究的不足与展望研究的不足与展望 从本实验中可知从本实验中可知LDA模型建模耗时较多，因此进一步去改善模型建模耗时较多，因此进一步去改善建模的现状，除此之外训练数据中正常样本与异常样本的比例建模的现状，除此之外训练数据中正常样本与异常样本的比例有待商榷，什么样的比例，才能使检测性能达到最佳，需要我有待商榷，什么样的比例，才能使检测性能达到最佳，需要我们花更多的精力去做实验对比。们花更多的精力去做实验对比。 论文中所有实验场景都是基于单摄像头，然而实际应用场景论文中所有实验场景都是基于单摄像头，然而实际应用场景中，一般都是较为复杂的多摄像头同时录入视频，这对计算能中，一般都是较为复杂的多摄像头同时录入视频，这对计算能力，网络宽带的要求都会增加很多，更重要的是如何协同多摄力，网络宽带的要求都会增加很多，更重要的是如何协同多摄像头同时工作用于数据分析。像头同时工作用于数据分析。 论文是基于光流的位置和方向进行的运动特征的分析。虽然论文是基于光流的位置和方向进行的运动特征的分析。虽然大多数情况下能适用于视频监控的异常事件检测，但是对一些大多数情况下能适用于视频监控的异常事件检测，但是对一些特殊场景的分析能力可能此方法就不适用了，具有片面性。如特殊场景的分析能力可能此方法就不适用了，具有片面性。如一个人沿着机动车正常的行走，这时依靠位置和方向则不能判一个人沿着机动车正常的行走，这时依靠位置和方向则不能判断出异常行为。断出异常行为。苍松松优选LOGO谢谢 谢谢 聆聆 听听 ！苍苍松松优选优选