Transcript 关于“非常规突发事件下恐慌人群视频分析”

非常规突发事件下恐慌人群
视频分析
报告大纲


简单的问题综述
研究内容







研究现状
现有方法的不足
研究思路
现有的工作
未来的工作计划
人类动力学与计算机视觉
总结与总体规划
课题面临的简单问题综述

所面临的问题：
1.当人群密度很大时，人与人之间的遮挡成为视频分析巨大的挑
战。
2. 视频监控现场的环境造成的诸如光线，烟雾的问题是棘手的问
题。
3.检测目标（人）在移动过程中造成的局部扭曲是鲁棒性研究的
难题。
研究内容
人群中单个目标的跟踪问题
人群流的流运动分割问题
恶劣天气下的运动检测问题
人群恐慌行为识别理解问题
人群中单个目标的跟踪问题
国内外研究现状：




S. Ali and M. Shah, “Floor fields for tracking in high density crowd
scenes,”in Proc. European Confference on Computer Vision,(ECCV)
2008, pp. II:1–14.
M. Rodriguez, S. Ali, and T. Kanade , “Tracking in unstructured crowded
scenes,” in Proc. IEEE International Confference on Computer
Vision(ICCV ), Kyoto, Japan, 2009, pp.1389–1396.
Yang, M. (2008). Context-aware and attentional visual object tracking.
Unpublished doctoral dissertation, Northwestern University, USA.
Y. Wu and J. Fan, "Contextual Flow," Proc. IEEE Conf. Computer Vision
and Pattern Recognition(CVPR), 2009.
人群中单个目标的跟踪问题
现有方法的不足：




1.在检测开始时需要用手动标注初始跟踪目标，在实
际应用中适用。
2. 个体之间的的遮挡问题严重影响了追踪的稳定性
与精确度。
3.对恶劣天气、场景环境敏感。
4.计算复杂度大。
人群中单个目标的跟踪问题
研究思路：

研究思路：
运动目标检测
目标追踪

常用算法：

运动检测：Optical Flow、帧差发、Contextual Flow、
目标追踪（即匹配问题）：MeanShift、 Particle
Filter

人群中单个目标的跟踪问题
此问题解决方案：
帧差法检测运
动区域


Contextual flow跟
踪运动目标
利用帧差法获得运动区域后可大大大大减少计算
量。
contextual flow在帧差法的基础上可以匹配前后帧的
运动目标，克服遮挡、光照等因素的影响。
帧差法检测出的运动区域为白色，黑色区域则代表不运动的场景，
在下一步contextual flow计算时可忽略。
人群中单个目标的跟踪问题
CONTEXTUAL FLOW


思想：任一个像素都不是孤立的，也就是说每
个像素与他周围的点（context）是相关。
比如：要想匹配两张人脸上鼻尖是非常困难的，
但是要匹配整个鼻子或整张脸却可以达到很少
误判的效果


圆形区域Ω (x)表示像素点X的context域。
不同的颜色代表不同的特征。
Contextual flow限制方程：
 x p (w i | x, t )x   t p (w i | x, t )t  0
T
人群中单个目标的跟踪问题
CONTEXTUAL FLOW 实
验
Contextual flow的优势：
(1). 相对传统的运动匹配算法，它对图像中的局部扭曲、
光照变化和遮挡是不敏感的。
Deformation
Lighting
Occlusion
人群中单个目标的跟踪问题
(2). Contextual flow具有抗旋转变换和抗尺度变
化的表现
Rotation：
Scaling：
(3). 在人群密集的情况下，人与人之间的局部
遮挡与扭曲加上尺度的变化频繁给检测带来
了巨大挑战，以上contextual flow优异特性是
研究追踪问题提供了新思路。
人群中单个目标的跟踪问题
自己的实验：
人群中单个目标的跟踪问题
未来的工作计划：
(1).contextual flow的算法优化。
(2).采集包含不利因素的数据集，比如遮挡，尺
度变化等视频。
(3).学期末完成论文一篇。
人群流的流运动分割问题






国内外研究现状:
T.Zhao, B.Wu :“Segmentation and Tracking of Multiple Humans in
Crowded Environments”. IEEE Transactons on Pattern Analysis and
Machine Intelligence(PAMI), VOL. 30, NO. 7, July 2008
S. Ali and M. Shah:”A Lagrangian Particle Dynamics Approach for Crowd
Flow Simulation and Stability Analysis.” In Proceedings of Computer
Vision and Pattern Recognition,(CVPR) 2007.
T. Zhao, R. Nevatia:“Bayesian human segmentation in croweded”
situations, in: Computer Vision and Pattern Recognition(CVPR), Madison,
Wisconsin, June 16–22, 2003.
S.Wu, Z.W Yu ,H.S. Wong: “A Shape Derivative Based Approach for Crowd
Flow Segmentation”. Asian Conference on Computer
Vision(ACCV).(1)2009: 93-102.
F.Jiang, Y.Wu, A.K.Katsaggelos:” Detecting contextual anomalies of
crowd motion in surveillance video”. International Conference on Image
Proccessing(ICIP) 1117-1120
人群流的流运动分割问题
现有方法的问题：

针对本课题要解决的问题——大规模人群流的
运动分割。现有的方法有以下问题尚未解决：
（1） 基于目标（人）的分割：
基于目标（人）的分割
在人与人遮挡严重的时
候几乎失效。
当场景中其他物体流
（车流）时，需要重
新训练模型。
人群流的流运动分割问题

基于流（人群流或交通流等）的全局分割：

(1).计算量很大，运动检测部分与流分割部分成两部分计算，
根本无法达到实时。
(2).全局分割检测人群稳定性有一定的局限性，因为局部人群
扰动有时是事态发生的关键。
(3).若摄像头位置不在场景顶部（至上而下），检测结果不稳
定。


摄像机正对人群
不显著的检测结果
人群流的流运动分割问题
研究思路：
相邻帧
视频序列
运动域
Particle
Grid
CUDA：Compute Unified Device Architecture
FTLE+LCS
运动域分割
CUDA并行计算：最
大可能的放大CPU与
GPU的协同工作效率
人群流的流运动分割问题
现有的工作：

Optical flow（运动检测）
光流法是运动检测的经典算法，在本课题中可以
用在运动目标识别与运动分割中，作为场景中运
动域检测算法。
人群流的流运动分割问题
未来的工作规划：

待解决的问题：
(1)运动域检测速度过慢
(2)粒子流边缘分割精确性问题
(3)CUDA并行计算应用于粒子流（流体）计算

工作计划：
(1) 在本学期结束前给出运动域检测速度过慢的解决方案
(2) 经典流体力学的研究
(3)学期结束前 把CUDA并行计算移植本研究框架中
恶劣天气下运动域检测问题
国内外研究现状：
Jean-Philippe Tarel,Nicolas Hauti`ere,“ Fast Visibility Restoration from a
Single Color or Gray Level Image,” International Conference on Computer
Vision,2009.
S. G. Narasimhan and S. K. Nayar, “Vision and the Atmosphere,” International
Journal of Computer Vision, 48:233–254, 2002.
K. He, J. Sun, and X. Tang, “Single image haze removal using dark channel
prior,” IEEE Conference on Computer Vision and Pattern Recognition , pp.
1957–1963, 2009.
 L. Schaul, C. Fredembach, and S. S¨usstrunk, “Color image dehazing
using the near-infrared,” in Proc. IEEE Int. Conf. on Image Proc., Cairo,
Egypt, 2009.
 N. Hautiere, J. Tarel, and D. Aubert, “Toward fog-free invechicle vision
systems through contrast restoration,” IEEE Conference on Computer
Vision and Pattern Recognition, 2007.
恶劣天气下运动域检测问题
问题的提出：
检测场景中出现大雾，大雨，尘土等情况时会严
重影响到视频检测过程中相关信息的提取精度，
因此对于提高后续算法的鲁棒性意义重大。
带有少量沙层的场景
带有中等程度气雾的场景
恶劣天气下运动域检测问题
研究思路
大雾、浓烟条件下的恐
慌场景
去雾算法及其优化（边
缘噪音等）
个体追踪、人群流分割
算法及场景理解算法
恶劣天气下运动域检测问题
相关工作现状：
清晰化前
清晰化后
“Single Image Haze Removal Using Dark Channel Prior” Kaiming He, Jian Sun, Xiaoou Tang, IEEE Transactions onPatter
Analysis and Machine Intelligence, Pattern Analysis and Machine Intelligence, 31 Aug. 2010.
恶劣天气下运动域检测问题
本方法待解决的问题：
1.天空颜色还原容易失真（人群检测中不是重点）
2.不适用于浓雾环境
3.出现边缘噪声现象
傍晚天
空还原
成蓝色
去雾前
去雾后
恶劣天气下运动域检测问题
1.天空颜色还原容易失真（人群检测中不是重
点）
2.不适用于浓雾环境（浓雾环境色彩容易失真）
3.出现边缘噪声现象
色调
失真
边缘
噪声
严重
去雾前
去雾后
恶劣天气下运动域检测问题
未来工作计划：
1.
2.
3.
• 去边缘噪声优化算法，降低时间复杂度，使其
适应实时系统
• 研究使用烟雾浓度范围，针对不同的介质影响
程度为模型适应性设定不同参数
• 研究天空大地等人群所处环境的色彩还原度的
提高或者避免其对人群信息的干扰
恐慌人群行为识别理解问题
目前通用的理论框架：
事件发生/
没发生
图像序
列
视频事件（行为）理解
事件分类建模
提取特征
状态模型
Bayes Net.
HMM.
…
模式识别方法
SVM.
Nearest
Neighbor.
Neural Nets.
…
事件分析
反馈
恐慌人群行为识别理解问题
现有方法的问题：



目前人的行为识别与理解仍集中于人标准姿势、简单
行为的识别与理解，如人的一组最通常的行为：跑、
蹲、站、跳、爬、指等。
研究计算机的人行为识别与理解的技术难点就在于特
征选择与机器学习，如果选取的特征过多、特征向量
维数过大则会增加计算的复杂度，而特征过少，又可
能不足以进行行为识别与理解。
由于动态场景中运动的快速分割、宽松的着装、遮挡、
阴影和光照变化、运动的非刚性和高自由度、行为发
生的场景和人运动的模糊性（关于行为、事件、状态
有着不同的概念）等因素的影响，使得人视觉行为理
解成为一个复杂且极具挑战性的任务。
恐慌人群行为识别理解问题
研究思路
数据流
相关领域知识
复杂行为、事件与场
景理解
高层行为与场
景理解
行为模式定义
行为模式识别
行为识别
特征描述算子
目标图像运动表征
场景知识
特征选择与运
动表征
特征选择
目标图像特征提取
运动目标信息输入
恐慌人群行为识别理解问题
未来的工作计划
运动特征选择与表达
行为识别
高层行为与场景理解
动态特征模型
候选细节特征
行为主要特征
状
态
转
移
图
模
型
视觉算法
人工智能
人类动力学与计算机视觉
总结与总体规划