单目标检测与跟踪
经典方法：背景差分法
利用当前图像的灰度值减去背景图像的灰度值，从而提取出运动的前景目标。
原理图
具体步骤：
- 提取视频序列的背景图像和当前帧图像；
- 获取差分图像；
- 对差分图像进行二值化处理；
- 输出提取到的前景目标。
背景差分法的关键步骤是如何构建和更新背景图。
效果比较好的方法是：无参估计背景减除法——ViBe.
算法优点：思想简单，易于实现；样本衰减最优；运算效率高
算法缺点：把阴影当做前景；运动目标不完整。
目标跟踪——相关滤波算法
设计一个滤波模板，利用该模板与目标候选区域做相关运算，最大输出响应的位置即为当前帧的目标位置。
多目标检测与跟踪
多目标跟踪的任务：
- 确定目标的数量；
- 维持目标的ID。
多目标跟踪需要考虑的问题：
- 频繁遮挡；
- 相似的外观；
- 多目标间的相互影响。
经典方法：帧间差分法
优点：算法实现简单，程序设计复杂度低，运行速度快；动态环境自适应性强，对场景光线变化不敏感。
三帧差分法的流程：
- 第二幅图像减去第一幅图像的值与第三幅图像减去第二幅图像的值作交集运算；
- 对第一步产生的结果做滤波处理；
- 对第二步产生的结果做形态学处理；
- 对第三步产生的结果做二值化处理。
优点：实时性高
目标跟踪——马尔可夫决策过程
将单个目标的跟踪问题看作是MDP过程中的策略决定问题，从而多目标跟踪就变成了多个MDP的问题。
用MDP来建模一个物体，主要包括四个成分：
- 物体的状态；
- 物体的动作；
- 状态转移矩阵；
- 实值奖励函数。
目标跟踪的评价指标：
- Mostly Tracked: 命中的轨迹占总轨迹的比例；
- Fragments：在跟踪过程中中断的总次数；
- Most Lost: 丢失目标轨迹占总轨迹的比例；
- False Trajectories: 预测的轨迹与真实的目标不匹配；
- ID Switches: 目标被正确跟踪后，单目标的ID被错误更改的总次数。
应用实例 1 ：视频监控
- 首先对背景模型进行建立；
- 结合背景模型进行前景目标的提取；
- 将前景目标进行分割，分析目标的图像和光流特性，进行初次判别；
- 将前景目标标准化，提取图像的HOG特征和光流特征，将特征融合；
-
将正常视频数据和异常数据进行训练，得到SVM判别模型。
视频监控
应用实例 2 ：导弹飞机识别
(1). 首先对飞机红外图像做处理，包括平移旋转缩放等等模拟飞机的运动，得到连续帧图像作为实验样本。
(2). 使用聚类算法判断红外图像中天空背景的复杂度，然后采用分割算法分割出飞机；如果天空背景比较简单，就使用OTSU算法对飞机及逆行分割。
(3). 提取傅里叶描述子作为研究对象的特征。
(4). 最后使用目标跟踪算法。
