视觉跟踪

静止：X 运动：由于背景和前景都是运动的，因此准确检测并跟踪目标是一件困难的事情——》如果摄像机的运动方式是被限定垂直于光轴的平面上，可以采用图像拼接的方法将背景拼在一起，并按照摄像机静止时的跟踪方法进行处理

3.运动目标的数目：

单跟踪：提取与检测：受到外部环境的影响多跟踪：hh

4.运动目标的类型：

5.传感器的种类

视觉跟踪的步骤：

1.目标检测

基于背景建模：将当前帧与北京参考模型比对，再判断各个像素是否属于当前运动前景，通过对前景的分割得到跟踪目标。实际场景中背景因受光照变化、场景中目标的进入或退出等因素的影响而时刻发生变化, 准确的背景模型变得难以获取.因此如何构造鲁棒、自适应的背景模型是基于背景建模的运动目标检测算法的关键. 目前, 对于背景建模已有大量的研究工作.

基于前景目标建模的目标检测：基于目标建模的目标检测方法通常分为离线训练与在线检测两个阶段.离线训练阶段对训练样本中的前景目标与背景分别进行特征表达, 建立起目标或背景表观模型, 再进行分类器训练得到分类器模型. ——特征表达图像特征按其能否通过自学习得到,可以分为基于人工设计的特征与基于学习的特征. 基于人工设计的特征表达方法具有设计简单、实现容易、易于理解等优点, 受到科研人员的广泛研究与使用. 近年来, 众多海内外学者以及研究机构在相关方面,已经相继开展了许多研究工作, 取得了一系列显著的研究成果 ——分类器

基于背景建模的检测方法一般具有实现简单、运算效率较高等优点,但其适用范围比较狭小,通常只能用在固定摄像机拍摄的场景下, 且固定场景也存在诸多干扰因素,如光照变化、阴影、局部动态背景 (摇晃的树枝、波动的水面）等,这些因素都将极大地影响算法的性能, 给前景提取带来巨大的挑战. 基于目标建模的检测方法克服了基于背景建模的方法固定场景的缺点, 可以用于动态环境（如车载摄像头等的目标检测）,且一般检测出的运动区域不需再度进行分割,扩展了目标检测的应用范围. 但其在应用过程中也存在诸多的挑战, 如较大的遮挡与光照变化, 较小的类间差与较大的类内差, 较大的目标形变与尺度变化, 较低的图像分辨率等. 另外,特征学习需要依赖大量的学习样本, 且不同场景需要训练不同的分类器,在实际应用中一般较难满足实时要求.

2.目标跟踪

目标状态初始化+表观建模+运动估计+目标定位

目标状态的初始化一般采用人工标定或目标检测的方法进行实现.

表观建模主要包括了对目标的视觉特征（颜色、纹理、边缘等）的描述, 以及如何度量视觉特征之间的相似性,它是实现鲁棒跟踪的关键所在.

运动估计则是采用某种运动假设来预估目标可能出现的位置,常用的运动估计方法主要有线性回归[146、均值漂移[147、隐马尔科夫模型[148]、卡尔曼滤波[149] 以及粒子滤波[150] 等.

最后, 在表观建模与运动估计的基础上, 采用某种最优化策略获取目标最可能的位置, 实现对跟踪目标的定位.

视觉跟踪算法：

1.基于区域的跟踪

基于区域的跟踪算法基本思想是:首先得到包含目标的模板,该模板通过图像分割获得或是预先人为确定，模板通常为略大于目标的矩形 , 也可为不规则形状; 然后在序列图像中,运用相关算法跟踪目标。这种算法的优点在于当目标未被遮挡时,跟踪精度非常高,跟踪非常稳定.但其缺点首先是费时,当搜索区域较大时情况尤其严重;其次,算法要求目标变形不大,且不能有太大遮挡,否则相关精度下降会造成目标的丢失

2.基于特征的跟踪

基于特征的跟踪算法一般也采用相关算法.与基于区域的跟踪算法的不同之处在于,后者使用目标整体作为相关时的对象,而前者使用目标的某个或某些局部特征作为相关时的对象.这种算法的优点在于即使目标的某一部分被遮挡,只要还有一部分特征可以被看到,就可以完成跟踪任务。这种算法的难点是:对某个运动目标,如何确定它的唯一特征集?这也是一个模式识别问题.若采用特征过多,系统效率将降低,且容易产生错误

3.基于变形模板的跟踪

变形模板是纹理或边缘可以按一定限制条件变形的面板或曲线。

4.基于模型的跟踪

其基本思想是:首先由先验知识获得目标的三维结构模型和运动模型,然后根据实际的图像序列,确定出目标的三维模型参数,进而确定出目标的瞬时运动参数.这种方法的优点是,可以精确地分析目标的三维运动轨迹,即使在运动目标姿态变化的情况下,也能够可靠地跟踪.但是其缺点在于,运动分析的精度取决于几何模型的精度,在现实生活中要获得所有运动目标的精确几何模型是非常困难的.这就限制了基于模型的跟踪算法的使用,同时,基于3D模型的跟踪算法往往需要大量的运算时间,很难实现实时的运动目标跟踪.

视觉跟踪

目录

视觉跟踪问题的分类：

1.摄像机的数目：单摄像机VS多摄像机

2.摄像机是否运动