在图像序列中跟踪运动物体，实际上就是在帧间把已知的运动物体与在新一帧中检测到的运动区域匹配起来。所以跟踪主要是处理每一帧中检测到的运动区域与下一帧的运动区域匹配的问题。在匹配过程中可能出现下列几种情况：

1）在新一帧中出现了一个前景运动区域，但是该运动区域不能与上一帧中任何已知物体对应。在这种情况下，把这个前景运动区域作为新出现的运动物体来处理。

2）一个已知的运动物体不能与新一帧中任何前景运动区域相对应，那么这个物体可能已经出了观测区域，或者是被背景区域遮挡住，所以不能被观察到。这时认为该运动物体已经丢失。

3）一个已知的运动物体与唯一前景运动区域相对应。这种情况在跟踪中是最好的情况，这时就认为新一帧中检测到的前景运动区域就是上一帧中已知的运动物体。这样，我们就可以利用运动物体在新一帧中得到的观测值来更新描述该运动物体的状态向量。(www.daowen.com)

4）一个已知的运动物体与多个运动前景区域相对应。这种情况发生在类似人群跟踪时，是由于物体分裂成单独个体造成的。

5）多个已知运动物体与一个运动前景区域相对应。这种情况发生在物体互相遮挡时。

运动物体在场景中的运动状态是不断变化的，为了跟踪物体的运动，就要对物体的运动状态进行估计，卡尔曼滤波器是一种递推线性最小方差估计，具有估计快速准确的优点。本节使用卡尔曼滤波器对人体的运动状态进行估计，并且根据估计出的运动状态对物体运动进行跟踪。