人脸跟踪与人脸检测有着明显的不同，人脸检测的目的是在静止图像中定位人脸区域；而在人脸跟踪中，跟踪算法必须在后续序列帧中跟踪已定位人脸的运动。双眼、嘴等人脸器官特征明显，在视频序列中，它们的形状特征基本不变。早期人们对于人脸图像的研究大多集中在人脸识别领域，直到20世纪80年代末、90年代初，才把注意力转向人脸检测与跟踪这一更具普遍性的问题上来。起初着重于静止图像（如照片）中的人脸检测，而对人脸跟踪的研究做得很少，并且常将人脸检测与跟踪割裂开来，作为两个独立的方面分别加以研究。随着可视电话、视频电视会议以及人机交互等技术的发展，人们才开始将人脸检测与跟踪作为统一的整体加以研究。

人脸跟踪问题的挑战性来自两个方面：①人脸属于三维非刚体，它的视图不但受到光照、遮挡等外界因素的影响，也因自身的变化（如表情、位姿等变化）而改变，而且这些变化难以预测或建模；②人脸跟踪具有实时性的要求，限制了跟踪方法的复杂性。因此，人脸跟踪方法大多针对某些特定场景（如工作台前的人脸等）。根据利用特征的不同，可以将人脸跟踪方法分为基于运动信息的方法和基于静态特征的方法两类。

人脸跟踪技术就是根据已定位出的人脸，在运动图像的后续帧中跟踪该人脸的运动。它是计算机视觉领域中重要的研究课题。目前人脸跟踪与人脸检测已成为许多研究领域内的关键技术。如在智能人机接口中，如果系统不能对人脸进行自动检测和跟踪，而是将人严格限制在摄像机前，显然是令人难以接受的。较早开展人脸检测与跟踪研究的是美国卡内基梅隆大学（CMU）的人机接口研究室和MIT的AI实验室及媒体实验室。

人脸跟踪分单脸跟踪和多脸跟踪。它主要有3种情况：第一种是人脸不动，摄像机运动；第二种是摄像机不动，人脸运动；第三种是人脸和摄像机都运动。从应用角度来看，第一种情况受到的约束较多，而第三种情况则具有普适性。在实时的人脸跟踪系统中，实时性是人们对系统的基本要求。

L.P.Bala等人利用视频的前后景分析，并结合彩色信息对整体人脸进行跟踪，同时使用块匹配对双眼进行快速跟踪。M.Hunke等人利用彩色信息和运动信息，实现了视频中实时的人脸跟踪。J.Yang等人完成了类似工作，且跟踪中不断修正肤色模型，并对人脸进行运动预测。Gao Wen等以及N.Oliver等利用彩色信息对人脸进行可靠跟踪。B.Menser等人则利用YC_bC_r建立肤色概率模型，采用主元分析法（Principal Component Analysis，PCA）进行快速定位和人脸跟踪。K.Sobottka等人在HSV空间进行肤色分割，并利用脸部特征的对称性定位人脸，然后利用Snake算法对整体人脸进行主动轮廓跟踪。G.D.Hager等人建立了整体人脸的低阶参数模型，补偿形变与光照，实时跟踪人脸，并可容忍部分遮挡。P.M.Antoszczyszyn等人利用基于模板匹配的PCA方法，对人脸器官实现了高精度、近实时的跟踪。J.Strom等人对人脸上的特征点进行归一化相关跟踪，进而调整人脸的三维模型，预测新的人脸位置，在灰度空间实现了对复杂运动人脸的高精度实时跟踪。C.Kervrann等人利用器官的多级马尔可夫模型，同样获得了准确的跟踪结果。

综上所述，人脸跟踪算法的思路可以归结为以下5种：①利用背景信息跟踪。这种方法运算十分简单，但受背景变化的影响。②利用运动信息跟踪。这种方法运算简单，但受背景的运动和跟踪对象运动强度的影响，比如当人脸很缓慢运动时，跟踪可能失败。③利用彩色信息跟踪。这种方法不受人脸姿态限制，运动复杂度小，但受背景中的肤色区和人体其他肤色区的影响及光照颜色的影响。④利用整体人脸的模板或参数模型进行相似跟踪。这种方法错误跟踪的可能性小，但对人脸姿态有一定限制，同时运算复杂度较大。⑤利用人脸的局部特征（例如嘴）进行相似跟踪。这种方法跟踪精度很高，计算量也小，但由于处理区域较小，一旦局部特征变化，跟踪就可能失败，所以鲁棒性较差。

通过比较可以看出：人脸跟踪精度最高的方法是利用局部特征进行相似跟踪；错误跟踪可能性最小的方法是对整个人脸进行相似跟踪；彩色跟踪效率较高，使用最广泛，且往往可以与其他方法相结合；利用运动信息和背景信息的方法效率也很高，但几乎不能独立使用。

1.基于运动信息的方法

此类方法主要利用人脸的运动特征，将人脸跟踪看作运动目标的检测问题。Hager等提出了一种基于几何参数模型的方法，基本思路是：设定被跟踪人脸的运动模型（如纯平移-旋转-尺度、仿射变形等），利用时间-空间梯度以及模型之间的约束关系恢复模型参数，从而将运动人脸的跟踪转化为参数的估计问题。Hager等讨论了多种运动模型，并提出了光照变化和部分遮挡情况的解决方法。该方法对于单个运动人脸的跟踪达到了30Hz的处理速度。此外还有基于差分的方法。如果摄像机本身也是运动的，采用差分方法还需要解决背景运动的补偿问题。

基于运动的方法往往需要知道第一帧中人脸的准确位置，即“锁定”人脸。这需要采用交互方式或使用人脸检测技术。

2.基于静态特征的方法

此类方法利用肤色、灰度分布等人脸本身的特征，在每一帧中检测人脸，同时利用帧与帧之间所包含的约束信息减小搜索空间。

基于肤色特征的方法，由于具有处理速度快等优点，常用于人脸跟踪，一般需要与其他方法相结合，以防与其他具有类似色彩的物体相混淆。Kumar等利用上一帧的跟踪结果预测新一帧中人脸的位置范围，采用肤色模型与支持向量机分类器相结合的方法检测人脸，从而实现人脸的实时跟踪。Yoo等使用肤色模型与椭圆拟合相结合的方法跟踪人脸。Huang等采用肤色模型与变形模板相结合的方法跟踪多个人脸。由于跟踪过程中人脸的颜色可能因光照的变化而改变，因此也提出了一些颜色补偿方法，如Yang等提出最大似然度自适应方法，刘明宝等提出线性加权自适应模型等。

此外，还有基于灰度特征的方法。如Sugiyama等提取上一帧中跟踪到的人脸区域作为模板，在当前帧中采用子空间投影（Subspace Projection）的方法搜索匹配人脸；邢昕等使用基于形态学的嘴中心点定位技术对嘴部进行跟踪，进一步实现整个人脸的跟踪；Colmen-arez等采用检测与匹配人脸局部特征的方法实现人脸的跟踪。

由于光照等因素的干扰，跟踪得到的人脸轨迹可能出现抖动和跳跃的现象，因此也提出了一些解决方法。如Qian等在利用肤色特征进行跟踪的过程中，使用线性卡尔曼滤波器（Linear Kalman Filter）和简单的非线性滤波器对跟踪得到的人脸轨迹进行平滑。(www.daowen.com)

基于静态特征的方法一般都具备检测人脸的能力，因此能够实现自动的人脸跟踪系统。

3.人脸跟踪快速算法的提出

人脸跟踪算法是在人脸检测的基础上进行的。人脸跟踪的帧类型分为检测帧和跟踪帧两种情况。

（1）检测帧 对检测帧人脸椭圆区的确定方法描述如下：

1）对检测帧进行人脸检测，得到人脸的大致位置。

2）在被检测到的人脸区域，利用人脸的结构关系和人脸器官的水平投影特点，确定嘴区和脸区。

3）在嘴区，应用数学形态学运算分割出嘴，并利用目标聚类分析方法求取嘴目标的参数MouthObject。

4）以嘴为基点，并利用人脸结构的对称性，对人脸结构进行准确定位，得到人脸椭圆区，同时输出人脸参数FaceParameter。

5）保存上述各参数，作为相邻后续跟踪帧的初始参数。

（2）跟踪帧 对跟踪帧人脸椭圆区的确定方法描述如下：

1）用相邻前帧输出的嘴目标参数MouthObject和人脸参数FaceParameter确定当前帧的脸区和嘴区：当前帧嘴区的中心点与相邻前帧的嘴中心点在空间上相对应，嘴区和脸区的尺寸与相邻前帧的相等。

2）对嘴区进行数学形态学运算，分割出最大的目标区。求取该目标区的表征参数：周长、面积、长短径之比等，然后将其与相邻前帧的嘴相匹配。如果不匹配，则说明该目标不是嘴，即人脸跟踪失败，将当前帧作为检测帧；否则继续进行下一步。

3）根据脸区，用人脸结构准确定位方法求取当前帧的人脸椭圆区。计算该椭圆区与相邻前帧人脸椭圆区之间的均方误差，如果该均方误差大于某阈值，则该椭圆区为非人脸区，人脸跟踪失败，将当前帧作为检测帧；否则继续进行下一步。

4）输出当前帧的嘴目标参数MouthObject和人脸参数FaceParameter，作为下一帧人脸跟踪的初始参数。