视线追踪：基于伪彩色图的粒子滤波瞳孔跟踪方法

时间：2023-10-27 理论教育 版权反馈

【摘要】：基于伪彩色图粒子滤波的视线追踪系统瞳孔跟踪流程如图6.8所示。基于伪彩色图粒子滤波瞳孔跟踪方法采用本书5.2节阐述的瞳孔目标检测方法进行瞳孔目标特征参数提取，瞳孔检测成功则完成跟踪初始化，检测失败则检测下一帧，直至成功。

在视线追踪系统摄取的人脸图像中，由于头部运动和眼球运动的随机性，很难用一种准确的模型描述瞳孔的运动规律。瞳孔运动属于非线性、非高斯问题。同时，由于配戴眼镜、眨眼和闭眼等情况的存在，瞳孔目标存在固有的遮挡和消失问题。基于上述原因，采用卡尔曼滤波和均值漂移对瞳孔目标进行跟踪具有一定的局限性。

近年来，随着计算能力的快速增长和计算成本的不断减低，粒子滤波已经成为研究非线性、非高斯动态系统最优估计的有效方法。粒子滤波能较好地处理测量断续、群目标跟踪，是目标跟踪中非线性问题的数学支撑工具之一。作为处理非线性、非高斯问题的有效工具，粒子滤波可以用于视线追踪系统瞳孔目标的跟踪，并处理跟踪过程中由于眨眼造成的瞳孔目标部分遮挡问题。文献[8]中采用粒子滤波对虹膜进行跟踪，该方法在可见光图像中跟踪虹膜轮廓，采用迭代的最大似然法进行相似度的度量。文献[9]中采用粒子滤波对瞳孔进行跟踪，该方法在近红外图像中跟踪瞳孔，采用粒子滤波与均值漂移相结合的方法进行跟踪。首先，通过粒子滤波估计出非线性运动的瞳孔区域，但是这个区域是若干粒子的加权平均结果，精度还达不到视线估计参数的要求。接下来，利用局部求精的均值漂移方法在瞳孔区域内搜索相似度最高的瞳孔位置，作为最后的瞳孔跟踪结果。但是这些粒子滤波跟踪方法没有考虑瞳孔特有的形状模型和运动规律。存在以下不足：

1）参考文献中没有充分考虑瞳孔目标的形状特点，瞳孔本来是椭圆形区域，但这些参考文献的跟踪过程将瞳孔目标设定为矩形的区域，通常的矩形目标模型不能有效区分瞳孔目标的前景和背景。

2）参考文献中没有考虑椭圆瞳孔目标的形状变化特点，没有对瞳孔曲率和方向进行跟踪。

3）在瞳孔目标观测模型中，只采用直方图属性作为相似性的度量指标，没有考虑将几何特性作为相似度指标。

在基于亮暗瞳差分方案的视线追踪系统中，瞳孔目标的实时跟踪除需满足前文所述的瞳孔跟踪要求，还需充分利用亮瞳和暗瞳两个通道的图像信息，才能增加系统跟踪的可靠性和稳定性。基于伪彩色图的粒子滤波瞳孔跟踪方法充分利用了系统所提供的亮瞳图像和暗瞳图像信息，提出了三通道伪彩色图的概念，为瞳孔的可靠跟踪提供了新的依据。总结起来，基于伪彩色图的粒子滤波瞳孔跟踪方法的工作主要体现在如下几个方面：

1）利用亮暗瞳现象，提出三通道伪彩色图（Triple Channel Pseudo Color Map，TCPCM）的概念，并将其引入瞳孔跟踪过程。TCPCM充分利用了各通道信息，并且TCPCM中瞳孔特征更加明显，瞳孔区域的色彩明显与人脸其他部位不同，提高了跟踪的稳定性与精确性。

2）采用了一种符合瞳孔形态特征和变化规律的瞳孔目标模型，可以充分区分瞳孔图像的前景和背景，减小了背景对目标模型的干扰。

3）采用了一种体现瞳孔运动规律的瞳孔运动模型，充分考虑了瞳孔状态变化的各种情况，对瞳孔的位置和形状都能进行有效的预测。

4）采用了一种结合直方图相似性与几何相似性度量相结合的二次更新的瞳孔感知模型。在相似度计算中提高了粒子权重的可信性，改善了观测的可信度。

5）针对实时性要求，引入了快速特征提取步骤，减少特征提取的时间，提高特征提取的可靠性。

6）针对长时间瞳孔跟踪的要求，引入阶段跟踪的概念。这改善了目标状态漂移和粒子贫化的问题，提高了跟踪的鲁棒性。

基于伪彩色图粒子滤波的视线追踪系统瞳孔跟踪流程如图6.8所示。

图6.8 基于伪彩色图粒子滤波的视线追踪系统瞳孔跟踪流程

首先，记录上一帧特征提取所得到的瞳孔区域，根据上一帧对应区域的像素计算粒子滤波跟踪目标模型。接下来，在上一帧瞳孔位置的附近去搜索瞳孔，如果搜索到瞳孔则不需要再进行比较耗时的粒子滤波跟踪，若搜索不到瞳孔则进行粒子滤波跟踪。粒子滤波跟踪首先要初始化若干粒子，然后根据状态转移方程对每个粒子进行本时刻的状态转移，形成本时刻的粒子集合。接下来，对状态转移后的粒子集合中的每个粒子进行相似度计算，根据每个粒子的状态和相似度，计算粒子集合的加权平均值，作为本次估计的瞳孔位置。本次估计的瞳孔位置作为下一帧瞳孔估计的目标模型。以下对基于伪彩色图的粒子滤波瞳孔跟踪方法进行详细阐述。

6.2.2.1 基于伪彩色图的粒子滤波瞳孔跟踪方法

1.瞳孔特征参数提取

以瞳孔定位为基础的视线特征参数提取过程，是在相邻两帧图像中完成的。在初始帧对瞳孔目标检测后，在后续序列视频中对瞳孔目标进行跟踪。瞳孔目标的特征参数检测方法已经在本书第5章中进行了详细的介绍，粒子滤波瞳孔跟踪需在图像序列的初始图像帧采用各种瞳孔目标检测方法检测瞳孔，并进行跟踪初始化。基于伪彩色图粒子滤波瞳孔跟踪方法采用本书5.2节阐述的瞳孔目标检测方法进行瞳孔目标特征参数提取，瞳孔检测成功则完成跟踪初始化，检测失败则检测下一帧，直至成功。

在此，对瞳孔目标特征参数检测方法进行简要的描述，如图6.9所示，首先，亮瞳与暗瞳图像相减得到差分图像。然后，对差分图像进行滤波，得到瞳孔区域。检测瞳孔区域的边缘，得到瞳孔边缘图像并在眼睛区域附近基于灰度搜索角膜反射点。采用求质心方法定位角膜反射中心，对检测的瞳孔边缘进行滤波消除角膜反射对瞳孔边缘轮廓的影响。最后，采用椭圆拟合方法拟合瞳孔边缘并定位瞳孔中心，得到亚像素的瞳孔中心坐标。最后提取的视线特征矢量L_t如下：

式中，（Δx，为瞳孔中心到角膜反射的矢量，为瞳孔椭圆长轴和短轴之比，θ为瞳孔椭圆长轴与垂直方向的角度，（i_p，j_p）为瞳孔中心在图像中的位置坐标，（i_c，j_c）为角膜反射在图像中的位置坐标。

图6.9 人眼特征提取过程

2.快速瞳孔特征参数提取

跟踪过程仍需进行特征参数提取，在t时刻成功进行特征参数提取后，t+1时刻首先在t时刻瞳孔位置的附近进行特征参数提取，如果不成功则加大搜索范围。这样可以提高特征参数提取的效率。引入快速特征提取步骤，有以下作用：

1）减少平均特征参数提取时间。因为人在正常注视屏幕信息的情况下，眼睛运动幅度较小，绝大多数的情况下都可以在上一时刻眼睛的附近找到这一时刻的眼睛。

2）如快速特征提取成功，则记录目标模型，并进行下一时刻的快速特征提取；如不成功，则进入一次新的阶段跟踪，并在阶段跟踪过程中监测特征是否出现，当特征再次出现的时候结束这次阶段跟踪。这样将长时间的跟踪分为快速特征提取和阶段跟踪两个交替进行的阶段，目标稳定的阶段由快速特征提取来处理，计算复杂度较高的粒子滤波用来跟踪目标不稳定的阶段，提高了系统的效率。

3）将最近一次成功提取特征时的目标状态作为每个阶段跟踪的目标，提高了目标的可靠性，避免了长时间跟踪的目标状态漂移，提高了跟踪的准确性。

4）将长时间的跟踪分为快速特征提取和阶段跟踪两个交替的阶段，进入一次新的阶段跟踪，重新初始化粒子，避免了长时间跟踪的粒子贫化问题，提高了跟踪的鲁棒性。

3.记录TCPCM瞳孔模型

基于三通道伪彩色图（TCPCM）的瞳孔跟踪方法的主要创新之处在于提出了三通道伪彩色图的概念，TCPCM定义如下：

式中，p¹_ij、p²_ij、p³_ij分别为TCPCM的三个通道上的像素点，pb_ij为亮瞳图像的像素点，pb_ij为暗瞳图像的像素点，blob_ij为差分图像滤波后瞳孔图像的像素点。三通道伪彩色图，如图6.10所示。瞳孔的灰度图像与脸部其他特征点的灰度比较相近，特征不明显，区分度较低。TCPCM充分利用了各通道信息，使瞳孔特征较明显，瞳孔区域的色彩明显与人脸其他部位不同，提高了跟踪的稳定性与精确性。

图6.10 TCPCM

当特征参数提取成功时，记录目标模型。我们根据瞳孔的形态特征和运动特征，采用一种适用于跟踪的瞳孔模型。瞳孔状态X_t由9个状态变量描述：

式中，c_x，c_y为瞳孔椭圆的中心；a_major，a_minor为瞳孔椭圆的长轴与短轴；θ为瞳孔椭圆长轴与垂直方向的角度；v_x，v_y为瞳孔椭圆分别在x和y方向的运动速度；为瞳孔椭圆尺度的变化率；为瞳孔椭圆角度θ的变化率。记录目标时，c_x，c_y，a_major，a_minor，θ已经在特征参数提取环节中得到；v_x，v_y，，初始设置为零。瞳孔初始状态如图6.11所示。

计算目标区域X的加权直方图H_Xt，颜色特征对于非刚体运动目标变形、旋转、尺度变化具有一定的鲁棒性和持续性。利用Epanechnikov核函数可有效突出不同位置的像素对颜色直方图的不同贡献。位于瞳孔目标中央的区域贡献最大，而边缘区域可能包含背景，所以贡献最小。

图6.11 瞳孔初始状态直方图

相似性采用作为距离度量指标，称为“等灰度线距离”。它可以作为衡量瞳孔像素点重要性加权的依据，d（x）越小像素权值越大。d（x）相同的点构成一条椭圆曲线，该曲线上的点具有相同的灰度值。瞳孔椭圆轮廓线的d（x）等于1，向瞳孔中心点方向d（x）逐渐减小，直至d（x）=0时，等灰度线为瞳孔椭圆中心点。瞳孔初始状态直方图如图6.12所示。

图6.12 瞳孔直方图

4.跟踪初始化

粒子滤波跟踪首先要初始化若干粒子，所有粒子构成粒子滤波估计所需要的粒子集合。每个粒子包括粒子状态和粒子权重两部分，粒子状态反映粒子的位置、形状、大小、速度等信息，粒子权重反映粒子与目标模型的匹配程度。初始化的粒子集合中的粒子状态一般成正态分布，粒子权重为均值分布。

初始化粒子状态为

STATES_t-1为粒子集合，（stateⁿ_t-1，πⁿ_t-1）为每个粒子的状态和权值，V_t-i为噪声矢量。STATES_t-1如图6.13a所示。

5.选择

随着粒子滤波估计的不断迭代过程，粒子集合中会有一些粒子的权重越来越小。这些粒子对目标状态估计的作用也越来越小，仅剩下少数的权重较大的粒子对最后的目标估计起作用。由于参与加权平均的粒子越来越少，加权平均估计的精度会越来越差。为了避免这种现象，一般采用在粒子集合中重新抽取等量粒子的方法。权重较大的粒子可以被抽取多次，权重很小的粒子被淘汰。

从STATES_t-1中，按照权值分布，随机选择出N个状态，构成。权重越高的粒子被选中的机会越大，往往被重复选择，而权重低的粒子在选择过程中被淘汰。

6.瞳孔运动模型建立

粒子集合中的每个粒子的状态是随着时间变化的，上一时刻的粒子集合不能反映本时刻的目标状态，所有必须要对上一时刻的粒子集合中的每一个粒子进行状态转移。根据状态转移方程对粒子集合中所有粒子进行状态转移，得到本时刻的粒子集合。

瞳孔运动模型的建立，应充分考虑瞳孔状态变化的各种情况，瞳孔状态stateⁿ_t运动规律如下：t时刻瞳孔椭圆中心位置等于t-1时刻的瞳孔椭圆中心位置与瞳孔运动位移之和，t时刻的瞳孔椭圆的长轴（或短轴）等于t-1时刻的长轴（或短轴）与椭圆尺度变化之和，t时刻瞳孔椭圆长轴与垂直方向的角度等于t-1时刻的角度与角度变化之和，其他状态变量不变。对粒子状态进行预测时，要将噪声矢量考虑在内。由此可以得到瞳孔运动方程为

(www.daowen.com)