视线追踪是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。按照系统构成和采用的检测方法不同，可以粗略地将它划分为侵入式和非侵入式视线追踪。它在人机交互和疾病诊断两个领域有着广泛的应用，如助残、虚拟现实、认知障碍诊断、车辆辅助驾驶、人因分析等。用于诊断的视线追踪系统可以采用侵入式（头盔式、穿戴式）视线追踪，以达到更高的精度。用于交互的视线追踪系统除了对精度、鲁棒性、实时性的要求以外，还需要最大程度地减少或消除对使用者的干扰。随着数字化技术、计算机视觉技术、人工智能技术的迅速发展，基于数字视频分析（如视频眼动图，Video Oculo-graphic，VOG）的非侵入式视线追踪技术成为当前热点研究方向。

视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线（即视线方向或注视点，Line of Sight/Point of Regard，LOS/POR）变化参数，然后通过几何模型或映射模型获取视线方向。因此，基于VOG的视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分。随着系统硬件和提取的图像特征不同，基于VOG的视线追踪方法可分为如下几类：

（1）瞳孔中心-角膜反射法（The Pupil Center Cornea Reflection Technique，PCCR）

采用红外光源产生角膜反射（普尔钦斑），通过计算瞳孔中心与角膜反射之间的矢量来估计视线方向。视线估计模型可以采用非线性多项式模型，也可以采用几何模型。

（2）角膜反射矩阵法（即Cross-Ratios Method）

多红外光源在角膜上产生多个角膜反射，形成角膜反射矩阵。通过计算角膜反射与瞳孔中心的位置特征估计视线方向，视线估计模型使用投影平面不变的交比（Cross-Ratios）值。

（3）椭圆法线方向法（“One-Circle”Algorithm）

通过记录高分辨率眼睛图像，计算虹膜边界圈的法线方向估计视线方向。在可见光下追踪高分辨率的眼睛图像，并通过基本的投影几何关系计算椭圆虹膜边界圈的法线方向，并视其为视线方向。

人眼特征提取和视线参数检测是视线追踪系统的必要过程和前提。人眼特征提取的质量直接关系到视线估计的精度。根据上述视线追踪方法的不同，提取的眼部特征和视线方向参数可分为以下几类：

1）瞳孔中心-角膜反射法提取的视线参数是瞳孔中心与角膜反射的矢量，因此要分割瞳孔和角膜反射（普尔钦斑），检测瞳孔和角膜反射的边缘特征，拟合瞳孔圆和普尔钦斑圆，进而定位瞳孔和普尔钦斑中心；

2）角膜反射矩阵法提取的视线参数是若干个角膜反射点形成的矩阵，因此要分割角膜反射，检测角膜反射区域边界，定位各个角膜反射的中心；(www.daowen.com)

3）虹膜椭圆边界方法提取的视线参数是虹膜的椭圆边界，因此要分割虹膜，检测虹膜的边缘，拟合虹膜椭圆，进而计算虹膜法线方向。

VOG系统普遍采用瞳孔中心-角膜反射法。假设角膜是规则的球面，普尔钦斑作为红外光源在角膜球面上的成像，无论球面如何转动，该斑点在球面上的绝对位置是不会发生太大变化的。这样，当眼球转动时，亮斑在球面上的位置基本不变。普尔钦斑作为一个位置标准，在视线方向发生变化时，可以通过它提取相应变化的参数。如图2.4和图2.5所示，人注视9个不同位置时，普尔钦斑与瞳孔的相对位置关系发生了有规律的变化。图中阴影区为虹膜，黑色圆形区为瞳孔，而白色小圆为普尔钦斑。

为了提高系统的准确性与稳定性，减少环境光照的影响，瞳孔中心-角膜反射法一般采用基于主动红外光源的亮暗瞳差分方案。这样便于在整幅脸部图像中快速捕捉眼睛和在局部眼睛图像中精细准确地分割瞳孔。红外光源的光谱波设置在880nm左右，对人眼不可见，对人没有干扰作用。摄像机光学镜头上安装红外滤光片，可摄取红外人脸图像。亮暗瞳差分方案的一般过程如下：设置与摄像机镜头同轴的内外环近红外（IR）光源分别产生“亮瞳”和“暗瞳”现象。控制光源交替亮暗，产生亮瞳和暗瞳隔帧交替出现的视频序列。利用相邻亮暗瞳图像的差分，使瞳孔信息相对突出，消除背景影响。亮暗瞳差分方案中，一般采用阈值法分割瞳孔和普尔钦斑。从图像序列中检测人眼视线特征参数，并准确定位角膜反射和瞳孔中心。这是高性能的视线跟踪系统的必要步骤，此外还要求算法的实时性，使该系统能够实时工作。

为了提高检测的稳定性，研究人员提出了很多眼睛检测方法。如通过设置动态阈值消除不同光照条件下背景影响——参考文献[1]中根据人脸区域的灰度变化随时对阈值进行调整，以适应光照的变化。如结合眼睛外观，进行眼睛检测——参考文献[2]中根据眼睛的外观建立了一系列的判别规则，综合起来进行眼睛区域的识别。如对差分图像进行形状滤波，以消除外部光线干扰——参考文献[3]中对图像差分过程产生的干扰区域进行过滤，留下真实瞳孔的区域进行进一步的特征提取。如在阈值化后的差分图像中，通过支持矢量机（Support Vector Machine，SVM）对瞳孔候选区域进行分类，以排除头部随机运动产生的干扰区域——参考文献[4，5]中对差分所得的瞳孔候选区域进行验证识别，去除非瞳孔区域。但这种方法的识别效果取决于样本，对新的使用者的识别效果并不理想。

瞳孔中心与角膜反射的定位是该类视线特征提取所要解决的共性问题，特征参数提取需要满足以下几点要求：

1）眼睛特征检测与跟踪的特征参数提取过程是自动进行的，不需要使用者干预；

2）整个特征参数提取过程快速准确，应满足视线估计对参数的精度和实时性要求；

3）能够提取用于视线估计的所有特征参数，包括估计头部位置所需要的参数；

4）特征参数提取过程能适应个体差异，不因为眼睛大小、形态个体差异而影响算法性能。

如前所述，无论视线追踪系统结构是采用单摄像机还是采用多摄像机，视线参数检测是基于VOG视线追踪系统的共性问题。本章主要介绍了基于瞳孔中心-角膜反射原理并采用亮暗瞳差分方案的VOG视线追踪系统的眼睛特征提取和视线参数检测方法。5.1节中介绍了采用窄视野摄像机的视线追踪系统视线参数检测方法，主要关注的是高精度的视线参数检测。即如何在眼睛特征提取过程中排除干扰因素，并获得稳定的、高精度的眼睛特征。5.2节中介绍了一种采用宽视野摄像机的视线追踪系统视线参数的检测方法，由于头部图像在整个系统采集图像中所占比例不大，因此首先需要准确地定位头部位置。