如前所述，大部分基于瞳孔中心-角膜反射技术的视线估计可分为两类：基于二维映射模型的视线估计方法^[1，2]和直接的三维视线估计方法^[22-26]。二维映射模型一般应用于单摄像机视线追踪系统，而三维的视线估计方法则主要应用于双摄像机系统。三维视线估计检测三维视线参数，通过空间几何模型换算成三维视线方向。然后通过视线方向和屏幕的交点即可得到注视点。参考文献[22]提出了一种用来估计三维视线方向的方法，其使用一个单校准摄像机和至少两个光源。首先，使用光源测量每个使用者的眼球角膜半径。使用一系列高阶多项式方程来计算角膜的半径和中心，但是它们的解不是惟一的。因此，如何从这些解中找到正确的答案仍然是个问题。目前，还没有成功应用此方法的实用系统。参考文献[23]提出了一种类似的方法来估计三维视线方向。方法限定了一些初始条件：首先角膜半径、瞳孔和角膜中心的距离对所有用户是一样的，当然事实上并不是如此；其次用来计算角膜中心的公式是基于红外光源虚图像在角膜表面上的假设，事实上红外光源的虚图像是在角膜里面而非表面。因此，计算角膜中心的公式是不准确的。参考文献[24]提出了另一个系统和至少有7个参数的复杂眼球模型来估计三维视线方向。首先三维眼球模型会针对每个使用者进行建模，它将一系列的图像特征通过非线性估计技术适配至眼球模型中以达到建模的目的。用以适配模型的图像特征仅仅包括由红外光源产生的角膜反射和瞳孔边缘。但是角膜反射的是由红外光源照射角膜产生的虚图像的投影，并不在角膜表面而在角膜内部。同样，瞳孔边缘也不是在三维眼球模型的表面。因此，角膜半径不能基于上述方法得到。此外，对这样复杂的三维模型只使用很少的特征点，方程的解对噪声会很敏感，鲁棒性也较差。参考文献[25]提出了一种使用多摄像机和多光源估计三维视线方向的方法。在这种方法中，虽然不需要知道使用者眼睛的个体差异参数，但是立体摄像机使其系统有很明显的局限。特别是当用户注视点在两台摄像机的光学中心的连线上时，三维视线方向不能惟一确定。参考文献[26]使用一个或两个摄像机配合多个光源来估计三维视线。首先重建眼睛的光轴，之后通过一个校准过程用已知的光轴得到视轴。文中通过对多个系统的比较分析，得出了三维视线估计的系统理论上的最低配置：一台摄像机和两个光源配及一些使用者眼睛的独立参数，或是不用参数情况下使用两台摄像机和两个光源。文中用一台摄像机和两个光源实现了一个视线估计系统，并实验验证了其准确性。与双摄像机直接估计视线的系统相比，单摄像机代表了一种重要的简化，但是这种方法不能适应头动较大的情况。

图8.12 支持矢量回归补偿前后对比

综上所述，三维视线估计方法有以下几个优点：

1）因为采用立体视觉，因此可以检测使用者头部的空间位置，所以允许使用者头部自然运动。

2）因为只要标定视线与眼球光轴的夹角，不需要依靠标定确定眼睛特征参数与视线的映射函数，所以标定点数较少。在双摄像机双光源的条件下，可以做到单点标定。

3）三维视线估计方法估计的是空间视线方向，而不是屏幕视线落点，所以视线估计不依赖于屏幕位置、大小、形状，可以计算视线在任何物体上的注视点，并且不需要重新标定视线估计函数。

同时，三维视线估计方法有以下几个缺点：

1）在现存的三维视线估计方法中，要么需要关于用户眼球参数的独立信息，要么需要至少两台摄像机和两个光源的复杂硬件配置，否则就不能解决头动问题。但是使用者眼球的独立信息，如角膜半径和瞳孔中心与角膜中心的距离，是非常小的（一般小于10mm）。因此，在不借助其他仪器的情况下，准确地间接估计眼球独立参数是很难实现的。

2）即使采用一台摄像机和两个光源配以使用者眼睛独立参数的方案，在系统标定过程中也要使用至少两台摄像机。

3）因为需要估计角膜球面中心的空间位置，而角膜球面中心不可见，需要至少两个光源的像去估计角膜球面中心的空间位置，所以至少需要两个光源。

4）需要进行摄像机标定，需要进行光源位置标定和屏幕位置标定，并且三维视线估计对以上位置非常敏感。当摄像机发生变化不仅要对自身重新进行标定，而且要对光源和屏幕重新进行标定，光源和屏幕发生变化要对自身重新进行标定。

基于二维映射模型的视线估计方法，通过一个经过校准的视线映射函数来估计视线方向，映射函数的输入是从眼睛图像提取的一系列二维眼动特征，输出是视线方向或注视点。二维映射模型不需要估计三维的视线方向，所以不需要使用摄像机立体视觉系统，不需要进行摄像机及摄像机立体视觉系统的标定，不需要进行光源和屏幕三维位置的标定，为低硬件配置条件下的视线估计提供了有效的解决方案。

提取的二维眼动特征随视线而变化，使它们之间的关系可以由一个视线映射函数来表示。为了得到视线映射函数，需要对每个使用者进行在线校准。但是二维眼动特征随着头部位置的变化而显著变化，因此校准的视线映射函数对头部位置非常的敏感[26]。因此，为了得到准确的注视点，使用者需要保持头部静止。如果使用者保持其头部固定，或通过支架限制其头部活动，眼睛注视点跟踪的结果可以达到非常高的精度。平均误差可以小于1°（对应在计算机屏幕上少于10mm）。但是如果头部离开使用者校准时的位置，视线跟踪系统的准确性将显著下降。参考文献[27]报告了相关详细的数据，数据显示视线映射函数的准确性将严重降低。虽然可以通过使用者局部手工重新校准来解决这个问题[28]，但是这给使用者带来许多麻烦。

综上所述，二维视线估计方法有以下几个优点：

1）因为二维视线估计仅需要使用平面眼睛特征参数，眼睛特征检测识别和特征参数提取简单快速。

2）因为不需要采用立体视觉，所以可以使用单摄像机，系统结构简单且成本较低。

3）不需要估计角膜球面中心的空间位置，仅需要知道平面图像上的一个普尔钦斑与瞳孔中心的相对位置就可以进行二维视线估计，所以可以采用单光源。

4）二维视线估计的精度依赖于标定算法而不依赖于立体视觉，不需要进行三维重构，对硬件配置要求较低。

5）不需要进行摄像机标定，也不需要进行光源位置和屏幕位置等系统标定，仅需进行用户标定。

同时，二维视线估计方法有以下几个缺点：

1）二维视线估计依赖于标定位置，视线估计的精度随着使用者头部远离标定位置而迅速下降，所以使用者需要保持头部静止。

2）使用时需要依靠针对用户的初始标定确定眼睛特征参数与视线的映射函数，所以标定点数较多。

概括来说，理想的视线估计方法需要满足以下几点要求：

1）准确，例如精确到分（角度）。

2）可靠，结果可重复。

3）鲁棒性好，可以在各种条件下正常工作，如室内/室外、带眼镜/隐形眼镜。

4）非接触式，对用户无害，舒适的。

5）允许头部自由运动。

6）初始校准尽可能少。

7）实时。

8）硬件配置简单低廉。

而现有的视线估计方法都不能完全满足上述要求。

直接的三维视线估计方法存在两个共同的缺点：

1）至少需要两台摄像机（已标定）和两个光源的复杂硬件配置。

2）繁杂的系统标定过程。

现有的基于二维视线映射模型的估计方法存在两个共同的缺点：

1）用户使用前都需要进行多点个体标定；

2）用户需要保持头部静止。

上述内容详细分析了现有的二维视线映射模型和三维视线估计方法的优点和缺点。基于解析头动补偿的视线估计模型是一种可适应自然头动的视线估计方法（Gaze Es-timation Method with Head Compensation，Single Camera，Single Light Source，One-point Calibration，GEMHSSO）。这种视线估计模型采用的视线追踪系统是本书3.2.2节介绍的单摄像机主动红外光源系统。在单摄像机单光源条件下实现了头动对视线参数影响的解析补偿，使精确视线估计的最小硬件要求降低到单摄像机（未标定）单光源。这样既不需要繁杂的系统标定，又实现了自然头动视线估计，并且将用户标定简化为单点标定。如图8.13所示，基于瞳孔中心-角膜反射（PCCR）的视线估计方法主要包括个体差异补偿，视线映射函数和头部位置补偿三部分。

图8.13 视线估计框架

8.1.3.1 系统构成及视线特征矢量

硬件系统由光源、滤光片、镜头、图像采集卡、CCD摄像机、GPIO卡、单片机、主机和屏幕组成，系统构成如本书3.2.2节所述。工作时，使用者注视屏幕，由CCD摄像机获取人脸图像，通过图像采集卡传到主机，主机通过特征参数提取和视线映射函数来得到视线落点，并显示在屏幕上。另一方面，为了得到方便处理的人脸图像，先采用GPIO卡获取CCD摄像机视频图像的帧同步信号，再通过单片机控制光源的开关，然后通过内外环光源的交替开关产生交替的亮瞳和暗瞳图像，最后采用主动近红外光源进行照明，并且使用了对应波长的滤光片，使拍摄的人脸图像受外部光照影响很小，图像灰度稳定。

首先，亮瞳与暗瞳图像相减得到差分图像，再对差分图像做滤波，得到瞳孔区域。检测瞳孔区域的边缘并在眼睛区域附近基于灰度搜索角膜反射。求质心来定位角膜反射中心，并对瞳孔边缘做滤波消除角膜反射对瞳孔边缘轮廓的影响，椭圆拟合定位瞳孔中心，得到亚像素的中心坐标。最后提取的视线特征矢量L_t为

式中，（Δx，Δy）为瞳孔中心到角膜反射的矢量，（Δx，Δy）=p_ipjp-p_icjc；为瞳孔椭圆长短轴的比；θ为瞳孔椭圆长轴与垂直方向的角度；（i_p，j_p）为瞳孔中心在图像中的位置坐标；（i_c，j_c）为角膜反射在图像中的位置坐标。

8.1.3.2 个体差异补偿

根据采用的特征矢量，为了补偿个体差异对视线估计的影响，在经过大量实验基础上，总结出以下事实：

1）不同的使用者在同一位置注视同一点的情况下，眼球的方位是大致相同的。因此，（Δx，Δy）的方向是大致相同的，其方向的差异是由于视线和眼球光轴夹角的个体差异造成的，如图8.14a所示。这个差异可以通过单点用户标定进行捕捉。

2）不同的使用者在同一位置注视同一点的情况下，（Δx，Δy）的长度差异往往大于方向的差异。其差异是由于角膜球面半径大小的个体差异造成的，这个差异也可以通过单点用户标定进行捕捉。如图8.14b所示，当角膜球面半径发生变化时，瞳孔中心P₁发生线性变化，图像中的瞳孔中心p₁也随之线性变化，而图像中的普尔钦斑g₁不变。即角膜球面半径增加k倍，g₁到p₁的矢量（Δx，Δy）长度随之增加k倍。

图8.14 角膜个体差异示意图

3）不同的使用者在同一位置注视同一点的情况下，可以认为是相同的。

基于上述事实，在此提出一种视线特征矢量个体差异补偿方法，通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，补偿方法如下：

（Δx′，Δy′）=k（Δxcosλ-Δysinλ，Δxsinλ+Δycosλ） （8.19）

（Δx，Δy）为补偿前的瞳孔中心到普尔钦斑矢量，（Δx′，Δy′）为补偿以后的瞳孔中心到普尔钦斑矢量。k为使用者的角膜半径比例系数，λ为视线偏角。首先，通过视线偏角对特征矢量进行旋转得到（Δxcosλ-Δysinλ，Δxsinλ+Δycosλ），然后乘以比例系数k得到最后的特征矢量，补偿以后的视线特征矢量L_t′为

8.1.3.3 多项式模型

完整的视线映射函数（G_x，G_y）=F（Δx，Δy）是一个复杂的非线性函数，本节所讨论的是使用者和头部位置固定情况下的视线映射函数（G_x，G_y）=f（Δx，Δy）。在前述的单摄像机双环形光源视线追踪系统配置下，其函数规律总结如下：

可以看到，（G_x，G_y）=f（Δx，Δy）中有8个未知数，分别为a₃，a₄，a₅，a₆，b₁，b₂，b₄，b₅。此处，使用缺项的二阶多项式效果最好。如果采用一阶多项式，不能很好地拟合函数。如果采用三阶以上的多项式，拟合的效果很好，但是由于过拟合所以泛化能力较差，并且阶数过多会需要很多的拟合点，增加了标定的负担。通过实验发现二阶的拟合和泛化能力最适合，并且有些项的系数很小可以省略，从而减少了需要的标定点，所以最后得到上面的（G_x，G_y）=f（Δx，Δy）。此函数通过4个以上的标定点就可以确定关系，为了覆盖屏幕落点的各个区域，通过9个标定点对应的18个等式对8个未知数进行多项式回归，这个回归过程只在建立模型的时候进行一次。一旦8个未知数已经确定，以后不同使用者使用系统时，因为已经经过上个步骤的个体差异补偿，所以可以直接使用这个视线映射函数，无需重新进行回归过程。

8.1.3.4 头部位置补偿

为了解决使用者头部位置改变对视线估计精度的影响，该方法通过分析头动后眼部特征和头部位置变化的关系，提出了相应的补偿方法。当用户在O₁和O₂两个位置注视同一屏幕点S时，如图8.15所示，T为屏幕注视点S到镜头中心o的距离，P₁G₁和P₂G₂分别为O₁和O₂位置瞳孔到普尔钦斑的矢量值，p₁g₁和p₂g₂分别为O₁和O₂位置瞳孔到普尔钦斑矢量的图像值，r为角膜曲率半径，D₁和D₂为角膜曲率中心到视线落点S的距离。

通过三角形oSO₁，oSO₂的几何比例关系可得到

图8.15 头部位置对视线特征矢量的影响

即

式中，d₁和d₂分别为O₁和O₂位置角膜曲率中心到屏幕的距离；f为镜头焦距，即焦点到CCD面板的距离。根据成像原理有

由上式可以得到

即

由于单摄像机视线追踪系统无法测量角膜曲率中心到屏幕的距离d和角膜曲率中心到视线落点的距离D，所以该方法采用使用者在不同位置时摄像机测量的瞳距值进行代替。

如图8.16a所示，使用者的瞳距L是固定值。但当使用者处于不同位置时，瞳距在图像上的值L₁和L₂与用户距摄像机距离成反比，即

由此可得

如图8.16b所示，可以通过瞳孔椭圆的曲率估计角膜曲率中心到视线落点的距离D。

(www.daowen.com)

图8.16 头部位置对瞳距值的影响

式中，，。所以cosγ₂由特征矢量可知，γ₁为标定位置瞳孔角度，

图8.16 （续）

如图8.16c所示。，，即，可得。另外，根据成像关系有t。其中，Δt为图像距离，f为相机焦距。由此，tanγ₁可知。

如图8.16d所示，头部转动会造成图像中瞳距的变化，需要计算消除头部转动的瞳距L₂′。设左右瞳孔在图像中的长轴分别为a_L、a_R，左右角膜曲率中心到屏幕的距离分别为z_L、z_R，L1为标定位置的图像瞳距，z₁为标定位置到屏幕的距离，根据成像关系和几何关系有

即

解得

所以根据，有

即

当用户在使用系统时，若头部偏离了标定位置，此时图像中瞳距为L₂。根据前述的瞳距和图像矢量差的关系，将L₂位置的瞳孔与普尔钦斑矢量差p₂g₂自动转化为标定位置的矢量差p₁g₁，有

这样，用户在瞳距为L₂位置上时，仍然可以得到标定位置对应的矢量值，由此消除了头动带来的视线估计误差。

以上求解过程是对于非标定摄像机而言的，只需要知道摄像机的焦距f即可求解。如果事先标定出摄像机的主点（u₀，v₀），则角膜的空间位置可由单摄像机空间重建直接求得。

相对于人机距离，空间中角膜空间位置O的空间坐标可由瞳孔中心空间坐标代替。根据单摄像机成像原理，瞳孔中心空间位置P的空间坐标可由下面的公式求得

式中，（u₀，v₀）为摄像机的主点；f为相机的焦距；（p_x，p_y）为瞳孔中心的图像坐标；P_z为瞳孔的z坐标，P_z可由标定位置的瞳孔z坐标P_1z与人脸尺度因数δ求得，即P_z=P_1z/δ。由此，P₁的空间坐标，P₂的空间坐标可知。进一步，上述头动补偿过程中的d₁=P_1z，d₂=P_2z，可知。则上述头动补偿过程可以进一步简化。

如图8.15所示，通过三角形oSO₁，oSO₂的几何比例关系及成像原理有

即

如图8.16b所示，可以通过瞳孔椭圆的曲率估计角膜曲率中心到视线落点的距离为

即

式中，，由当前位置瞳孔长短轴之比可求得，γ₁为标定位置瞳孔角度，可如下求解：

至此，d₁、d₂、ΔT、γ₁、γ2都已知，可解出特征矢量的补偿关系，即

以上依靠单摄像机标定结果的计算过程，对单摄像机三维重建的要求不高，远远低于基于立体视觉的几何模型对三维重建的要求。三维重建误差对视线估计结果的影响分析如下：

当瞳孔三维位置P₂重建不准确时，实际瞳孔距离D₂与测量的距离有误差ΔD₂，那么计算得到的视线落点与实际落点有ΔM的误差。特征补偿为

又因为d₁≈d₂，D₁≈D₂，Δd₂·ΔD₂<<d₁·D₁，所以

即

D₁一般为80cm左右，屏幕尺寸一般在30cm左右，如果要求映射以后的落点误差ΔM<1.5cm，那么P₁和P₂重建误差对最后的影响分别不能大于0.75cm，即

即

也就是说，单摄像机三维重建精度可以允许高达1cm的误差。8.1.3.5 实验结果

1.不同使用者的视线估计结果

在单摄像机双环形光源视线追踪系统中，对不用的使用者的视线估计效果进行了测试。测试过程中，系统将实时记录下所有落点信息，并计算出在分别注视每个目标对象的一定时长内所有落点的位置均值。考虑到人相对于摄像机的位置不同，视线追踪精度也不尽相同，因此在测试过程中选取了几个有重要意义的位置。在标定位置为原点的坐标系下（单位为mm），首先在（0，0，0）处即标定位置处。选取此位置的目的是测试由标定信息带入的原始误差，然后分别到（100，0，0）和（0，50，0）处。它们分别为水平和竖直方向正常头动位置。接下来到（0，0，-100）处，此位置算是离摄像机较近的位置。最后到（0，0，100）处，这是离摄像机较远的位置。

对数据进行离线处理，得到7位使用者在几个位置上对注视屏上所有对象的追踪精度平均水平（见表8.4）。其水平方向平均精度为1.4°左右，竖直方向平均精度为1.6°左右。图8.17所示为使用者3在（100，0，0）点的视线估计结果。

表8.4 不同使用者的视线估计结果

图8.17 估计视线与真实视线比较

2.与其他视线估计方法的比较

对几种视线估计方法进行了对比。图8.18给出使用者视线估计结果与真实视线的角度误差。

参考文献[3]描述的是一种典型的二维映射模型视线估计方法。为了估计眼睛的注视点，必须从图像序列得到5个角膜反射和瞳孔中心。首先，检测角膜反射。第一步是输入暗瞳图像的阈值以获得二值图像；第二步是对二值图像进行二值化，在二值图像中有4个红外角膜反射点；第三步是计算各个区域的中心位置。

然后是瞳孔中心检测，阈值分割法确定瞳孔中心的区域。有时由于不适当的阈值和噪声，瞳孔边界区域有时不清楚，质心法无法准确检测瞳孔中心。为了降低噪声的影响，考虑到瞳孔边界近似于椭圆，用椭圆拟合可以减少噪声影响，提高检测精度。第一步是分别获得亮瞳和暗瞳图像；第二步是通过阈值对图像进行差分，由此产生的图像是一个二值图像；第三步是确定瞳孔区域的边缘；第四步是直接用椭圆拟合算法计算瞳孔中心位置。

参考文献[6]描述的是典型的直接三维视线估计方法。它是一种完全依靠空间几何计算实现用户视线落点运算的方法。其主要思路是通过计算用户真实的空间视线方向与屏幕的交点来确定的。通过双目视觉定位原理测定在眼睛中产生的普尔钦斑的空间坐标。由于将角膜看做了一个凸镜，所以根据凸镜原理就可以测定由多光源形成的多个普尔钦斑在角膜上的位置，进而可以通过普尔钦斑和光源连线的交点确定角膜曲率的中心。由于角膜曲率中心和瞳孔中心在同光轴上，所以可以通过双目视觉测定瞳孔中心后，得到光轴的空间方向。根据眼球构造原理，人类的视觉是由视轴决定的，而光轴和视轴间存在一个与个人特征无关的固定偏差角kappa。通过偏差角就可以很容易地求得视轴方向。偏差角kappa可以通过一个简单的校准得到。在校准过程中，用户要注视屏幕上k个预先设定的点（i=1，2，…，k）。文中k取为9。在校准过后，得到3×3的旋转矩阵M。一旦得到旋转矩阵M的值，眼睛的视轴就可以通过光轴和旋转矩阵M得到。最终，注视点可以通过估计空间视轴和任意物体的交叉点得到。

图8.18所示的蓝色曲线为本节所述方法对视线的跟踪轨迹，绿色曲线为参考文献[3]中二维映射模型视线估计方法对视线的跟踪轨迹，红色曲线为参考文献[6]中直接三维视线估计方法对视线的跟踪轨迹。图中横轴为人眼与标定位置的距离，纵轴为视线估计误差。由图可知：

1）在标定位置几种算法都能正确估计视线。

2）随着使用者头部远离标定位置，参考文献[3，6]所述方法虽仍能估计视线，但结果已明显不再准确。而基于解析头动补偿的视线估计方法在整个头部运动过程中，都能一直保持对视线的稳定估计能力。

3）相对于参考文献[3]中二维映射模型视线估计方法和参考文献[6]中直接三维视线估计方法，基于头动补偿的视线估计方法能更为准确和稳定地跟踪目标。其跟踪结果与目标真实位置的误差最小，完全能满足实时视线追踪对精度要求。

图8.18 视线估计结果与真实视线的误差

图8.19 基于视线追踪的残疾人环境控制人机交互系统

3.人机交互系统

基于视线追踪的残疾人环境控制人机交互系统如图8.19所示。可以使残疾人通过视线追踪系统提供的交互环境得到更加丰富的服务。系统根据主人的要求向服务器发出指令，来控制灯光控制器、电视机、空调器、热水器、电饭煲、录像机等家电设备的电源控制系统。基于头动补偿的视线估计方法应用于该系统中，实验结果表明交互准确率在95%以上。系统主要实现的是由视线落点控制交互屏上的菜单，使用者的视线在某个按钮上停留2s以上，则系统将弹出确认对话框，再通过视线确认以后响应对应事件。

系统提供一系列视线控制的功能，从文件菜单中的视线控制子菜单进入操作界面。分为控制选项，服务选项，监控选项，切换退出选项。

在生理学和心理学的研究中，从基础的视觉生理研究到关于美学的视觉探索的研究都离不开视线追踪系统提供的原始数据支持。系统主要实现的是实时记录使用者在使用计算机过程中视线的落点分布和轨迹。记录使用者注视图片、视频、网页或者文档的过程，用带序号的注视点的序列，表示使用者眼动轨迹、注视次数、注视时间等数据，如图8.20和图8.21所示。

图8.20 图片注视轨迹

4.与其他系统的比较

与其他视线追踪系统比较结果见表8.5。可以看到，基于头动补偿的视线估计方法是一种单摄像机单光源条件下的，只需单点用户标定的，可以允许头部较大范围运动的，高性价比的视线追踪解决方案。

图8.21 视频注视轨迹

表8.5 与其他系统的比较

注：1.参考文献[29，30]中需要另外配置立体摄像机，用来标定摄像机，光源和屏幕的空间三维位置。

2.本节方法在头部运动小于50mm时，平均精度在1.0°左右。