双摄像机双光源的视线追踪系统硬件构成如图7.10所示，主要由电荷耦合元件（Charge Coupled Device，CCD）摄像机、图像采集卡、通用输入/输出（GeneralPurposeIn_- put/Output，GPIO）卡、PC、单片机和红外光源组成。双CCD摄像机组成的立体视觉系统除了完成图像采集以外，还实现了三维空间坐标测量，为视线追踪系统提供了瞳孔中心和角膜反射的三维坐标信息。图像采集卡分别完成视频源采集和预处理工作，并将信息传输到PC进行图像处理。单片机的外部中断在捕获到GPIO卡提供的图像帧同步信号后，控制两个红外光源交替亮灭。从可在任一个CCD摄像机的相邻两帧图像中，分别得到用户的“亮瞳”和“暗瞳”两种图像。红外光源使用了近红外LED，波长为880nm。在配合了相应的滤光片后，既可以产生“亮暗瞳”，又不会由于光照影响用户的使用。双光源实物如图7.11所示。系统设计要求视线方向误差约1.5°。视线屏幕落点误差15mm左右。

图7.10 硬件系统结构

图7.11 双光源实物图

视线方向计算模型及系统标定要求

1.five-spot模型

本节的视线追踪系统采用8.2.2节基于立体视觉的five-spot模型计算眼球光轴。如图7.12所示，five-spot模型基本内容简述如下。

根据球面反射成像原理，光源C₁、C₂经角膜球面反射所成的像P₁、P₂在光源与角膜球面中心O的连线上。即在角膜球面未知的情况下，可以由直线C₁P₁与直线C₂P₂的交点确定中心点O的位置。又根据球面折射成像原理，瞳孔与经角膜球面折射所成的像在同一半径方向上，即瞳孔中心P₀′与瞳孔中心虚像P₀都在眼球光轴上。所以在瞳孔中心P₀′未知的情况下，可以用瞳孔中心虚像P₀代替P₀′估计眼球光轴。利用five-spot模型，视线方向的计算步骤如下：

1）光源C₁、C₂及其虚像P₁、P₂形成两条直线——C₁P₁，C₂P₂。若直线C₁P₁与C₂P₂相交，那么其交点O就是角膜球面中心。若直线C₁P₁与C₂P₂为异面直线（即由于误差不完全相交），则需求出两直线的公垂线，公垂线的中点O即为角膜球面中心。

2）连接角膜球面中心O和瞳孔中心虚像P₀，直线OP₀就是眼球光轴。

3）根据用户标定结果，利用光轴OP₀和补偿角α、β得到视线方向OP。

4）计算视轴与计算机屏幕交点即为视线注视点。

图7.12 five-spot模型示意图

2.摄像机及系统标定要求

由上述five-spot模型可知，视线方向计算需要知道角膜反射点P₁、P₂，瞳孔中心虚像P₀，光源中心点C₁、C₂的三维空间坐标。视线在屏幕的落点计算需要知道屏幕的平面方程。

P₀、P1、P2三维坐标由系统摄像机通过双目立体视觉获取，因此双系统摄像机需要进行摄像机标定及双目立体系统标定，获得摄像机内外参数及双目视觉结构参数，进而通过立体视觉重建P₀、P₁、P₂在系统摄像机坐标系（原点为双系统摄像机中的一个摄像机的光学中心）中的三维空间坐标。C₁、C₂、屏幕平面由于位于系统摄像机视场以外，则需由系统标定获得。

图7.13 光源标定误差影响示意图

由于整个标定过程步骤繁多，引入的误差因素较多，为方便控制整个系统的标定精度，下面以系统视线屏幕落点误差15mm为依据，通过视线计算模型简要给出误差估算和系统标定要求。

（1）光源标定精度要求(www.daowen.com)

如图7.13所示，当光源标定不准确时，实际光源C₁与测量的光源C′₁有误差ΔC，则计算得到的角膜球面中心变成O′，与实际角膜球面中心有误差ΔO，最后屏幕落点M产生ΔM的误差。根据相似三角形原理，则有

所以

因为P₀O≈P₁O，MP₀≈C₁P₁所以ΔM≈ΔC。由此光源误差对最后视线结果影响是等数量级传递，系统要求视线落点误差为15mm左右，考虑到误差叠加，对光源位置的标定误差要求不超过1mm。这样两个光源对视线落点误差的总影响不超过2mm。

（2）屏幕标定精度要求

如果屏幕标定不准确，对最后视线结果影响是等数量级传递的。一般要求视线落点误差在15mm左右，考虑到误差的叠加，对屏幕位置的标定误差要求不超过1mm。这样屏幕位置对视线落点误差的总影响不超过1mm。

图7.14 光源像重建误差影响

（3）光源的角膜反射像点测量精度要求

如图7.14所示，当光源像点测量不准确时，测量的光源像中心P′₁与实际光源像P₁中心有误差ΔP，这使得角膜反射中心产生ΔO的误差，视线屏幕落点产生ΔM的误差。根据相似三角形原理，则有

因为MP₀≈C₁P₁，则ΔM=（MP₀/OP₀）ΔP₁。C₁O为人到光源的距离，一般在80cm左右，因此C₁O>>OP₀。由于OP₀约为10mm，所以（C₁O/OP₀）>50。即光源角膜反射像点误差会对视线落点结果造成一个数量级以上的影响。根据系统视线落点误差要求并考虑误差的叠加，要求光源角膜反射测量误差不超过0.08mm。这样两个光源像对视线落点误差总影响不超过0.08mm×50×2=8mm。

图7.15 瞳孔中心重建误差影响

（4）瞳孔中心测量精度要求

如图7.15所示，当瞳孔中心P₀重建不准确时，P₀与测量值P₀′有误差ΔP₀，对最后视线结果产生ΔM的误差，根据相似三角形有ΔM=（MO/OP₀）ΔP₀。MO为人到摄像机的距离，一般在80cm左右，因此MO>>OP₀。由于OP₀约为10mm，所以（MO/OP₀）>50。即瞳孔误差对最后视线落点结果造成一个数量级以上的影响，根据系统视线落点误差要求并考虑误差的叠加，要求瞳孔中心测量误差小于0.08mm。这样瞳孔中心误差对视线落点误差总影响不超过0.08mm×50=4mm。

（5）系统总体误差分配关系

由上述分析可知，因为瞳孔中心、角膜反射的测量误差对立体视觉的标定要求远高于光源和屏幕的要求，所以要根据瞳孔、角膜反射的测量误差要求设计立体视觉系统。因为光源、屏幕误差主要来源于系统标定，所以要根据光源、屏幕的误差要求设计系统标定过程。

综上所述，这里设计要求如下：立体视觉三维测量精度约为0.08mm。瞳孔和角膜反射三维测量对视线落点误差总影响可控制在约0.08mm×50×3=12mm以内。这样留给光源、屏幕的标定误差空间为15mm-12mm=3mm。即屏幕和每个光源标定允许有1mm的误差。