在人脸检测与人脸跟踪研究的基础之上，从实际应用的角度出发，能否在检测到的人脸中提取出面部的特征信息，如眼睛、鼻子、嘴等，对于基于内容的面部特征信息服务显得尤为重要。本节介绍面部特征提取的方法。

1.边缘检测

图像的边缘对人类的视觉系统具有重要意义，它是人类判别物体的重要依据，是图像的最基本特征。边缘中包含着景物有价值的边界信息，这些信息可以用于图像分析、目标识别及图像滤波，并且通过边缘检测可以极大地降低后继图像分析处理的数据量。边缘存在于目标与背景、目标与目标、区域与区域、基元与基元之间。

物体的边缘是以图像局部特性的不连续性形式出现的，例如灰度值的突变、颜色的突变、纹理结构的突变等。从本质上说，边缘常常意味着一个区域的终结和另一个区域的开始。图像的边缘有方向和幅度两个特性。通常，沿边缘走向的像素变化平缓，而垂至于边缘走向即边缘法线方向的像素变化剧烈。这种变化可能呈现阶跃型、房顶型和凸缘型，如图4-4所示。

这些变化分别对应景物中不同的物理状态。例如，阶跃型变化常常对应目标的深度或反射边界，而后两者则常常反映表面法线方向的不连续。实际要分析的图像是比较复杂的，灰度变化不一定是上述的标准形式。例如，假定灰度呈阶跃，而实际的变化出现在一个空间范围，远非理想的阶跃。此外，实际图像不可避免地要混有噪声。

边缘是指位于两个具有不连续灰度特性域之间的边界。由于人脸表情图像具有足够的均匀度，因此可以只在灰度不连续性的基础上决定两个区域之间的边缘。边缘检测就是寻找灰度值发生急剧变化的区域，可以用图像灰度的一阶偏微分（梯度算子）和二阶偏微分（拉普拉斯算子²）的值来判定边缘点。从根本上说，各种边缘检测技术的基本思想就是计算局部微分算子。

图4-4 图像灰度变化的几种类型

a）阶跃型 b）房顶型 c）凸缘型

在图像处理技术中，通常用边缘点勾画出各个物体的轮廓，即形成边缘图。如果一个像素落在图像中某个物体的边界上，那么它的邻域将成为一个灰度级变化的带，表示这种变化最为有效的两个特征是灰度的变化率和方向，它们分别以梯度向量的幅度和方向来表示。

利用边缘检测算子可以检查每个像素的邻域，并对灰度的变化率进行量化，通常也包括对方向的确定。大多数的边缘检测方法是基于方向导数掩模求卷积的方法，边缘算子主要包括：

（1）Robert边缘算子 它是一种利用局部差分寻找边缘的算子，由下式给出：

式中，f（i，j）为点（i，j）的像素值。

（2）Sobel边缘算子 图4-5a、b分别是Sobel边缘算子的两个卷积模板。图像中的每一点都利用这两个核做卷积。一个核对垂直边缘的响应最大，而另一个对水平边缘的响应最大，两个卷积的最大值作为该点的输出值，其结果就是一幅边缘幅度图像。Sobel边缘算子具有一定的抑制噪声能力。

（3）拉普拉斯（Laplacian）算子 它是一种不依赖于边缘方向的二阶微分算子，具有旋转不变性，即各向同性，其卷积模板如图4-6所示。其公式为

式中，f（i，j）是点（i，j）的像素值。

图4-5 Sobel边缘算子的卷积模板

a）卷积模板1 b）卷积模块2

图4-6 Laplacian边缘算子的卷积模板

另外，还有Prewitt边缘算子、Canny边缘算子等。

本节边缘检测部分的研究中采用的人脸图像是美国卡内基梅隆大学（CMU）康-卡纳得基于动作单元的人脸表情图像数据库（Cohn-Kanade AU-Coded Facial Expression Image Data-base，CKACFEID）动态图像序列中的单帧图像，图像为490像素×640像素大小的PNG（Portable Netarork Graphic，流式网络图形格式）格式。图4-7a所示是原始图像，图4-7b所示是利用人脸图像的垂直和水平灰度投影曲线确定脸的左右边界后经过切割的人脸图像，基本消除背景、头发、服装等干扰，保留了面部特征的主要信息。

利用以上的边缘算子对图4-7b中切割后的人脸图像进行的边缘检测及其反色之后的示意图如图4-8所示。

图4-8a～e所示分别是Laplacian边缘算子、Roberts边缘算子、Sobel边缘算子、Canny边缘算子、Prewitt边缘算子对图4-7b所示的人脸表情图像进行的边缘提取。可以看出：用Sobel边缘算子、Laplacian边缘算子的方法提取的边缘效果较好，人脸的特征比较明显，并且不包含过多的冗余信息，有助于特征提取的准确性和提高表情的识别率。

图4-7 人脸图像(www.daowen.com)

a）原始人脸图像 b）切割后的人脸图像

图4-8 利用各边缘检测算子得到的边缘图像

a）Laplacian边缘算子 b）Roberts边缘算子 c）Sobel边缘算子 d）Canny边缘算子 e）Prewitt边缘算子

2.面部特征数据存储（FDS）格式

本节提出了一种新的表征人脸面部特征信息的数据存储格式，即为面部特征数据存储格式（Face Data Style）。这种数据的文件格式为XML文件，它所包含的元素主要为面部器官的相关数据，包括几何位置信息和颜色信息。

当然，实现面部特征信息有效存储的嘴的关键一步是面部器官的有效定位。下面，本节将从眼睛、鼻子、嘴这三个最重要的器官来阐述人脸特征定位的方法。

（1）眼睛的确定 由于眼睛和肤色的差异较大，可以在脸部区域内进行边缘检测。对检测到的结果进行水平方向的投影，基本就能确定眼睛在水平轴上的两个范围Ⅰ和Ⅱ。这里虽然有眉毛的影响，但是由于眉毛正好位于眼睛的上方，因此不影响水平区域的确定，如图4-9所示。

然后在Ⅰ和Ⅱ的上方区域的竖直方向投影，得到第一个峰值附近的区域为A、B。然后在A与Ⅰ及B与Ⅱ确定的两个矩形区域内，对黑点进行区域膨胀，可以得到眼睛的大致轮廓和左右眼角。然后将黑点的坐标的平均值作为瞳孔的位置。

这里的粗定位方法综合考虑了前人方法的优缺点和算法的复杂性程度，利用人脸结构特点的先验知识，用一种基于二值化图像的方法来进行眼睛范围的初始定位。粗定位之后，要精确定位眼球圆心的位置，这一过程可以选用几种方法，其中基于Hough（哈夫）变换法是比较常用的方法。Hough变换是一种抗噪能力强、算法比较简单的检测给定形状曲线的技术。

图4-9 眼睛位置示意图

对中值滤波后的二值化正面人脸图像进行水平灰度投影，通过对投影曲线的分析可知，人脸的主要器官眼睛和嘴巴的位置分别对应曲线的两个谷值区域，由此可以粗略地检测出眼睛（和嘴巴）的位置，如图4-10所示。

实际中，由于成像情况的复杂性、噪声的影响及二值化阈值的选取，代表眼睛和嘴巴的谷值前后会出现多个较小的谷峰，这样，曲线所对应的坐标位置就会随之受到影响。对此可采用如下的方法解决：对投影图像进行平滑和内插处理，滤除部分小谷值，并根据眼睛位置的先验几何知识排除其影响。

图4-10 粗略定位眼睛的位置示意图

另外一种定位眼睛的方法是采用灰度投影图匹配的方法。先是从经过中值滤波后的二值化人脸图像的顶点H向下逐步移动，每次在该点放一水平缝隙条；然后将其垂直灰度投影图与图4-11所示的人眼正确标准投影图相比较，从而判断出眼睛的位置。还有可以通过一种称为“或投影”的方法求得眼睛的位置[31]。这种方法是对传统的几何投影方法做了一些改进，并运用于人眼定位的结果。这种“或投影”的方法思路简单，它将图像的二值化边缘作水平“投影”，这种以模式f（x，y）为客体，以X轴为投影轴的投影公式如下：

图4-11 人眼的标准投影图

由于图像各像素间是一种求或的关系，而不是传统的求和关系，因此，若将双眼的边缘二值图像做这种“或投影”运算，则将产生两条水平短线，且短线的宽度与眼睛的宽度基本相等（见图4-12）。当然检测定位眼睛时，必须加入基于人脸先验的几何知识，定义一定的规则，确定是否是真正的眼睛。

（2）鼻子的确定 在确定了眼睛的位置以后，鼻子的位置基本确定，以两眼的瞳距为1来计算，鼻子到两眼中心的距离为0.7～1。在这附近搜索颜色较深的区域，大致能得到鼻孔的位置（对于侧面图，鼻孔不可见，则无法检测出来）。然后在两个鼻孔上方一定范围内（鼻孔距离的1/2左右）找亮度最高的点作为鼻尖。

图4-12 双眼的水平“或投影”

（3）嘴的确定 确定嘴时，要考虑唇色和位置两重信息。对于唇色，满足如下限制条件的位于脸的下部的区域可能是嘴：

此外，嘴到两眼中心的距离可能为1.0～1.3，在满足条件的区域内，采用类似搜索眼睛的方法，进行区域膨胀的图像处理，确定左右嘴角和嘴的中心。

人脸跟踪算法是在人脸检测和人脸结构准确定位的基础上，利用人脸结构和器官的特征实现的。算法中没有用到序列图像的背景信息、运动信息以及颜色信息等，因此人脸跟踪不受背景复杂度、背景颜色、人脸运动强度等因素的影响。当前帧的人脸位置由前一帧所跟踪到的人脸位置来预测，而无须在整幅图像中进行人脸的搜索，提高了人脸跟踪的速度。