计算机视觉是模式识别和人工智能领域的一个重要分支，它是一门主要处理视觉信息的综合性交叉学科。广义的计算机视觉包括两方面能力，一个方面是拍摄和显示视频的分辨率，电视和电影的分辨率已经非常高，已经超过了人类视觉的极限；另一方面是对视频内容的理解。视频内容理解是指计算机把采集到的视频信号转换成语义信息。人类习惯的检索方式是以语义为主，需要利用计算机视觉把所有能识别的内容变成语义，才便于检索和管理，这也是现在计算机视觉发展的重要方向。

在视频编目场景中，视频拍摄量越来越大，节目越来越多，人工难以对海量视频内容进行有效编目，以大幅度提高视频编目的自动化程度；通过广告监播对广告的实际效果进行定量分析，使用广告识别技术实现自动广告监播可以大幅度降低人工监播工作量。

在体育分析场景中通过语义识别将一场球赛的活动数字化，将人的跑位、射门等活动数字化，可以实现方便直观的球赛战术分析。在内容审查场景中，可以将视频中出现的违规旗帜、违规标识和人物自动检测出来，实现视频内容自动审查。

大部分的计算机视觉算法都包括五个主要过程，如图3-3所示。

1．目标检测：在视频中找到目标对象并定位其位置。

2．预处理：对视频中目标图像的尺寸、角度、亮度等进行一定的规范化预处理，方便计算机自动识别。

3．特征提取：将像素亮度和颜色数据转换为更加有意义的特征向量数据，这里有各种各样的特征提取算法可供选择，包括颜色特征、纹理特征、形状特征、边缘特征、LBP特征、SIFT特征、Gabor特征等等。

4．特征匹配：将提取的特征向量与特征库中的存储的特征向量进行对比，计算特征相似度并找到相匹配的特征，比如将提取的人脸特征与特征库中的人脸特征进行匹配，找到相似的特征。(www.daowen.com)

5．输出结果：根据特征匹配的结果输出语义，比如提取的人脸特征与库中某个特征相匹配，则输出该匹配特征对应的人名。

图3-3　图像识别工作流程图

关键技术包括：

1．SIFT特征：是一种尺度不变特征提取算法，是计算机视觉研究领域使用最频繁的视觉特征之一，被广泛应用于图像匹配和目标标识。该算法最早由David Lowe在1999年提出，通过在图像中检测关键点，并提取每个关键点的描述特征，得到稳定的图像局部视觉特征。SIFT特征具有两方面的优点，首先是对图像平移、缩放和旋转等相似变化具有良好的不变性，经过相似变换失真的图片同样能够可靠地进行识别；其次是具有局部描述特性，对于裁剪产生的局部图片，照样能够可靠地进行识别。近年来国内外研究人员不断地对SIFT特征进行优化改进，产生了一系列变种算法，经过改进的算法可以在特定应用场景下取得更好的性能。SIFT特征还可以和LSA（Latent Simantic Analysis）相结合，对特征进行聚类，并将特征转换成SIFT词汇，从而达到更加稳定的性能。

2．三维形变模型：2003年Blanz最早提出了三维形变模型，该算法通过建立人脸三维模型，利用人脸特征点匹配，实现了将侧脸人脸图片自动校正为正脸人脸图片，大幅度提高了侧脸图片人脸识别的准确率。该方法也可以用于其他物体的三维姿态校正。

3．深度学习：传统的机器学习算法通常包括两个步骤：一是特征提取，将原始数据转化为低层特征；二是模式分类，利用分类器从底层特征得到高层语义。这种方式在模式训练时只对分类器进行训练，特征提取模块不能得到训练，不能根据训练数据对特征提取模块进行优化。2006年深度学习算法取得了革命性的成功，其核心思想是根据训练数据，对特征提取部分也进行训练，实现对特征提取的优化，从而提高机器学习的正确率。深度学习也可以看作是将特征提取和模式分类两个步骤合二为一。