受个体外观（如身材、着装等）和运动习惯（如时间间隔、运动幅度等）等因素的影响，不同个体的同类动作往往会呈现出较大的类内差异。同时，剧烈的光照变化、摄像机运动、视角变化等因素也为区分不同类别的动作造成了很大的困难。因此，如何提取具有强描述能力和强判别能力的特征表示至关重要。全局时空特征[2-6]、局部时空兴趣点特征[7-13]和时空轨迹特征[14-17]是三类经典的动作特征。

1.全局时空特征

全局时空特征是较早提出的时空视觉特征，它在大尺度上描述了人体的表观和运动信息。典型的全局时空特征有运动能量图（motion energy image，MEI）、运动历史图（motion history image，MHI）、光流场、时空体（spatial temporal volume，STV）、时空形状（spacetime shape，STS）。

图6.2　全局时空特征

（a）运动能量图和运动历史图[18]；（b）时空体[5]；（c）时空形状[6]

Bobick和Davis[18]提出用MEI和MHI表示图像序列中人的运动[图6.2（a）]。MEI由二值图像序列随着时间累加而成，累加后的整体形状及其位置表示该段图像序列中人的运动，但没有反映运动的时间先后关系。MHI是对MEI的改进，通过对每个像素建立运动历史函数来体现运动的先后关系。Bradski和Davis[2]基于MHI原理提出了定时MHI（timed MHI，tMHI）概念，并将它用于运动分割，最后用Hu矩表示二值边缘图像，实现对动作的识别。Weinland等人[3]在多摄像机的环境下把来自各个摄像机的图像序列融合成简单的三维体，即运动历史体（motion history volumes，MHV），从任意角度识别动作。Yilmaz和Shah[5]通过两步图理论方法解决相邻帧之间的点对应问题，由图像序列生成时空体[图6.2（b）]。通过分析时空体的局部微分几何属性，获取方向、速度和表面局部形状等作为动作特征的描述子。Blank等人[6]将完整的人体轮廓按照时间顺序排列在一起组成一个矩阵，即时空形状[图6.2（c）]。时空形状同时具有人体姿态的静态空间信息和运动的动态变化信息。

2.局部时空兴趣点特征(www.daowen.com)

为了弥补全局时空特征的不足，基于局部时空兴趣点的动作描述方法应运而生。它提取人体运动图像序列中一些变化显著的局部特征点，并对这些特征点的各种属性进行统计建模，形成对动作的描述。

Laptev[19]通过加入时间约束将二维图像平面的Harris兴趣点算子扩展到三维时空Harris兴趣点算子，检测在时间和空间上灰度显著变化的局部区域，称之为时空兴趣点[spatiotemporal interest point，图6.3（a）]。Dollár等人[12]提出可分离的线性滤波器，通过在二维图像平面进行高斯滤波和在一维时间轴进行Gabor滤波，检测得到稠密的时空兴趣点[图6.3（b）]。为了减少背景噪声和前景物体纹理对兴趣点检测的影响，Bregonzio等人[20]首先利用帧间差分得到运动兴趣区域，然后在运动兴趣区域使用不同方向的二维Gabor滤波得到抗噪能力更强的时空兴趣点，并通过在时间轴上对兴趣点的累积形成兴趣点云（clouds of interest points），从兴趣点云中提取一些表征人体运动的信息作为动作的描述特征[图6.3（c）]。Oikonomopoulos等人[21]通过衡量像素相邻时空区域内信息的变化量，找到变化显著点（salient points）。Wong和Cipolla[22]利用全局信息来检测和选择兴趣点。他们采用非负矩阵分解方法检测到运动的身体部分，然后在身体部分周围检测兴趣点，使得提取的兴趣点更具运动表达能力。

3.时空轨迹特征

时空轨迹特征通过跟踪每帧的局部特征来捕捉视频中的时空信息。Wang等人[23]利用KLT跟踪器[24]提取DoG-SIFT特征点的轨迹，通过描述每一对轨迹之间的运动得到视频的特征表示。Sun等人[25]同样采用KLT（Kande-Lucas-Tomasi）跟踪器在视频中提取基于DoG-SIFT特征点的轨迹。与文献[23]不同的是，他们分别建模特征点的上下文关系、轨迹内的上下文关系以及不同轨迹之间的上下文关系。Messing等人[26]提取了特征点轨迹的速率信息。Wang等人[15-16]通过跟踪稠密图像块提取稠密的光流（optical flow）轨迹[图6.3（d）]。该轨迹特征对不规则的运动较为鲁棒，可以更准确地捕捉复杂的运动模式。Jiang等人[17]用局部和全局参考点捕捉稠密轨迹的运动，提出一种综合了轨迹的表观、位置和运动信息的特征表示。该特征对摄像机运动较为鲁棒，并且能够描述运动物体之间的关系。

图6.3　局部时空兴趣点特征

（a）Laptev等人[19]提出的时空兴趣点；（b）Dollár等人[12]提出的时空兴趣点；（c）兴趣点云[20]；（d）稠密轨迹[15]