根据动作表示与建模方式，动作分类模型可以分为两类：时空模型和序列模型。前者将视频帧在时间轴上进行排列组成一个三维时空体，通过比较两个视频的整体特征来衡量彼此的相似性，忽略了视频帧之间的时序关系；而后者将视频视为一个观测序列，通过分析时序运动模式来识别动作。

1.时空模型

基于模板匹配[6，13，27-32]的方法在动作识别发展早期取得了良好的识别效果。这类方法从训练数据中学习不同动作的模板，通过比对待识别样本与动作模板之间的相似性来确定识别的结果。Bobick和Davis[18]采用二值化的运动能量图和标量化的运动历史图作为表示动作的模板，采用马氏距离度量模板的相似性。Kim等人[32]用三维时空立方体表示动作，以不同动作的相关系数作为相似度度量标准。Rodriguez等人[30]将传统的最大平均相关高度滤波器从二维图像空间扩展到三维空间，得到视频滤波动作模板。Blank等人[6]将人体轮廓在时间轴上进行排列组成时空形状矩阵，通过求解时空形状的泊松方程提取动作动态特性、动作方向、形状结构等特征，用于描述人体姿态的空间信息和动态变化信息。他们以欧氏距离为相似度度量标准，采用最近邻匹配方法识别视频中的动作。Ryoo和Aggarwal[13]采用基于时空关系的匹配方法来度量两个视频的相似性，对每个动作采用时间关系直方图和空间关系直方图统计局部特征点的时空关系，作为视频匹配的依据。基于模板匹配的动作识别方法实现简单，可进行实时的动作识别。在模板匹配方法中，模板的建立至关重要，需要有一个稳定的大容量数据库作为基础。此外，模板匹配算法不够鲁棒，容易受到噪声干扰，对时间间隔变化等类内动作差异比较敏感。

基于统计建模[9，33，35]的时空方法通过显式地建模不同动作的概率分布识别视频中的动作。Chomat和Crowley[33]采用局部特征的统计直方图表示视频，通过贝叶斯规则计算动作在视频中出现的后验概率。Niebles等人[9]将产生式的概率潜在语义分析模型应用到动作识别中，通过估计每个动作的后验概率来标注视频的动作类别标签。Wong等人[34]将概率潜在语义分析模型与隐式形状模型相结合，以描述局部特征点到动作中心的相对时空位置信息。

2.序列模型(www.daowen.com)

序列模型方法将视频视为一个观测序列，每个观测是图像帧的特征向量，通过分析不同动作产生该观测序列的可能性来预测视频的动作类别。与基于时空模型的方法不同，基于序列模型的动作识别方法通过挖掘视频的时序信息来表达动作的时序运动模式。序列模型方法大致可以分为基于样本序列和基于状态模型两大类。

基于样本序列的方法用一个模板序列或一组样本序列描述一个动作，通过比较待识别视频与各个动作的模板序列或样本序列的相似性来归类视频。动态时间规整（dynamic time warping，DTW）算法是一种评估两个时间序列之间相似度的方法，能够在多项式复杂度下匹配两个长度不等的序列，被广泛应用于基于样本序列的动作识别方法[35-36]中。

基于状态模型的方法用一组状态序列描述动作，通过状态之间的转换关系建模动作的时序信息。常用的状态模型主要有两大类：产生式模型和判别式模型。产生式模型建模了状态和观测的联合概率分布，通过贝叶斯公式计算观测序列的后验概率，判断观测序列是否属于某种动作。判别式模型则直接建模了观测序列的后验条件概率，不关注状态与观测的联合概率分布。因此，产生式模型从统计学的角度表达了数据的类内分布，而判别式模型通过学习不同类别之间的分界面反映了类间数据的差异。隐马尔可夫模型（hidden Markov models，HMM）和动态贝叶斯网络（dynamic Bayesian network，DBN）是两种常用的产生式模型。这两种模型都是用一组隐含状态序列表示动作，每个状态产生一个观测特征向量，利用转移概率表达状态之间的转换关系。一般情况下，每类动作对应一个模型。得到模型的观测产生概率和状态转移概率后，通过计算模型产生观测序列的概率来获得该序列的动作类别。条件随机场（conditional random field，CRF）是一种应用广泛的判别式模型。与隐马尔可夫模型不同，条件随机场没有很强的独立性假设，能够建模任意长度的特征相关性。