目标分类的目的是从检测到的运动区域中将对应于人的运动区域提取出来。不同的运动区域可能对应于不同的运动目标，比如交通道路上监控摄像机所捕捉的序列图像中可能包含行人、车辆及其他诸如飞鸟、流云、摇动的树枝等运动物体。为了便于进一步对行人进行跟踪和行为分析，运动目标的正确分类是完全必要的。注意，这个步骤在一些情况下可能是不必要的（比如已经知道场景中仅仅存在人的运动时）。下面仅给出两种常用的目标分类方法。

1.基于形状信息的分类

基于形状信息的分类（Shape-based Classification）是利用检测出的运动区域的形状特征进行目标分类的方法。例如，视觉监控重大项目（Visual Surveillance and Monitoring，VSAM）^[26]采用区域的分散度、面积、宽高比等作为特征，利用三层神经网络方法将运动目标划分为人、人群、车和背景干扰；Lipton等^[25]利用分散度和面积信息对二维运动区域进行分类，主要是区分人、车及混乱扰动，时间一致性约束使其分类更加准确。

2.基于运动特性的分类(www.daowen.com)

基于运动特性的分类（Motion-based Classification）是利用人体运动的周期性进行目标分类的方法。例如Cutler与Davis^[31]通过跟踪感兴趣的运动目标，计算出目标随着时间变化的自相关特性，而人的周期性运动使得其自相关也是周期性的，因此通过时频化方法分析目标是否存在周期性的运动特性而将人识别出来；Lipton^[36]通过计算运动区域的残余光流（Residual Flow）来分析运动实体的刚性和周期性，非刚性的人的运动相对于刚性的车辆运动而言具有较高的平均残余光流，同时它也呈现了周期性的运动特征，据此可以将人区分出来。

上述两种常用的目标分类方法有时可以结合起来使用^[20]，甚至可以考虑运动物体色彩或速度等特征，以期得到更加准确的分类结果。另外，Stauffer^[37]提出了利用时间共生矩阵进行分层分类的方法，该方法不仅可以用来区分物体，还可以用来区分行为。