理论教育 密度已知的模式分类方法

密度已知的模式分类方法

时间:2023-06-17 理论教育 版权反馈
【摘要】:实际上,鉴别函数的选择使得错误分类的平均概率最小,这符合最小错误概率准则。设概率密度函数p是高斯分布,其均值分别为m1 和m2,协方差矩阵为v1 和v2,要找出使错误概率最小的判决规则,即其中,P1 和P2 分别为模式类别1 和2 的先验概率。,xn 的加权和,且决定于两种模式类别的已知统计量的常数。两个均值之差为最大的项最起作用,而均值相同的那些项在减小Pe 方面不起作用。

密度已知的模式分类方法

当模式类别的概率密度函数完全已知时,我们可由假设检验问题得出鉴别函数。实际上,鉴别函数的选择使得错误分类的平均概率最小,这符合最小错误概率准则。如果模式类别的先验概率不知道,我们就能用奈曼-皮尔逊准则或者最大最小化方法进行分类器设计。在任何一种情况下,都可直接利用检测理论中讨论得到的结果。

下面讨论一个两类分类的实例。设概率密度函数p(x|Hj)(j=1,2)是高斯分布,其均值分别为m1 和m2,协方差矩阵为v1 和v2,要找出使错误概率最小的判决规则,即

其中,P1 和P2 分别为模式类别1 和2 的先验概率。若取P1=P2=0.5,取对数并整理,可得判别规则为

下面讨论两种特殊情况。

1.当协方差矩阵相等时,即v1= v2=v,上式简化为

其中,左边对于特征向量x 是线性的。鉴别函数是测量出的分量x1,…,xn 的加权和,且决定于两种模式类别的已知统计量的常数。因此,可以把鉴别函数写成

其中,w 为加权系数的n 维向量;w0 是一个常数。w 和w0 可由wT=(m1-m2T v-1

得到。

判决规则f(x)可表示为

由于它简单,所以,线性鉴别函数f(x)=wT x+w0 被广泛用于许多分类器中,即使这种运算可能并非最优。(www.daowen.com)

充分统计量l 等于f(x),且在两种假设下都是高斯型的,其矩为

因此,错误概率为

设v=σ2 I。其中,σ2 为比例因子;I 为n×n 的单位矩阵。当实际特征具有相同方差时,判决规则可写为

并且可解释为一种最小距离分类器。就是说,给定一个模式向量x,测量出由x 到每个预定向量的欧氏距离||x-mi ||,并把x 定为对应于最小距离的那一类。错误概率很易求得。对于

每个部分的意义可通过分析前面的表达式确定。两个均值之差为最大的项最起作用,而均值相同的那些项在减小Pe 方面不起作用。此时可以用增大n 的方法,即引入一些新独立项的方法来减小错误概率。至少在理论上可用无限增大n 的方法将Pe 减小到任意小的值。实际上,随着n 增大到某一值,Pe 减小。然而,在此点之外,由于含有一些附加项,反而使性能变坏。

2.对于两种类别的均值相等而方差不同的情况,即,判决规则变为

鉴别函数f(x)对x 为二次的,可写为

其中,w 是n×n 维矩阵;w0 是标量。错误分类概率可用与第一种情况相同的方法计算。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈