训练样本ZN=[x1，x2，…，xN]的分类是未知的，分类条件概率密度函数的形式是已知的，而仅仅与这些密度有关的某些参数是未知的，也就是说，p（x|θj，Hj）（j=1，2，…，M）是已知的。如果θ 代表所有未知参数的向量，则θ=[θ1，θ2，…，θM]T。我们就能写出以未知参数向量θ 为条件的模式x 的概率密度函数表示形式，即

其中，Pj 表示各种类别的先验概率。条件概率密度函数p（x|Hj，θj）称为分支密度，先验概率Pj 称为混合参数。

现在可将非监督学习的问题叙述为，给定相应的混合概率密度的样本，用这些样本去估计未知参数向量。一旦θ 已知，混合密度可分解成分支密度，因此，利用已知密度就可把问题转化为模式分类问题。

这样处理带来的一个问题是：能否由混合密度唯一地估计向量θ。当θ ≠θ’时，存在模式x，且p（x|θ）≠p（x|θ’），则密度p（x|θ）是可辨识的。实际上，大多数常见分布的混合密度都是可辨识的。然而，对于离散分布，情况并非总是如此。以后，我们只假设混合密度是可辨识的。

下面，我们转向讨论设计分类器的问题。同样，只限于讨论两种模式类别。

对样本分类而言，将判别规则写成

其中

γ 为门限。

当θ 为随机向量并且先验密度p（θ）为已知时，概率密度函数p（x|Hj，ZN）可写为

因为检验模式x 的选择独立于训练样本集合p（x|θ，Hj，ZN）=p（x|θj，Hj）。还可以设p（θ|Hj，ZN）=p（θ|ZN）。于是

为完成分类器设计，还要确定。由贝叶斯公式，得(www.daowen.com)

其中

其监督学的递推形式为

在监督学习问题中，至少在有限维充分统计量存在的情况下，才能找到p（θ|Z）在计算上可求的解。对于非监督学习，因为样本是由混合分布得来的，不能指望有简单的充分统计量存在。因此，即使假设了先验密度p（θ）的再生形式，但由于相乘因子p（xN|θ）为混合密度，所以，通常不能保持p（θ|ZN）的再生形式。这将意味着，实际上要想对所有的θ 值把密度函数p（θ|ZN）存储起来，几乎是不可能的。如果我们只把θ 值的离散集合中的密度存储起来，并且求出各个级别上修正后θ 的概率，就能克服这一问题。尽管如此，对于中等规模的问题，计算量也是十分大的。

将密度函数按稍微不同的方式写出，还会在计算p（θ|ZN）时找到一种方法。我们注意到，由于存在两种假设和N 个模式，就会有2N 种N 个训练样本序列的可能途径。将这些序列任意按某种方式进行排序，并用aj 代表第j 个序列，于是，将p（θ|ZN）在混合分布中写成

若θ 为非随机参数，与监督学习情况相同，就可以得到最大似然估计，并且在设计分类器时用作真值。这时，分类规则变为

为确定最大似然估计，得

设样本是独立的，则有

取对数并令对θ 的梯度等于零，则得

设θ1 和θ2 是独立的，且P（Hj）=Pj，可以写成

为了得到θ1 和θ2 的最大似然估计，这里形成了一组非线性方程。