平均互信息量I(X;Y)是输入信源概率分布p(X)的∩型凸函数,所以极大值是一定存在的。而I(X;Y)是r个输入信号变量{p(a1),p(a2),…,p(ar)}的多元函数,并且任何信源概率分布都必须遵循约束条件

所以求信道容量C就是在约束条件式的约束下,求I(X;Y)的最大值问题,并导出取最大值时的条件p(ai)(i=1,2,…,r)。

此类问题可以通过拉格朗日乘子法来计算。为此,作辅助函数

式中,λ为拉格朗日乘子。

当

时求得I(X;Y)的值即为信道容量。

由于

对式(3.28)整理得

而

因此,式(3.29)可以简化为

式(3.30)两边分别乘以P(ai),并求和得

式(3.31)左边即为平均互信息的极大值C,即

结合式(3.32),把式(3.30)中前r个方程改写成

移项后得

令

得(www.daowen.com)

这是含有s个未知参数βj,有r个方程的非齐次线性方程组。

由这个C值就可以解得对应的输出概率分布p(bj)观察式(3.30)可以发现,该式左边正好是输出端接收到符号Y后,获得的关于输入符号xi的信息量,结合式(3.32)可知

由此可以导出以下定理

定理3.3　一般离散信道的平均互信息I(X;Y)达到信道容量的充要条件是输入概率分布{pi}满足

这时的I(X;Y)就是信道容量C。

如果求解达到信道容量时,最佳概率分布中,某些P(ai)＜0,则这些解无效。它表明所求极大值C出现的区域不满足概率条件,这时最大值必须在边界上,即某些ai的概率P(ai)=0。因此,必须设某些信源符号ai的概率P(ai)=0,然后重新进行运算。当r＜s时,求解非其次线性方程就比较困难,即使求出解,也无法保证求得的信源符号概率都大于或等于零。因此,必须反复进行运算,这就使运算变得非常复杂。

解:列得

解得

因此

因此,最佳分布为p(a1)=0.2698　p(a2)=0.3915　p(a3)=0.2566　p(a4)=0.0821

现在验证以上结果

同理可以计算

显然,

而每个符号贡献的互信息也正好是前文求解出的信道容量,证实了该求解过程是正确的。