如上节所述,平均交互信息量I(X;Y)除具有对称性以外,即I(X;Y)=I(Y;X),还具有如下基本性质。

1.平均互信息的非负性

当且仅当X和Y统计独立时,等式成立。

【证明】利用詹森不等式得

即有I(X;bj)≥0(j=1,2,…,s)

当且仅当对一切i,j都有p(aibj)=p(ai)p(bj)(i=1,2,…,r;j=1,2,…,s)即当X和Y统计独立时,I(X;Y)=0

2.平均互信息的极值性

由上述性质,直接得到

3.平均互信息的凸函数性(www.daowen.com)

定理3.1　信道两端随机变量X和Y之间的平均互信息量I(X;Y),在信道转移概率p(bj/ai)给定条件下,是输入随机变量X的概率分布p(X):{p(ai),i=1,2,…,r}的∩型凸函数。

上式中根据概率关系

所以得

因为logx是x的∩型函数,所以对上式中第一项,根据詹森不等式得

同理

因此根据凸函数的定义知,I(X;Y)是概率分布P(x)的∩型凸函数。

定理3.2　信道两端随机变量X和Y之间的平均交互信息量I(X;Y),在信源概率分布P(ai)给定的条件下,是信道转移概率p(Y/X):{p(bj/ai),i=1,2,…,r;j=1,2,…,s}的∪型凸函数。

运用詹森不等式,上式中第一项为