连续信道的平均交互信息量等于连续信源的相对熵和相对疑义度之差,类似离散信息熵,相对熵也具有极值性和上凸性。这在讨论连续信道的信息传输问题中具有重要作用。

1.相对熵的极值性

设取值于同一区间[a,b]的两个连续信源,概率密度函数分别为p(x)和q(x)。利用间隔

把[a,b]区间分割成n个等长小区间,落在每个区间的概率分别简记为Pi(i=1,2,…,n)和Qi(i=1,2,…,n),利用中值定理有

这样,两个连续信源就转变为两个离散的信源

将式(5.1)和式(5.2)代入式(5.3),有

当Δ→0,n→∞时,对(5.4)式两边取极限,其不等式仍然成立,其左边得

而右边是

则式(5.4)可以改写为

即有

若把概率密度函数为p(x)的单维连续信源X的相对熵记为hp(X),则有

2.相对熵的凸函数性(www.daowen.com)

现设p(x)和q(x)是连续信源X∈[a,b]的两种不同概率密度函数,则有

又设0＜α,β＜1,α+β=1。定义x的一个连续函数

即η(x)是p(x)和g(x)的一个内插值,有

证明η(x)是X的另一种概率密度函数

其相对熵

利用相对熵的极值性,有

令

则有

即h[αp(x)+βq(x)]≥αhp(X)+βhq(X)

根据∩型凸函数定义,连续信源X的相对熵h(X)是[a,b]内概率密度函数p(x)的∩型凸函数。