一般离散平稳信源的符号之间的依赖关系是延伸到无穷的。前面通过分析得出了最简单、最具代表性的二维平稳信源的极限熵H∞=H(X2/X1),而一般的离散平稳信源的极限熵如何计算呢?对离散平稳信源的性质进行分析,就可以找到答案。

对于离散平稳信源,当H(X)＜∞时,具有以下几点性质:

①条件熵H(XN/X1X2…XN-1)随N的增加是非递增的;

②N给定时,平均符号熵≥条件熵,即HN(X)≥H(XN/X1X2…XN-1);

③平均符号熵HN(X)随N的增加是非递增的;

④离散平稳信源的极限熵

性质①表明,在信源输出序列中符号之间前后依赖关系越长,前面若干个符号发生后,其后发生什么符号的平均不确定性就越小。也就是说,条件较多的熵必小于或等于条件较少的熵,而条件熵必小于或等于无条件熵。例如:

性质②表明,“只考虑组内N个符号之间的关联性的N次扩展信源的平均符号熵”大于或等于“关联性延伸到无穷的平稳信源的条件熵”。例如:

性质③表明,平稳信源的记忆长度N越大,平均符号熵越小。例如

又因为HN(X)≥0,即有

因此,当记忆长度N足够大(N→∞)时,N维离散平稳有记忆信源X=X1X2…XN的平均符号熵HN(X)的极限值,即极限值H∞是存在的,且为处于零和H(X)之间的某一有限值。

性质④表明,对于离散平稳信源,当考虑依赖关系为无限长时,平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵(极限熵)。所以可以用条件熵或平均符号熵来近似描述平稳信源。即

性质①～④主要讨论了离散平稳信源的平均符号熵和条件熵,结论可以这样理解:两者随着N的增加都是单调非增的;当N给定时,前者不小于后者;当(N→∞)时,两者相等,就是极限熵H∞。

下面对离散平稳信源的4个性质作证明。

性质①的证明:类似于“条件熵不大于无条件熵”的证明,同理证得“条件较多的熵不大于减少一些条件的熵”,即

因为信源是平稳的,所以有

故得(www.daowen.com)

同理可得,平稳信源有

性质②的证明:根据平均符号熵的定义以及熵的链规则,可得

运用性质①,得

性质③的证明:根据平均符号熵的定义

运用性质②,得

所以

性质④的证明:一方面,由性质②,令(N→∞),有

另一方面,根据平均符号熵的定义以及熵的链规则,有

根据条件熵的非递增性和平稳性,有

最后,由式(4.1)和式(4.2),必有

总结有限维离散平稳信源的极限熵计算式如下

①二维平稳信源的极限熵

这与上节例题4.3中得到的式子是一致的。

②(m+1)维离散平稳信源的极限熵为

简记为Hm+1。

容易理解,二维离散平稳信源的极限熵为H2,且H2=H3=H4=…=H∞。