二维平稳信源输出的无限长序列X=X1X2…XN…可按每两个为一组进行划分,并假定组与组之间统计独立。则序列熵可表示为

显然,对于有限序列熵可以通过H(X1X2)近似求得。

实际上组与组之间是统计关联的,但仅忽略掉“前一组末尾上的一个符号和后一组开头的一个符号之间的关联性”,不难理解,当N→∞时,N次扩展信源的平均符号熵就是离散平稳信源的实际熵。

【例4.3】对例4.2中的二维离散平稳信源输出的符号序列分组,每N个符号一组且忽略组与组之间关联性,即假定组与组之间是统计独立的。当N=1.2,100,∞时,计算N次扩展信源的平均符号熵。

解:(1)当N=1时,N次扩展信源的平均符号熵(即单符号信源熵)

(2)当N=2时,N次扩展信源的平均符号熵

(3)当N=100时,N次扩展信源的平均符号熵

因为平稳,而且发出的符号只与一个符号有关,所以(www.daowen.com)

所以N次扩展信源的平均符号熵

(4)假设符号序列长度N→∞,则N次扩展信源的平均符号熵(二维离散平稳信源的极限熵)

由上例容易验证以下结论。

①二维离散平稳信号的极限熵

②条件熵和平均符号熵之间的关系为

③随着N的增加,N次扩展信源的平均符号熵HN(X)递减。