设离散无记忆信源的熵为H(S),其N次扩展信源用LN个码符号进行定长编码,对于任意ε＞0,只要满足

则当N足够大时,可使译码错误概率为任意小。

反之,当时,则不可能实现无失真编码,而当N足够大时,译码几乎必定出错。

定理蕴含了如下思想:

(1)定长无失真信源编码的错误概率可以任意小,但并非为零;

(2)定长无失真信源编码通常是对非常长的消息序列进行的,特别是信源符号序列长度N趋于无穷时,才能实现Shannon意义上的有效信源编码。

为什么不等概信源的每个符号平均所需的码元数可以减少呢?

对不等概信源S进行若干次扩展,可以推想,当扩展次数N足够长时,则扩展信源中一部分序列出现概率将比其他符号序列出现的概率大得多,整个扩展信源可划分为高概率集合和低概率集合,在一定的允许误差条件下,如果舍弃扩展信源中的低概率集合,而只对高概率集合进行等长编码,这样所需的码元数就可以减少。

定长无失真信源编码定理给出了对信源进行等长编码所需的理论极限值。

由定理可知,当LNlogr≥NH(S)时,可以实现几乎无失真编码。这个不等式的左边表示长为LN的码元序列所能载荷的最大信息量,而右边代表长度为N的信源符号序列平均携带的信息量。(www.daowen.com)

定长编码定理表明:只要码字所能载荷的信息量大于信源序列携带的信息量,总可以实现几乎无失真编码。

可见,信源平均符号熵H(S)为一个临界值,只要R′＞H(S),这种编码器就可以做到几乎无失真,条件是N足够大。

编码定理从理论上阐明了编码效率接近1的理想编码器的存在。

当二元编码时(r=2)

编码器容许的输出信息率

编码效率

译码错误概率

所以,信源序列长度达到1.819×106以上,才能实现给定的要求,这在实际中是很难实现的。因此等长编码没有实际意义,实际中一般都采用变长编码。