在某种限制条件下,类似单维连续信源存在最大相对熵,多维连续信源熵h(X)=h(x1x2…xN)也存在最大值。

定理6.1　若N维连续信源X=X1X2…XN的取值区间限定为N维区域体积,则均匀分布的N维连续信源X=X1X2…XN的相对熵h(X)达到最大值。

概率密度函数为p(x)时,N维连续信源X=X1X2…XN的相对熵

又设q(x)=q(x1x2…xN)是同样N维区域体积中均匀分布以外的任何一种概率密度函数。对应的相对熵为

则有

运用“底”大于1的对数函数的上凸特性,并考虑到

即证得

定理6.2　若N维连续信源X=X1X2…XN的协方差矩阵限定为[M],则高斯分布的N维连续信源X=X1X2…XN的相对熵h(X)达到最大值。(www.daowen.com)

【证明】设N维连续信源的协方差矩阵为

限定条件下的高斯分布的概率密度函数,记为

当概率密度函数为p(x)时,N维连续信源X=X1X2…XN的相对熵

设q(x)=q(x1x2…xN)是信源在此限定条件下,除高斯分布以外的任何一种概率密度函数,对应的相对熵为

则

即证得

表明,在协方差矩阵限定条件下,高斯分布的N维连续信源具有最大相对熵,大小只取决于协方差矩阵[M],与对应时刻随机变量均值无关。