信息论与编码理论-第3章信道容量-习题解答

习题解答

2/31/33-1 设二进制对称信道的转移概率矩阵为 1/32/3解: (1) 若P(a1)3/4,P(a2)1/4，求H(X),H(Y),H(X|Y),H(Y|X)和

I(X;Y)。

3311H(X)=p(ai)log p(ai)log()log()0.8113(bit/符号)

4444i=1232117p(b1)=p(a1)p(b1|a1)+p(a2)p(b1|a2)=43431231125 p(b2)=p(a1)p(b2|a1)+p(a2)p(b2|a2)=43431227755H(Y)=p(bj)log(bj)=log()log()0.9799(bit/符号)12121212j=1H(Y|X)=p(ai,bj)logp(bj|ai)p(bj|ai)logp(bj|ai)i,jj222211log()log()0.9183(bit/符号)3333

I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(bit/符号) H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(bit/符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p) 1122C=1-H(P)=1+log()+log()=0.0817(bit/符)3333BSC信道达到信道容量时，输入为等概率分布，即：{，} 注意单位

3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

Xa1a2a3111Yb1b2b3Xa1a2a3111Yb1Xa10.30.7b2a21Yb1b2b3

1 0 0 0 1 0第一种：无噪无损信道，其概率转移矩阵为：P=0 0 1信道容量：C@maxI(X;Y) bit/符号

P(X)Cmax{I(X;Y)}max{H(X)H(X|Y)}p(x)p(x)H(X|Y)0Cmax{I(X;Y)}max{H(X)}p(x)p(x)

离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，

C=log3=1.5850 bit/符号 111输入最佳概率分布如下：,,

3331 0，离散输入信道， 0 1第二种：无噪有损信道，其概率转移矩阵为：P=0 1Cmax{I(X;Y)}max{H(Y)H(Y|X)}p(x)p(x)H(Y|X)0Cmax{I(X;Y)}max{H(Y)}p(x)p(x)

H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：p(a1)+p(a2)=0.5,p(a3)=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：

Cmax{I(X;Y)}max{H(X)H(X|Y)}p(x)p(x)H(X|Y)0Cmax{I(X;Y)}max{H(X)}p(x)p(x)

输入为等概率分布时可达到信道容量，此时信道容量

11C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：,

p(x)223-3 设4元删除信道的输入量X{1,2,3,4}，输出量Y{1,2,3,4,E}，转移概率为

P(Yi|Xi)1P(YE|Xi)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε 其中i1,2,3,4 0 0 0 1-ε ε1-ε 0 0 0  ε0 1-ε 0 0  ε  p2=p1=0 0 1-ε 0  ε0 0 0 1-ε  ε1）该信道是对称DMC信道吗 2）计算该信道的信道容量；

3）比较该信道与两个独立并联的二元删除信道的信道容量。 （1）本通信过程的转移概率分布如下所示：

1-ε 0 0 0 ε1-ε 0 0 0  ε0 1-ε 0 0 ε 0 1-ε 0 0  ε  可以分解为两个矩阵： p1= p2= P=0 0 1-ε 0 ε0 0 1-ε 0  ε0 0 0 1-ε ε0 0 0 1-ε  ε可以看出该信道不是对称DMC信道，它是准对称DMC信道。 （2）该信道的信道容量为：（直接套用准对称信道计算公式）

Clognp(bj|ak)logp(bj|ak)NslogMsjslog2(4)H(1,)(1)log(1)log(4)2(1)log(1)log()(1)log(1)log(4) 12log()22(bit/符号)4（3）两个独立并联的二元删除信道其转移概率如下：

1-ε ε 01-ε 0 ε 可以写成：0 ε 1-ε0 1-ε与 ε 的形式

独立并联的二元信道的信道容量为两个信道容量的和。

其信道容量为：C1H(1-ε,ε )(1-ε)log(1-ε)εlog(2ε)=1-ε bit/符号 两个独立并联和删除信道的信道容量=2C=22 bit/符号 本信道的信道容量与两个并联删除信道信道容量相等。

3-4 设BSC信道的转移概率矩阵为

111Q 1221）写出信息熵H(Y)和条件熵H(Y|X)的关于H(1)和H(2)表达式，其中

H()log(1)log(1)。

2）根据H()的变化曲线，定性分析信道的容道容量，并说明当12的信道容量。

解：（1）设输入信号的概率颁布是{p,1-p}

p(b1)p(a1)p(b1|a1)p(a2)p(b1|a2)p(11)(1p)2p(b2)p(a1)p(b2|a1)p(a2)p(b2|a2)p1(1p)(12)H(Y)p(b1)logp(b1)p(b2)logp(b2)

[p(11)(1p)2]log[p(11)(1p)2][p1(1p)(12)]log[p1(1p)(12)]H[p(11)(1p)2]2

H(Y|X)p(ai)p(bj|ai)logp(bj|ai)i,j1p[(11)log(11)1log(1)](1p)[(12)log(12)2log(2)]pH(1)(1p)H(2)

（2）H()的变化曲线，是一个上凸函数，当输入等概率分布时达到信道

容量。

Cmax{I(X;Y)}max{H(Y)H(Y|X)}p(x)p(x)max{H[p(11)(1p)2]pH(1)(1p)H(2)}

p(x)由于函数H（ε）是一个凸函数，有一个性质：

f(1(1)2)f(1)(1)f(2)

可知：C

假设12时此信道是一个二元对称信道，转移概率分布为：

1 Q1信道容量：

12C1-log-(1-)log(1-) 1-H()3-5 求下列两个信道的容量，并加以比较。

1-p-εp-ε2εpp-ε1-p-ε2ε 1pp1p200 21-p-ε p-ε2ε第一个：可以写成：与 p-ε 1-p-ε2εC11H(1-p-ε,p-ε,2ε)(12ε)log(12ε)2εlog(4ε) bit/符号

p1p第二个：1pp200 21-p-ε p-ε2ε 0p-ε 1-p-ε与0 2两个对称形式

C21H(1-p-ε,p-ε,2ε,0)(12ε)log(12ε)2εlog(2ε)bit/符

号

C1C22ε<0

所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。

3-6设信道前向转移概率矩阵为

001 Q01ppp1p01）求信道容量和最佳输入概率分布的一般表达式；

2）当p0和p1/2时，信道容量分别为多少并针对计算结果做出说明。 （1）此信道为非对称信道，设输入概率分布为：

p1,p2, p3 p1+p2+ p31

输出概率分布为：

q1,q2, q3 q1+q2+ q31

CmaxI(X;Y)max[H(Y)H(Y|X)]q1p(b1)p(a1)p(b1|a1)p(a2)p(b1|a2)p(a3)p(b1|a3)p11p20p30p1q2p(b2)p(a1)p(b2|a1)p(a2)p(b2|a2)p(a3)p(b2|a3)p10p2(1p)p3pp2(1p)p3pq3p(b3)p(a1)p(b3|a1)p(a2)p(b3|a2)p(a3)p(b3|a3)p10p2pp3(1p)p2pp3(1p)

H(Y|X)p(xi)p(yj|xi)logp(yj|xi)i,j13p11log1p2(1p)log(1p)p2plogpp3plogpp3(1p)log(1p)(p2p3)(1p)log(1p)(p2p3)plogp

CmaxI(X;Y)max[H(Y)H(Y|X)]max[H(q1,q2,q3)p2H(p,1p)p3H(p,1p)]

δCδCδC=0 =0 =0，可得： 把C对P1，P2，P3 分别求导：δp1δp2δp3log(1p2p3)(1p)log[p2(1p)p3p]plog[p2pp3(1p)]H(p,1p)0log(1p2p3)(1p)log[p3(1p)p2p]plog[p3pp2(1p)]H(p,1p)0可得： P2 = P3 log(12p2)logp2H(p,1p)0 可以解得：p2p312H(P,1P)2

最佳输入概率分布的表达式为：

2111,, H(P,1-P)H(P,1-P)H(P,1-P)222222设2H(P,1P)2N则

21 p2=p3=NNCmax{H(Y)H(Y|X)} p1=1p(x)

(122212)log(1)logH(p)NNNNN100是一个对称信道，当输入等概率分布时可以达010（2）p=0时，Q001111到信道容量，输入转移概率为,,

3332221N=3，所以C(1)log(1)log1.5850 bit/符号

33331（3）p=1/2时，Q000121201，可得N=4， 2121111111CloglogH(,)1 bit/符号

2224222

3-7设BSC信道的前向转移概率矩阵为

0.980.02 Q0.020.98设该信道以1500个二元符号／秒的速度传输输入符号，现在一消息序列共有14000个二元符号，并设在这消息中P(0)P(1)1/2，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传输完。 解：BSC信道，且输入为等概率，信道容量

C1H(0.98,0.02)0.8586 bit/符号

14000个二元符号的信息量为：14000符log2=14000比特

1500符/秒10秒0.8568比特/符12852比特＜14000比特

所以10秒内不能无失真的传输完。

3-8 有m个离散信道，转移概率矩阵分别为Q1,Q2,L,Qm。由这m个离散信道组成一个新信道，称为和信道，其转移概率矩阵为：

Q100Q2QMM00LLOL00 MQm设Ck是第k个离散信道的信道容量。试证明：和信道的信道容量为

Clog2Ck

k1m此时第k个信道的使用概率为Pk2(CkC)。

Q1 0解：m=2时,转移矩阵变为: Q=，设两个信道的信道容量分别为：0 Q2C1,C2，信道的利用率分别为：p1,p2并且p1+p21，并行信道，有C=C1+C2

Cmax{I(X;Y)}max{p(xi)p(yj|xi)logp(x)p(x)i,j1np(yj|xi)p(yj)}max{p(x)i1,j11np1p(xi1)p(yj1|xi1)logp(yj1|xi1)p1p(yj1)p(yj2|xi2)p2p(yj2)}

i2,j21nnp2p(xi2)p(yj2|xi2)logmax{p1p(x)i1,j11p(xi1)p(yj1|xi1)logp(yj1|xi1)p(yj1)p(yj2|xi2)p(yj2)

p2i2,j21np(xi2)p(yj2|xi2)logp1logp1p2logp2}max{p1I(X;Y)p2I2(X;Y)H(p1,p2)}p(x)p(x)max{p1C1p2C2H(p1,p2)}

分别对C1，C2进行求导可得：

dCdC=0 =0dp1dp2 C1-logp1=1可得：C1-logp1=C2-logp2 In2 1C-logp=22In2令C1-logp1=C2-logp2m，可得：p1=2C1-m,p2=2C2-m,p1p21

C1-mC1-mC2-mC2-mC2C1-mC12C2-mC22log22log22C1-mC12C2-mC2(C1-m)2C1-m(C2-m)2C2-mm(2C1-m2C2-m)m(p1p2)mp1=2C1-C,p2=2C2-C

2C1-C2C2-C12C2C12C2Clog(2C12C2)Ck C k-CC=log( 2 ) p2k依次类推，可得：

k=1m

3-9 求N个相同的BSC级联信道的信道容量。

11001解：N个相同BSC级联，设Qi (1)10110111级联后：Q..... 11101011QQiCnCn1010n0nn1(1)

1010 ...(1)01010 110N为偶数时：Q 1 0010 101N为奇数时：Q 1 010nnn可知本信道等同于BSC信道，可得出：CH(p,1p) bit/符号 3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。 解：

p(xi)=1 10I(X)log103.32bit/像素1秒内可以传送的信息量为：

3.3219bit/像素3010000像素30=2.9897107bit

CBlog(1SS),已知:10log10()30dBNNS103 N2.9897107Blog(1103)可得:B2.9995106HZ

3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度

N0/20.5108W／Hz的加性高斯白噪声的干扰，信息传输速率

R24kbit/s，信号功率P1W。

1）若信道带宽无约束，求信道容量；

解：带限的加性高斯白噪声波形信道的信道容量为

无带宽约束时：

ClimCtlimwPSN0WPlog(1S)wNPSN0W0P Sloge1.4427108bit/sN0

2）若信道的频率范围为0到3KHz，求信道容量和系统的频带利用率R/W（bps/Hz）(注：W为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小Eb/N0是多少dB W=3KHZ

在最大信息速率条件下，每传输1比特信息所需的信号能量记为Eb

Eb=CWlog(1PS CPS)Wlog(1SNR)N0W14)4.507410bps81103000

3000log(1R24kbit/s8bps/HzW3KHzEbP1S33.47dBN0N0C11084.50741043）若信道带宽变为100KHz，欲保持与2）相同的信道容量，则此时的信噪

比为多少dB信号功率要变化多数dB

W100KHZ4.5074104bpsWlog(1SNRPSP)105log(1S)N0WN0WPS0.3667即:4.3654dBN0W583Ps'0.366710100.366710w信号功率的变化为:Ps'0.366710310log1010log1034.3569dBPs1