您的当前位置:首页正文

信息论试题6

2021-09-06 来源:好走旅游网
 题 号 得 分 评卷人 一 二 三 四 五 六 七 八 九 总 分 一、填空题(共15分,每空1分)

1、当 时,信源与信道达到匹配。

2、若高斯白噪声的平均功率为6 W,则噪声熵为 。

如果一个平均功率为9 W的连续信源的熵等于该噪声熵,则该连续信源的熵功率

为 。

3、信源符号的相关程度越大,信源的符号熵越 ,信源的剩余度

越 。

4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号

的统计特性,对概率 的符号用短码,对概率 的符号

用长码,从而减少平均码长,提高编码效率。

8、香农第一编码定理指出平均码长的理论极限值为 ,此时编码效率为 。

4、在下面空格中选择填入数学符号“,,,”或“”

《信息论基础》试卷第1页

(1)H2XHX1X2X3HX1X2 H3X =

23(2)HXY HYHX|Y HYHX。

xxXx1x2349、有一信源X,其概率分布为1111,若对该信源进行100次扩展,

P2488则每扩展符号的平均信息量是 。

11、当 时,信源熵为最大值。8进制信源的最大熵为 。

二、判断题(正确打√,错误打×)(共5分,每小题1分)

1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。

( )

2)即时码可以在一个码字后面添上一些码元构成另一个码字。 ( ) 3)连续信源的熵可正、可负、可为

零, ( ) 4)平均互信息始终是非负

的。 ( )

《信息论基础》试卷第2页

5) 信道容量C只与信道的统计特性有关,而与输入信源的概率分布无关。

( )

三、(10分)计算机终端发出A、B、C、D、E五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2。通过一条带宽为18kHz的信道传输数据,假设信道输出信噪比为2047,试计算:

1) 香农信道容量;

2) 无误码传输的最高符号速率。

四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x处在a1和a2之间。此信源连至信道,信道接收端接收脉冲的幅度y处在b1和b2之间。已知随机变量X和Y的联合概率密度函数

p(xy)1

(a2a1)(b2b1)试计算h(X),h(Y),h(XY)和I(X;Y)

五、(10分)设某信道的传递矩阵为

0.80.10.1P

0.10.10.8计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。

六、(10分)设随机变量X和Y的联合概率分布如下所示:

《信息论基础》试卷第3页

七、(20分)一个离散无记忆信源

已知随机变量ZXY,计算H(X),H(Z),H(XY),H(X/Z),I(X;Y)

x2x3x4x5x6Xx1P(x)1/161/161/161/161/41/2

1) 求H(X)和冗余度;(4分)

2) 编成Fano码,计算编码效率;(8分) 3) 编成Huffman码,计算编码效率。(8分)

《信息论基础》试卷第4页

八、(10分)设一个离散无记忆信源的概率空间为Xx1x2,它们通过干扰P(x)0.20.8信道,信道矩阵为P0.90.1。信道输出符号集为Yy1,y2,试计算:

0.30.7(1)信源X的信息熵;(2分)

(2)收到信息y2后,获得的关于x1的信息量;(2分) (3)共熵H(XY);(2分) (4)信道疑义度H(X|Y);(2分)

(5)收到消息Y后获得的关于信源X的平均信息量。(2分)

《信息论基础》试卷第5页

九、(10分)有一个二元马尔可夫信源,其状态转移概率如图所示,括号中的数表示转移时发出的符号。试计算

(1) 达到稳定后状态的极限概率。 (2) 该马尔可夫信源的极限熵H。

《信息论基础》试卷答案

一、填空题(共15分,每空1分)

1,当(R=C或信道剩余度为0)时,信源与信道达到匹配。

2,若高斯白噪声的平均功率为6W,则噪声熵为(1/2log12e=3。337bit/自由度) 如果一个平均功率为9W的连续信源的熵等于该噪声熵,则该连续信源的熵功率为(6W)

3,信源符号的相关程度越大,信源的符号熵越(小),信源的剩余度越(大) 4,离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率(大)的符号用短码,对概率(小)的符号用长码,从而减少平均码长,提高编码效率。

8,香农第一编码定理指出平均码长的理论极限值为(信源熵H(S)/logr或HR(S)), 此时编码效率为(1)

《信息论基础》试卷第6页

9,在下面空格中选择填入数学符号“=,<,>,,” 9.1 H2(X)=H(X1X2)/2  H3(x)=H(X1X2X3)/3 9.2 H (XY) = H(Y)+H(X/Y)  H(Y)+H(X)

Xx1x2x3x410,有一信源X,其概率分布为若对该信源进行100次扩展, ,

P1/21/41/81/8其每扩展符号的平均信息量是(175bit/扩展符号)

11当(概率为独立等概)时,信源熵为最大值,8进制信源的最大熵为(3bit/符号) 二、判断题(本大题共5小题,每小题1分,共5分)

1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大() 2)即时码可以在一个码字后面添上一些码元构成另一个码字() 3)连续信源的熵可正可负可零() 4)平均互信息始终是非负的()

5)信道容量C只与信道的统计特性有关,而与输入信源概率分布无关() 三、(10分)计算机终端发出A.B.C.D.E五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2.通过一条带宽为18KHz的信道传输数据,假设信道输出信噪比为2047,试计算:

1)香农信道容量;

2)无误码传输的最高符号速率。 S(1) CtBlog2118log22048198kbit/s

N

(2)RBmax

1111115 HxH,,,,16168428Ct, Hx RBmax198k1.056105Baud 158四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x处在a1,a2之间。此信源连至信道,信道接收端接收脉冲的幅度y处在b1,b2之间。已知随机变量x和y的联合概率密度函数p(x,y)1/(a2a1)(b2b1) 试计算h(x),h(y)h(xy)和I(x;y)

1a1xa2由p(x,y)得 p(x)a2a1

0,其他《信息论基础》试卷第7页

1,b2xb2 pyb2b1

0,其他可见,p(xy)p(x)p(y),x和y相互独立,且均服从均匀分布, h(x)log(a2a1)bit/自由度 h(y)log(b2b1)bit/自由度

h(xy)h(x)h(y)log(a2a1)(b2b1) I(x,y)0

五、(10分)设某信道的传递矩阵为

0.80.10.1p 0.10.10.8计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布,该信道为准对称信道,

(1)两个对称信道矩阵为

0.80.10.80.10.10.10.80.10.8和0.1 N1=0.8+0.1=0.9,N2=0.1; M1=0.9,M2=0.2

∴Clog2H(0.8,0.1,0.1)0.9log0.90.1log0.20.447bit/符号 最佳输入概率分布为输入等概率,即 p(x1)p(x2)=1/2 六、(10分)设随机变量x和y的联合概率分布如下所示:

x y b1=0 b2=1 a1=0 1/3 a2=1 0 1/3 1/3 已知随机变量z=xy,计算H(X),H(Z),H(XY),H(X/Z),I(x;y)

1) H(x)=H(1/3,1/3)=0.9183bit/符号 2)

z pz 2/3 0 1 1/3 H(z)=H(2/3,1/3)=0.9183bit/符号

3)H(xy)=H(1/3,1/3,0,1/3)=1.58496 bit/每对符号 4)

xz P(xz) 00 2/3

《信息论基础》试卷第8页

01 0 10 0 11 1/3

H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=0 5)

I(x,y)=H(x)+H(y)-H(xy) =0.25164bit/符号 七 (20) 一个离散无记忆信源

x2x3x4x5x6xx1p(x)1/161/161/161/161/41/2 1) 求H(x)和冗余度;(4分)

2) 编成Fano码,计算编码效率;(8分) 3) 编成Huffman码,计算编码效率。(8分)

1) H(x)=H(1/16,1/16,1/16,1/16,1/4,1/2)=2bit

H(x)v122.6﹪

log6 2)

x612141160000x5x4x3x21011001110111011611611611011101111 3)

x6x5x4x3x2x1x1

01/21/41/161/161/161/16101/21/41/801/161/1611/21/41/81/8101/21/41/4101/21/201011101111110011011《信息论基础》试卷第9页

111 L1244 2242H(x)100% Lxx1x2八 (10分) 设一个离散无记忆信源的概率空间为,它们通过

p(x)0.20.80.90.1干扰信道,信道矩阵为P。信道输出符号集Yy1y2,试计算: 0.30.7(1)信源X的信息熵;(2分)

(2)收到信息y2后,获得关于x1的信息量;(2分) (3) 共熵H(XY);(2分) (4)信道疑义度H(X|Y);(2分)

(5) 收到消息Y后获得的关于信源X的平均信息量。(2分)

P(xy) y1 x1 x2 y2

0.9×0.2 0.1×0.2 0.3×0.8 0.7×0.8 (1) H(x)=H(0.2,0.8)=0.722bit/符号

(2) I(x1;y2)=I(x1)-I(x1|y2)=log1/0.2-log0,58/0.02=-2.536bit/符号 (3) H(xy)=H(0.18,0.02,0.24,0.56)=1.52076bit/每对符号 (4) H(x|y)=H(xy)-H(y)=1.52076-H(y) H(y)=H(0.42,0.58)=0.98145 H(x|y)=0.53936bit/符号 (5)I(X:Y)=H(x)+H(y)-H(xy) =H(x)-H(x|y)

=0.722-0.5393=0.1827bit/符号

九 (10分) 有一个二元马尔科夫信源,其状态转移概率如图所示,括号中的数表示转移时发出的符号。试计算

(1) 达到稳定后状态的极限概率

(2) 该马尔科夫信源的极限熵H。

《信息论基础》试卷第10页

0.5(1)0.5(0)s00.5(0)s10.5(1)0.5(0)s20.5(1)

s0s1s2s000.50.5(1) p

s10.50.50s200.50.5P(s0)=0.5P(s1)

0.5(p(s0)+p(s1)+p(s2))=p(s1) 0.5(p(s0)+p(s2))=p(s2) P(s0)+p(s1)+p(s2)=1 得 p(s0)=0.25; P(s1)=0.5; P(s2)=0.25; (2)

H=1/4H(0.5,0.5)+1/2H(0.5,0.5)+1/4H(0.5,0.5) 1/4+1/2+1/4=1bit/符号

《信息论基础》试卷第11页

因篇幅问题不能全部显示,请点此查看更多更全内容