《信息论》试题及答案

一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。

解：设事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血压者

根据题意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1 P（D|A）=0.15 P（D|B）=0.1 P（D|C）=0.05

而“该地区的某一位高血压者是胖子” 这一消息表明在D事件发生的条件下，A事件的发生，故其概率为P（A|D）

根据贝叶斯定律，可得：

P（D）＝P（A）* P（D|A）＋P（B）* P（D|B）＋P（C）* P（D|C）＝0.1 P（A|D）＝P（AD）/P（D）＝P（D|A）*P（A）/ P（D）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I（A|D） = - logP（A|D）=log（0.15）≈2.73 （bit） 二、设有一个马尔可夫信源，它的状态集为{S1，S2，S3}，符号集为{a1，a2，a3}，以及在某状态下发出符号集的概率是p(ak|si)（i，k=1，2，3），如图所示

（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率

（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s1，s2，s3) （3）求出马尔可夫信源熵H

解：（1）该信源达到平稳后，有以下关系成立：

Q(E1)Q(E3)2Q(E)1731Q(E2)Q(E1)Q(E2)342  可得Q(E2)

7Q(E)1Q(E)1Q(E)312242Q(E)3Q(E)Q(E)Q(E)17123p(a1)Q(Ei)p(a1|Ei)i133372737

p(a2)Q(Ei)p(a2|Ei)i13p(a3)Q(Ei)p(a3|Ei)i13H(X|S1)p(ak|S1)logp(ak|S1)1.5（bit/符号）k13（2）H(X|S2)p(ak13k1k|S2)logp(ak|S2)（1bit/符号）

H(X|S3)p(ak|S3)logp(ak|S3)（0bit/符号）（3）HQ(E)H(X|E)2/7*3/23/7*12/7*06/7（比特/符号）

iii13三、二元对称信道的传递矩阵为0.60.4

0.40.6（1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y）

（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴H(X)=p(x)logp(x)=0.75log750.25log250.811(比特/符号)

iii12p(y1)p(x1)p(y1|x1)p(x2)p(y1|x2)=0.75*0.6+0.25*0.4=0.55 p(y2)p(x1)p(y2|x1)p(x2)p(y2|x2)0.75*0.4+0.25*0.6=0.45

H(Y)0.55log0.550.45log0.450.992(比特/符号)

H(Y|X)p(x)H(Y|x1)p(x2)H(Y|x2)0.75H(0.6,0.4)0.25H(0.4,0.6)(0.6log0.60.4log0.4)0.971（比特/符号）H(X|Y)H(XY)H(Y)H(X)H(Y|X)H(Y)

0.811+0.971-0.992=0.79 (比特/符号)

I(X;Y)=H(X)-H(X|Y)=0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为

C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量

四、求信道

p2p2p2p204的信道容量，其中p1p。 40p20，p24p2解：这是一个准对称信道，可把信道矩阵分为：p24 0N1M114，N24,M24

ClogrH(p2,p2,0,4)NklogMkk12故log2H(p2,p2,0,4)(14)log(14)4log4

1H(p2,p2,4)(14)log(14)4log4(比特/符号）当输入等概分布时达到信道容量。 1 五、信源Xx1x2x3x4x5x6 P(x)0.4（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L （2）利用费诺码编成二元变长的惟一可译码，并求其L （3）利用香农码编成二元变长的惟一可译码，并求其 (1)香农编码： 信源符号 x1 x2 x3 x4 x5 x6 概率P(xi) 0.4 0.2 0.2 0.1 0.05 0.05 码长li 2 3 3 4 5 5 累积概率P 0 0.4 0.6 0.8 0.9 0.95 码字 00 011 100 1100 11100 11110 L=0.4×2＋0.2×3＋0.2×3＋0.1×4＋0.05×5＋0.05×5＝2.9(码元/信源符号)

η＝H(X)/( L logr)=2.222/2.9=0.7662（2）霍夫曼编码：

L=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)

η＝H(X)/( L logr)=0.9964

(3)费诺编码：

L=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)

η＝H(X)/( L logr)= 0.9964

111236111六、设有一离散信道，传递矩阵为

623111623设P(x1)= P(x2)=1/4，P(x3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译码规

则，并相应的计算机平均错误概率的大小。 解：（1）按最大似然译码准则

F(y1)=x1 F(y2)=x2 F(y3)=x3

P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2

(2) 联合概率矩阵为，则按最小错误概率准

11181224111 F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24 2481211161240,1,2U 八、一个三元对称信源111P(u)333011接收符号为V＝{0，1，2}，其失真矩阵为1010 11（1）求Dmax和Dmin及信源的R(D)函数。 （2）求出达到R(D)的正向试验信道的传递概率

解：（1）Dmax＝minVP（u)d(u,v)11Ur23 3Dmin＝P（u)minjd(u,v)0

i1因为是三元对称信源，又是等概分布，所以根据r元离散对称信源可得

R（D）＝log3－Dlog2－H（D）＝log3－D－H（D） 0<=D<=2/3 ＝0 D>2/3

（2）满足R（D）函数的信道其反向传递概率为

1D(ij)P(u|vij)D2(ij) 以及有P(v1j)=3根据根据贝叶斯定律，可得该信道的正向传递概率为：

1D(ij)P(vj|ui) D2(ij)九、设二元码为C=[11100，01001，10010，00111] （1）求此码的最小距离dmin；

（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？

（3）此码能纠正几位码元的错误？ 解：（1）码距如左图

1110001001100100011111100010013100103400111433 故dmin＝3

（2）码距如右图

故10000译为10010，01100译为11100，00100译为11100或00111 （3）根据dmin2e1,知此码能纠正一位码元的错误。