信息論與編碼習題答案

1、1.在無失真的信源中，信源輸出由 H(X) 來度量；在有失真的信源中，信源輸出由 R(D) 來度量。2.要使通信系統(tǒng)做到傳輸信息有效、可靠和保密，必須首先 信源 編碼，然后_____加密____編碼，再______信道_____編碼，最后送入信道。3.帶限 AWGN 波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農(nóng)公式是 ；當歸一化信道容量 C/W 趨近于零時，也即信道

2、完全喪失 log(1 ) C W SNR ? ?了通信能力，此時 Eb/N0 為 -1.6 dB，我們將它稱作香農(nóng)限，是一切編碼方式所能達到的理論極限。4.保密系統(tǒng)的密鑰量越小，密鑰熵 H(K)就越 小 ，其密文中含有的關(guān)于明文的信息量I(M；C)就越 大 。5.已知 n＝7 的循環(huán)碼 ，則信息位長度 k 為 3 ，校驗多項式 4 2 ( ) 1 g x x x x ? ? ? ?h(x)= 。 3 1 x x ? ?6.設(shè)輸

3、入符號表為 X＝{0，1}，輸出符號表為 Y＝{0，1}。輸入信號的概率分布為 p＝(1/2，1/2)，失真函數(shù)為 d(0，0) = d(1，1) = 0，d(0，1) =2，d(1，0) = 1，則 Dmin＝ 0 ，R(Dmin)＝ 1bit/symbol ，相應的編碼器轉(zhuǎn)移概率矩陣[p(y/x)]＝ ；Dmax＝ 1 00 1? ?? ? ? ?0.5 ，R(Dmax)＝ 0 ，相應的編碼器轉(zhuǎn)移概率矩陣[p(y/x)]＝

4、 。 1 01 0? ?? ? ? ?7.已知用戶 A 的 RSA 公開密鑰(e,n)=(3,55)， ,則40 ，他的秘 5, 11 p q ? ? ( ) ? n ?密密鑰(d,n)＝(27,55) 。若用戶 B 向用戶 A 發(fā)送 m=2 的加密消息，則該加密后的消息為 8 。二、判斷題 二、判斷題1.可以用克勞夫特不等式作為唯一可譯碼存在的判據(jù)。 （? ）2.線性碼一定包含全零碼。

5、 （? ）3.算術(shù)編碼是一種無失真的分組信源編碼，其基本思想是將一定精度數(shù)值作為序列的 編碼，是以另外一種形式實現(xiàn)的最佳統(tǒng)計匹配編碼。 （×）4.某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，就有信息量。（×）5.離散平穩(wěn)有記憶信源符號序列的平均符號熵隨著序列長度 L 的增大而增大。 （×） 6.

6、限平均功率最大熵定理指出對于相關(guān)矩陣一定的隨機矢量 X，當它是正態(tài)分布時具 有最大熵。 （? ） 7.循環(huán)碼的碼集中的任何一個碼字的循環(huán)移位仍是碼字。 （? ）已知 的聯(lián)合概率 為： ? ? , X Y ? ? , p x y求 ， ， ， ? ? H X ? ? H Y ? ? ,

7、H X Y ? ? ; I X Y解: ( 0) 2 / 3 p x ? ? ( 1) 1/ 3 p x ? ?( 0) 1/ 3 p y ? ? ( 1) 2 / 3 p y ? ?0.918 bit/symbol ? ? ? ? (1/ 3,2 / 3) H X H Y H ? ? ?=1.585 bit/symbol ? ? , (1/ 3,1/ 3,1/ 3) H X Y H ?0.251 bit/sym

8、bol ? ? ; ( ) ( ) ( , ) I X Y H X H Y H X Y ? ? ? ?五、計算題 五、計算題一階齊次馬爾可夫信源消息集 ， } , , { 3 2 1 a a a X ?狀態(tài)集 ，且令 ，條件轉(zhuǎn)移概率為 } , , { 3 2 1 S S S S ? 3 , 2 , 1 , ? ? i a S i i，(1)畫出該馬氏鏈的狀態(tài)轉(zhuǎn)移圖； ? ?? ? ???? ? ????0 3 1 3 23 1