信息論習(xí)題答案第二章陳前斌版

1、第2章習(xí)題23同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都是l6，求：(1)“3和5同時出現(xiàn)”事件的自信息量；(2)“兩個1同時出現(xiàn)”事件的自信息量；(3)兩個點數(shù)的各種組合（無序?qū)Γ┑撵鼗蚱骄畔⒘浚?4)兩個點數(shù)之和(即2，3，…，12構(gòu)成的子集）的熵；(5)兩個點數(shù)中至少有一個是1的自信息。解：（1）P（3、5或5、3）＝P（3、5）P（5、3）＝118I＝log2（18）＝4.1699bit。（2）P（1、1）＝l36。I＝lo

2、g2（36）＝5.1699bit。（3）相同點出現(xiàn)時（11、22、33、44、55、66）有6種，概率136。不同點出現(xiàn)時有15種，概率118。H（i，j）＝6136log2（36）15118log2（18）＝4.3366bit事件。（4）ij23456789101112P(ij)136236336436536636536436336236136H(ij)=H(136236336436536636536436336236136)=3.2

3、744bit事件。（5）P（1、11、ji、1）＝136536536＝1136。I＝log2（3611）＝1.7105bit25居住某地區(qū)的女孩中有25％是大學(xué)生，在女大學(xué)生中有75％身高為1.6m以上，而女孩中身高1.6m以上的占總數(shù)一半。假如得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？、解：P（女大學(xué)生）＝14；P（身高1.6m女大學(xué)生）=34；P（身高1.6m）＝12；P（女大學(xué)生身高1.6m）＝P（身高1.

4、6m、女大學(xué)生）P（身高1.6m）＝34142＝38I＝log2（83）＝1.4150bit。27兩個實驗和，聯(lián)合概率為123Xxxx?123Yyyy?()ijijpxyp?1112132122233132337241240124141240124724ppppppppp?????????????????????（1）如果有人告訴你和的實驗結(jié)果，你得到的平均信息量是多少？XY（2）如果有人告訴你的實驗結(jié)果，你得到的平均信息量是多少？Y（

5、3）在已知的實驗結(jié)果的情況下，告訴你的實驗結(jié)果，你得到的平均信息量是多YX????????????m100mm100m10021L43411P0PXXXPXP????????????????所以，自信息量為??????bitm)(XPXXXImmL3log1002004341loglog210010021??????????????????????????????（3）序列的熵????三三81bitX100XL????213有一個馬爾可

6、夫信源，已知轉(zhuǎn)移概率為。1121122221(|)(|)(|)1(|)033PSSPSSPSSPSS????試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。解：（1）由題意可得狀態(tài)轉(zhuǎn)移圖由狀態(tài)轉(zhuǎn)移圖可知：該馬爾可夫鏈具有遍歷性，平穩(wěn)后狀態(tài)的極限分布存在。一步轉(zhuǎn)移矩陣?????????013132P由和可得方程組??ijijiWpW1pjij????????????????1WWW31WWW32W2112211解方程組得到各狀態(tài)的穩(wěn)態(tài)分布概率，?????