信息論與編碼課后習(xí)題答案

1、第二章課后習(xí)題第二章課后習(xí)題【2.1】設(shè)有12枚同值硬幣，其中有一枚為假幣。只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)用比較天平左右兩邊輕重的方法來測(cè)量。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？解：從信息論的角度看，“12枚硬幣中，某一枚為假幣”該事件發(fā)生的概率為121=P；“假幣的重量比真的輕，或重”該事件發(fā)生的概率為21=P；為確定哪一枚是假幣，即要消除上述兩事件的聯(lián)合不確定性，由于二者是獨(dú)立的，因此有2

2、4log2log12log==I比特而用天平稱時(shí)，有三種可能性：重、輕、相等，三者是等概率的，均為31=P，因此天平每一次消除的不確定性為3log=I比特因此，必須稱的次數(shù)為9.23log24log21≈=II次因此，至少需稱3次。【延伸】如何測(cè)量？分3堆，每堆4枚，經(jīng)過3次測(cè)量能否測(cè)出哪一枚為假幣?！?.2】同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”或“面朝上點(diǎn)數(shù)之和為8”或“兩骰子面朝上點(diǎn)數(shù)是3和4”時(shí)，試問這三種情況

3、分別獲得多少信息量？解：“兩骰子總點(diǎn)數(shù)之和為2”有一種可能，即兩骰子的點(diǎn)數(shù)各為1，由于二者是獨(dú)立的，因此該種情況發(fā)生的概率為3616161==P，該事件的信息量為：375.05.075.025.0)()|()()()()|(====BPABPAPBPABPBAP已知該事件所能獲得的信息量為415.1375.01log≈=I比特【2.5】設(shè)離散無記憶信源??????=====??????814141833210)(4321aaaaxPX，

4、其發(fā)出的消息為（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少？解：信源是無記憶的，因此，發(fā)出的各消息之間是互相獨(dú)立的，此時(shí)發(fā)出的消息的自信息即為各消息的自信息之和。根據(jù)已知條件，發(fā)出各消息所包含的信息量分別為：415.138log)0(0===aI比特24log)1(1===aI比特24log)2(2===aI比

5、特38log)3(3===aI比特在發(fā)出的消息中，共有14個(gè)“0”符號(hào)，13個(gè)“1”符號(hào)，12個(gè)“2”符號(hào)，6個(gè)“3”符號(hào)，則得到消息的自信息為：81.8736212213415.114≈=I比特45個(gè)符號(hào)共攜帶87.81比特的信息量，平均每個(gè)符號(hào)攜帶的信息量為95.14581.87==I比特符號(hào)注意：消息中平均每個(gè)符號(hào)攜帶的信息量有別于離散平均無記憶信源平均每個(gè)符號(hào)攜帶的信息量，后者是信息熵，可計(jì)算得∑=?=91.1)(log)()(