信息論與編碼習題(2)

1、習題2.1試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？2.2一副充分洗亂了的牌(含52張牌)，試問(1)任一特定排列所給出的信息量是多少？(2)若從中抽取13張牌，所給出的點數(shù)都不相同能得到多少信息量？2.3居住某地區(qū)的女孩子有是大學生，在女大學生中有是身高160厘米上%25%75的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學生”的消息，問獲得多少信息量？2.4設離散無憶信源，其

2、發(fā)出的消息為???????????????????8144134128314321xxxxXPX(2021201，求)11223210010021032032101103213021300120(1)此消息的自信息量是多少？(2)在此消息中平均每個符號攜帶的信息量是多少？2.5從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為，女性發(fā)病率為，%7%5.0如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含

3、有多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？2.6設信源，求這信源的熵，并解釋為???????????????17.016.017.018.019.02.0654321xxxxxxXPX什么不滿足信源熵的極值性。??6log?XH2.7同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都為，求：61(1)“3和5同時出現(xiàn)”這事件的自信息量；(2)“兩個1同時出現(xiàn)”這事件的自信息量；(3)兩個點數(shù)

4、的各種組合(無序?qū)?的熵或平均信息量；(4)兩個點數(shù)之和(即構(gòu)成的子集)的熵；1232?(5)兩個點數(shù)中至少有一個是1的自信息量。2.8證明≤??nXXXH?21??????nXHXHXH????212.9證明≤，并說明等式成立的條件。??213XXXH??13XXH2.10對某城市進行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對頻度如下：2.17黑白氣象傳真圖的消息只有黑色和白色兩種，即信源

5、。設黑色出黑，白?X現(xiàn)的概率為P(黑)=0.3，白色的出現(xiàn)概率P(白)=0.7。(1)假設圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；??XH(2)假設消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白白)=0.9，P(黑白)=0.1，P(白黑)=0.2，P(黑黑)=0.8，求此一階馬爾可夫信源的熵；)(2XH(3)分別求上述兩種信源的剩余度，比較的大小，并說明其物理意義。??)(2XHXH和2.18每幀電視圖像可以認為是由個像素組成的，所有像素均是獨立變化，

6、且5103?每像素又取128個不同的亮度電平，并設亮度電平是等概率出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選1000個漢字來口述這電視圖像，試問若要恰當?shù)孛枋龃藞D像，廣播員在口述中至少需要多少漢字？2.19給定語聲樣值的概率密度為，求，并證明X?????????xxpxe21????XHC它小于同樣方差的正態(tài)變量的連續(xù)熵。2.20連續(xù)變量的聯(lián)合概率密度為：，求YX和??????????其他012222ryx

7、ryxp。(提示：)????????YXIXYHYHxH:和?????20222log2dsinlogxx2.21設是維高斯分布的連續(xù)信源，且的方差分別NXXXX?21?NNXXX21?為它們之間的相關(guān)系數(shù)。試證明：維高22221N??????jiNjiXXji???210)(??N斯分布的連續(xù)信源的熵?????????NiiNccXXXHXH12221e2log21??2.22設有一連續(xù)隨機變量，其概率密度函數(shù)為??????其他02b