信息論與編碼知識點分布

1、信息論與編碼知識點分布注：（1）復習過程中參考如下知識點，重點復習教材與多媒體講義中的相關內(nèi)容，在理解的基礎上進行針對性公式記憶。（2）期末考試題量較大，題型較為靈活，求解速度很重要。因此復習中對典型例題、講義中典型習題、教材中模擬題等要熟練掌握求解方法。第二章第二章信源與信源熵信源與信源熵1信源的不確定性2單符號離散信源（1）單符號離散信源的數(shù)學模型1212()()()()()ininxxxxXpxpxpxpxPX??????????

2、?????????（2）單符號離散信源的信息量（自信息量、聯(lián)合信息量、條件信息量及三種信息量的關系）自信息量：()log()iiIxpx??條件信息量：2()log()ijijIxypxy??聯(lián)合信息量：22()log()log()()()()()()ijijjijiijjjiIxypxypypxyIxIxyIyIyx????????互信息量：2()()log()()()()()()ijijiijijijipxyIxyIxIxyIxIy

3、Ixypx??????信源熵：??????niiiiixpxpxpExIEXH122)(log)(])(1[log)]([)(條件熵：??????mjnijijijiyxIyxpyxIEYXH11)()()]([)(聯(lián)合熵：???????????nimjnimjjijijijiyxpyxpyxIyxpXYH11112)(log)()()()(熵函數(shù)的性質(zhì)：非負性；對稱性；最大離散熵定理；擴展性；可加性；極值性；平均互信息量：離散無記憶擴

4、展信源：定義；離散無記憶信源X的N次擴展信源的熵就是離散信源X的熵的N倍()()NHXNHX?離散平穩(wěn)信源：定義；平均符號熵與極限熵；4馬爾可夫信源：定義；信源狀態(tài)轉移圖；各態(tài)遍歷定理；熵計算第三章第三章無失真信源編碼無失真信源編碼1信源編碼的分類：2Kraft不等式與碼樹表示法；平均碼長；編碼效率；3定長編碼定理；變長編碼定理；4香農(nóng)、費諾、Huffman、游程編碼、LD編碼、算數(shù)編碼、LZW編碼的編碼過程。第四章第四章限失真信源編碼

5、限失真信源編碼1失真測度與失真矩陣；2平均失真度與保真度準則；3信息率失真函數(shù)R（D）及其定義域的確定；4漢明失真下的的二元信源R（D）的定義式；5對稱失真矩陣下n元等概信源率失真函數(shù)的定義式；6限失真信源編碼定理及應用；7多媒體壓縮編碼（了解）第五章第五章信道及信道容量信道及信道容量1一般信道的數(shù)學模型：??112111222212(|)(|)...(|)(|)(|)...(|)(|)............(|)(|)...(|)m