信息論與編碼試題集與答案新

1、一填空題一填空題1、平均自信息為表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2、最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。3、最大熵值為。4、通信系統(tǒng)模型如下：5、香農(nóng)公式為為保證足夠大的信道容量，可采用（1）用頻帶換信噪比；（2）用信噪比換頻帶。6、只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一

2、種無失真編碼。7、當(dāng)R＜C時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無窮小。8、在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到形式、含義和效用三個(gè)方面的因素。9、1948年，美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。按照信息的性質(zhì)，可以把信息分成語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息。按照信息的地位，可以把信息分成客觀信息和主觀信息。人們研究信息論的目的是為了高效、可靠、安全地交換和利用各種各

3、樣的信息。信息的可度量性是建立信息論的基礎(chǔ)。統(tǒng)計(jì)度量是信息度量最常用的方法。熵是香農(nóng)信息論最基本最重要的概念。事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生概率的對(duì)數(shù)來描述的。10、單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用隨機(jī)矢量描述。33、具有一一對(duì)應(yīng)關(guān)系的無噪信道的信道容量C=log2n。34、強(qiáng)對(duì)稱信道的信道容量C=log2nHni。35、對(duì)稱信道的信道容量C=log2mHmi。36、對(duì)于離散無記憶信道和信源的N次擴(kuò)展，其信道容量

4、CN=NC。37、對(duì)于N個(gè)對(duì)立并聯(lián)信道，其信道容量CN=??NkkC1。38、多用戶信道的信道容量用多維空間的一個(gè)區(qū)域的界限來表示。39、多用戶信道可以分成幾種最基本的類型：多址接入信道、廣播信道和相關(guān)信源信道。40、廣播信道是只有一個(gè)輸入端和多個(gè)輸出端的信道。41、當(dāng)信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱為加性連續(xù)信道。42、高斯加性信道的信道容量C=)1(log212NXPP?。43、信道編碼定理是一個(gè)理想

5、編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。44、信道矩陣??????10002121代表的信道的信道容量C=1。45、信道矩陣??????????100101代表的信道的信道容量C=1。46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=9kHz。47、對(duì)于具有歸并性能的無燥信道，達(dá)到信道容量的條件是p（yj）=1m）。48、信道矩陣??????1001代表的信道，若每分鐘可

6、以傳遞6105個(gè)符號(hào)，則該信道的最大信息傳輸速率Ct=10kHz。49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。50、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、單符號(hào)的失真度或失真函數(shù)d（xi，yj）表