信息論ppt第四章信源及信源熵

1、第四章 信源及信源熵,主要內(nèi)容：如何描述信源(信源的數(shù)學建模問題)；如何定量描述信源輸出信息的能力；怎樣有效地表示信源輸出的消息，也就是信源編碼問題。,第一節(jié) 信源的分類及其數(shù)學模型,根據(jù)信源輸出的消息在時間和取值上的離散或連續(xù)進行分類，如下表所示： 此外，還可以根據(jù)各維隨機變量的概率分布是否隨時間的推移而變化，將信源分為平穩(wěn)信源和非平穩(wěn)信源。根據(jù)隨機變量之間是否統(tǒng)計獨立，將信源分為有記憶信源和無記憶信

2、源。,實際信源分類如下：,,第二節(jié) 離散單符號信源,輸出離散取值的單個符號的信源稱為離散單符號信源，它是最簡單、最基本的信源，是組成實際信源的基本單元，用一個離散型隨機變量表示。 信源所有可能輸出的消息和消息所對應的概率共同組成的二元序 對稱為信源的概率空間。,,,信源輸出的所有消息的自信息的統(tǒng)計平均值定義為信源的平均自信息量(信源熵)，它表示離散信源的平均不確定性。例1：二

3、元信源 ，求 。,,,,第三節(jié) 離散多符號信源,前面介紹的單符號信源是最簡單的信源模型，用一個離散隨機變量表示。實際信源輸出的往往是符號序列，稱為離散多符號信源，通常用離散隨機變量序列(隨機矢量)來表示： 。例如，電報系統(tǒng)發(fā)出的是一串有無脈沖的信號(有脈沖表示1，無脈沖表示0)，因此電報系統(tǒng)是輸出一串0、1序列的二元信源

4、。 為簡單起見，這里只研究離散平穩(wěn)信源，也就是統(tǒng)計特性不隨時間改變的信源。,,定義：對于離散隨機變量序列 在任意兩個不同時刻 ，( 為大于1的任意整數(shù))，信源發(fā)出的消息序列的概率分布完全相同，即對于任意的 ， 具有相同的概率分布，也就是

5、 即各維聯(lián)合概率分布均與時間起點無關的信源稱為離散平穩(wěn)信源。,,,,,,,,,,由上述定義以及聯(lián)合概率與條件概率的關系可得 ，于是，容易推出

6、 對于離散單符號信源，用信息熵來表示信源的平均不確定性。對于離散多符號信源，怎樣表示信源的平均不確定性呢？我們引入熵率的概念，它表示信源輸出的符號序列中，平均每個符號所攜帶的信息量。,,,,,,,,,定義：隨機變量序列中，對

7、前N個隨機變量的聯(lián)合熵求平均： 稱為平均符號熵。如果當時 上式極限存在，則 稱為熵率，或稱為極限熵，記為,,,,,一、離散平穩(wěn)無記憶信源,離散平穩(wěn)無記憶信源輸出的符號序列是平穩(wěn)隨機序列，并且符號之間是無關的，即統(tǒng)計獨立的。為了研究離散平穩(wěn)無記憶信源的熵率，假定信源每次輸出的是N長符號序列，這可以看作是一個新信源，稱為離散平穩(wěn)無記憶信源的N次擴展信源，它的數(shù)學模型是N維離散隨機

8、變量序列(隨機矢量)： ，其中每個隨機變量之間統(tǒng)計獨立。同時，由于是平穩(wěn)信源，每個隨機變量的統(tǒng)計特性都相同，因此還可以把一個輸出N長符號序列的信源記為：,,,根據(jù)統(tǒng)計獨立的多維隨機變量的聯(lián)合熵和信息熵之間的關系，可以推出： ， 即N次擴展信源的熵等于單符號離散信源熵的N倍，信源輸出的長

9、符號序列平均提供的信息量是單符號離散信源平均每個符號所提供信息量的N倍。 離散平穩(wěn)無記憶信源的熵率： 。例1：設有一離散無記憶信源X，其概率空間為 求該信源的熵率及其二次擴展信源的熵。,,,,二、離散平穩(wěn)有記憶

10、信源,假定信源輸出N長的符號序列，則它的數(shù)學模型是N維隨機變量序列： ，其中每個隨機變量之間存在統(tǒng)計依賴關系。 對于相互間有依賴關系的N維隨機變量的聯(lián)合熵，具有如下的熵函數(shù)鏈條法則： 即N維隨機變量的聯(lián)合熵等于起始時刻隨機變量 的熵與各階條件熵之和。,,,,定理1：對于離散平穩(wěn)信源，有以下幾個結(jié)論：,(1)條件熵

11、 隨的增加是遞減的；(2)N給定時平均符號熵大于等于條件熵，即 ；(3)平均符號熵 隨N的增加是遞減的；(4)如果 ，則 存在，并且,,,,,,,注：該定理表明，由于信源輸出序列前后符號之間的統(tǒng)計依賴關系，隨著序列長度N的增加，也就是隨著統(tǒng)計約束條件不斷

12、增加,平均符號熵 及條件熵 均隨之減小。當 時， ,即為熵率，它表示信源輸出的符號序列中，平均每個符號所攜帶的信息量。所以在求熵率時可以有兩種途徑：可以求它的極限平均符號熵，也可以求它的極限條件熵，即,,,,,,例2：設有一離散有記憶信源X的概率空間為

13、 ， 并設發(fā)出的符號只與前一個符號有關，其關聯(lián)程度由條件概率 給出，如下所示： ，求：(1)此信源每發(fā)出一條消息提供的平均信息 量 ； (2)此信源的平均符號熵 (3)此信源的極限熵

14、 。,,,,,,,作業(yè)：1. 證明 ；2. 有一無記憶信源的符號集為{0，1}，已知信源的概率空間為 ，(1)求信源熵；(2)求由m個“0”和(100-m)個“1”構成的某一特定序列的自信息量的表達式；(3)計算由100個符號構成的符號序列

15、的熵。,,,三、馬爾可夫信源,如果信源在某時刻發(fā)出的符號僅與在此之間發(fā)出的有限個符號有關，而與更早些時候發(fā)出的符號無關，這類信源稱為馬爾可夫信源。如果信源在某時刻發(fā)出的符號僅與在之前發(fā)出的m個符號有關，則稱該信源為m階馬爾可夫信源，其熵率為： (馬爾可夫性)

16、 (平穩(wěn)性)。 通常記為 。,,,,,對于馬爾可夫信源，把前面若干個符號看作一個狀態(tài)，(若信源有q個可能的輸出符號，則一共有 個可能的狀態(tài))，可以認為，信源在某一時刻發(fā)出某一符號的概率除了與該符號有關外，只與該時刻信源所處的狀態(tài)有關，而與過去的狀態(tài)無關。信源發(fā)出一個符號后，信源所處的狀態(tài)即發(fā)生改變，這些狀態(tài)的變化組成了馬爾可夫鏈。因此，可把對馬爾可夫信源的研究轉(zhuǎn)

17、化為對馬爾可夫鏈的研究。,,如圖所示，信源在某時刻處于某一狀態(tài) ，當它發(fā)出一個符號 后，所處的狀態(tài)就變了，轉(zhuǎn)移到狀態(tài) ,因此,信源輸出的符號序列 變換成信源狀態(tài)序列 ，于是一個討論信源輸出符號不確定性的問題變成討論信源狀態(tài)轉(zhuǎn)換的問題。,,,,,,狀態(tài)之間的一步轉(zhuǎn)移概率 表示前一時刻(m時刻)信源處于 狀態(tài)下

18、，在下一時刻(m+1時刻)信源處于 狀態(tài)的概率?？梢杂民R爾可夫鏈的狀態(tài)轉(zhuǎn)移圖來描述離散馬爾可夫信源的狀態(tài)轉(zhuǎn)移概率。,,,,例1：設一個二元一階馬爾可夫信源，信源符號集為 ，信源輸出符號的條件概率為： 求狀態(tài)轉(zhuǎn)移概率，并畫出狀態(tài)轉(zhuǎn)移圖。例2：設有一個二元二階馬爾可夫信源，其信源符號集為 ， 輸出符號的條件概率為： 求狀態(tài)轉(zhuǎn)移概率矩陣，并畫出狀態(tài)轉(zhuǎn)移圖。,,,,

19、,,,對于一個m階馬爾可夫信源，它的概率空間可以用它的所有可能的輸出符號及輸出符號的條件概率表示： ，令 ， ，則由信源輸出符號的條件概率 可以確定狀態(tài)轉(zhuǎn)移概率 ，

20、 ，從而得到馬爾可夫信源的狀態(tài)空間： 狀態(tài)空間由所有狀態(tài)及狀態(tài)間的狀態(tài)轉(zhuǎn)移概率組成。因此，通過引入狀態(tài)轉(zhuǎn)移概率，可以把對馬爾可夫信源的研究轉(zhuǎn)化為對馬爾可夫鏈的研究。,,,,,,,,下面主要研究遍歷的m階馬爾可夫信源的熵率。,當時間足夠長后，遍歷的馬爾可夫信源可以視作平穩(wěn)信源來處理，又因為m階馬爾可夫信源發(fā)出的符號只與最近的m個符號有關，所以

21、 即m階馬爾可夫信源的極限熵 等于條件熵 。 表示已知前面m個符號的條件下，輸出下一個符號的平均不確定性。,,,,,對于齊次遍歷的馬爾可夫鏈，其狀態(tài) 由 唯一確定，因此有 ，所以 其中，

22、 是馬爾可夫鏈的平穩(wěn)分布或狀態(tài)極限概率； 表示信源某一狀態(tài) 時發(fā)出下一個符號的平均不確定性； 表示下一步狀態(tài)轉(zhuǎn)移概率。,,,,,,,,,例3：求例2中二階馬爾科夫信源的極限熵。例4：設有一信源，它在開始時以 ， ， 的概率發(fā)出 ，如果 為 時，則 為 的概率均為 ；如果 為 時， 為 的概率均為

23、；如果 為 時，則 為 的概率為 ，為 的概率為0，并且后面發(fā)出 的概率只與 有關，又 ， 。畫出此一階馬爾科夫信源的狀態(tài)轉(zhuǎn)移圖，寫出其一步轉(zhuǎn)移概率矩陣，并求該信源的極限熵；,,,,,,,,,,,,,,,,,,,,,,,,,練習：一個馬爾可夫過程的基本符號為0、1、2，這三個符號等概率出現(xiàn)，并且具有相同的轉(zhuǎn)移概率。畫出一階馬

24、爾可夫過程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下二階馬爾可夫過程的信源極限熵。作業(yè)：1. 一階馬爾科夫信源X的符號集為{0,1,2}，轉(zhuǎn)移概率矩陣為 ， 畫出狀態(tài)轉(zhuǎn)移圖，并求信源的極限熵。2. 給定狀態(tài)轉(zhuǎn)移概率矩陣 ，求：(1)此二狀態(tài)馬爾可夫鏈的熵率 ；(2)此熵率的極大值及相應的p。,,,,第

25、四節(jié) 信源剩余度,由上一節(jié)我們知道，一般平穩(wěn)信源可以用m階馬爾可夫信源的極限熵 近似表示一般離散平穩(wěn)有記憶信源每發(fā)出一個符號提供的平均信息量 。若令 表示平穩(wěn)有記憶信源X(消息符號集 )在起始時刻的最大熵值 ，則有,,,,,,,這表明，信源的記憶長度越大，信源的極限熵就越小，信源每輸出一個消息符號提供的平均信息量隨著記憶長度的增加而減小，只有當信源輸

26、出的符號之間相互統(tǒng)計獨立，不存在統(tǒng)計依賴關系，并且消息符號是均勻分布(即等概率分布)時，信源的信息熵才達到最大值，每輸出一個消息符號提供最大的平均信息量。在信源消息符號組成的符號序列中，符號之間的依賴關系越強，信源每輸出一個符號提供的平均信息量就越小。為了更好地描述信源的這種相關性，我們引入信源的剩余度的概念。,定義：設離散有記憶信源X的極限熵為 ，若把這個信源當作無記憶的離散等概信源時，其最大熵值 ，定義比

27、值 為這個離散有記憶信源的相對率，稱 為離散平穩(wěn)有記憶信源的剩余度，有時又稱為冗余度。,,,,,注：由信源剩余度的定義可知，信源剩余度的大小能很好地反映離散信源輸出的消息符號序列中消息符號之間的依賴關系的強弱。剩余度 越大，表明信源的實際熵 越小。這表明信源符號之間的依賴關系越強，即消息符號之間的記憶長度越長；反之，剩余度越小，這表明信源的消息符號之間的依賴關系就越弱，即消息符號之間的記憶長度越短。當剩余度

28、等于零時，信源的信息熵就等于極大值 ，這表明信源符號之間不但統(tǒng)計獨立無記憶，而且各消息符號之間還是等概率分布。所以我們可以用剩余度來衡量信源輸出的消息符號序列中各消息符號之間的依賴程度。,,,,,例1：設一階平穩(wěn)馬爾可夫信源X，其消息符號集 ，若已知初始概率如下： ， ，轉(zhuǎn)移概率矩陣為：

29、 (1)求此馬爾可夫信源的極限熵 ；(2)求 和它們所對應的剩余度。作業(yè)：一個馬爾可夫過程的基本符號為0、1、2，這三個符號等概率出現(xiàn)，并且具有相同的轉(zhuǎn)移概率。畫出一階馬爾可夫過程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下二階馬爾可夫過程的信源極限熵和信源剩余度。,,,,,,,在信息傳播的過程中，從提高信息效率的觀點出發(fā)，總希望減少或去掉剩余度；但從提高抗干擾能力的角度來看，

30、總希望增加或保留信源的剩余度。其原因是，從經(jīng)濟和時間的角度來看，總希望在保證傳輸?shù)男畔⒃敢獠蛔兊那闆r下，盡可能地讓消息符號簡潔，剩余度減少。但剩余度也有它的作用，對于剩余度較大的消息其抗干擾的能力越強，當干擾使消息在傳輸?shù)倪^程中出現(xiàn)錯誤時，我們能從它的上下關聯(lián)中糾正錯誤，提高抗干擾的能力。例如，在文電報中，把“中華人民共和國”壓縮成“中國”愿意沒有變，而電報內(nèi)容變得簡潔了，剩余度減少了許多，但這樣在傳輸?shù)倪^程中一旦受到干擾，接收到“&#

31、215;國”時就很難確定所輸出的內(nèi)容究竟是“中國”還是“法國”、…，由此會造成很大的損失。但如果沒有壓縮，當接收到的消息是“中華×民共×國”時我們很容易把它糾正成“中華人民共和國”。,剩余度是信息論理論研究中的一個具有核心意義的重要概念，通信的有效性和可靠性是通信領域中的兩個既矛盾有統(tǒng)一的兩個方面。信息論的主題是運用信息理論，使有效性和可靠性達到統(tǒng)一，找到使通信既有效又可靠的途徑和方法。信源編碼就是討論如何減小或消除

32、信源的剩余度，提供信息的有效性；信道編碼就是討論如何增加信源的有用的剩余度，提高通信的可靠性。,第五節(jié) 連續(xù)信源的信息度量,在實際中，有些信源輸出的消息是時間和取值均為連續(xù)的函數(shù)，例如：語音信號 ，電視信號 都是時間和取值連續(xù)的函數(shù),而在某一固定時間 和 都是連續(xù)的隨機變量，這樣的信源我們稱為連續(xù)信源，一般來說，連續(xù)信源輸出的消息是某個隨機過程 的一個樣本函數(shù)，它是一個時間t

33、的連續(xù)函數(shù)，而在某一固定時刻 ，信源的輸出就成為一個取值連續(xù)的隨機變量。本節(jié)討論連續(xù)信源的信息度量。下面我們首先引入一個概念：微分熵，它是一個連續(xù)隨機變量的熵。微分熵也是表示對隨機變量的最短描述長度，它同信息熵有許多相似的地方，但也有一些很重要的差別，在使用這個概念時有需要特別注意這些差異。,,,,,,,一、連續(xù)信源的微分熵、相對熵和平均互信息量,設 為連續(xù)型隨機變量X的概率密度，使得 ＞0的x的集合

34、 稱為X的支撐集。 定義1：若連續(xù)隨機變量X具有概率密度 ，則它的微分熵 定義為 其中S為隨機變量X的支撐集。 同離散情況一樣，微分熵僅僅依賴于隨機變量的概率密度 ，因此微分熵有時也寫成 注：微分熵的定義中包含了一個積分，一般情況下，我們都假定積分是存在的。,,,,,,,,,例1：若隨機變量X服從a到b的均勻分布，即 ，試求其

35、微分熵。注：由該例可知，連續(xù)型隨機變量的微分熵不具有非負性，失去了信息的部分含義和性質(zhì)。例2：設隨機變量 ，試求其微分熵。注：該例說明正態(tài)連續(xù)信源的熵與數(shù)學期望 無關，只與方差 有關。在介紹離散信源熵時我們說過，信息熵描述的是信源的整體特性。由正態(tài)分布密度函數(shù)的曲線可見，當均值 發(fā)生變化時，只是 的對稱中心在橫軸上發(fā)生平移，曲線的形狀沒有任何變化。也就是說，數(shù)學期望 對

36、正態(tài)信源的總體特性沒有任何影響。,,,,,,,,但是，若X的方差 不同，曲線的形狀隨之改變。所以，正態(tài)連續(xù)信源的熵與方差 有關，而與數(shù)學期望 無關。這是信源熵的總體特性的再度體現(xiàn)。 當均值 時，X的方差 就是隨機變量的平均功率 由這一的隨機變量X所代表的連續(xù)信源，稱為高斯分布的連續(xù)信源。例3：設隨機變量 (指數(shù)分布)，求其微分熵。注：該

37、例說明，指數(shù)分布的連續(xù)信源的熵只取決于均值。這一點很容易理解，因為指數(shù)分布函數(shù)的均值，決定函數(shù)的總體特性。,,,,,,,,作業(yè)：設X服從拉普拉斯分布，即 求其微分熵。下面我們研究微分熵與離散熵之間的關系。 連續(xù)隨機變量可以看作是離散隨機變量的極限，故可采用離散隨機變量來逼近。下面，我們采用這一觀點討論連續(xù)信源的信息熵與信息量。 考慮一個連續(xù)型隨機變量X，其概率密度為f(x)

38、，圖像如圖所示：,,現(xiàn)將隨機變量X的值域分成間隔為 的小區(qū)間，只要區(qū)間 足夠小，那么X的值落入?yún)^(qū)間 的概率近似為 。 考慮如下形式的分層量化后取值為離散值 是離散隨機變量 ： ， 如果 ， 則 的概率為

39、 ，,,,,,,,,,,,從而分層量化后的離散隨機變量 的熵為： 最后一個等式成立是因為 。如果 是黎曼可

40、積的，則上式中第一式接近于 的積分，這樣我們可得到如下定理： 定理1：如果連續(xù)隨機變量X的概率密度為 ，且黎曼可積，則當 時有,,,,,,,,,注：1. 微分熵 不具備非負性，但是連續(xù)信源輸出的信息量由于有一個無限大量的存在， 仍大于0。這里，我們?nèi)詫?定義為連續(xù)信源的熵，理由有二：一是由于它在形式上于離散熵相似：,,,,,另一個更重要的原因是在于實際處理問題時，比如

41、互信息、信道容量、信息率失真函數(shù)等可涉及到的僅是熵的差值，即平均互信息量。這時，只要相差的兩個連續(xù)微分熵在逼近時可取的是一致的，兩個同樣的無限大的尾巴就可以互相抵消?？梢?， 是具有相對性，它是為了引入互信息等重要概念而引入的一個過渡性的概念,,2. 是連續(xù)信源的微分熵，而不是連續(xù)信源輸出的信息量，而連續(xù)信源輸出的信息量是 。這就是說，在離散信源中信源輸出信息量就是信源熵，兩者是一個概念；但是在連續(xù)信源中則是兩個概

42、念，且不相等。連續(xù)信源輸出信息量 是一個絕對值，它取值于 ，而連續(xù)信源的微分熵則是一個相對值，且取值是有限的。 同離散情形一樣，我們可以將微分熵的定義推廣到多個隨機變量情形。,,,,,,定義2：設隨機變量 的聯(lián)合概率密度為 ，則它們的聯(lián)合微分熵定義為 例4：設隨機變量

43、 服從N維均勻分布，即聯(lián)合概率密度 求其聯(lián)合微分熵。注：由該例可見，N維均勻分布連續(xù)信源的熵是N維區(qū)域體積的對數(shù)，其大小僅與各維區(qū)域的邊界有關，這是信源熵總體特性的體現(xiàn)，因為維區(qū)域的邊界決定了概率密度函數(shù)的總體形狀。,,,,,,例5：設 具有多維正態(tài)分布，其均值為 ，協(xié)方差矩陣為K，即 。試求其聯(lián)合微分熵。定義3：如果X

44、,Y具有聯(lián)合概率密度為 ，我們可以定義條件微分熵 為 。因為 ，我們可將條件微分熵改寫成如下形式： 。由上式可見：

45、 ，這稱為微分熵的鏈條法則。,,,,,,,,,,定義4：兩個連續(xù)隨機變量的密度f和g的相對熵（或Kuallback　Leibler距離）定義為 ，注意到僅當f的支撐集包括在g的支撐集中時相對熵 有限。一般假定。,,,,定義5：如果X,Y具有聯(lián)合概率密度為

46、，則它們之間平均互信息量 定義為 。 由上述定義可知： ， 并且 。,,,,

47、,,注：兩個連續(xù)隨機變量的相對熵 和平均互信息量 與離散隨機變量的相對熵和平均互信息量有相同的性質(zhì)。特別地，兩個連續(xù)隨機變量的平均互信息量是它們分層量化后的兩個離散隨機變量的平均互信息量的極限。實際上，,,,,二、微分熵、相對熵和平均互信息量的性質(zhì),性質(zhì)1： ≥0，等號成立當且僅當f=g(幾乎處處)。性質(zhì)2： 等號成立當且僅當X和Y相互獨立。性質(zhì)3：

48、 等號成立當且僅當X和Y相互獨立。 性質(zhì)4：(微分熵的鏈條法則),,,,,,性質(zhì)5： ， 等號成立當且僅當 相互獨立。: 性質(zhì)6：平移不改變微分熵的值，即性質(zhì)7：設X為隨機變量， 為常數(shù)，則 性質(zhì)8：設X為N維隨機向

49、量，A為N階非奇異方陣，則,,,,,,,例6：有一連續(xù)型隨機變量，其概率密度為 (1)求A； (2)求X的微分熵 ； (3) 若 ，求Y的微分熵 。 作業(yè)：有一連續(xù)型隨機變量 ，其概率密度為 (1)求 ； (2)求的微分熵 ； (3) 若 ，求的微分熵 。,,,,,,,,,,,三、連續(xù)信源的最大熵,1

50、. 限平均功率最大熵定理定理2：設隨機向量 具有零均值，協(xié)方差矩陣為 ， 。注：(1). 該定理說明，當連續(xù)信源輸出信號的平均功率(即n維協(xié)方差矩陣)受限時，只有信號的統(tǒng)計

51、特性與高斯噪聲的統(tǒng)計特性(n維正態(tài)分布)一樣時，才會有最大的熵值。從直觀上看這是合理的，因為噪聲是一個最不確定的隨機過程，而最大的信息量只能從最不確定的事件中獲得。,,,,(2). 當信源輸出的平均功率受限時，對于一維信號(隨機變量)來說，就是均值為零，方差 受限；對于多維信號來說，就是協(xié)方差矩陣K中的協(xié)方差 ，即隨機序列 中各個分量不相關；

52、 受限。,,,,,2. 限峰功率最大熵定理,定理3. 設n維隨機矢量X的取值范圍為 ，則當X服從均勻分布時達到最大熵。 注：該定理說明，若代表信源的n維隨機變量的取值被限制在一定的范圍之內(nèi)，則在有限的定義域內(nèi)，均勻分布的連續(xù)信源具有最大熵。 在實際問題中，某信源輸出信號的峰值功率受限為 ，即信源輸出信號的瞬時電壓限定在 內(nèi)，它等

53、價于信源輸出的連續(xù)隨機變量X的取值幅度受限，限 于 內(nèi)取值，通常取 ，這種取值的平移并不影響熵的值。這時意味著 的值被限制在 之間，或者說峰值功率被限制在 之內(nèi)，所以上述定理一般稱為限峰功率最大熵定理。,,,,,,,,,4.限均值最大熵定理,定理4. 若連續(xù)信源X輸出非負信號的均值受限，則其輸出信號幅度呈指數(shù)分布時，連續(xù)信源X具有最大熵值。 注：從上面三個定理可以看出，連續(xù)信

54、源與離散信源不同，它不存在絕對的最大熵，其最大熵與信源的限制條件有關，在不同的限制條件下，有不同的最大連續(xù)熵值。,四、熵功率,與離散信源一樣，在討論了連續(xù)信源的最大熵問題之后，也要考慮沒有達到最大熵的信源的冗余度問題。從這個角度出發(fā)，引出熵功率的概念。我們知道，在不同的約束條件下，連續(xù)信源有不同的最大熵。因為均值為零、平均功率受限的連續(xù)信源是實際中最常見的一種信源，我們重點討論這種信源的冗余問題。 均值為零、平均功率限

55、定為P的連續(xù)信源當服從高斯分布時達到最大熵： ， 也就是說高斯信源的熵值與P有確定的對應關系： 。,,,如果另一信源的平均功率也為P，但不是高斯分布，那么它的熵值 一定比高

56、斯信源的熵 小。反過來說，如果有一個信源與這個高斯信源有相同的熵 ，則它的平均功率 ， 為高斯信源的平均功率，因為對于非高斯信源， ，而對于高斯信源， 。,,,,,,,,定義6：假定某連續(xù)信源的熵為 ，平均功率為P，則與它具有相同熵的高斯信源的平均功率 定義為熵功率，即

57、 ， 所以 ，當該連續(xù)信源為高斯信源時等號成立。 注： 的大小可以表示連續(xù)信源剩余度的大小。如果熵功率等于信源平均功率，表示信源沒有剩余；熵功率和信源的平均功率相差越大，說明信源的剩余度越大，所以把信源平均功率和熵功率之差 稱為連續(xù)信源的剩余度。,,,,,,,本章習題選講,1. 設有一信源，它產(chǎn)生0,1序列的消息。它在任意時間而且不論以前發(fā)過什么符號

58、，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號。 (1)試問這個信源是否是平穩(wěn)的？為什么？ (2)計算 ； (3)計算這個信源的極限熵。,,本章習題選講,2. 設某馬爾可夫信源的符號集 ，狀態(tài)集 ，在某狀態(tài) 下輸出符號 的概率如下表所示：

59、 (1)畫出狀態(tài)轉(zhuǎn)移圖，求出狀態(tài)極限概率及各符號的極限概率； (2)計算信源的極限熵。,,,,,,本章習題選講,3. 有一二元數(shù)字通信系統(tǒng)，傳送“0”和“1”的概率分別為1/4和3/4。為了可靠地傳輸這一消息，重復傳輸3次，試求該信源的冗余度。 4. 有一信源發(fā)出恒定寬度，但不同幅度的脈沖，幅度值X處在 和 之間。此信源連著某信

60、道，信道接收端接收的脈沖的幅度Y處在 和 之間。已知隨機變量X和Y的聯(lián)合概率密度為 求 。,,,,,,,本章習題選講,5. 設二維隨機變量(X,Y)服從區(qū)域上 的均勻分布，求6.設隨機變量

61、 的聯(lián)合概率密度為 ， 求 的概率密度與微分熵。7.設隨機變量X的概率密度為 ， ，求Y的概率密度與微分熵。,,,,,,,,本章習題選講,8.設連續(xù)隨機變量X和Y的聯(lián)合概率密度為

62、 ，求：（1）隨機變量X和Y的微分熵h(X)和h(Y);（2）連續(xù)條件熵h(Y|X);（3）X和Y之間的平均互信息量I(X;Y)。9.設 為二維高斯分布的連續(xù)信源，其聯(lián)合概率分布為 ，試求二維高斯分布連續(xù)信源 的微分熵,,,,,,本章習題選講,10.設X、Y是均值為零，方差