信息論與編碼第2章

1、信道的通信能力可以度量嗎？在有干擾的信道上可以進行無差錯的通信嗎？,2,,第2章 信源及信息度量,信源的數(shù)學(xué)模型和分類 離散信源熵和互信息離散序列信源熵連續(xù)信源熵和互信息冗余度,,,,,,3,,2.1信源的數(shù)學(xué)模型和分類,信源顧名思義是產(chǎn)生消息的源頭，從數(shù)學(xué)的角度，它產(chǎn)生隨機變量、隨機序列和隨機過程的源。在這里信源指從信源發(fā)出的消息。 信源的基本特性是具有隨機屬性和概率統(tǒng)計特性,4,,2.1信源的數(shù)學(xué)模型和分類,分類

2、 按照信源發(fā)出的消息在時間上和幅度上的分布情況，把信源分為： (1) 連續(xù)信源（continuous source）：發(fā)出在時間上或幅度上是連續(xù)分布（只要滿足其中之一）的連續(xù)消息的信源，如話音、圖像，可以認(rèn)為是一個隨機過程。(2) 離散信源（discrete source）：發(fā)出在時間上和幅度上都是離散分布的信源。消息的符號的取值是有限的或可數(shù)的，且兩兩不相容。如文字、數(shù)據(jù)、電報?？梢哉J(rèn)為是一個隨機變量或者隨機序列。,

3、5,,2.1信源的數(shù)學(xué)模型和分類,分類 按照信源發(fā)出的消息在時間上和幅度上的分布情況，把信源分為： (1) 連續(xù)信源（continuous source）：發(fā)出在時間上或幅度上是連續(xù)分布（只要滿足其中之一）的連續(xù)消息的信源，如話音、圖像，可以認(rèn)為是一個隨機過程。(2) 離散信源（discrete source）：發(fā)出在時間上和幅度上都是離散分布的信源。消息的符號的取值是有限的或可數(shù)的，且兩兩不相容。如文字、數(shù)據(jù)、電報。

4、可以認(rèn)為是一個隨機變量或者隨機序列。,6,,2.1信源的數(shù)學(xué)模型和分類,分類離散信源可以根據(jù)符號間關(guān)系細分為：： (1) 離散無記憶信源（discrete memoryless source）：所發(fā)出的各個符號之間是相互獨立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。(2) 離散有記憶信源（discrete source with memory）：發(fā)出的各個符號之間不是相互獨立的，

5、各個符號出現(xiàn)的概率是有關(guān)聯(lián)的。,7,,2.1信源的數(shù)學(xué)模型和分類,分類 也可以根據(jù)信源發(fā)出一個消息所用符號的多少，將離散信源分為 ： (1) 離散無記憶信源（discrete memoryless source）：所發(fā)出的各個符號之間是相互獨立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。(2) 離散有記憶信源（discrete source with memory）：發(fā)

6、出的各個符號之間不是相互獨立的，各個符號出現(xiàn)的概率是有關(guān)聯(lián)的。,8,,2.1信源的數(shù)學(xué)模型和分類,分類 將以上兩種分類結(jié)合，主要有下面幾種離散信源： (1) 發(fā)出單個符號的無記憶離散信源；(2) 發(fā)出符號序列的無記憶離散信源；(3) 發(fā)出符號序列的有記憶離散信源。 當(dāng)有記憶信源的相關(guān)性涉及到前面所有符號的時候，隨著序列的增加，相關(guān)性的符號也會增加，當(dāng)序列可能無限長的時候，記憶的長度也是無限

7、的，因此為了簡化問題，一類有限記憶、定長記憶、記憶是鄰近的離散信源被提出，即馬爾可夫信源：某一個符號出現(xiàn)的概率只與前面一個或有限個符號有關(guān)，而不依賴更前面的那些符號。,9,,2.1信源的數(shù)學(xué)模型和分類,分類,10,,2.1.1 離散無記憶信源,例2-1 扔骰子每次試驗結(jié)果必然是1～6點中的某一個面朝上?？梢杂靡粋€離散型隨機變量X來描述這個信源輸出的消息。 并滿足 需要注意的是，大寫字母X代表隨機變

8、量，指的是信源整體。帶下標(biāo)的小寫字母xi代表隨機事件的某一具體的結(jié)果或信源的某個元素（符號）。在信息論教材中一般如此約定,,,11,,2.1.1 離散無記憶信源,我們可用一維離散型隨機變量X來描述這些信息的輸出。這樣的信息稱為離散信源。其數(shù)學(xué)模型就是離散型的概率空間： 0≤p(xi)≤1 其中，p(xi)：信源輸出符號xi（i =1，2，…，n）的先驗概率。當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這

9、就表示相應(yīng)的信源已給定。所以概率空間能表征這離散信源的統(tǒng)計特性。以上的信息表達方式存在局限性嗎？對于具體的信息，經(jīng)過以上表示中去掉了那些因素？,,,2.1.1 離散無記憶信源,上式表示信源可能的消息（符號）數(shù)是有限的，只有n個：x1， x2， … ，xn，而且每次必定選取其中一個消息輸出，滿足完備集條件。這是最基本的離散信源。有的信源輸出的消息也是單個符號，但消息的數(shù)量是無限的，如符號集A的取值是介于a和b之間的連續(xù)值，或者取值為

10、實數(shù)集R等。連續(xù)信源：輸出在時間和幅度上都是連續(xù)分布的消息。消息數(shù)是無限的或不可數(shù)的，且每次只輸出其中一個消息。我們可用一維的連續(xù)型隨機變量X來描述這些消息。其數(shù)學(xué)模型是連續(xù)型的概率空間p(x)是隨機變量X的概率密度函數(shù)。,2.1.1 離散無記憶信源,例如：隨機取一干電池，測電壓值作為輸出符號，該信源每次輸出一個符號，但符號的取值是在[0，1.5]之間的所有實數(shù)，每次測量值是隨機的，可用連續(xù)型隨機變最X來描述。

11、很多實際信源輸出的消息是由一系列符號組成，這種用每次發(fā)出1組含2個以上符號的符號序列來代表一個消息的信源叫做發(fā)出符號序列的信源。需要用隨機序列(隨機矢量) X =（X1X2…Xl…XL）來描述信源輸出的消息，用聯(lián)合概率分布來表示信源特件。,2.1.2 離散有記憶信源,例2-2 布袋中有100個球，80個紅球，20個白球。先取出一個球，記下顏色后不放回布袋，接著取另一個。而在取第二個球時布袋中的紅球、白球概率已與取第一個球時不同，此時的

12、概率分布與第1個球的顏色有關(guān)：若第1個球為紅色，則取第二個球時的概率p(a1)= 79/99，p(a2)= 20/99若第1個球為白色，則取第二個球時的概率p(a1)=80/99，p(a2)=19/99,2.1.2 離散有記憶信源,即組成消息的兩個球的顏色之間有關(guān)聯(lián)件，是有記憶的信源，這種信源就叫做發(fā)出符號序列的有記憶信原。例如由英文字母組成單詞，字母間是有關(guān)聯(lián)性的，不是任何字母的組合都能成為有意義的單詞，同樣不是任問單詞的排列都能

13、形成有意義的文章等。這些都是有記憶信源。此時的聯(lián)合概率表示比較復(fù)雜，需要引入條件概率來反映信源發(fā)出符號序列內(nèi)各個符號之間的記憶特征表述的復(fù)雜度將隨著序列長度的增加而增加。,2.1.2 離散有記憶信源,離散信源的統(tǒng)計特性：（1）離散消息是從有限個符號組成的符號集中選擇排列組成的隨機序列（組成離消息的信息源的符號個數(shù)是有限的）。一篇漢文，盡管文章優(yōu)美，詞匯豐富，一般所用的詞都是從常用 10 000個漢字里選出來的。一本英文書，不管

14、它有多厚，總是從26個英文字母選出來，按一定詞匯結(jié)構(gòu)，文法關(guān)系排列起來的。（2）在形成消息時，從符號集中選擇各個符號的概率不同。對大量的由不同符號組成的消息進行統(tǒng)計，結(jié)果發(fā)現(xiàn)符號集中的每一個符號都是按一定的概率在消息中出現(xiàn)的。例如在英文中，每一個英文字母都是按照一定概率出現(xiàn)的，符號“e”出現(xiàn)最多，“z”出現(xiàn)最少。（3）組成消息的基本符號之間有一定的統(tǒng)計相關(guān)特性。,2.1.3 馬爾可夫信源,我們討論一類相對簡單的離散平穩(wěn)信源，該信源在

15、某一時刻發(fā)出字母的概率除與該字母有關(guān)外，只與此前發(fā)出的有限個字母有關(guān)。若把這有限個字母記作一個狀態(tài)S，則信源發(fā)出某一字母的概率除與該字母有關(guān)外，只與該時刻信源所處的狀態(tài)有關(guān)。在這種情況下，信源將來的狀態(tài)及其送出的字母將只與信源現(xiàn)在的狀態(tài)有關(guān)，而與信源過去的狀態(tài)無關(guān)。 這種信源的一般數(shù)學(xué)模型就是馬爾可夫過程（Markov Process），所以稱這種信源為馬爾可夫信源（Markov source）?？梢杂民R爾可夫鏈（Mark

16、ov chain）來描述。,2.1.3 馬爾可夫信源,定義：信源輸出某一符號的概率僅與以前的m個符號有關(guān)，而與更前面的符號無關(guān)稱為m階馬爾可夫信源。即有：,2.1.3 馬爾可夫信源,最簡單的馬爾可夫信源是一階馬爾可夫信源，如果是高階馬爾可夫信源，處理起來較為復(fù)雜。所以解決的辦法是，將m個可能影響下一步的信源符號作為一個整體，我們將m階馬爾可夫信源的m個符號組成的序列稱為狀態(tài)。,2.1.3 馬爾可夫信源,具體的轉(zhuǎn)換方法如下：令 i1

17、，i2…im ∈(1，2， …， q)狀態(tài)集,信源輸出的隨機符號序列為：信源輸出的隨機狀態(tài)序列為：例如二元序列…01011100…為二階馬爾可夫信源，考慮m = 2，Q = qm =22= 4s1 = 00 s2 = 01 s3 = 10 s4 = 11最開始是01，對應(yīng)s2，然后將首位的0擠出，移入后面的0，即為10，對應(yīng)s3 ，接著擠出1，移入1，得到01，對應(yīng)s2，接著是11，對應(yīng)s4，接著又是11對應(yīng)s4，

18、接著是10，對應(yīng)s3，最后是00，對應(yīng)s1，所以變換成對應(yīng)的狀態(tài)序列為…s2 s3 s2 s4 s4 s3 s1…設(shè)信源在時刻m處于si狀態(tài)（即Sm= si），這里的m指時刻，而不是前面的階數(shù)，它在下一時刻(m+1)狀態(tài)轉(zhuǎn)移到sj（即Sm+1=sj）的轉(zhuǎn)移概率為：稱為基本轉(zhuǎn)移概率，也稱為一步轉(zhuǎn)移概率。若與時刻m 的取值（也可以理解為在序列中的位置）無關(guān)，則稱為齊次(時齊)馬爾可夫鏈。,,,,2.1.3 馬爾可夫信源,具有下列性質(zhì)

19、： ≥0類似地，定義k步轉(zhuǎn)移概率為,,,,2.1.3 馬爾可夫信源,由于系統(tǒng)在任一時刻可處于狀態(tài)空間中的任意一個狀態(tài)，因此狀態(tài)轉(zhuǎn)移時，轉(zhuǎn)移概率是一個矩陣,,2.1.3 馬爾可夫信源,齊次馬爾可夫鏈可以用馬爾可夫狀態(tài)轉(zhuǎn)移圖(因為是香農(nóng)提出，所以又稱香農(nóng)線圖)表示，圖中每個圓圈代表一種狀態(tài)，狀態(tài)之間的有向線代表某一狀態(tài)向另一狀態(tài)的轉(zhuǎn)移，有向線一側(cè)的符號和數(shù)字分別代表發(fā)出的符號和條件概率。,2.1.3 馬爾可夫信源,例2-3

20、設(shè)信源符號，信源所處的狀態(tài)。各狀態(tài)之間的轉(zhuǎn)移情況如圖:,,2.1.3 馬爾可夫信源,將圖中信源在狀態(tài)下發(fā)符號的條件概率用矩陣表示為 由矩陣可明顯看 出,,,,2.1.3 馬爾可夫信源,另從圖還可得,,2.1.3 馬爾可夫信源,所以信源某時刻l所處的狀態(tài)，由當(dāng)前的輸出符號和前一時刻l-1信源的狀態(tài)唯一確定。由圖還可得狀態(tài)的進

21、一步轉(zhuǎn)移概率該信源是時齊的馬爾可夫信源。,,,2.1.3 馬爾可夫信源,齊次馬爾可夫鏈中的狀態(tài)可以根據(jù)其性質(zhì)進行分類：如狀態(tài)si經(jīng)若干步后總能到達狀態(tài)sj，即存在k，使pij(k)＞0，則稱si可到達sj; 若兩個狀態(tài)相互可到達，則稱此二狀態(tài)相通；過渡態(tài)：一個狀態(tài)經(jīng)過若干步以后總能到達某一其他狀態(tài)，但不能從其他狀態(tài)返回；吸收態(tài)：一個只能從自身返回到自身而不能到達其他任何狀態(tài)的狀態(tài)；常返態(tài)：經(jīng)有限步后遲早要返回的狀

22、態(tài)；周期性的：在常返態(tài)中，有些狀態(tài)僅當(dāng)k能被某整數(shù)d＞1整除時才有pij(k)＞0；非周期性的：對于pij(k)＞0的所有k值，其最大公約數(shù)為1。遍歷狀態(tài)：非周期的、常返的狀態(tài)。閉集：狀態(tài)空間中的某一子集中的任何一狀態(tài)都不能到達子集以外的任何狀態(tài)。不可約的：閉集中除自身全體外再沒有其他閉集的閉集。,2.1.3 馬爾可夫信源,約的、非周期的、狀態(tài)有限的馬爾可夫鏈其k步轉(zhuǎn)移概率pij(k)在k→∞時趨于一個和初始狀態(tài)無關(guān)的極限概率

23、p(sj)，它是滿足方程組 的唯一解；,,2.1.3 馬爾可夫信源,例2-4,2.1.3 馬爾可夫信源,上圖的周期為2，因為從S1出發(fā)再回到S1所需的步數(shù)必為2，4，6，…，。,,,當(dāng)k為奇數(shù)時：當(dāng)k為偶數(shù)時：,,,,,2.1.3 馬爾可夫信源,2.1.3 馬爾可夫信源,所以雖

24、然方程組 是有解的，為 ，但是達不到穩(wěn)定狀態(tài)。為使馬氏鏈最后穩(wěn)定，成為遍歷的馬氏鏈，還必須有不可約性（可達性）和非周期性。,,,2.1.4 連續(xù)信源,當(dāng)信源在時間（或頻率之類）和幅度上有其中之一是連續(xù)的時候，稱為連續(xù)信源（continuous source）。如果進一步，兩者都連續(xù)，則稱為隨機波形信源，比如模擬信號。,2.2 離散

25、信源熵和互信息,信息量與不確定性消除的程度有關(guān)。消除多少不確定性，就獲得多少信息量 ?？梢詰?yīng)用研究隨機事件的數(shù)學(xué)工具——概率論和隨機過程來度量不確定性的大小。 簡單地說，不確定性的大小可以直觀地看成是事先猜測某隨機事件是否發(fā)生的難易程度。,2.2 離散信源熵和互信息,例2-5 足球比賽的結(jié)果是不確定的。如果實力接近的兩個隊進行比賽，在比賽之前，我們很難預(yù)測誰能獲得勝利，所以這個事件的不確定性很大，當(dāng)?shù)弥荣惤Y(jié)果時，我們

26、就會獲得較大的信息量。如果實力相差懸殊的兩個隊進行比賽，一般結(jié)果是強隊取得勝利，所以當(dāng)?shù)弥荣惤Y(jié)果是強隊獲勝時，我們并不覺得奇怪，因為結(jié)果與我們的猜測是一致的，所以消除的不確定性較小，獲得的信息量也較??；當(dāng)?shù)弥荣惤Y(jié)果是弱隊取勝時，我們會感到非常驚訝，認(rèn)為出現(xiàn)了“黑馬”，這時將獲得很大的信息量。,2.2 離散信源熵和互信息,1. 樣本空間 把某事物各種可能出現(xiàn)的不同狀態(tài)，即所有可能選擇的消息的集合，稱為樣本空間。每個可能選擇的

27、消息是這個樣本空間的元素。在離散情況下，X的樣本空間可寫成,,2.2 離散信源熵和互信息,2. 概率測度對于離散消息的集合，概率測度就是對每一個可能選擇的消息指定一個概率（非負(fù)的，且總和為1。設(shè)樣本空間中選擇任意元素 的概率表示為 ，其腳標(biāo)X表示所考慮的概率空間是X。如果不會引起混淆，腳標(biāo)可以略去，寫成 。,,,,2.2 離散信源熵和互信息,3. 概率空間 定義：一個樣本空間和它的

28、概率測度統(tǒng)稱為一個概率空間，在離散情況下，概率空間描述為,,,,2.2.1 自信息量,信息應(yīng)該如何度量呢？從上面的分析中，我們已經(jīng)發(fā)現(xiàn)了一些線索，我們可以得出以下結(jié)論。（1）信源的不確定程度與其概率空間的消息數(shù)和消息的概率分布有關(guān)系。（2）信源的消息為等概率分布時，不確定度最大。（3）信源的消息為等概率分布，且其消息數(shù)目越多，其不確定度越大。（4）只發(fā)送一個消息的信源，其不確定度為0，不發(fā)送任何信息。（5）不確定性隨著概率增

29、加而遞減，概率越小，信息量越大。,2.2.1 自信息量,設(shè)信息量為I，我們已經(jīng)肯定I是的函數(shù)，即，根據(jù)前面的歸納做進一步引申，可以得出以下性質(zhì)：,,2.2.1 自信息量,信息量應(yīng)具有可加性：對于兩個獨立事件，其信息量應(yīng)等于各自信息量之和，即,,,2.2.1 自信息量,我們可以發(fā)現(xiàn)對數(shù)具有這樣的性質(zhì)，由于信息量和概率具有反比關(guān)系，所以應(yīng)該取倒數(shù)后再取對數(shù).我們也可以從另外一個角度來考慮信息量，既然概率不等的時候信息量不一樣，那么我們

30、假設(shè)事件都是等概率的，取概率為p，則事件數(shù)為N=1/p，采用k進制表示這些事件，需要的符號數(shù)為,,,2.2.1 自信息量,稱為消息(符號) ai的自信息（量）。以2為底，單位為比特（bit：binary unit)以e為底，單位為奈特（nat： nature unit) 1nat=1.433比特以10為底，單位為笛特（det：Decimal Unit)或哈特(Hart，Hartley) 1det=3.322比特,,,,,2

31、.2.1 自信息量,以下是自信息量與先驗概率的關(guān)系,,,,,2.2.1 自信息量,如信源發(fā)某一符號ai ，假定信道中沒有噪聲的隨機干擾 ，I(ai)也就是ai本身所含有的信息量，即能提供的全部信息量，我們稱之為ai 的“自信息量”。,,,2.2.1 自信息量,由于在信道中存在干擾，假設(shè)接收端收到的消息(符號)為bj，這個bj可能與相同，也可能與ai不同，則條件概率反映接收端收到消息bj而發(fā)送端發(fā)出的是ai的概率，此概率稱為后驗概率

32、。這樣，接收端收到bj后，發(fā)送端發(fā)送的符號是否為ai尚存在的不確定性應(yīng)是后驗概率的函數(shù)，即 稱為條件自信息量。,,,,2.2.1 自信息量,于是，收信者在收到消息bj后，已經(jīng)消除的不確定性為先驗的不確定性減去尚存在的不確定性。這就是收信者獲得的信息量：,,,,2.2.1 自信息量,定義為發(fā)送接收bj的互信息（mutual information）。如果信道沒有干擾，信道的統(tǒng)計特性使定義為發(fā)送接收bj的互信息（mutua

33、l information）。如果信道沒有干擾，信道的統(tǒng)計特性使ai以概率1傳送到接收端。這時，收信者接到消息后尚存在的不確定性就等于0，即以概率1傳送到接收端。這時，收信者接到消息后尚存在的不確定性就等于0，即不確定性全部消除。此時互信息,,,,,,2.2.1 自信息量,例2-6 （1）一個以等概率出現(xiàn)的二進制碼元（0，1）所包含的自信息量為：,,,,,2.2.1 自信息量,（2）若是一個m位的二進制數(shù)，因為該數(shù)的每

34、一位可從0， 1兩個數(shù)字中任取一個，因此有2m個等概率的可能組合，所以，就是需要m比特的信息來指明這樣的二進制數(shù)。類似地，也可以得出聯(lián)合自信息量。涉及兩個隨機事件的離散信源，其信源模型為,,,,,2.2.1 自信息量,,,,2.2.1 自信息量,,,,上式說明兩個隨機事件相互獨立時，同時發(fā)生得到的自信息量，等于這兩個隨機事件各自獨立發(fā)生得到的自信息量之和。聯(lián)合自信息量和條件自信息量也滿足非負(fù)和單調(diào)遞減性，同時，它們也都是

35、隨機變量，其值隨著變量，的變化而變化。容易證明，自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：,,,2.2.2 信源熵,,,,香農(nóng)理論的重要特征是熵(entropy)的概念。香農(nóng)引用它來描述信源的平均不確定性。 計算信息熵H的公式 :,,2.2.2 信源熵,,,,信源各個離散消息的自信息量（即不確定度）的數(shù)學(xué)期望(即概率加權(quán)的統(tǒng)計平均值)為信源的信源熵，簡稱熵，為了區(qū)別于熱力熵，也稱為信息熵，又由于是香農(nóng)得來，又稱香農(nóng)熵，記

36、為。計算信息熵H的公式 :,,,2.2.2 信源熵,,,,信源熵H(X)的幾種物理含義：表示信源輸出后，每個離散消息所提供的平均信息量。表示信源輸出前，信源的平均不確定度。反映了變量X的隨機性。以后我們還可以證明，熵為信源無損壓縮的極限。,,2.2.3 條件熵,,,,信源熵也稱為無條件熵，是在沒有其他的條件下的熵，當(dāng)存在某些條件影響事件的概率分布時，會影響事件的不確定度，所以存在條件熵（conditional entropy）。

37、,,2.2.3 條件熵,,,,定義：在給定某個yj條件下，xi的條件自信息量為I(xi|yj)，X集合的條件熵H（X|yj）為條件自信息量的期望，即,,,2.2.3 條件熵,,,,在給定Y條件下，X集合的條件熵為不同下條件熵的期望（加權(quán)平均），即,,,,2.2.3 條件熵,,,,相應(yīng)地，在給定X（即各個xi）的條件下，Y集合的條件熵H(Y|X)定義為：,,,2.2.3 條件熵,,,,條件熵是一個確定值，在通信中，可以表示信宿在收到Y(jié)后，

38、信源X仍然存在的不確定度。這是傳輸失真所造成的。有時我們稱為信道的疑義度（equivocation），顧名思義是在接受到消息后對發(fā)送的消息依然存在的疑義（不確定性），也稱為損失熵。即通過信道后損失的關(guān)于信源的不確定性。條件熵可以視為是噪聲造成的，所以也稱為噪聲熵。,,2.2.4 聯(lián)合熵,,,,定義：聯(lián)合熵是聯(lián)合符號集合XY上的每個元素對xiyj的自信息量的概率加權(quán)統(tǒng)計平均值，表示X和Y同時發(fā)生的不確定度。,,,2.2.4 聯(lián)合熵,,,,

39、聯(lián)合熵與條件熵有下列關(guān)系式：(1) (2),,,,2.2.5 熵函數(shù)的性質(zhì),,,,(1) 非負(fù)性信源熵是自信息的數(shù)學(xué)期望，自信息是非負(fù)值，所以信源熵一定滿足非負(fù)性。(2) 對稱性這是由于熵函數(shù)只涉及到概率，這些概率在公式中是對稱的，累加的。(3) 確定性,,,,,2.2.5 熵函數(shù)的性質(zhì),,,,(4) 香農(nóng)輔助定理（極值性）定理2-1 對于任意兩個n維概率矢量P=（p1，p2，…，pn）和Q=（q1，q2

40、，…，qn），如下不等式成立：,,,2.2.5 熵函數(shù)的性質(zhì),,,,(5) 最大熵定理,,,2.2.5 熵函數(shù)的性質(zhì),,,,定理2-2 信源X中包含n個不同離散消息時，信源熵有,,,,2.2.5 熵函數(shù)的性質(zhì),,,,(5) 最大熵定理,,,2.2.5 熵函數(shù)的性質(zhì),,,,定理2-2 信源X中包含n個不同離散消息時，信源熵有當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率全相等時，上式取等號。,,,,2.2.6 互信息與平均互信息量,,,,前面

41、我們已經(jīng)提及互信息量等概念。在通信的一般情況下，收信者所獲取的信息量，在數(shù)量上等于通信前后不確定性的消除(減少)的量。,,,2.2.6 互信息與平均互信息量,,,,定義： 互信息 所以有：類似于條件熵，我們可以對互信息量取期望（加權(quán)平均），得到平均互信息量。,,,,,,2.2.6 互信息與平均互信息量,,,,互信息量 I (xi;yj) 在隨機變量X集合上的期望為,,,,,2.2.6 互信息與平均互信息量,,,

42、,進一步求上述I（X; yj）在隨機變量Y集合上的概率加權(quán)統(tǒng)計平均值：,,,,,,2.2.7互信息與平均互信息量的性質(zhì),,,,互信息的性質(zhì)：（1）對稱性 （2）當(dāng)X和Y相互獨立時，互信息為0。（3）互信息量可為正值或負(fù)值。,,,2.2.8 數(shù)據(jù)處理中信息的變化,,,,定理2-3 數(shù)據(jù)處理定理： 當(dāng)消息通過多級處理器（串聯(lián)）時，隨著處理器數(shù)目的增多，輸人消息與輸出消息之間的平均互信息量趨于變小。注意：這里蘊含一定的假設(shè)，信息在處理

43、過程中的噪聲是隨機的，與在其前面的原始信源、中間信源是相互獨立的，因此有在條件Y下X和Z獨立。,,,2.3 離散序列信源的熵,,,,前面討論的是單符號離散信源(即信源每次輸出單個符號)及其各種熵。然而實際信源往往輸出的消息是時間和空間上的一系列符號。例如電報系統(tǒng)，發(fā)出的是一串有、無脈沖的信號序列。這類信源每次輸出的不是一個單個的符號，而是一個符號序列。通常一個消息序列的每一位出現(xiàn)哪個符號都是隨機的，而且一般前后符號之間的出現(xiàn)是有統(tǒng)計依賴

44、關(guān)系的，這種信源稱為離散序列信源（多符號離散信源）。,,,2.3.1 離散無記憶信源的序列熵,,,,設(shè)信源輸出的隨機序列（隨機矢量）為，＝（X1 X2…Xl…XL），序列中的單個符號變量，即序列長為L。設(shè)隨機序列的概率為：,,,,2.3.1 離散無記憶信源的序列熵,,,,其中我們分類討論其序列熵。為了簡化問題，假設(shè)信源無記憶（符號之間無相關(guān)性），p()=p(xi1xi2…xiL) =,,,,,2.3.1 離散無記憶信源的序列熵,,,,

45、其中，在以上條件的基礎(chǔ)上，進一步假設(shè)信源的序列滿足平穩(wěn)特性（與序號l無關(guān)）時，有p(xi1)=p(xi2)=… =p(xiL)=p，p(xi)＝pL，則信源的序列熵又可表示為。平均每個符號熵為可見，對于平穩(wěn)無記憶信源平均每個符號的符號熵等于單個符號的信源熵。,,,,,2.3.2離散有記憶信源的序列熵,,,,對于有記憶信源，就不像無記憶信源那樣簡單，它必須引入條件嫡的概念，而且只能在某些特殊情況下才能得到一些有價值

46、的結(jié)論。對于由兩個符號組成的聯(lián)合信源，有下列結(jié)論：,,,,,,,2.3.2離散有記憶信源的序列熵,,,,當(dāng)前后符號無依存關(guān)系時，有下列推論：,,,,,,,,2.3.2離散有記憶信源的序列熵,,,,為了便于研究，假設(shè)隨機矢量中隨機變量的各維聯(lián)合概率分布均不隨時間的推移而變化，換句話說，信源所發(fā)出的符號序列的概率分布與時間的起點無關(guān)。這種信源稱為離散平穩(wěn)序列信源。,,,,,,,,2.3.2離散有記憶信源的序列熵,,,,對離散平穩(wěn)序列信源，

47、有下列性質(zhì)：（1）時間不變性 p{Xi1=x1,Xi2=x2,…,XiL=xL}= p{Xi1+h=x1,Xx2+h=x2, …,XiL+h=xL }（2）H(XL|XL-1) 是L的單調(diào)遞減函數(shù)（3）HL() ≥H(XL|XL-1)（4）HL() 是L的單調(diào)遞減函數(shù)（5）稱為極限熵或者極限信息量，注意，它是序列的平均符號熵，而不是序列熵。,,,,,

48、,,,,,2.3.3馬爾可夫信源的序列熵,,,,設(shè)一馬爾可夫信源處在某一狀態(tài)ei，當(dāng)它發(fā)出一個符號后，所處的狀態(tài)就變了，即從狀態(tài)ei變到了另一狀態(tài)。任何時刻信源處在什么狀態(tài)完全由前一時刻的狀態(tài)和此刻發(fā)出的符號決定 。,,,,,,,,2.3.3馬爾可夫信源的序列熵,,,,定理2-5 各態(tài)遍歷定理 對于有限齊次馬爾可夫鏈。若存在一個正整數(shù)，對一切i,j=1,2，…，nm都有pr(ej|ei)大于0，則對每一個j都存在不依賴于i的極限稱

49、這種馬爾可夫鏈?zhǔn)歉鲬B(tài)遍歷的。其極限概率是方程組滿足條件的惟一解。這就是有限齊次馬爾可夫鏈的各態(tài)遍歷定理。,,,,,,,,2.4 連續(xù)信源的熵和互信息,,,,連續(xù)信源是一類比較難于處理的信源，如何來求解呢？逐步分解和簡化是解決這類問題的常用方法，我們可以先將連續(xù)信源在時間上離散化，再對連續(xù)變量進行量化分層，并用離散變量來逼近連續(xù)變量。量化間隔越小，離散變量與連續(xù)變量越接近，當(dāng)量化間隔趨近于零時，離散變量就等于連續(xù)變量。,,,,

50、,,,,2.4.1幅度連續(xù)的單個符號的信源熵,,,,連續(xù)信源熵(也叫相對熵、差熵)定義為 我們可以看到相對熵和絕對熵（信息量）相差一個無窮。我們可以這樣理解：連續(xù)信源采樣點需要無窮多，才能變?yōu)殡x散信源，每一個點都帶有信息量，所以差一個無窮。好像沒有意義了。工程上我們主要是比較信源熵，將無窮項約掉，就有意義了。一般我們將相對熵簡稱為熵。,,,,,,,,,2.4.2 波形信源熵,,,,波形信源在概念上與離散信源是不同的，但也有不少

51、類似之處。對連續(xù)信源的分析，也可以類似于離散信源從單個連續(xù)消息（變量）開始，在推廣至連續(xù)消息序列。對于連續(xù)隨機變量可采用概率密度來描述：對連續(xù)隨機序列可采用相應(yīng)的序列概率密度來描述；而對于連續(xù)的隨機過程一般也可以按照取樣定理分解為連續(xù)隨機變量序列來描述。取樣之后還要對取值的離散化。取樣加量化才使隨機過程變換成時間的取值都是離散的隨機序列。量化必然帶來量化噪聲，引起信息損失。,,,,,,,,2.4.2 波形信源熵,,,,就統(tǒng)計特性的區(qū)別來

52、說，隨機過程大致可分為平穩(wěn)隨機過程和非平穩(wěn)過程兩大類。如果是平穩(wěn)的隨機過程的熵也可以轉(zhuǎn)換為平穩(wěn)隨機序列的熵。對于平穩(wěn)隨機過程，其 {x(t)}和{y(t)}可以通過取樣，分解成取值連續(xù)的無窮平穩(wěn)隨機序列來表示，所以平穩(wěn)隨機過程的熵就是無窮平穩(wěn)隨機序列的熵。,,,,,,,,2.4.3 最大熵定理,,,,離散信源在等概率的時候，熵值最大，那么在連續(xù)信源中，當(dāng)概率密度函數(shù)滿足什么條件時才能使連續(xù)信源相對熵最大？我們考慮通常我們最感興趣的是兩種

53、情況：一種是信源的輸出值受限；另一種是信源的輸出平均功率受限。,,,,,,,,2.4.3 最大熵定理,,,,1. 峰值功率受限條件下信源的最大值若某信源輸出信號的峰值功率受限，它等價于信源輸出的連續(xù)隨機變量X的取值幅度受限，限于[a，b]內(nèi)取值。在約束條件 下信源的最大相對熵。定理2-6 若信源輸出的幅度被限定在[a，b]區(qū)域內(nèi)，則當(dāng)輸出信號的概率密度是均勻分布時信源具有最大熵。其值等于lo

54、g(b-a)。若當(dāng)N維隨機矢量取值受限時，也只有隨機分量統(tǒng)計獨立并均勻分布時具有最大熵。,,,,,,,,,2.4.3 最大熵定理,,,,2. 平均功率受限條件下信源的最大值定理2-7 若一個連續(xù)信源輸出信號的平均功率被限定為P，則其輸出信號幅度的概率密度分布是高斯分布時，信源有最大熵，其值為 對于N維連續(xù)平穩(wěn)信源來說，若其輸出的N維隨機序列的協(xié)方差矩陣C被限定，則N維隨機為正態(tài)分布時信源的熵最大，N維高斯信源的熵最大，其值為

55、這一結(jié)論說明，當(dāng)連續(xù)信源輸出信號的平均功率受限時，只有信號的統(tǒng)計特性與高斯統(tǒng)計特性一樣時，才會有最大的熵值。,,,,,,,,,,2.5 冗余度,,,,冗余度（多余度、剩余度，redundancy）表示給定信源在實際發(fā)出消息時所包含的多余信息。,,,,,,,,2.5 冗余度,,,,冗余度來自兩個因素，一是信源符號間的相關(guān)性，由于信源輸出符號間的依賴關(guān)系使得信源熵減小，這就是信源的相關(guān)性。相關(guān)程度越大，信源的實際熵越小，趨于極限熵；

56、反之相關(guān)程度減小，信源實際熵就增大。另一個方面是信源符號分布的不均勻性，當(dāng)?shù)雀怕史植紩r信源熵最大。而實際應(yīng)用中大多是不均勻分布，使得實際熵減小。,,,,,,,,2.5 冗余度,,,,我們定義信息效率為,,,,,,,,,2.6 最大熵原理,,,,在投資時常常講不要把所有的雞蛋放在一個籃子里，這樣可以降低風(fēng)險。在信息處理中，這個原理同樣適用。在數(shù)學(xué)上，這個原理稱為最大熵原理(the maximum entropy principle)。,

57、,,,,,,,2.6 最大熵原理,,,,最大熵原理的實質(zhì)就是，在已知部分知識的前提下，關(guān)于未知分布最合理的推斷就是符合已知知識最不確定或最隨機的推斷，這是我們可以做出的唯一不偏不倚的選擇，任何其它的選擇都意味著我們增加了其它的約束和假設(shè)，這些約束和假設(shè)根據(jù)我們掌握的信息無法作出。,,,,,,,,2.7 關(guān)于熵概念的理解與題意解讀,,,,1. 熵可以從以下角度來詮釋：猜測一個事件需要的信息量；該事件未被告知時，事件本身的不確定性；知

58、道該事件后消除的不確定性：知道前，具有不確定性H(X)，知道后不確定性為0，所以消除的不確定性即為H(X)。告訴我們某事件后提供的信息量；要告訴我們這個事件，需要發(fā)送的最短消息長度。條件熵H(X|Y)， H(X|yi)是在已知某條件（這個條件可以是具體的yi，也可以是隨機變量Y）后的平均的不確定性，在以上我們討論X是否已知的前后，yi和Y均為已知的。事件X本身的不確定性H(X)，但是知道事件Y或yi后，X的不確定性減少為H(X|Y

59、)或H(X|yi)。,,,,,,,,2.7 關(guān)于熵概念的理解與題意解讀,,,,2. 條件熵可以從以下角度來詮釋：在事件X未被告知之前，在知道條件的情況下X的平均不確定度；條件是前提的情況下，告訴你關(guān)于X的信息，獲得的信息量；條件是前提的情況下，告訴你關(guān)于X的信息，消除的平均不確定度。其他的詮釋可以類似于熵，比如猜測的時候的信息量，只不過是增加了一個條件。平均互信息量是無條件熵和條件熵之差，類似于條件熵，它這里的兩個事件可以都是

60、隨機變量，也可以有一個是隨機變量，另外一個是確定的量。,,,,,,,,2.7 關(guān)于熵概念的理解與題意解讀,,,,3. 平均互信息量可以從以下角度來詮釋：已知事件Y后，X的不確定性由H(X)減少為H(X|Y)， 所以在知道Y的情況下，告訴你關(guān)于X的信息量為H(X)-H(X|Y)， 這個量即為平均互信息量；通信中獲得的關(guān)于另一端的信息量。此外，平均互信息量也是冗余的一種體現(xiàn)。和條件熵一樣，對應(yīng)可以參考對熵的詮釋來理解平均互信息量。