第5章 有失真信源編碼

1、第５章第５章有失真信源編碼（信息率失真函數(shù)）有失真信源編碼（信息率失真函數(shù)）離散信源有失真編碼連續(xù)信源有失真編碼5.1信息率－失真函數(shù)的概念信息率－失真函數(shù)的概念在第２章我們證明了當(dāng)輸入隨機(jī)變量的概率分布確定時(shí)，互信道是條件轉(zhuǎn)移概率的下凸函數(shù)，即互信息必存在一個(gè)最小值。然而，在沒有其它約束條件的情況下，這個(gè)最小值就是零。因?yàn)橐环矫婊バ畔⒖偸欠秦?fù)的，另一方面，當(dāng)輸入和輸出隨機(jī)變量相互獨(dú)立時(shí)互信息等于零。所以研究一般情況下互信息的極小值問題

2、沒有什么意義。無失真信源編碼時(shí)，信源的熵是信息率所能達(dá)到的下限。在很多實(shí)際情況下，要做到完全沒有失真是沒有必要的，特別是對連續(xù)信源編碼，由于信源的絕對熵?zé)o窮大，要達(dá)到無失真編碼是不可能的。為此，我們有必要研究在滿足某種失真準(zhǔn)則下互信息的極小值問題，即信息率－失真函數(shù)。首先看離散信源的情況。設(shè)Ｘ和Ｙ是定義在相同取值域上的離散型隨機(jī)變量。失真函數(shù)d(xy)21naaaBA???是定義在上的非負(fù)函數(shù)BA?ByAxyYxXdyxd?????)(

3、)(例如，可定義???????jijiaadjidji0)()(?（５.１.１）其物理意義是當(dāng)輸入和輸出相等時(shí)沒有失真，當(dāng)輸入和輸出不相等時(shí)失真是相同的。顯然失真函數(shù)d(xy)是對Ｙ代表Ｘ所引起失真的量度。失真函數(shù)的定義由所研究的客觀問題決定。（５.１.１）式的失真函數(shù)稱為漢明失真準(zhǔn)則。失真函數(shù)只定義了若干具體失真的數(shù)值，為了反映隨機(jī)變量之間的總體失真情況，我們定義平均失真??)(yxdEd?（５.１.２）對離散型變量???ijjidi

4、jpipd)()|()(（５.１.３）如果Ｘ和Ｙ都是Ｌ維隨機(jī)矢量，可定義矢量間的失真為???LlllLyxdLYXd1)(1)(（５.１.４）平均失真?????????LlLllllLLdLyxdELYXdEd111)]([1)(（５.１.５）其中是第個(gè)分量的平均失真。ldl如果我們要求平均失真不大于某個(gè)定值Ｄ。令表示所有滿足平均失真不??DdijpPD??|)|(當(dāng)且僅當(dāng)失真矩陣中每行中至少有一個(gè)零時(shí)。通常情況下這是能夠做到的。如果，

5、0min?D0min?D只要改變單個(gè)符號的失真度，令就可以保證失真矩陣每行至少有一)|(min)|()|(ijdijdijdj??個(gè)零，使。對率失真函數(shù)來說，它只是起了坐標(biāo)平衡的作用。所以假設(shè)并不失一0min?D0min?D般性。Ｄ＝０對應(yīng)于無失真情況，這時(shí)應(yīng)該有)]([)()0(ipHXHR??但是上式成立是有條件的，它與失真矩陣的形式有關(guān)。只有當(dāng)失真矩陣中每行至少有一個(gè)零，并且每列最多只有一個(gè)零時(shí)，只有當(dāng)失真矩陣中每行至少有一個(gè)零，

6、并且每列最多只有一個(gè)零時(shí)，。)()0(XHR?否則Ｒ（０）小于Ｈ（Ｘ），這表示對信源符號集中有些符號進(jìn)行壓縮、合并，但沒有引入失真（在具體的失真準(zhǔn)則之下）。（２）失真函數(shù)的上限maxD定義域的上界定義為??0)(|min)|(max??DRDDijp（５.２.２）必有。由于0)(max?DR)()|(0)(0)(jqijpYXYXIDR??????相互獨(dú)立所以??????jijqijjqjidipjqjidjqipD)()()(min)

7、()()(min)()(max令，只要令對應(yīng)于最小的q(j)等于1，那么??ijidipjD)()()()(jD??ijjidipD)()(minmax（５.２.３）5.2.2Ｒ（Ｄ）函數(shù)的下凸性Ｒ（Ｄ）函數(shù)的下凸性定理５.２.１率失真函數(shù)是定義域上的下凸函數(shù)??maxminDD證明（１）Ｒ（Ｄ）函數(shù)的定義域是凸域。令??maxmin212110)1(DDDDDDD?????????由率失真函數(shù)的定義??)|()]|([min)(1)|