限失真信源編碼之第七章

1、1,第7章 限失真信源編碼,,2,,內(nèi)容提要 數(shù)據(jù)壓縮是信息傳輸和處理的重要研究?jī)?nèi)容，率失真理論研究的就是在允許一定失真的前提下，對(duì)信源的壓縮編碼。率失真信源編碼定理（香農(nóng)第三定理）指出：率失真函數(shù)R (D) 就是在給定失真測(cè)度條件下，對(duì)信源熵可壓縮的最低程度。本章只限于研究率失真理論最基本的內(nèi)容，失真測(cè)度，率失真函數(shù)，率失真函數(shù)的定義域，值域，性質(zhì)及定量計(jì)算。R (D) 的計(jì)算很煩瑣，一般情況只能用參數(shù)法求解。,3,第7

2、章 限失真信源編碼,7.1 失真測(cè)度7.2 信息率失真函數(shù)7.3 信息率失真函數(shù)的計(jì)算7.4 限失真信源編碼定理和逆定理7.5 熵壓縮編碼具體方法,4,7.0 導(dǎo)言,為了追求更有效的壓縮或傳輸，對(duì)有些信息可以允許有一定的失真，例如某些圖像和語(yǔ)音的應(yīng)用。 另一方面，由于受到信息存儲(chǔ)、處理或傳輸設(shè)備的限制，而不得不對(duì)信源輸出的信號(hào)作某種近似的表示。,在允許一定失真的前提下，從提高傳輸效率的角度出發(fā)，可以對(duì)信源

3、信息量事先進(jìn)行壓縮再予傳輸，這章要討論的問(wèn)題就是給定一個(gè)失真度，求出在平均失真小于給定值的條件下，信源所能壓縮的最低程度，即率失真函數(shù)R(D)。,5,7.1 失真測(cè)度,什么是失真？,如何度量失真的大小？,顯然，不同的應(yīng)用有不同的度量方法，不同的人對(duì)失真的看法也可能不一樣。,失真測(cè)度d( x, y ),平方誤差失真測(cè)度,絕對(duì)值誤差失真測(cè)度,6,7.1.1 失真函數(shù),7,失真矩陣,常用的失真函數(shù),8,常用的失真函數(shù)(2),9,絕對(duì)值誤差失真

4、測(cè)度,信源輸出符號(hào)X = {0, 1, 2}，信道輸出符號(hào)Y= {0, 1, 2}，給出失真測(cè)度 d i j= ︱xi -yj︱ i, j= 0, 1, 2 則失真測(cè)度矩陣為,10,長(zhǎng)為N的信源符號(hào)序列的失真函數(shù),11,12,7.1.2 平均失真,注意以上是針對(duì)單個(gè)符號(hào)信源，我們還需要考慮長(zhǎng)度為N的信源符號(hào)序列的情況。,13,14,7.2 信息率失真函數(shù),7.2.1 D失真許可信道,15,D失真許可信道,7.2.2

5、 信息率失真函數(shù)的定義,16,信息率失真函數(shù),17,關(guān)于率失真函數(shù)的討論,18,7.2.3 率失真函數(shù)R(D)的性質(zhì),19,7.2.3 率失真函數(shù)R(D)的性質(zhì),1. R(D)的定義域,20,關(guān)于定義域的討論,21,22,23,關(guān)于上界的討論,前面討論的是R(D)定義域的下界問(wèn)題，接下來(lái)討論其上界問(wèn)題,24,25,2. R(D)是關(guān)于D的下凸函數(shù) （證明過(guò)程不要求）,率失真函數(shù)R(D)的性質(zhì),3. R(D)在定義域內(nèi)是嚴(yán)格遞減函數(shù)（證明

6、過(guò)程不要求）,（證明過(guò)程不要求）,26,27,7.3 率失真函數(shù)的計(jì)算,7.3.1 應(yīng)用參量表示式計(jì)算R(D),28,R(D)的計(jì)算,29,30,31,,,我們用一個(gè)例子來(lái)看一下R(D)的具體求解過(guò)程,32,例7.6（續(xù)1）,33,例7.6（續(xù)2）,34,例7.6（續(xù)3）,35,例7.6（續(xù)4）,36,37,例7.7（續(xù)1）,38,例7.7（續(xù)2）,39,40,例7.8（續(xù)1）,41,例7.8（續(xù)2）,42,7.3.2 二元信源和離散等

7、概率信源的R(D),43,例7.9（續(xù)1）,44,例7.9（續(xù)2）,45,例7.9（續(xù)3）,46,例7.10（續(xù)1）,47,例7.10（續(xù)2）,48,,,49,,,50,,,51,,,52,,,53,,,54,7.4 限失真信源編碼定理和逆定理,7.4.1 限失真信源編碼定理,55,說(shuō)明:(1)如果是二元信源，對(duì)于任意小的 ＞0，每一個(gè)信源符號(hào)的平均碼長(zhǎng)滿(mǎn)足如下公式,則 在失真限度內(nèi)使信息率任意接近R（D）的編碼方法存在。,(2