限失真信源編碼之第七章

1、1,第7章 限失真信源編碼,,2,,內(nèi)容提要 數(shù)據(jù)壓縮是信息傳輸和處理的重要研究內(nèi)容，率失真理論研究的就是在允許一定失真的前提下，對信源的壓縮編碼。率失真信源編碼定理（香農(nóng)第三定理）指出：率失真函數(shù)R (D) 就是在給定失真測度條件下，對信源熵可壓縮的最低程度。本章只限于研究率失真理論最基本的內(nèi)容，失真測度，率失真函數(shù)，率失真函數(shù)的定義域，值域，性質(zhì)及定量計算。R (D) 的計算很煩瑣，一般情況只能用參數(shù)法求解。,3,第7

2、章 限失真信源編碼,7.1 失真測度7.2 信息率失真函數(shù)7.3 信息率失真函數(shù)的計算7.4 限失真信源編碼定理和逆定理7.5 熵壓縮編碼具體方法,4,7.0 導(dǎo)言,為了追求更有效的壓縮或傳輸，對有些信息可以允許有一定的失真，例如某些圖像和語音的應(yīng)用。 另一方面，由于受到信息存儲、處理或傳輸設(shè)備的限制，而不得不對信源輸出的信號作某種近似的表示。,在允許一定失真的前提下，從提高傳輸效率的角度出發(fā)，可以對信源

3、信息量事先進行壓縮再予傳輸，這章要討論的問題就是給定一個失真度，求出在平均失真小于給定值的條件下，信源所能壓縮的最低程度，即率失真函數(shù)R(D)。,5,7.1 失真測度,什么是失真？,如何度量失真的大??？,顯然，不同的應(yīng)用有不同的度量方法，不同的人對失真的看法也可能不一樣。,失真測度d( x, y ),平方誤差失真測度,絕對值誤差失真測度,6,7.1.1 失真函數(shù),7,失真矩陣,常用的失真函數(shù),8,常用的失真函數(shù)(2),9,絕對值誤差失真

4、測度,信源輸出符號X = {0, 1, 2}，信道輸出符號Y= {0, 1, 2}，給出失真測度 d i j= ︱xi -yj︱ i, j= 0, 1, 2 則失真測度矩陣為,10,長為N的信源符號序列的失真函數(shù),11,12,7.1.2 平均失真,注意以上是針對單個符號信源，我們還需要考慮長度為N的信源符號序列的情況。,13,14,7.2 信息率失真函數(shù),7.2.1 D失真許可信道,15,D失真許可信道,7.2.2

5、 信息率失真函數(shù)的定義,16,信息率失真函數(shù),17,關(guān)于率失真函數(shù)的討論,18,7.2.3 率失真函數(shù)R(D)的性質(zhì),19,7.2.3 率失真函數(shù)R(D)的性質(zhì),1. R(D)的定義域,20,關(guān)于定義域的討論,21,22,23,關(guān)于上界的討論,前面討論的是R(D)定義域的下界問題，接下來討論其上界問題,24,25,2. R(D)是關(guān)于D的下凸函數(shù) （證明過程不要求）,率失真函數(shù)R(D)的性質(zhì),3. R(D)在定義域內(nèi)是嚴格遞減函數(shù)（證明

6、過程不要求）,（證明過程不要求）,26,27,7.3 率失真函數(shù)的計算,7.3.1 應(yīng)用參量表示式計算R(D),28,R(D)的計算,29,30,31,,,我們用一個例子來看一下R(D)的具體求解過程,32,例7.6（續(xù)1）,33,例7.6（續(xù)2）,34,例7.6（續(xù)3）,35,例7.6（續(xù)4）,36,37,例7.7（續(xù)1）,38,例7.7（續(xù)2）,39,40,例7.8（續(xù)1）,41,例7.8（續(xù)2）,42,7.3.2 二元信源和離散等

7、概率信源的R(D),43,例7.9（續(xù)1）,44,例7.9（續(xù)2）,45,例7.9（續(xù)3）,46,例7.10（續(xù)1）,47,例7.10（續(xù)2）,48,,,49,,,50,,,51,,,52,,,53,,,54,7.4 限失真信源編碼定理和逆定理,7.4.1 限失真信源編碼定理,55,說明:(1)如果是二元信源，對于任意小的 ＞0，每一個信源符號的平均碼長滿足如下公式,則 在失真限度內(nèi)使信息率任意接近R（D）的編碼方法存在。,(2