中科院 現(xiàn)代數(shù)字信號處理課件-完全版

1、現(xiàn)代數(shù)字信號處理,信息科學(xué)與工程學(xué)院,現(xiàn)代數(shù)字信號處理,第一章,預(yù)修課程,概率論與數(shù)理統(tǒng)計信號與系統(tǒng)數(shù)字信號處理1隨機過程,課程討論的主要問題－1,對信號特性的分析研究對象：確定性信號－>隨機信號；研究目的：提取信號中的有用信息；主要內(nèi)容：隨機信號的統(tǒng)計特性；隨機信號的參數(shù)建模；功率譜估計（經(jīng)典譜估計和現(xiàn)代譜估計）；時頻分析（短時傅立葉變換、維格納變換、小波變換）,,,課程討論的主要問題－2,信號處理技術(shù)

2、研究目的：提高信號質(zhì)量；主要內(nèi)容：維納濾波理論（平穩(wěn)條件下）；卡爾曼濾波理論（非平穩(wěn)條件下）；自適應(yīng)濾波理論；,課程特點,現(xiàn)代數(shù)字信號處理的基本概念、基本理論和分析方法；結(jié)合有關(guān)問題，介紹其在相關(guān)領(lǐng)域的應(yīng)用。,課程講述線索,本課程采用對不同處理對象的線索來講解：確定性信號－>隨機信號；平穩(wěn)信號處理－>非平穩(wěn)信號處理;時域－>頻域－>時頻分析;根據(jù)處理對象和應(yīng)用背景的不同而選擇相應(yīng)的處理方法,課程

3、主要內(nèi)容,第一章 時域離散隨機信號的分析 第二章 維納濾波和卡爾曼濾波 第三章 自適應(yīng)數(shù)字濾波器 第四章 功率譜估計 第五章 時頻分析,成績評定,課堂成績 閉卷考試,教材及參考書,教材：張賢達，《現(xiàn)代信號處理》第二版，清華大學(xué)出版社，北京，2002。丁玉美，《數(shù)字信號處理—時域離散隨機信號處理》，西安電子科技大學(xué)出版社，2002。參考書：胡廣書，《數(shù)字信號處理－理論、算法與實現(xiàn)》第二版，清華大學(xué)出版社，北京，20

4、03。Roberto Cristi, Modern Digital Signal Processing, Thomson-Brooks/Cole，2004。 Dimitris G. Manolakis, etc, Statistical and Adaptive Signal Processing, Mc Graw Hill, 2000。,第一章 時域離散隨機信號的分析,1.1 隨機信號 1.2 時域統(tǒng)計表達1.3 Z域及

5、頻域的統(tǒng)計表達 1.4 隨機序列數(shù)字特征的估計 1.5 平穩(wěn)隨機序列通過線性系統(tǒng) 1.6 時間序列信號模型,1.1 隨機信號,信號的分類隨機變量及其統(tǒng)計描述隨機信號及其統(tǒng)計描述,,1.1.1 信號的分類,信號的分類：確定性信號隨機信號平穩(wěn)隨機信號非平穩(wěn)隨機信號,1.1.2 隨機變量,隨機變量的統(tǒng)計描述：概率分布函數(shù)：概率密度函數(shù)：均值（一階矩）：均方值（二階原點矩 ）：方差（二階中心矩

6、 ）：協(xié)方差：,,,,,,,幾種特殊分布的隨機變量的概率密度：均勻分布：高斯分布：N個實隨機變量 的聯(lián)合高斯分布的概率密度：,,,,,,其中，,1.1.3 隨機信號,實際應(yīng)用中，常常把隨時間變化而變化的隨機變量，稱為隨機過程。隨機信號的特點：在任何時間的取值都是隨機的（不能確切已知）取值服從概率分布規(guī)律（統(tǒng)計特性確定，但未知）隨機信號定義：一個隨機信號X(t

7、)是依賴時間t的一族隨機變量，或者說它是所有可能的樣本函數(shù)的集合。,圖 1.1.1 n部接收機的輸出噪聲,X(t)= {xi(t), i=1, 2, 3,…},X(t)是所有可能樣本函數(shù)的集合,X(t1)= {xi(t1), i=1, 2, 3,…},X(t)= {X(t1), X(t2), X(t3), …},X(t)是依賴時間t的一族隨機變量,如果對隨機信號X(t)進行等間隔采樣，或者說將X(t) 進行時域離散化, 得到隨機變量X(

8、t1), X(t2), X(t3), …, 所構(gòu)成的集合稱為時域離散隨機信號。用n取代tn，隨機序列用X(n)表示，即隨機序列是隨n變化的隨機變量序列。,圖 1.1.2 n部接收機輸出噪聲的時域離散化,X(n)是依賴時間n的一族隨機變量,樣本函數(shù)xi(t)或樣本序列xi(n),隨機信號X(t)或X(n),隨機變量{X(t1), X(t2), X(t3), …},,,,特定時刻,隨機信號的統(tǒng)計描述：一維概率分布函數(shù)：一維概率密

9、度函數(shù)：上述兩式只描述隨機序列在某一時刻n的統(tǒng)計特性，而對于隨機序列，不同n的隨機變量之間并不是孤立的。,二維概率分布函數(shù):,對于連續(xù)隨機變量, 其二維概率密度函數(shù)為,以此類推, N維概率分布函數(shù)為,對于連續(xù)隨機變量, 其N維概率密度函數(shù)為,數(shù)學(xué)期望(統(tǒng)計平均值):均方值:方差：,,,,一般均值、均方值和方差都是n的函數(shù), 但對于平穩(wěn)隨機序列, 它們與n無關(guān), 是常數(shù)。,,自相關(guān)函數(shù)：自協(xié)方差函數(shù)：,對于零均值

10、隨機序列，,這種情況下， 自相關(guān)函數(shù)和自協(xié)方差函數(shù)沒有什么區(qū)別。,，則,互相關(guān)函數(shù)定義為,互協(xié)方差函數(shù)定義為,同樣, 當(dāng) 時，,如果C(Xm, Yn)=0，則稱信號Xm 與Yn互不相關(guān)。,1.2 平穩(wěn)隨機信號的時域統(tǒng)計表達,平穩(wěn)隨機信號的定義平穩(wěn)隨機信號相關(guān)函數(shù)的性質(zhì) 平穩(wěn)隨機信號的各態(tài)遍歷性,1.2.1 平穩(wěn)隨機信號的定義,狹義(嚴(yán))平穩(wěn)隨機序列：隨機信號的統(tǒng)計特性不隨時間平移而變

11、化。廣義(寬)平穩(wěn)隨機序列：隨機信號的均值和方差不隨時間變化而變化，其相關(guān)函數(shù)與時間起點無關(guān)，僅是時間差的函數(shù)。,均值、 方差和均方值均與時間無關(guān)：,自相關(guān)函數(shù)與自協(xié)方差函數(shù)是時間差的函數(shù):,對于兩個各自平穩(wěn)且聯(lián)合平穩(wěn)的隨機序列, 其互相關(guān)函數(shù)為,顯然, 對于自相關(guān)函數(shù)和互相關(guān)函數(shù), 下面公式成立:,如果對于所有的m ，滿足公式：Rxy(m)=0，則稱兩個隨機序列互為正交。如果對于所有的m ，滿足公式: Cxy (m)=0，則

12、稱兩個隨機序列互不相關(guān)。,Rxx(m)是Hermitian對稱的,1.2.2 實平穩(wěn)隨機信號相關(guān)函數(shù)的性質(zhì),（1） 自相關(guān)函數(shù)和自協(xié)方差函數(shù)是m 的偶函數(shù), 用下式表示:,（2） Rxx(0)數(shù)值上等于隨機序列的平均功率：,（3） 相關(guān)性隨時間差的增大越來越弱：,（4）大多數(shù)平穩(wěn)隨機序列內(nèi)部的相關(guān)性隨著時間差的變大， 愈來愈弱：,（5）,1.2.3 平穩(wěn)隨機信號的各態(tài)遍歷性,集合平均：由隨機序列X(n) 的無窮樣本

13、 在相應(yīng)時刻n對應(yīng)相加來實現(xiàn)的。,,,由上可知，集合平均要求對大量的樣本進行平均, 實際中這種做法是不現(xiàn)實的。,時間平均： 設(shè)x(n)是平穩(wěn)隨機序列X(n)的一條樣本曲線，其時間平均值為,類似地，其時間自相關(guān)函數(shù)為,各態(tài)遍歷性：對一平穩(wěn)隨機信號，如果它的所有樣本函數(shù)在某一固定時刻的一階和二階統(tǒng)計特性（集合平均）和單一樣本函數(shù)在長時間內(nèi)的統(tǒng)計特性（時間平均）一致，則稱其為各態(tài)遍歷信號。 意義

14、：單一樣本函數(shù)隨時間變化的過程可以包括該信號所有樣本函數(shù)的取值經(jīng)歷。直觀理解：只要一個實現(xiàn)時間充分長的過程能夠表現(xiàn)出各個實現(xiàn)的特征，就可以用一個實現(xiàn)來表示總體的特性。,〈x(n)〉=E［X(n)］,〈x (n)x* (n+m)〉=E［X (n)X* (n+m)］,1.3 平穩(wěn)隨機信號的Z域及頻域的統(tǒng)計表達,相關(guān)函數(shù)的Z變換平穩(wěn)隨機信號的功率密度譜,,1.3.1 相關(guān)函數(shù)的Z變換,平穩(wěn)隨機序列是非周期函數(shù)，且是能量無限信號，

15、無法直接利用傅里葉變換進行分析。由前面對自相關(guān)函數(shù)和自協(xié)方差函數(shù)的討論可知： 當(dāng) 時， Rxx(m)是收斂序列。這說明雖然無限能量信號本身的z變換與傅氏變換不存在，但它的自協(xié)方差序列和自相關(guān)序列（當(dāng) 時）的z變換與傅氏變換卻是存在的,其Z變換用Pxx(z)表示如下:,,且,因為,將上式進行Z變換，得到：,如果z1是其極點，1/z*1也是極點。Pxx(z)的收斂域包含單位圓，因

16、此Rxx(m)的傅里葉變換存在。,令z=exp(jω), 可以得到Rxx(m)的傅立葉變換如下所示：,將m=0代入上式，得到,–––隨機序列的平均功率；,–––功率譜密度（簡稱功率譜）,維納–––辛欽定理（Wiener-Khinchin Theorem）,1.3.2 平穩(wěn)隨機信號的功率密度譜,有限時間段隨機信號x(t)的功率譜分布為：功率譜：協(xié)方差函數(shù)的Fourier變換,（1） 功率譜是ω的偶函數(shù)：,實、平穩(wěn)隨機序列功率譜的性

17、質(zhì),（2） 功率譜是實的非負(fù)函數(shù)， 即,Pxx(ω)≥0,功率譜的分類：平譜（白噪聲譜）：一個平穩(wěn)的隨機序列w(n)，如果其功率譜 在 的范圍內(nèi)始終為一常數(shù)。 白噪聲序列在任意兩個不同的時刻是不相關(guān)的。若w(n)是高斯型的，那么它在任意兩個不同時刻又是相互獨立的。,,,,線譜：由一個或多個正弦信號所組成的信號的功率譜。若x(n)有L個正弦組成，即,其中，,是均勻分布的隨機

18、變量，可以求出,,此即為線譜，它是相對與平譜的另一個極端情況。,ARMA譜：既有峰點又有谷點的連續(xù)譜，這樣的譜可以由一個ARMA模型來表征。,1.4 隨機序列數(shù)字特征的估計,估計準(zhǔn)則均值的估計方差的估計自相關(guān)函數(shù)的估計,,1.4.1 估計準(zhǔn)則,估計方法：矩估計法、最大似然估計法、貝葉斯估計、最小均方誤差估計、最大后驗估計，最小二乘估計、EM算法等。估計準(zhǔn)則：無偏性、有效性、一致性,假定對隨機變量x觀測了N次，得到N個觀

19、測值：x0, x1, x2, …, xN-1，希望通過這N個觀測值估計參數(shù) ?，稱?為真值， 它的估計值用　表示。 　是觀測值的函數(shù)，假定該函數(shù)關(guān)系用F［·］表示，,(1.4.1),如果估計值接近真值的概率比較大，則說明這是一種比較好的估計方法。,圖 1.4.1 估計量的概率密度曲線,1. 偏移性令估計量的統(tǒng)計平均值與真值之間的差值為偏移B， 其公式為,如果B=0，稱為無偏估計。如果B≠0，則稱為有偏估計。如果隨著觀察

20、次數(shù)N的加大，能夠滿足下式：,則稱為漸近無偏估計，這種情況在實際中是經(jīng)常有的。,在許多情況下，一個有偏但漸進無偏的估計具有比一個無偏的估計好得多的分析和計算性質(zhì)。,2. 有效性——估計量的方差　　如果兩個估計量的觀察次數(shù)相同，又都是無偏估計，哪一個估計量在真值附近的擺動更小一些，即估計量的方差更小一些， 就說這一個估計量的估計更有效。 　如果　和　　都是x的兩個無偏估計值，對任意N，它們的方差滿足下式：,式中,(1.4.4),

21、則稱　比　更有效。一般希望當(dāng)N→∞時，　　　。,3. 一致性——均方誤差　　估計量的均方誤差用下式表示：,如果估計量的均方差隨著觀察次數(shù)的增加趨于0，即估計量隨N的加大，在均方意義上趨于它的真值，則稱該估計是一致估計。,上式表示，隨N的加大，偏移和估計量方差都趨于零，是一致估計的充分必要條件。通常對于一種估計方法的選定， 往往不能使上述的三種性能評價一致，此時只能對它們折衷考慮， 盡量滿足無偏性和一致性。,,常數(shù),估計量的均方誤差與估

22、計量的方差和偏移的關(guān)系推導(dǎo)如下：,1.4.2 均值的估計,假設(shè)已取得樣本數(shù)據(jù)：xi(i=0, 1, 2, …, N-1)， 均值的估計量用下式計算：,式中N是觀察次數(shù)。,1. 偏移,因此 B=0 ， 說明這種估計方法是無偏估計。,2. 估計量的方差與均方誤差,先假設(shè)數(shù)據(jù)內(nèi)部不相關(guān)， 那么,以上式表明，估計量的方差隨觀察次數(shù)N增加而減少，當(dāng)Ν→∞時，估計量的方差趨于0。這種情況下估計量的均方誤差為,這樣，當(dāng)N→∞時，B=0,

23、 ， ，是一致估計。,如果數(shù)據(jù)內(nèi)部存在關(guān)聯(lián)性， 會使一致性的效果下降，估計量的方差比數(shù)據(jù)內(nèi)部不存在相關(guān)情況的方差要大，達不到信號方差的1/N。,1.4.3 方差的估計,已知N點樣本數(shù)據(jù)xi(i=0, 1, 2, …, N-1)， 假設(shè)數(shù)據(jù)之間不存在相關(guān)性，且信號的均值mx已知，方差用下式估計,可以證明這是無偏一致估計：,數(shù)據(jù)之間不存在相關(guān)性，均值也不知道的情況下，方差的估計方法。 方差估計用下式計算

24、：,1. 偏移性,式中的第二項已經(jīng)推出， 式中的第三項推導(dǎo)如下：,由此可以得到,上式表明，該估計方法，是有偏估計，但是漸進無偏。,為了得到無偏估計， 可以用下式計算：,之間的關(guān)系是,和,還可以證明它也是一致估計。,1.4.4 自相關(guān)函數(shù)的估計,無偏自相關(guān)函數(shù)的估計 估計公式為,0≤m≤N-1,1-N<m<0,,將上面兩式寫成一個表達式：,1. 偏移性,因此, B=0, 這是一種無偏估計。,為了分析簡單，假設(shè)x

25、(n)是實的、均值為0的高斯隨機信號。對于均值為0的高斯隨機變量，其四階矩為：,2.估計量的方差,利用上式，求和號內(nèi)的部分可以寫成下式：,由此，,式中，令 r=k-n，此時求和域發(fā)生了變化，如圖1.4.2所示。,(1.4.25),圖 1.4.2,根據(jù)變化后的求和域(k, r)， 估計量的方差推導(dǎo)如下:,,,一般觀測數(shù)據(jù)量N很大，,有偏自相關(guān)函數(shù)的估計 有偏自相關(guān)函數(shù)用 表示，計算公式如下：,下面可推導(dǎo)出

26、它服從漸近一致估計的原則，比無偏自相關(guān)函數(shù)的估計誤差小， 因此以后需要由觀測數(shù)據(jù)估計自相關(guān)函數(shù)時， 均用上式進行計算。,無偏自相關(guān)函數(shù)與有偏自相關(guān)函數(shù)的關(guān)系式為,因為 是無偏估計，因此得到,1. 偏移性,上式說明 是有偏估計，但是漸近無偏，其偏移為,的統(tǒng)計平均值等于其真值乘以三角窗函數(shù)wB(m)（或稱巴特利特窗函數(shù)）,,三角窗函數(shù)的波形如圖1.4.3所示。只有當(dāng)m=0時， 才是無偏的，

27、其它m都是有偏的，但當(dāng)N→∞時，wB(m)→1，B→0, 因此 是漸近無偏。,圖 1.4.3 三角窗函數(shù),顯然, 當(dāng)N→∞時, ，并且,由以上得到結(jié)論： 雖然是有偏估計，但是漸近一致估計， 估計量的方差小于的方差。 因此實際中多用這種有偏自相關(guān)函數(shù)估計。,2.估計量的方差,1.5 平穩(wěn)隨機序列通過線性系統(tǒng),系統(tǒng)響應(yīng)的均值、 自相關(guān)函數(shù)和平穩(wěn)性分析輸出響應(yīng)的功率譜密度函數(shù)系統(tǒng)的輸入、 輸出互

28、相關(guān)函數(shù)相關(guān)卷積定理,,穩(wěn)定系統(tǒng)有界輸入必導(dǎo)致有界輸出的系統(tǒng)對連續(xù)系統(tǒng):對離散系統(tǒng):,因果系統(tǒng)輸出必在輸入之后,,穩(wěn)定系統(tǒng)：h(t)絕對可積分＝收斂域包含單位圓因果系統(tǒng)：收斂域內(nèi)是否包含 ，即因果穩(wěn)定系統(tǒng)：傳遞函數(shù)的極點全部在單位圓內(nèi)最小相位系統(tǒng)：H(z)全部零點在單位圓內(nèi)可逆系統(tǒng)：無在單位圓上零點的系統(tǒng),,1.5.1 系統(tǒng)響應(yīng)的均值、 自相關(guān)函數(shù)和平穩(wěn)性分析,這樣, mx與時間無關(guān)，my也與時

29、間無關(guān)。,輸出均值：,輸出的自相關(guān)函數(shù)：,對于一個線性非時變系統(tǒng)，如果輸入是平穩(wěn)隨機序列，則輸出也是平穩(wěn)隨機序列。,令l=r-k, 得到,式中,1.5.2 輸出響應(yīng)的功率譜密度函數(shù),將z=ejω代入上式，得到輸出功率譜：,Pyy (ejω)=Pxx(ejω)H(ejω)H*(ejω)=Pxx( ejω)|H(ejω)|2,如果h(n)是實序列，,v(l)=h(l)*h(-l),V(z)=H(z)H(z-1),Pyy(z)=Pxx(z)H

30、(z)H(z-1),1.5.3 系統(tǒng)的輸入、 輸出互相關(guān)函數(shù),輸入、輸出互相關(guān)定理：,1.5.4 相關(guān)卷積定理,線性系統(tǒng)輸出的自相關(guān)函數(shù)等于輸入自相關(guān)函數(shù)與線性系統(tǒng)單位脈沖響應(yīng)的自相關(guān)函數(shù)的卷積，即,或者簡單地說, 卷積的相關(guān)函數(shù)等于相關(guān)函數(shù)的卷積。 用一般公式表示如下：,如果,那么,ref(m)=rac(m) * rbd(m),例1.5.1 假設(shè)系統(tǒng)的輸入、輸出和單位脈沖響應(yīng)分別用x(n)、 y(n)和h(n)表示，試求輸入、輸出互

31、相關(guān)函數(shù)和輸入自相關(guān)函數(shù)之間的關(guān)系。 解： 按照相關(guān)卷積定理，得到,x(n)=x(n)*δ(n)y(n)=x(n)*h(n)Rxy(m)=Rxx(m)*Rδh(m),式中,相應(yīng)的有：,例1.5.2 按照圖1.5.2推導(dǎo)兩個系統(tǒng)的輸出互相關(guān)函數(shù)與輸入互相關(guān)函數(shù)之間的關(guān)系。,圖1.5.2,解： y1(n)=x1(n)*h1(n)

32、 y2(n)=x2(n)*h2(n),按照相關(guān)卷積定理, 有,按照圖1.5.2還有下面關(guān)系式,(1),(2),1.6 時間序列信號模型,三種時間序列模型三種時間序列信號模型的適應(yīng)性自相關(guān)函數(shù)、功率譜與時間序列信號模型的關(guān)系,,,圖 1.6.1 平穩(wěn)隨機序列的信號模型,1.6.1 三種時間序列模型,假設(shè)信號模型用一個p階差分方程描述:,x(n)+a1x(n-1)+…+apx(n-p) 　 =w(n)+b1w(

33、n-1)+…+bqw(n-q),式中, w(n)是零均值、方差為σ2w的白噪聲; x(n)是要研究的隨機序列。,,（1.6.1）,1. 自回歸-滑動平均模型（簡稱ARMA模型）該模型的差分方程用（1.6.1）式描述， 系統(tǒng)函數(shù)用下式表示：,式中， 是自回歸參數(shù)， 叫做滑動平均參數(shù)。,利用維納辛欽定理給出其功率譜密度為,,類似地，可得功率譜為,,圖1.6.1 ARMA(p,q) 隨機過程模型,,,2. 滑動平均模型（Moving A

34、verage，簡稱MA模型） 　　當(dāng)（1.6.1）式中ai=0, i=1, 2, 3, …, p時, 該模型稱為MA模型。 模型差分方程和系統(tǒng)函數(shù)分別表示為：,x(n)=w(n)+b1w(n-1)+…+bqw(n-q) H(z)=B(z)B(z)=1+b1z-1+b2z-2+…+bqz-q…,上式表明該模型只有零點, 沒有除原點以外的極點， 因此此模型也稱為全零點模型。 如果模型全部零點都在單位圓內(nèi)部，則是一個最小相

35、位系統(tǒng)。,MA模型的功率譜密度為,類似地，可得功率譜為,,圖1.6.2 MA(q) 隨機過程模型,,3. 自回歸模型（Autoregressive, 簡稱AR模型）　 　 當(dāng)（1.6.1）式中bi=0, i=1, 2, 3, …，q時，該模型稱為AR模型。模型差分方程和系統(tǒng)函數(shù)分別表示為：,x(n)+a1x(n-1)+a2x(n-2)+…+apx(n-p)=w(n),A(z)=1+a1z-1+a2z-2+…+apz-p,上式表明該模

36、型只有極點, 沒有除原點以外的零點，因此該模型也稱為全極點模型。只有當(dāng)全部極點都在單位圓內(nèi)部時， 模型才穩(wěn)定。,AR模型的功率譜密度為,類似地，可得功率譜為,,圖1.6.3 AR(p)隨機過程模型,,關(guān)于ARMA、AR、MA模型的功率譜，可以做一個定性的描述：由于MA模型是通過一個全零點濾波器產(chǎn)生，當(dāng)有零點接近單位圓時，MA譜可能是一個深谷；類似地，當(dāng)極點接近單位圓時，AR譜對應(yīng)的頻率處會是一個尖峰；ARMA譜既有尖峰又有深谷。

37、,濾波器長度：一般是指濾波器的單位脈沖響應(yīng)的長度。 對于FIR濾波器或者MA模型, 其單位脈沖響應(yīng)的長度是有限長的，長度就是系數(shù)的個數(shù)； 對于IIR濾波器或者AR模型、ARMA模型，其單位脈沖響應(yīng)的長度則是無限長的。 濾波器階數(shù)： 對于IIR濾波器或者AR模型、ARMA模型，階數(shù)是指p的大小，如果用差分方程表示，則p就是差分方程的階數(shù)。對于FIR濾波器或者MA模型的階數(shù)，則是指（1.6.4）式中q的大小，或者說是它的長度減1

38、。,1.6.2 三種時間序列信號模型的適用性,沃爾德（Wold）分解定理： 任意一個實平穩(wěn)隨機序列x(n)均可以分解成： x(n) =u(n)+v(n)，式中u(n)是確定性信號, v(n)是具有連續(xù)譜分布函數(shù)的平穩(wěn)隨機MA序列。 由Wold分解定理可知，AR模型或ARMA模型可用一個可能是無窮階的MA模型表示，說明MA信號模型和ARMA信號模型具有普遍適用的性質(zhì)。,柯爾莫格洛夫（Kolmogorov）定理： 該

39、定理暗示了MA模型或ARMA模型可用一個可能是無窮階AR模型來表示，從而說明了AR信號模型的適用性。 任意一個MA序列可用無限階AR信號模型表示，或者用階數(shù)足夠大的AR信號模型近似表示。證明如下：,b0=1,對上式進行Z變換得到,X(z)=B(z)W(z),設(shè)MA序列為,這樣,X(z)G(z)=(1+g1z-1+g2z-2+…)X(z)=W(z),對上式進行Z反變換，得到,x(n)+g1x(n-1)+g2x(n-2)+…=w(n

40、),上式表示的就是x(n)的AR信號模型差分方程，因此證明了一個時間序列可以用有限階MA信號模型表示時，也可以用無限階的AR模型表示。,B-1(z)=G(z)=1+g1z-1+g2z-2+…,設(shè)MA信號模型滿足可逆性條件，即B-1(z)存在，令,對于ARMA模型也可以用無限階AR模型表示。,設(shè)AR模型系統(tǒng)函數(shù)用HAR(z)表示：,令HAR(z)=H(z), 即,可以求出ci系數(shù),一個ARMA模型可以用一個MA模型來表示：,用MA模型表示

41、：,一般AR模型適合表示時間序列的功率譜有尖峰而沒有深谷的信號，MA模型適合表示其功率譜有深谷而沒有尖峰的信號，ARMA模型則適合尖峰和深谷都有的情況。,1.6.3 自相關(guān)函數(shù)、功率譜與時間序列信號模型的關(guān)系,(1.6.7),實平穩(wěn)隨機信號x(n)的功率譜為：,如何按照上式唯一地分解出一個因果穩(wěn)定的模型系統(tǒng)函數(shù)H(z)，是本節(jié)要討論的問題。,有理譜信號： 如果信號模型輸出的功率譜是ejω或者cosω的有理函數(shù)，這種信號稱為有

42、理譜信號。,譜分解定理 如果功率譜Pxx(ejω)是平穩(wěn)隨機序列x(n)的有理譜，那么一定存在一個零極點均在單位圓內(nèi)的有理函數(shù)H(z),,滿足,式中，ak, bk都是實數(shù)，a0=b0=1, 且|αk|＜1, |βk|＜1。,例1.6.1 已知有理譜如下式：,我們把所有可能的分解形式寫出來：,(1),(2),(3),(4),在以上四種分解情況中，只有（1）滿足極零點均在單位圓內(nèi)部， 因此按照譜分解定理的約束條件，只能唯一地

43、分解出一個零極點均在單位圓內(nèi)部的系統(tǒng)函數(shù)。如果沒有零極點均在單位圓內(nèi)部的約束條件，分解便不是唯一的。另外，按照譜分解定理分解出H(z)一定是最小相位系統(tǒng)，它保證了模型的可逆性， 即逆系統(tǒng)存在。,分解方法： 我們知道功率譜是cosω的函數(shù)，為了對功率譜進行譜分解， 下面介紹一種分解方法：  （1） 用φ代替cosω， 得到有理函數(shù)V(φ)； （2） 求出V(φ)分子、分母的全部根φi ;

44、 （3） 構(gòu)造對每個φi的方程:,該方程有兩個根：Zi和1/ Zi ，其中Zi是單位圓內(nèi)的根；,（4） 用單位圓內(nèi)部極零點構(gòu)成H(z)，零點是分子多項式的根Zi，極點是分母多項式的根Zj，,常數(shù)C由功率譜Pxx(ejω)確定。,例1.6.2 已知x(n)的功率譜,求其模型的系統(tǒng)函數(shù)。,解：,（1） 令φ=cosω，則,(2),(3),(4),設(shè)σ2w=1，對比給定的功率譜，得到：C=2/3 ，模型系統(tǒng)函數(shù)為,也可以假定σ2w=4

45、/9，此時模型系統(tǒng)函數(shù)為,這樣得到的模型系統(tǒng)函數(shù)的常數(shù)因子不同，但常數(shù)因子僅影響其幅度大小，不影響問題實質(zhì)。,自相關(guān)函數(shù)、功率譜、時間序列信號模型三者之間的關(guān)系：,自相關(guān)函數(shù)、功率譜、時間序列信號模型三者之間關(guān)系,現(xiàn)代數(shù)字信號處理,第二章,第二章 維納濾波和卡爾曼濾波,2.1 引言 2.2 離散維納濾波器的時域解 2.3 離散維納濾波器的z域解 2.4 維納預(yù)測 2.5 卡爾曼(Kalman)濾波,2.1 引 言,最優(yōu)濾

46、波維納濾波和卡爾曼濾波簡介本章討論的主要內(nèi)容,1、最優(yōu)濾波,信號處理的目的是從噪聲中提取信號，得到不受干擾影響的真正信號。采用的處理系統(tǒng)稱為濾波器。濾波器的分類：線性濾波器、非線性濾波器；FIR濾波器、IIR濾波器；時域濾波器、頻域濾波器；,圖 2.1.1 信號處理的一般模型,x(n)=s(n)+v(n),最優(yōu)準(zhǔn)則：最大輸出信噪比準(zhǔn)則－>匹配濾波器最小均方誤差準(zhǔn)則誤差絕對值的期望值最小 誤差絕對值的三次或

47、高次冪的期望值最小,,x(n)=s(n)+v(n),Wiener濾波器的一般結(jié)構(gòu),2、維納濾波和卡爾曼濾波簡介,維納(Wiener)濾波與卡爾曼(Kalman)濾波以估計的結(jié)果與信號真值之間的誤差的均方值最小作為最優(yōu)準(zhǔn)則。,,,假設(shè)信號的真值與估計值間的誤差為：,均方誤差最小即誤差的平方的統(tǒng)計平均值最?。?最小,3、本章討論的主要內(nèi)容,主要內(nèi)容：維納濾波器（FIR維納濾波器和IIR維納濾波器）、維納預(yù)測器、卡爾曼濾波。分析思路：在均方

48、誤差最小的前提下，求得系統(tǒng)的單位脈沖響應(yīng)h(n)或傳遞函數(shù)H(z)，進而計算濾波器的最小均方誤差,,2.2 離散維納濾波器的時域解,本節(jié)要解決的主要問題及方法正交性原理維納—霍夫方程FIR維納濾波器的時域解,1、本節(jié)要解決的主要問題及方法,要解決的問題：尋求在均方誤差最小情況下的單位脈沖響應(yīng)h(n)或傳遞函數(shù)H(z)的表達式，這一過程稱為設(shè)計維納濾波器的過程。解決方法：實質(zhì)是求解維納－霍夫(Wiener-Hopf)方程，即

49、,本節(jié)討論維納濾波器的時域求解方法，即在時域求最小均方誤差下的 。,2、 維納濾波器時域求解的方法,因果維納濾波器的輸出y(n) ：,n=0,1, 2, …,設(shè)期望信號為d(n)，誤差信號e(n)及其均方值E［|e(n)|2］分別為,e(n)=d(n)-y(n)=s(n)-y(n),k=0, 1, 2, …,記梯度算子為,k=0, 1, 2, …,,要使均方誤差為最小，須滿足,上式展開為,又,將上述4式代入得,分析：

50、上式說明，若使濾波器的均方誤差達到，則誤差信號與輸入信號正交，這就是通常所說的正交性原理。,正交性原理：,,正交性原理的重要意義：提供了一個數(shù)學(xué)方法，用以判斷線性濾波系統(tǒng)是否工作于最佳狀態(tài)。,,正交性原理的引理：最佳狀態(tài)時，由濾波器輸出定義的期望響應(yīng)的估計yopt(n)與估計誤差eopt(n)正交：,,3、 維納—霍夫方程,將輸入信號分配進去， 得到,k=0, 1, 2, …,維納-霍夫（Wiener－Hopf）方程：,k=0, 1,

51、2, …,4、FIR維納濾波器的時域解,FIR維納濾波器的維納-霍夫方程 當(dāng)h(n)是一個長度為M的因果序列時，F(xiàn)IR維納濾波器的維納-霍夫方程表述為,k=0, 1, 2, …,M-1,(2.2.21),把k的取值代入(2.2.21)式， 得到,,(2.2.22),定義,（2.2.22）式可以寫成矩陣形式， 即,對上式求逆，得到,這里涉及到計算相關(guān)矩陣和逆矩陣，計算量可能較大。,FIR維納濾波器的估計誤差的均方值

52、 假定所研究的信號都是零均值的，濾波器為FIR型，長度等于M，,結(jié)論：在所有N階FIR濾波器中，最優(yōu)濾波器的均方誤差值是最小的，從這個意義上說，它是最優(yōu)的。其階數(shù)越高，采用的已知信息就越多，它的最小均方誤差就越小，但相應(yīng)的計算量也越大。,例1 假設(shè)有一實的廣義平穩(wěn)隨機信號s(n)的自相關(guān)函數(shù)（序列）為 ,且伴隨有實的噪聲w(n)，方差為 ，與s(n)

53、無關(guān)。試設(shè)計一個M=2的FIR維納濾波器來估計s(n) ，并計算最小均方誤差。,解：已知,由此，M=2最佳FIR維納濾波器如下：,或者，利用下式求解,k=0, 1,當(dāng)k=0時，2h0+0.6h1＝1當(dāng)k=1時，0.6h0+2 h1＝0.6,估計該濾波器的輸出誤差的最小均方值：,經(jīng)過此濾波器以前的均方誤差為,2.3 離散維納濾波器的z域解,本節(jié)要解決的主要問題及方法白化濾波器非因果IIR維納濾波器的Z域解因果IIR維納濾

54、波器的Z域解,1、本節(jié)要解決的主要問題及方法,待解決的問題：當(dāng)h(n)是物理可實現(xiàn)的因果序列時，所得到的Wiener-Hopf方程 將存在k≥0的約束，不能直接轉(zhuǎn)到Z域求解。這使得在要求滿足物理可實現(xiàn)條件下，求解維納-霍夫方程成為一個十分困難的問題。 解決方法：采用將觀測序列x(n)白化的方法，求解Wiener-Hopf方程的Z域解。,若不考慮濾波器的因果性，維納－霍夫方程可以改寫為,設(shè)定d(n)=s(n)，對上式兩邊做Z變換，得到

55、,Sxs (z)=Hopt(z)Sxx(z),x(n)=s(n)+v(n),假設(shè)信號和噪聲不相關(guān)，即rsv(m)=0，則,Sxs (z)=Sss(z)Sxx(z)=Sss(z)+Svv(z),對于因果IIR維納濾波器，其維納－霍夫方程為,k=0, 1, 2, …,因為存在k≥0的約束，使得上式不能直接轉(zhuǎn)到Z域求解。如有可能將其轉(zhuǎn)化為非因果問題，則求解會大大簡化。,則因果IIR維納濾波器的維納－霍夫方程變?yōu)椋?由此可見，只要將輸入信號

56、轉(zhuǎn)化為白噪聲，就可以解得因果IIR維納濾波器的單位脈沖響應(yīng)。,2、白化濾波器,任何具有有理功率譜密度的隨機信號都可以看成是由一白色噪聲w(n)激勵某個物理網(wǎng)絡(luò)所形成。,x(n)的時間序列信號模型,一般把信號轉(zhuǎn)化為白噪聲的過程稱為白化，對應(yīng)的濾波器稱為白化濾波器。,x(n)的白化濾波器,如果B(z)是一個最小相移網(wǎng)絡(luò)函數(shù)，那么1/B(z)顯然也是一個物理可實現(xiàn)的最小相移網(wǎng)絡(luò)，因此可以利用上式白化x(n)。,,,利用白化x(n)的方法求解維

57、納-霍夫方程,利用白化x(n)的方法求解維納-霍夫方程:,,,于是，在最小均方誤差準(zhǔn)則下，求最佳Hopt(z)的問題就歸結(jié)為求最佳G(z)的問題了。G(z)當(dāng)然也需分因果性或非因果性的約束情況加以討論。,如果已知信號的Pxx(z)，即可由下式求得B(z) 。,計算Hopt (z)：,3、 非因果IIR維納濾波器的求解,,,(2.3.9),求滿足最小均方誤差條件下的g(k)：為求得相對于g(k)的最小均方誤差值，令,-∞＜k＜∞,-∞＜

58、k＜∞,Z變換后,,非因果IIR維納濾波器的最佳解：,s(n)=s(n)*δ(n)，x(n)=w(n)*b(n),rxs(m)=rws(m)*b(-m),Sxs (z)=Sws(z)B(z-1),,,非因果IIR維納濾波器的復(fù)頻域最佳解的一般表達式,假定信號與噪聲不相關(guān)，即當(dāng)E［s(n)v(n)］=0時可以得到：,Sxs(z)=Sss(z),Sxx(z)=Sss(z)+Svv(z),信號和噪聲不相關(guān)時，非因果IIR維納濾波器的復(fù)頻域最

59、佳解和頻率響應(yīng)分別為,由上式可知：當(dāng)噪聲為0時，Hopt=1，信號全部通過；當(dāng)信號為0時， Hopt=0，噪聲全部被抑制掉；當(dāng)即有信號又有噪聲時， Hopt<1，大小隨Pvv的增加而減小，從而達到降低噪聲影響的目的。,圖 2.3.6 非因果維納濾波器的傳輸函數(shù)的幅頻特性,計算最小均方誤差E［|e(n)|2］min：,第一項根據(jù)圍線積分法求逆Z變換的公式, rss(m)用下式表示:,得出,第二項由帕塞伐爾定理：,取y(n)=x

60、(n), 有,因此,得到,,假定信號與噪聲不相關(guān)，E［s(n)v(n)］=0，又因為實信號的自相關(guān)函數(shù)是偶函數(shù)，即rss(m)=rss(-m)，則,Sxs(z)=Sss(z) ，Sxx(z)=Sss(z)+Svv(z)； Sss(z)=Sss(z-1),,4、 因果IIR維納濾波器的求解 若維納濾波器是一個因果濾波器， 要求,g(n)=0 n＜0,則濾波器的輸出信號,估計誤差的均方值,E［|e(n)|2］=E［|s(n)

61、-y(n)|2］,類似于（2.3.9）式的推導(dǎo)，得到,要使均方誤差取得最小值， 當(dāng)且僅當(dāng),令,因果維納濾波器的復(fù)頻域最佳解為,維納濾波的最小均方誤差為,非因果情況時，濾波器的最小均方誤差為,對于因果情況，,比較兩式，可以看出非因果情況的E［|e(n)|2］min一定小于等于因果情況E［|e(n)|2］min。,因果維納濾波器設(shè)計的一般方法：  (1) 根據(jù)觀測信號x(n)的功率譜求出它所對應(yīng)信號模型的傳輸函數(shù)，即采用譜分解的方

62、法得到B(z)，Sxx(z)=σ2wB(z)B(z-1)。 (2) 求的Z反變換，取其因果部分再做Z變換，即舍掉單位圓外的極點，得 (3) 積分曲線取單位圓，計算Hopt(z), E［|e(n)|2］min。,例 2.3.1 已知,信號和噪聲不相關(guān)，即rsv(m)=0，噪聲v(n)是零均值、單位功率的白噪聲（σ2v=1,mv=0)，求Hopt(z)和E［|e(n)|2］min。  解 根據(jù)

63、白噪聲的特點得出Svv(z)=1, 由噪聲和信號不相關(guān)， 得到rxx(m)=rss(m)+rvv(m)。,考慮到B(z)必須是因果穩(wěn)定的系統(tǒng)，得到,(1)、 首先分析物理可實現(xiàn)情況:,因為,,取其因果部分,取單位圓為積分圍線，上式等于單位圓內(nèi)的極點,,的留數(shù)之和，即,未經(jīng)濾波器的均方誤差,,所以通過因果維納濾波器后均方誤差下降8/3(≈2.7)倍。,(2)、 對于非物理可實現(xiàn)情況有,令,單位圓內(nèi)有兩個極點0.8和0.5, 應(yīng)用留數(shù)定理，

64、有,結(jié)論：比較兩種情況下的最小均方誤差,可以看出非物理可實現(xiàn)情況的最小均方誤差小于物理可實現(xiàn)情況的均方誤差。,,維納濾波部分的總結(jié)：,主要內(nèi)容：FIR維納濾波求解、非因果IIR維納濾波求解、因果IIR維納濾波求解；知識點：最小均方誤差準(zhǔn)則、正交性原理、維納－霍夫方程、白化濾波器；結(jié)論：在所有N階FIR濾波器中，最優(yōu)濾波器的均方誤差值是最小的，從這個意義上說它是最優(yōu)的；與非最優(yōu)濾波相比，最優(yōu)濾波的優(yōu)勢在于能對濾波的質(zhì)量（逼近的好壞

65、）做出評價；E［|e(n)|2］min與Sss(z)和Svv(z)重疊部分大小有關(guān)；最小均方誤差比較：非因果IIR<因果IIR<FIR維納濾波的最小均方誤差,2.4 維 納 預(yù) 測,本節(jié)討論的主要問題及方法預(yù)測的可能性維納預(yù)測的計算純預(yù)測一步線性預(yù)測的時域解,1、本節(jié)討論的主要問題及方法,討論的主要問題：本節(jié)將討論維納預(yù)測器，以觀測到的全部過去數(shù)據(jù)來估計當(dāng)前或?qū)淼闹到鉀Q方法：以均方誤差最小為估計原則,,

66、,,,圖2.4.1(b) 維納預(yù)測器,圖2.4.1(a) 維納濾波器,2、預(yù)測的可能性,信號可以預(yù)測是由于信號內(nèi)部存在關(guān)聯(lián)性。數(shù)據(jù)間關(guān)聯(lián)越密切，預(yù)測越準(zhǔn)確；完全不關(guān)聯(lián)，則無法預(yù)測。,輸入：,輸出：,x(n)在各不同時間點上的值的相關(guān)性是起因于B(z)的慣性。由觀測到的x(n)的所有過去值和當(dāng)前值來估計將來值 時：如果

67、 ，則 僅由B(z)的慣性決定，如果 ，則 將由B(z)的慣性和 共同決定；,隨機信號預(yù)測的特點：以信號的統(tǒng)計特性作為預(yù)測的主要依據(jù)；不可能作預(yù)測誤差為零的絕對精確的預(yù)測；實際信號通常帶有噪聲干擾，使得預(yù)

68、測和濾波聯(lián)系在一起，成為帶濾波的預(yù)測。,3、 維納預(yù)測的計算,同理，要使預(yù)測誤差的均方值為最小，須滿足,其中，hk表示h(k)。,,,即,,,非因果維納預(yù)測器的最佳解為,因果維納預(yù)測器的最佳解為,維納預(yù)測的最小均方誤差為,維納預(yù)測的求解和維納濾波器的求解方法是一致的。,4、 純預(yù)測 假設(shè)x(n)=s(n)+v(n)，純預(yù)測問題是在v(n)=0情況下對s(n+N), N＞0的預(yù)測，此時x(n)=s(n)。  因果情況下，假設(shè)