myresearch&planning

1、Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 1,鄭偉詩智能科學(xué)系wszheng@ieee.orghttp://www.eecs.qmul.ac.uk/~jason/,統(tǒng)計(jì)分析進(jìn)階,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 2,統(tǒng)計(jì)分析進(jìn)階,課程安排隱馬爾可夫模型多元統(tǒng)計(jì)分析：簡(jiǎn)介多元主成分分析案例分析程序

2、發(fā)往作業(yè)：發(fā)至 exercise_sysu@163.com （不要發(fā)到我的ieee郵箱）作業(yè)截止時(shí)間：9月8日,,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 3,I 隱馬爾可夫模型,隱馬爾可夫模型(HMM)的由來馬爾可夫性和馬爾可夫鏈HMM實(shí)例HMM的三個(gè)基本算法,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 4,HM

3、M的由來,1870年，俄國(guó)有機(jī)化學(xué)家Vladimir V. Markovnikov第一次提出馬爾科夫模型馬爾可夫模型馬爾可夫鏈 隱馬爾可夫模型,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 5,馬爾可夫性,如果一個(gè)過程的“將來”僅依賴“現(xiàn)在”而不依賴“過去”，則此過程具有馬爾可夫性,或稱此過程為馬爾可夫過程X(t+1) = f( X(t) )隱馬爾可夫：只觀察到Oi, O

4、i由隱含變量Xi的狀態(tài)值決定，且(Oi,Xi)獨(dú)立。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 6,馬爾科夫鏈,時(shí)間和狀態(tài)都離散的馬爾科夫過程稱為馬爾科夫鏈記作{Xn = X(n), n = 0,1,2,…}在時(shí)間集T1 = {0,1,2,…}上對(duì)離散狀態(tài)的過程相繼觀察的結(jié)果鏈的狀態(tài)空間記做I = {a1, a2,…}, ai∈R. 條件概率Pij ( m ,m+n)

5、=P{Xm+n = aj|Xm = ai} 為馬氏鏈在時(shí)刻m處于狀態(tài)ai條件下，在時(shí)刻m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 7,轉(zhuǎn)移概率矩陣,,晴天 陰天 下雨晴天 0.50 0.25 0.25陰天 0.375 0.25 0.375下雨

6、 0.25 0.125 0.625,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 8,轉(zhuǎn)移概率矩陣(續(xù)),由于鏈在時(shí)刻m從任何一個(gè)狀態(tài)ai出發(fā)，到另一時(shí)刻m+n，必然轉(zhuǎn)移到a1，a2…，諸狀態(tài)中的某一個(gè)，所以有當(dāng)Pij(m,m+n)與m無關(guān)時(shí)，稱馬爾科夫鏈為齊次馬爾科夫鏈，通常說的馬爾科夫鏈都是指齊次馬爾科夫鏈。,Wei-Shi Zheng

7、wszheng@ieee.org,3/3/2024, Page 9,HMM實(shí)例——實(shí)例描述,設(shè)有N個(gè)缸，每個(gè)缸中裝有很多彩球，球的顏色由一組概率分布描述。實(shí)驗(yàn)進(jìn)行方式如下根據(jù)初始概率分布，隨機(jī)選擇N個(gè)缸中的一個(gè)開始實(shí)驗(yàn)根據(jù)缸中球顏色的概率分布，隨機(jī)選擇一個(gè)球，記球的顏色為O1，并把球放回缸中根據(jù)描述缸的轉(zhuǎn)移的概率分布，隨機(jī)選擇下一口缸，重復(fù)以上步驟。最后得到一個(gè)描述球的顏色的序列O1,O2,…，稱為觀察值序列O。,Wei

8、-Shi Zhengwszheng@ieee.org,3/3/2024, Page 10,HMM實(shí)例——約束,在上述實(shí)驗(yàn)中，有幾個(gè)要點(diǎn)需要注意：不能被直接觀察缸間的轉(zhuǎn)移從缸中所選取的球的顏色和缸并不是 一一對(duì)應(yīng)的每次選取哪個(gè)缸由一組轉(zhuǎn)移概率決定,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 11,HMM概念,HMM的狀態(tài)是不確定或不可見的，只有通過觀測(cè)序列的

9、隨機(jī)過程才能表現(xiàn)出來觀察到的事件與狀態(tài)并不是一一對(duì)應(yīng)，而是通過一組概率分布相聯(lián)系 HMM是一個(gè)雙重隨機(jī)過程，兩個(gè)組成部分： 馬爾可夫鏈：描述狀態(tài)的轉(zhuǎn)移，用轉(zhuǎn)移概率描述。 一般隨機(jī)過程：描述狀態(tài)與觀察序列間的關(guān)系， 用觀察值概率描述。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 12,Markov鏈（?, A）,隨機(jī)過程（B）,,,狀態(tài)序列,觀察值序列,q1, q

10、2, ..., qT,o1, o2, ..., oT,HMM的組成示意圖,HMM組成,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 13,HMM的基本要素,用模型五元組 ＝（ N, M, π ，A，B）用來描述HMM，或簡(jiǎn)寫為 =(π ，A，B),Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 14,HMM可解決的問題

11、,問題1：給定觀察序列O=O1,O2,…OT,以及模型 , 如何計(jì)算P(O|λ)？問題2：給定觀察序列O=O1,O2,…OT以及模型λ,如何選擇一個(gè)對(duì)應(yīng)的狀態(tài)序列 S = q1,q2,…qT，使得S能夠最為合理的解釋觀察序列O？問題3：如何調(diào)整模型參數(shù) , 使得P(O|λ)最大？,Wei-Shi Zhengwszheng@ieee.org,3/3

12、/2024, Page 15,解決問題1 的基礎(chǔ)方法,給定一個(gè)固定的狀態(tài)序列S=(q1，q2，q3…) 表示在qt狀態(tài)下觀測(cè)到Ot的概率 計(jì)算量相當(dāng)大,,,,,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 16,解決問題1 前向法,定義前向變量初始化：遞歸：終結(jié)：,,,,Wei-Shi Zhengwszheng@ieee.org,

13、3/3/2024, Page 17,前向法示意圖,,,1 ... t t+1 ...,,,,,,a1j,,,at1,qN.qi.qj..q1,,,atN,ati,aNj,aij,N=5, M=100, => 計(jì)算量3000,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 18,解決問題1 后向法,與前向

14、法類似定義后向變量初始化：遞歸：終結(jié)：,,,,,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 19,解決問題2: Viterbi算法,目的：給定觀察序列O以及模型λ,如何選擇一個(gè)對(duì)應(yīng)的狀態(tài)序列S ，使得S能夠最為合理的解釋觀察序列O？N和T分別為狀態(tài)個(gè)數(shù)和序列長(zhǎng)度定義：我們所要找的，就是T時(shí)刻最大的 所代表的那個(gè)狀態(tài)序列,Wei-Shi Z

15、hengwszheng@ieee.org,3/3/2024, Page 20,解決問題2: Viterbi算法,初始化：遞歸：終結(jié)：求S序列：,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 21,解決問題3: Baum-Welch算法(模型訓(xùn)練算法),目的：給定觀察值序列O，通過計(jì)算確定一個(gè)模型l ， 使得P(O| l)最大。算法步驟：1. 初始模型（待

16、訓(xùn)練模型） l0,2. 基于l0 以及觀察值序列O，訓(xùn)練新模型 l；3. 如果 log P(X|l) - log(P(X|l0) < Delta，說明訓(xùn)練已經(jīng)達(dá)到預(yù)期效果， 算法結(jié)束。4. 否則，令l0 ＝ l ，繼續(xù)第2步工作,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 22,Baum-Welch算法(續(xù)),定義：,Wei-Shi Zhengwsz

17、heng@ieee.org,3/3/2024, Page 23,Baum-Welch算法(續(xù)2),參數(shù)估計(jì)：,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 24,案例：基于HMM的語音分析,我們平時(shí)在說話時(shí)，腦子就是一個(gè)信息源。我們的喉嚨（聲帶），空氣，就是如電線和光纜般的信道。聽眾耳朵的就是接收端，而聽到的聲音就是傳送過來的信號(hào)。根據(jù)聲學(xué)信號(hào)來推測(cè)說話者的意思，就是語音

18、識(shí)別。這樣說來，如果接收端是一臺(tái)計(jì)算機(jī)而不是人的話，那么計(jì)算機(jī)要做的就是語音自動(dòng)識(shí)別。同樣，在計(jì)算機(jī)中，如果我們要根據(jù)接收到的英語信息，推測(cè)說話者的漢語意思，就是機(jī)器翻譯； 如果我們要根據(jù)帶有拼寫錯(cuò)誤的語句推測(cè)說話者想表達(dá)的正確意思，那就是自動(dòng)糾錯(cuò)。如果我們要根據(jù)輸入的漢語詞語片段推測(cè)出每個(gè)片段的語法含義,那就是自動(dòng)詞法標(biāo)注。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 25,基于

19、HMM的語音分析,那么怎么根據(jù)接收到的信息來推測(cè)說話者真正想表達(dá)的意思呢？可以利用叫做“隱含馬爾可夫模型” （Hidden Markov Model）來解決問題。以自動(dòng)詞法標(biāo)注為例，當(dāng)我們觀測(cè)到詞語片斷 o1,o2,o3 時(shí)，我們要根據(jù)這組信號(hào)推測(cè)出發(fā)送的詞語語法片斷 s1,s2,s3。顯然，我們應(yīng)該在所有可能的語法片斷中找最有可能性的一個(gè)。用數(shù)學(xué)語言來描述，就是在已知 o1,o2,o3,...的情況下，求使得條件概率P (s1,s2

20、,s3,...|o1,o2,o3....) 達(dá)到最大值的那個(gè)語法片斷 s1,s2,s3,...,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 26,基于HMM的語音分析,當(dāng)然，上面的概率不容易直接求出，于是我們可以間接地計(jì)算它。利用貝葉斯公式并且省掉一個(gè)常數(shù)項(xiàng)，可以把上述公式等價(jià)變換成：P(o1,o2,o3,...|s1,s2,s3....) * P(s1,s2,s3,...)其

21、中P(o1,o2,o3,...|s1,s2,s3....) 表示某個(gè)語法片斷序列 s1,s2,s3...被讀成 o1,o2,o3,...的可能性, 而P(s1,s2,s3,...) 表示字串 s1,s2,s3,...本身能夠成為一個(gè)合乎情理的語法片斷序列的可能性，所以這個(gè)公式的意義是用發(fā)送信號(hào)為 s1,s2,s3...這個(gè)數(shù)列的可能性乘以 s1,s2,s3...本身是一個(gè)語法片斷序列的可能性，得出概率。,Wei-Shi Zheng

22、wszheng@ieee.org,3/3/2024, Page 27,基于HMM的語音分析,我們?cè)谶@里做兩個(gè)假設(shè)：第一，s1,s2,s3,... 是一個(gè)馬爾可夫鏈，也就是說，si 只由 si-1 決定 ；第二， 第 i 時(shí)刻的接收信號(hào) oi 只由發(fā)送信號(hào) si 決定（又稱為獨(dú)立輸出假設(shè), 即 P(o1,o2,o3,...|s1,s2,s3....) = P(o1|s1) * P(o2|s2)*P(o3|s3)...。滿

23、足上述兩個(gè)假設(shè)的模型就叫隱含馬爾可夫模型。我們之所以用“隱含”這個(gè)詞，是因?yàn)闋顟B(tài) s1,s2,s3,...是無法直接觀測(cè)到的。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 28,基于HMM的語音分析,隱含馬爾可夫模型的應(yīng)用遠(yuǎn)不只在自動(dòng)詞法標(biāo)注和語音識(shí)別中。在上面的公式中，如果我們把 s1,s2,s3,...當(dāng)成中文，把 o1,o2,o3,...當(dāng)成對(duì)應(yīng)的英文，那么我們就能利用這個(gè)

24、模型解決機(jī)器翻譯問題； 如果我們把 o1,o2,o3,...當(dāng)成掃描文字得到的圖像特征，就能利用這個(gè)模型解決印刷體和手寫體的識(shí)別。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 29,HMM的罐子比喻(L.R.Rabiner,1989),Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 30,基于HMM的詞性標(biāo)注,問題：已知單詞序列

25、w1w2…wn，求詞性序列c1c2…cnHMM模型：將詞性為理解為狀態(tài)將單詞為理解為輸出值訓(xùn)練：統(tǒng)計(jì)詞性轉(zhuǎn)移矩陣[aij]和詞性到單詞的輸出矩陣[bik]求解,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 31,基于HMM的詞性標(biāo)注,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 32,基于HMM的詞性標(biāo)注,Wei-S

26、hi Zhengwszheng@ieee.org,3/3/2024, Page 33,基于HMM的詞性標(biāo)注,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 34,基于HMM的詞性標(biāo)注,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 35,基于HMM的詞性標(biāo)注,Wei-Shi Zhengwszheng@ieee.org,3/

27、3/2024, Page 36,詞性轉(zhuǎn)移矩陣（用于轉(zhuǎn)移概率計(jì)算）,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 37,詞語詞性頻度表（用于輸出概率計(jì)算）,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 38,詞性頻度表,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 39,

28、算法標(biāo)注示例,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 40,隱馬爾可夫模型的其他應(yīng)用（不限于）,語音識(shí)別音字轉(zhuǎn)換詞性標(biāo)注（POS Tagging）組塊分析基因分析一般化：任何與線性序列相關(guān)的現(xiàn)象,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 41,進(jìn)一步的資料,工具箱：http://www.cs.ubc.ca/~m

29、urphyk/Software/HMM/hmm.html HMM at Wikipedia：http://en.wikipedia.org/wiki/Hidden_Markov_model 建議教材：http://www.shokhirev.com/nikolai/abc/alg/hmm/hmm.html 后續(xù)課程: 隨機(jī)過程 （數(shù)計(jì)學(xué)院，嶺南學(xué)院）***通訊及網(wǎng)絡(luò)分析、圖像分割、視頻處理等***,Wei-Shi Zheng

30、wszheng@ieee.org,3/3/2024, Page 42,II 多元統(tǒng)計(jì)簡(jiǎn)介,多元分布的基本概念 多元正態(tài)分布 多元線性回歸分析 主成分分析,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 43,假定所討論的是多個(gè)變量的總體，所研究的數(shù)據(jù)是同時(shí)觀測(cè) 個(gè)指標(biāo)（即變量），又進(jìn)行了 次觀測(cè)得到的，把這 個(gè)指標(biāo)表示為

31、 常用向量,若觀測(cè)了 n 個(gè)個(gè)體，則可得到如下數(shù)據(jù)。,1 多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 44,44,,,,,,表示第 個(gè)樣品的觀測(cè)值。 表示對(duì) 第個(gè)變量 的n次觀測(cè)數(shù)值。,,,,,記,可用矩陣語言表示為:,多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 45,1

32、.隨機(jī)向量 X的均值,設(shè) 定義隨機(jī)向量X的均值為:,當(dāng) 為常數(shù)矩陣時(shí)，推出如下性質(zhì)：,多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 46,2、隨機(jī)向量 自協(xié)方差陣,X的廣義方差,多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 47,3、隨機(jī)向量X 和Y 的

33、協(xié)差陣,設(shè) 分別為p維和q維隨機(jī)向量，它們之間的協(xié)方差陣定義為一個(gè)p×q矩陣，其元素是cov(Xi,Yj) ，即,多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 48,當(dāng)A、B為常數(shù)矩陣時(shí)，有如下性質(zhì)：,（3）設(shè)X為p維隨機(jī)向量，期望和協(xié)方差存在記,則,對(duì)于任何隨機(jī)向量X ，其協(xié)差陣∑都是對(duì)稱陣，同時(shí)

34、總是非負(fù)定（也稱半正定）的。,多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 49,,,若隨機(jī)向量 的協(xié)差陣存在,且每個(gè)分量的方差大于零，則X的相關(guān)陣定義為:,,也稱為分量 與 之間的（線性）相關(guān)系數(shù)。,,,4、隨機(jī)向量X 的相關(guān)陣,多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024,

35、 Page 50,在數(shù)據(jù)處理時(shí)，為了克服由于指標(biāo)的量綱不同對(duì)統(tǒng)計(jì)分析結(jié)果帶來的影響，往往在使用某種統(tǒng)計(jì)分析方法之前，常需將每個(gè)指標(biāo)“標(biāo)準(zhǔn)化”，即做如下變換,多元分布的基本概念,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 51,2. 多元正態(tài)分布,多元正態(tài)分布是一元正態(tài)分布的推廣。迄今為止,多元分析的主要理論都是建立在多元正態(tài)總體基礎(chǔ)上的, 本節(jié)將介紹多元正態(tài)分布的定義

36、，并簡(jiǎn)要給出它的基本性質(zhì)。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 52,定義1： 若p元隨機(jī)向量 的概率密度函數(shù)為：,則稱 遵從p元正態(tài)分布，也稱X為p元正態(tài)變量。記為,|∑|為協(xié)差陣∑的行列式。,多元正態(tài)分布的定義,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 53,定理

37、 設(shè) 則,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 54,多元正態(tài)分布的性質(zhì),1、如果正態(tài)隨機(jī)向量 的協(xié)方差陣∑是對(duì)角陣，則X的各分量是相互獨(dú)立的隨機(jī)變量。,2、多元正態(tài)分布隨機(jī)向量X的任何一個(gè)分量子集的分布（稱為X的邊緣分布）仍然遵從正態(tài)分布。而反之，若一個(gè)隨機(jī)向量的任何邊緣分布均為正態(tài)，并不能導(dǎo)出它是多元正態(tài)分布。,W

38、ei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 55,例如，設(shè) 有密度,容易驗(yàn)證，但 顯然不是正態(tài)分布。,3、多元正態(tài)向量的任意線性變換仍然服從多元正態(tài)分布,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 56,4、若 ,則,Wei-Shi Zhengwszheng@ieee.o

39、rg,3/3/2024, Page 57,條件分布和獨(dú)立性,, 我們希望求給定 的條件分布，即 的分布。下一個(gè)定理指出：正態(tài)分布的條件分布仍為正態(tài)分布。,設(shè) p≥2,將X、μ和Σ剖分如下：,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 58,定理： 設(shè) ，Σ>0，則,Wei-Shi Zhen

40、gwszheng@ieee.org,3/3/2024, Page 59,均值向量的估計(jì),在一般情況下,設(shè)樣本矩陣為：,設(shè)樣品 相互獨(dú)立,同遵從于P元正態(tài)分布 ,而且n>p,Σ>0,則總體參數(shù)均值μ的估計(jì)量是,均值向量和協(xié)方差陣的估計(jì),Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 60,即均值向量μ的估計(jì)量,就是樣本均值向量.這可由極

41、大似然法推導(dǎo)出來。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 61,協(xié)方差陣的估計(jì),總體參數(shù)協(xié)差陣Σ的極大似然估計(jì)是,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 62,其中L是離差陣，它是每一個(gè)樣品（向量）與樣本均值（向量）的離差積形成的n個(gè) 階對(duì)稱陣的和。同一元相似， 不是Σ的無偏估計(jì)，為了得到無偏估計(jì)我們常用樣本

42、協(xié)差陣 作為總體協(xié)差陣的估計(jì)。,62,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 63,3. 多元線性回歸分析,1.多元線性回歸的數(shù)學(xué)模型,2.模型參數(shù)的最小二乘估計(jì),Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 64,多元線性回歸的數(shù)學(xué)模型,? 模型的理論假設(shè),,是因變量，則多元線性回歸模型的理論假設(shè)是,為隨機(jī)誤差.,

43、Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 65,? 模型的建立,求 p 元線性函數(shù),的經(jīng)驗(yàn)回歸方程,的統(tǒng)計(jì)估計(jì)，稱為經(jīng)驗(yàn)回歸系數(shù).,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 66,模型的數(shù)據(jù)結(jié)構(gòu),方便，我們引進(jìn)矩陣,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 67,于

44、是，多元線性回歸模型的數(shù)據(jù)結(jié)構(gòu)為,稱為多元樣本回歸方程，其中,稱為回歸設(shè)計(jì)矩陣或資料矩陣.,模型的數(shù)據(jù)結(jié)構(gòu),Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 68,⑴ 條件,表明，,是一個(gè)滿稚矩,的個(gè)數(shù)應(yīng)當(dāng)大于解釋變量的個(gè)數(shù). 違反該假設(shè)時(shí)，稱模型存在多重共線性問題.,⑵ 條件,且各個(gè),相互獨(dú)立,對(duì)多元線性回歸模型理論假設(shè)的說明,68,Wei-Shi Zhengwszheng@ie

45、ee.org,3/3/2024, Page 69,時(shí)，稱回歸模型存在自相關(guān).,當(dāng)模型違反上述假設(shè)后，就不能使用最小二乘法估計(jì)來求解回歸系數(shù).解決方法可參考回歸分析相關(guān)教材。先介紹模型符合假設(shè)時(shí)的參數(shù)估計(jì)方法.,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 70,模型參數(shù)的最小二乘估計(jì),? 參數(shù)估計(jì)的準(zhǔn)則,定義離差平方和,Wei-Shi Zhengwszheng@ieee.o

46、rg,3/3/2024, Page 71,計(jì)，稱,擬合值.稱,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 72,參數(shù)估計(jì)的算法,當(dāng)滿足元線性回歸模型理論假設(shè)的條件時(shí)，模型參數(shù),的最小二乘解為,可以證明,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 73,其中,波動(dòng)大小可以由抽樣過程中進(jìn)行控制.同一元線性回歸分,Wei-S

47、hi Zhengwszheng@ieee.org,3/3/2024, Page 74,主成分分析主成分回歸,主成分分析,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 75,匯報(bào)什么？,假定你是一個(gè)公司的財(cái)務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、流動(dòng)資金、每一筆借貸的數(shù)額和期限、各種稅費(fèi)、工資支出、原料消耗、產(chǎn)值、利潤(rùn)、折舊、職工人數(shù)、職工的分工和教育程度等等。如果

48、讓你向上面介紹公司狀況，你能夠把這些指標(biāo)和數(shù)字都原封不動(dòng)地?cái)[出去嗎？ 當(dāng)然不能。你必須要把各個(gè)方面作出高度概括，用一兩個(gè)指標(biāo)簡(jiǎn)單明了地把情況說清楚。,75,例子,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 76,主成分分析,每個(gè)人都會(huì)遇到有很多變量的數(shù)據(jù)。比如全國(guó)或各個(gè)地區(qū)的帶有許多經(jīng)濟(jì)和社會(huì)變量的數(shù)據(jù)；各個(gè)學(xué)校的研究、教學(xué)等各種變量的數(shù)據(jù)等等。這些數(shù)據(jù)的共同特點(diǎn)是變量很多

49、，在如此多的變量之中，有很多是相關(guān)的。人們希望能夠找出它們的少數(shù)“代表”來對(duì)它們進(jìn)行描述。介紹兩種把變量維數(shù)降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。實(shí)際上主成分分析可以說是因子分析的一個(gè)特例。在引進(jìn)主成分分析之前，先看下面的例子。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Pag

50、e 77,一項(xiàng)十分著名的工作是美國(guó)的統(tǒng)計(jì)學(xué)家斯通(stone)在1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究。他曾利用美國(guó)1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映國(guó)民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫存、股息、利息外貿(mào)平衡等等。,主成分基本思想,77,一個(gè)經(jīng)濟(jì)學(xué)的例子：,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 78,在進(jìn)行主成分分析后，竟以97.

51、4％的精度，用三新變量就取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3。更有意思的是，這三個(gè)變量其實(shí)都是可以直接測(cè)量的。斯通將他得到的主成分與實(shí)際測(cè)量的總收入I、總收入變化率?I以及時(shí)間t因素做相關(guān)分析，得到下表：,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 79,Wei-Shi Zhengwszheng@i

52、eee.org,3/3/2024, Page 80,主成分分析是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡(jiǎn)化分析的方法。 在社會(huì)經(jīng)濟(jì)的研究中，為了全面系統(tǒng)的分析和研究問題，必須考慮許多經(jīng)濟(jì)指標(biāo)，這些指標(biāo)能從不同的側(cè)面反映我們所研究的對(duì)象的特征，但在某種程度上存在信息的重疊，具有一定的相關(guān)性。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 81,成績(jī)數(shù)據(jù): 100個(gè)學(xué)生的

53、數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語的成績(jī)?nèi)缦卤恚ú糠郑?Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 82,從本例可能提出的問題,目前的問題是，能不能把這個(gè)數(shù)據(jù)的6個(gè)變量用一兩個(gè)綜合變量來表示呢？這一兩個(gè)綜合變量包含有多少原來的信息呢？能不能利用找到的綜合變量來對(duì)學(xué)生排序呢？這一類數(shù)據(jù)所涉及的問題可以推廣到對(duì)企業(yè)，對(duì)學(xué)校進(jìn)行分析、排序、判別和分類等問題。,Wei-Shi Zhe

54、ngwszheng@ieee.org,3/3/2024, Page 83,主成分分析,例中的的數(shù)據(jù)點(diǎn)是六維的；也就是說，每個(gè)觀測(cè)值是6維空間中的一個(gè)點(diǎn)。我們希望把6維空間用低維空間表示。先假定只有二維，即只有兩個(gè)變量，它們由橫坐標(biāo)和縱坐標(biāo)所代表；因此每個(gè)觀測(cè)值都有相應(yīng)于這兩個(gè)坐標(biāo)軸的兩個(gè)坐標(biāo)值；如果這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣（這在變量的二維正態(tài)的假定下是可能的）那么這個(gè)橢圓有一個(gè)長(zhǎng)軸和一個(gè)短軸。在短軸方向上，數(shù)據(jù)變化很

55、少；在極端的情況，短軸如果退化成一點(diǎn)，那只有在長(zhǎng)軸的方向才能夠解釋這些點(diǎn)的變化了；這樣，由二維到一維的降維就自然完成了。,83,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 84,主成分分析,當(dāng)坐標(biāo)軸和橢圓的長(zhǎng)短軸平行，那么代表長(zhǎng)軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標(biāo)軸通常并不和橢圓的長(zhǎng)短軸平行。因此，需要尋找橢圓的長(zhǎng)短軸，并進(jìn)行變換，使

56、得新變量和橢圓的長(zhǎng)短軸平行。如果長(zhǎng)軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個(gè)變量（舍去次要的一維），降維就完成了。橢圓（球）的長(zhǎng)短軸相差得越大，降維也越有道理。,84,幾何分析,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 85,,幾何分析,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 86,主成分分析,對(duì)于多

57、維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見罷了。首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最長(zhǎng)的幾個(gè)軸作為新變量；這樣，主成分分析就基本完成了。注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分(principal component)。,86,幾何分析,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page

58、 87,主成分分析試圖在力保數(shù)據(jù)信息丟失最少的原則下，對(duì)這種多變量的截面數(shù)據(jù)表進(jìn)行最佳綜合簡(jiǎn)化，也就是說，對(duì)高維變量空間進(jìn)行降維處理。 很顯然，識(shí)辨系統(tǒng)在一個(gè)低維空間要比在一個(gè)高維空間容易得多。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 88,(1) 基于相關(guān)系數(shù)矩陣還是基于協(xié)方差矩陣做主成分分析。當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基

59、于相關(guān)系數(shù)矩陣的主成分分析。,在力求數(shù)據(jù)信息丟失最少的原則下，對(duì)高維的變量空間降維，尋找主成分，即研究指標(biāo)體系的少數(shù)幾個(gè)線性組合，這些綜合指標(biāo)將盡可能多地保留原來指標(biāo)變異方面的信息。 要討論的問題是：,88,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 89,（2） 選擇幾個(gè)主成分。主成分分析的目的是簡(jiǎn)化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡

60、主成分個(gè)數(shù)和保留的信息。 （3）如何解釋主成分所包含的實(shí)際意義。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 90,,,,,數(shù)學(xué)模型與幾何解釋,假設(shè)我們所討論的實(shí)際問題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為X1，X2，…，Xp，主成分分析就是要把這p個(gè)指標(biāo)的問題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問題，而這些新的指標(biāo)F1，F(xiàn)2，…，F(xiàn)k(k≤p），按照保留主要

61、信息量的原則充分反映原指標(biāo)的信息，并且相互獨(dú)立。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 91,這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過程在數(shù)學(xué)上就叫做降維。主成分分析通常的做法是，尋求原指標(biāo)的線性組合Fi。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 92,滿足如下的條件：,主成分之間相互獨(dú)立，即無重疊的信息。即,主成

62、分的方差依次遞減，重要性依次遞減，即,每個(gè)主成分的系數(shù)平方和為1。即,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 93,主成分分析的幾何解釋,平移、旋轉(zhuǎn)坐標(biāo)軸,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 94,為了方便，我們?cè)诙S空間中討論主成分的幾何意義。 設(shè)有n個(gè)樣品，每個(gè)樣品有兩個(gè)觀測(cè)變量xl和x2，在由變量xl和x2

63、所確定的二維平面中，n個(gè)樣本點(diǎn)所散布的情況如橢圓狀。由圖可以看出這n個(gè)樣本點(diǎn)無論是沿著xl 軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量xl 的方差和x2 的方差定量地表示。顯然，如果只考慮xl和x2 中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 95,主成分分析的幾何解釋,平移、旋轉(zhuǎn)坐標(biāo)軸,We

64、i-Shi Zhengwszheng@ieee.org,3/3/2024, Page 96,如果我們將xl 軸和x2軸先平移，再同時(shí)按逆時(shí)針方向旋轉(zhuǎn)?角度，得到新坐標(biāo)軸Fl和F2。Fl和F2是兩個(gè)新變量。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 97,旋轉(zhuǎn)變換的目的是為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離 散程度最大，即Fl的方差最大。變量Fl代表了原始數(shù)據(jù)的絕大 部分

65、信息，在研究某經(jīng)濟(jì)問題時(shí)，即使不考慮變量F2也無損大局。經(jīng)過上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮作用。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 98,Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問題時(shí)避免了信息重疊所帶來的虛假性。二維平面上的個(gè)點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2

66、軸上的方差很小。Fl和F2稱為原始變量x1和x2的綜合變量。F簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 99,主成分分析數(shù)學(xué)基礎(chǔ)簡(jiǎn)介,一、兩個(gè)線性代數(shù)的結(jié)論,1、若A是p階實(shí)對(duì)稱陣，則一定可以找到正交陣U，使,其中 是A的特征根。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Pa

67、ge 100,2、若上述矩陣的特征根所對(duì)應(yīng)的單位特征向量為,,則實(shí)對(duì)稱陣 屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即有,,令,,,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 101,主成分的推導(dǎo),（一） 第一主成分,設(shè)X的協(xié)方差陣為,由于Σx為非負(fù)定的對(duì)稱陣，則有利用線性代數(shù)的知識(shí)可得，必存在正交陣U，使得,Wei-Shi Zhengwszheng@ieee.org,3/3/

68、2024, Page 102,其中?1， ?2，…， ?p為Σx的特征根，不妨假設(shè)?1? ?2 ? … ??p 。而U恰好是由特征根相對(duì)應(yīng)的特征向量所組成的正交陣。,,下面我們來看，是否由U的第一列元素所構(gòu)成為原始變量的線性組合是否有最大的方差。,Wei-Shi Zhengwszheng@ieee.org,3/3/2024, Page 103,設(shè)有P維正交向量,Wei-Shi Zhengwszheng@ieee.o