研究生應(yīng)用數(shù)理統(tǒng)計(jì)方差分析

1、,,,,? 方差分析概述,方差分析,? 單因子方差分析,? 雙因子方差分析,? 多元方差分析,Analysis of Variance ，ANOVA,方差分析是重要的、應(yīng)用廣泛的實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)分析,方法，其實(shí)質(zhì)是檢驗(yàn)多個(gè)變量均值的一致性.,1. 方差分析概述,ANOVA 由英國(guó)統(tǒng)計(jì)學(xué)家 R.A.Fisher 首創(chuàng).,為紀(jì)念 Fisher，方差分析又稱 F 檢驗(yàn) .,? 方差分析的幾個(gè)基本概念,如原料成分、原料劑量、催化劑、反應(yīng)時(shí)間、設(shè)備

2、等.,— 試驗(yàn)中對(duì)因子的不同處理或所處的狀態(tài).,試驗(yàn)指標(biāo),— 試驗(yàn)所考察的事項(xiàng)，亦稱響應(yīng)變量.,如考察化工生產(chǎn)中產(chǎn)品的質(zhì)量、數(shù)量.,試驗(yàn)因子,— 影響試驗(yàn)指標(biāo)的因素.,因子水平,依據(jù)實(shí)驗(yàn)數(shù)據(jù)，判斷在因子的不同處理下響應(yīng)變量是,回答這一類問(wèn)題的基本方法，就是比較每一種處理下,響應(yīng)變量的均值是否相等.,? 方差分析的工作目標(biāo),否有差異？,單因子方差分析,雙因子方差分析,多元方差分析,— 單指標(biāo)、單因子、多因子水平的實(shí)驗(yàn)數(shù)據(jù)分析.,— 單指標(biāo)

3、、雙因子、多因子水平的實(shí)驗(yàn)數(shù)據(jù)分析.,— 多指標(biāo)、單因子、多因子水平的實(shí)驗(yàn)數(shù)據(jù)分析.,常用不同的英文大寫字母表示試驗(yàn)因子，用大寫字母,加下標(biāo)表示該因子的不同水平.,例1 一位英語(yǔ)教師想檢查 3 種不同教學(xué)方法的效果，,為此隨機(jī)選取 24 位學(xué)生并把他們分成 3 組，相應(yīng)用三種方,績(jī)?nèi)绫?1.,性差異？,表1 英語(yǔ)成績(jī)表,法教學(xué).一段時(shí)間后教師對(duì)這 24 位學(xué)生進(jìn)行統(tǒng)考，統(tǒng)考成,試問(wèn)在 0.05 顯著性水平下，這三種教學(xué)方法有無(wú)顯著,英語(yǔ)

4、成績(jī)是否有顯著影響.若有影響，哪一種教學(xué)方法好？,同的變量.,分析 問(wèn)題是判斷教師所采用的不同教學(xué)方法對(duì)學(xué)生,方差分析中將因子的各個(gè)水平下的試驗(yàn)指標(biāo)看作是不,響應(yīng)變量 — 英語(yǔ)成績(jī).,影響因子 — 教學(xué)方法，記為 A .,因子水平 — 教學(xué)方法的三種處理，記為 A1 , A2 , A3 .,通常假定每一個(gè)變量服從方差相等的正態(tài)分布，并且,? 方差分析的三個(gè)基本的理論假設(shè),是相互獨(dú)立的.,顯然，這是一個(gè)單因子方差分析問(wèn)題.,如三種教學(xué)方法

5、下的英語(yǔ)成績(jī) y1, y2, y3 .,? 條件誤差 —由因子的不同處理(三種不同的教學(xué),? 隨機(jī)誤差 —由隨機(jī)因素(不可控制或不可預(yù)知的,因素，如考試時(shí)的環(huán)境、時(shí)間對(duì)學(xué)生的影響)引起的差異.,異，按 Fisher 的思路可以通過(guò)分析造成成績(jī)數(shù)據(jù)差異的原,判斷不同的教學(xué)方法對(duì)英語(yǔ)成績(jī)的影響是否有顯著差,? 方差分析的基本思路,實(shí)驗(yàn)數(shù)據(jù)（英語(yǔ)成績(jī)）差異的來(lái)源：,因來(lái)得到答案.,方法)引起的差異.,總偏差平方和 = 條件誤差平方和 + 隨機(jī)

6、誤差平方和,在總偏差平方和中，條件誤差平方和與隨機(jī)誤差平方和,如果是條件誤差平方和是決定性的，則說(shuō)明因子的不同,因子的不同處理對(duì)響應(yīng)變量的影響是否有差異，可以用,差平方和按照產(chǎn)生的原因進(jìn)行分解，得到：,方差分析中的一個(gè)最基本的關(guān)系式，就是將數(shù)據(jù)總的偏,實(shí)驗(yàn)數(shù)據(jù)之間的差異可用 偏差平方和 的概念描述.,方差分析的任務(wù)就是進(jìn)一步判斷：,究竟哪一個(gè)是決定性的（占更大的比重）？,處理對(duì)響應(yīng)變量的影響是有差異的.,不同處理下響應(yīng)變量的均值是否相同

7、來(lái)描述.,? 方差分析基本任務(wù)的統(tǒng)計(jì)描述,判斷不同處理下響應(yīng)變量的均值是否相同，可歸結(jié)為,統(tǒng)計(jì)推斷問(wèn)題，即檢驗(yàn)假設(shè),H0 : 不同處理下響應(yīng)變量的均值相同;,H1 : 不同處理下響應(yīng)變量的均值不完全相同.,? 當(dāng)前的問(wèn)題是否滿足三個(gè)基本的理論假設(shè)；,圍繞 H0 的檢驗(yàn)，應(yīng)思考并解決如下三個(gè)方面的問(wèn)題：,? 若拒絕 H0 ，如何找出因子的最優(yōu)處理？,? 檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造與分布是怎樣的？如何決策？,2.1 單因子方差分析統(tǒng)計(jì)模型及檢驗(yàn)

8、方法,? 單因子方差分析統(tǒng)計(jì)模型,在單因子試驗(yàn)中，設(shè)因子 A 有 r 個(gè)水平，第 i 個(gè)水平,2. 單因子方差分析,Ai 下響應(yīng)變量 yi 的均值為μi ，其容量為 mi 的一個(gè)樣本數(shù),于是，單因子方差分析的統(tǒng)計(jì)模型為：,據(jù)為,檢驗(yàn)假設(shè),記,于是，單因子方差分析的統(tǒng)計(jì)模型可改寫為:,顯然,檢驗(yàn)假設(shè),— Ai 的（主）效應(yīng),— 響應(yīng)變量的總均值,— 樣本總?cè)萘?? 檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造與分布,—總偏差平方和,—變量 yi 的均值,—樣本總均值

9、,記,— SST 的自由度,SSE 反映組內(nèi)數(shù)據(jù)的隨機(jī)誤差.,—誤差偏差平方和,—因子偏差平方和,SSA 反映組間由效應(yīng)不同引起的數(shù)據(jù)差異.,— SSA 的自由度,— SSE 的自由度,SST = SSA + SSE ( SSE = SST – SSA ).,在單因素方差分析模型中，對(duì)上述定義的三個(gè)偏差,平方和 SST，SSE，SSA，有下面的定理：,⑴ 平方和分解定理,⑵ SSE的分布定理,⑶ SSA的分布定理 當(dāng)假設(shè) H0 為

10、真時(shí)，有,?,?,?,?,?,因此，可采用統(tǒng)計(jì)量 F 來(lái)檢驗(yàn)假設(shè) H0，拒絕域?yàn)?拒絕假設(shè) H0 的最小顯著性概率為,? SSA與 SSE 相互獨(dú)立 .,⑷ 檢驗(yàn)統(tǒng)計(jì)量及其分布定理 當(dāng)假設(shè) H0 為真時(shí)，有,顯然，檢驗(yàn)假設(shè) H0 不真時(shí)，SSA 會(huì)變得偏大. 但是,數(shù)附近）. 因此，統(tǒng)計(jì)量 F 的值偏大不利于 H0 .,無(wú)論 H0 真否，SSE/(n-r) 都是σ2 的無(wú)偏估計(jì)（穩(wěn)定在常,,,表2 單因子方差分析表,? 檢驗(yàn)的步驟

11、與結(jié)果的報(bào)告,其中，計(jì)算可按下列順序進(jìn)行：,?,?,?,?,?,?,? MATLAB系統(tǒng)的單因素方差分析函數(shù),當(dāng)在因子 A 的每一水平下重復(fù)試驗(yàn)次數(shù)相同時(shí)，即當(dāng),時(shí)，可由 MATLAB 系統(tǒng)提供的 anova1 函數(shù)進(jìn)行單因素方,差分析.,調(diào)用方法,[p，anovatab，stats]=anova1(X，group，'displayopt'),輸入?yún)?shù)說(shuō)明,X — 表示樣本點(diǎn)×變量型的觀測(cè)值的 m×

12、r 矩陣.,,group — 是表示r個(gè)變量意義的字符串?dāng)?shù)組，可缺省.,輸出參數(shù)說(shuō)明,隱藏，有兩個(gè)取值：on（顯示）和 off（隱藏）.,displayopt — 控制方差分析表圖形和 Box 圖的顯示和,stats — 返回若干個(gè)相關(guān)統(tǒng)計(jì)量的值，可缺省.,p — 返回 X 的各列均值相等的最小顯著性概率.,anovatab — 返回單因素方差分析表.,2.2 否定 H0 之后的延伸分析,? 模型標(biāo)準(zhǔn)誤差與因子效應(yīng)的估計(jì),

13、⑴ 模型標(biāo)準(zhǔn)誤差的點(diǎn)估計(jì)定理,⑵ 因子效應(yīng)的估計(jì)定理,? μi 的置信水平為 1-α 的置信區(qū)間,? 因子效應(yīng)的點(diǎn)估計(jì),? 因子效應(yīng)的多重比較,對(duì)任意兩個(gè)水平均值之間有無(wú)顯著差異進(jìn)行多重比較，,檢驗(yàn)的統(tǒng)計(jì)量為,即同時(shí)檢驗(yàn)以下 假設(shè),,對(duì)于給定的檢驗(yàn)水平α ，當(dāng),,時(shí)拒絕 .,LSD 方法 .,實(shí)際應(yīng)用中，多重比較的操作常采用 Fisher 提出的,? 計(jì)算水平 i 和 j 均值μi 與μj 的最小顯著差異值,? 逐一比較

14、，當(dāng),時(shí)，認(rèn)為均值μi 與μj 不同 .,實(shí)際應(yīng)用中，可根據(jù)多重比較和因子效應(yīng)的估計(jì)篩選,出因子的最優(yōu)處理 .,2.3 方差分析前的模型適應(yīng)性分析,在進(jìn)行方差分析之前，通常應(yīng)進(jìn)行模型的適應(yīng)性分析，,即檢驗(yàn)當(dāng)前的樣本數(shù)據(jù)是否滿足單因子方差分析統(tǒng)計(jì)模型,的三個(gè)基本的理論檢驗(yàn) .,? 正態(tài)性檢驗(yàn) —正態(tài)概率紙檢驗(yàn)法,還能夠粗略地估計(jì)出分布的數(shù)字特征.,正態(tài)概率紙是一種現(xiàn)場(chǎng)統(tǒng)計(jì)常用的判斷變量正態(tài)性的,簡(jiǎn)單工具，使用它可以很快的判斷變量是否

15、服從正態(tài)分布，,正態(tài)概率紙的構(gòu)造原理:,設(shè)變量 X 的分布函數(shù)為 F(x) , 需要檢驗(yàn),在原假設(shè) H0 成立時(shí)，,Φ(x) 是標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù) ,其中,并且,,在標(biāo)準(zhǔn)(單位長(zhǎng)度相等)直角坐標(biāo)平面 xou 上，函數(shù),的圖象是一條直線，過(guò)點(diǎn)(μ,0) ，斜率為 1/σ.,為使這條直線能夠直觀的解釋變量的取值 x 與概率,P(X≤x) 之間的關(guān)系，進(jìn)行如下坐標(biāo)刻度更新：,在標(biāo)準(zhǔn)直角坐標(biāo)平面 xou 上，保持橫軸上 x 的刻度,不變，而

16、把縱軸上 u 的刻度更新為 y=100Φ(x) ，并規(guī)定,100Φ(-∞)= 0 ， 100Φ(+∞)=100 ，,這樣就將直角坐標(biāo)系 xou 更新為直角坐標(biāo)系 xoy .,由于 y 軸上的刻度 0 與 100 分別對(duì)應(yīng) u 軸上的-∞和,+∞，因此 y 軸上無(wú)法標(biāo)示出 0 與 100 ，一般軸上的刻度,稱以 xoy 為刻度體系的坐標(biāo)紙為正態(tài)概率紙.,根據(jù)正態(tài)概率紙的構(gòu)造原理可知，在 xou 直角坐標(biāo),系中的 x 和 u 的關(guān)系,在 x

17、oy 直角坐標(biāo)系中的成為 x 和 y 的關(guān)系,標(biāo)示限于 0.01 到 99.99 之間.,反之亦然.,對(duì)于正態(tài)概率紙上的一條直線，若該直線能表示為,則,,是一個(gè)正態(tài)分布的分布函數(shù).,所組成的集合，與全體正態(tài)分布所組成的正態(tài)分布族之間，,這表明，正態(tài)概率紙上斜率存在且大于零的全體直線,存在一一對(duì)應(yīng)關(guān)系.,下面介紹正態(tài)概率紙檢驗(yàn)法及其 MATLAB 實(shí)現(xiàn).,為了檢驗(yàn)假設(shè) H0 ,設(shè),,求出經(jīng)驗(yàn)分布函數(shù) Fn(x)，然后在正態(tài)概率紙描出點(diǎn)列,

18、,,當(dāng) H0 為真時(shí)，在正態(tài)概率紙上該點(diǎn)列應(yīng)該近似地,否則，認(rèn)為 H0 不成立，即變量 X 不服從正態(tài)分布.,MATLAB提供了利用正態(tài)概率紙檢驗(yàn)變量正態(tài)性的繪,在一條直線附近.,圖函數(shù) normplot，其調(diào)用格式為 normplot( x ) ，輸入?yún)?shù),x 是樣本數(shù)據(jù)向量.,? 方差齊性檢驗(yàn),方差齊性檢驗(yàn)的假設(shè)為,方差齊性通常采用 Bartlett 檢驗(yàn)方法.,檢驗(yàn)統(tǒng)計(jì)量,在顯著性水平α下，拒絕域?yàn)?? 獨(dú)立性檢驗(yàn),當(dāng)樣本容量較小

19、時(shí)，沒(méi)有較好的檢驗(yàn)方法，通常根據(jù),檢驗(yàn)法對(duì)方差齊性和獨(dú)立性進(jìn)行同步檢驗(yàn).,當(dāng)正態(tài)性檢驗(yàn)獲得通過(guò)，樣本容量較大時(shí)，可用球性,采樣操作的情形對(duì)獨(dú)立性進(jìn)行直觀判斷.,感興趣的同學(xué)可參閱高惠璇編著《應(yīng)用多元統(tǒng)計(jì)分析》,第3.4節(jié)（北京大學(xué)出版社，2005）.,下面，對(duì)單因子方差分析的應(yīng)用步驟小結(jié)如下：,⑴ 模型適應(yīng)性分析,? 獨(dú)立性分析,⑵ 方差分析,⑶ 延伸分析,? 多重比較,? 模型標(biāo)準(zhǔn)誤差和因子效應(yīng)的估計(jì),單因子方差分析應(yīng)用舉例,? 正態(tài)

20、性檢驗(yàn),? 方差齊性檢驗(yàn),問(wèn)題 若模型適應(yīng)性分析未能通過(guò)，是否不能繼續(xù)后面的步驟 ⑵ ？,回答 可以繼續(xù)步驟 ⑵ . 有研究表明，F(xiàn)統(tǒng)計(jì)量的穩(wěn)健性強(qiáng)，即使⑴中三項(xiàng)中的?或?檢驗(yàn)未能通過(guò)，只要有較好的獨(dú)立性，F(xiàn)檢驗(yàn)仍有較好的效力，但需要注意模型標(biāo)準(zhǔn)誤差會(huì)有所提高.,3.1 無(wú)交互作用的雙因子方差分析,設(shè) A 與 B 是對(duì)試驗(yàn)指標(biāo)有影響的兩個(gè)因子，判斷因子,設(shè)因子A 有 r 個(gè)水平，因子 B 有 s 個(gè)水平，現(xiàn)對(duì)因子,個(gè)處理.,3

21、. 雙因子方差分析,的不同處理對(duì)試驗(yàn)指標(biāo)的影響是否有顯著差異？,雙因子方差分析方法的特殊效力在于分析者可以考慮,兩個(gè)因子之間的交互作用對(duì)試驗(yàn)指標(biāo)的影響.,A、B 的不同水平的每種組合下進(jìn)行試驗(yàn)或抽樣，共 r×s,假定兩個(gè)因子之間的不存在交互作用.,在因子間交互作用的情形下，可對(duì)因子水平的每個(gè)組,合 (Ai , Bj ) 僅安排一次試驗(yàn)來(lái)獲取試驗(yàn)指標(biāo) yij 的測(cè)量值.,無(wú)交互作用的雙因子方差分析的數(shù)據(jù)結(jié)構(gòu)如下：,? 數(shù)據(jù)結(jié)構(gòu),

22、記,— Ai 的（主）效應(yīng).,— Bj 的（主）效應(yīng).,顯然,? 統(tǒng)計(jì)模型與檢驗(yàn)假設(shè),檢驗(yàn)假設(shè),于是，無(wú)交互作用的雙因子方差分析的統(tǒng)計(jì)模型為,,,檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造思想方法類似于單因子方差分析.,? 檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造與分布,—總偏差平方和,—因子水平 Ai 的樣本均值,—樣本總均值,記,— SST 的自由度,—因子水平 Bj 的樣本均值,SSE 反映組內(nèi)數(shù)據(jù)的隨機(jī)誤差.,—誤差偏差平方和,—因子 A 的偏差平方和,SSA 和 SSB 反映

23、組間由效應(yīng)不同引起的數(shù)據(jù)差異.,— SSA 的自由度,— SSE 的自由度,—因子 B 的偏差平方和,— SSB 的自由度,⑴ 平方和分解定理,⑵ 平方和分布定理,?,?,?,在無(wú)交互作用的雙因子方差分析模型中，有如下定理：,?,⑶ 檢驗(yàn)統(tǒng)計(jì)量的分布定理,?,?,? 檢驗(yàn)的決策準(zhǔn)則,?,?,,,,通常用無(wú)交互作用的雙因子方差分析表報(bào)告檢驗(yàn)結(jié)果.,? 檢驗(yàn)結(jié)果的報(bào)告,無(wú)交互作用的雙因子方差分析表,3.2 有交互作用的雙因子方差分析,引

24、例 交互作用的直觀解釋,兩種不同類型的化肥，如果同時(shí)施用時(shí)，總作用等于分別施用時(shí)的作用之和，說(shuō)明沒(méi)有交互作用；如果總作用大于（或小于）分別施用時(shí)的作用之和，說(shuō)明有正的（或負(fù)的）交互作用。,例如在四塊面積相同的大豆實(shí)驗(yàn)田上，用四種不同的方式施肥，其中 因子1：磷肥（兩種水平，i=1,2） 因子2：氨肥 （兩種水平，j=1,2）實(shí)驗(yàn)數(shù)據(jù)如下表：,不施氨肥，單獨(dú)施加磷肥增產(chǎn) 50斤；不施磷肥，單獨(dú)施加氨肥增

25、產(chǎn) 30斤；同時(shí)施加磷肥和氨肥總作用160，大于各自的分作用之和，所以有交互作用。,,,,,,的這種情況下，數(shù)據(jù)結(jié)構(gòu)如下表：,3.2 有交互作用的雙因子方差分析,所謂交互作用，就是因素之間的聯(lián)合搭配作用對(duì)實(shí)驗(yàn),結(jié)果產(chǎn)生了影響. 一般的在有重復(fù)實(shí)驗(yàn)的雙因子方差分析,記,— Ai 的（主）效應(yīng).,— Bj 的（主）效應(yīng).,顯然,? 統(tǒng)計(jì)模型與檢驗(yàn)假設(shè),—Ai和Bj的交互效應(yīng).,于是，交互作用的雙因子方差分析的統(tǒng)計(jì)模型為,,H03 即 A

26、 與 B 的交互效應(yīng)對(duì)試驗(yàn)指標(biāo)影響不顯著.,,在給定的顯著性水平α下，檢驗(yàn)如下統(tǒng)計(jì)假設(shè)：,有交互作用的雙因子方差分析表,其中,的原假設(shè).,或者由檢驗(yàn)的最小顯著性概率 p 作出決策，當(dāng) p <α?xí)r,當(dāng)計(jì)算出 F 的值大于給定α的臨界值時(shí)，則拒絕相應(yīng),檢驗(yàn)準(zhǔn)則是:,拒絕相應(yīng)的原假設(shè).,對(duì)于雙因素方差分析的問(wèn)題的處理，MATLAB提供了,命令 anova2，其調(diào)用格式為,[p，table]=anova2(X，reps，'disp

27、layopt'),這個(gè)命令和anoval()類似，只是輸入矩陣X的行、列各,表示一個(gè)因子，不同的行（列）表示該因子不同處理下的,響應(yīng)變量的觀測(cè)值向量.每一個(gè)“行與列的偶對(duì)”稱為一個(gè),數(shù)據(jù)單元，如果各數(shù)據(jù)單元擁有多于一個(gè)的觀測(cè)點(diǎn)，則參,數(shù)reps聲明每一個(gè)單元觀測(cè)點(diǎn)的數(shù)目.,,行因子有三種不同處理，列因子有兩種不同處理，每個(gè)數(shù),據(jù)單元不同數(shù)據(jù)標(biāo)號(hào)（變動(dòng)的下標(biāo)）個(gè)數(shù)為2，則reps＝2,（亦即每個(gè)數(shù)據(jù)單元行數(shù)與列數(shù)的較大者）.輸出參

28、數(shù)p是,檢驗(yàn)列和行及其交互作用均值相等的最小顯著性概率.,雙因子方差分析應(yīng)用舉例,如在下面的矩陣中，,4. 多元方差分析,設(shè)在試驗(yàn)中同時(shí)考察 p 個(gè)指標(biāo)（響應(yīng)變量），A 是,對(duì)每一個(gè)試驗(yàn)指標(biāo)均可能有影響的因子，假定在實(shí)驗(yàn)中對(duì),因子 A 進(jìn)行了 k 個(gè)不同的處理（水平），需要判斷這 k 個(gè),此類問(wèn)題通常稱為單因子多指標(biāo)試驗(yàn)，對(duì)因子水平,不同的處理對(duì)試驗(yàn)指標(biāo)的影響是否由顯著差異？,差異的顯著性分析稱為多元方差分析.,? 多元方差分析的統(tǒng)計(jì)模

29、型,檢驗(yàn)假設(shè),? 多元方差分析的檢驗(yàn)方法,由多元方差分析的統(tǒng)計(jì)模型，第 i 種因子處理下響應(yīng),變量的數(shù)據(jù)矩陣為,上構(gòu)造出 Λ 統(tǒng)計(jì)量.,檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造思路類似與單因子方差分析中 F 統(tǒng),計(jì)量的構(gòu)造，這里是對(duì)總離差矩陣進(jìn)行分解，并在此基礎(chǔ),下面檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造及相關(guān)定理.,記,則,進(jìn)而,? 組內(nèi)離差矩陣的分布定理,Wishart分布,其中,第i 組數(shù)據(jù)的隨機(jī)離差矩陣,樣本總?cè)萘?組內(nèi)離差矩陣,? 組間離差矩陣的分布定理,記,則在 H0