第六章異方差

1、1,第六章 異方差,2,第一節(jié) 異方差及其影響第二節(jié) 異方差的發(fā)現(xiàn)和判斷第三節(jié) 異方差的克服和處理,本章結(jié)構(gòu),3,第一節(jié) 異方差及其影響,一、異方差及其分類(lèi)二、異方差的危害,4,一、異方差及其分類(lèi),兩變量和多元線性回歸模型第三條假設(shè)都要求誤差項(xiàng)是同方差的，就是誤差項(xiàng)的方差是常數(shù)，即 不隨i 變化。如果這條假設(shè)不滿足，這時(shí)候稱(chēng)線性回歸模型存在“異方差”或“異方差性” 。異方差可以用圖6.1

2、中對(duì)應(yīng)解釋變量不同觀測(cè)值 和 的誤差項(xiàng)，分布密度函數(shù)形狀不同加以反映。,,,,,,5,圖6－1 兩變量線性回歸模型的異方差,,,,,,,,6,,圖6.1中對(duì)應(yīng)線性回歸模型誤差項(xiàng)的方差 隨著 或i 的增大而增大，這種異方差稱(chēng)為“遞增異方差”，是異方差最常見(jiàn)的類(lèi)型。但也有方差變化趨勢(shì)與上述相反的“遞減異方差”，或者先增后減或先減后增的其他復(fù)雜類(lèi)型的異方差。,,7,,異方差的本質(zhì)特征是誤差項(xiàng)波動(dòng)幅度的變化。一般來(lái)說(shuō)，隨著

3、經(jīng)濟(jì)變量數(shù)值的增大，波動(dòng)幅度往往也會(huì)相應(yīng)的增大。 這一方面是因?yàn)殡S機(jī)因素的作用有隨著經(jīng)濟(jì)變量數(shù)值的增大而增大的可能，另一方面也可能是隨機(jī)性因素本身的變化規(guī)律作用的結(jié)果，此外也可能是觀測(cè)和統(tǒng)計(jì)誤差隨著經(jīng)濟(jì)變量數(shù)值的增大而放大的結(jié)果。這些因素最終都可能導(dǎo)致線性回歸模型誤差項(xiàng)異方差問(wèn)題。,8,,由于數(shù)據(jù)和隨機(jī)誤差項(xiàng)性質(zhì)的差異，一般來(lái)說(shuō)異方差問(wèn)題在截面數(shù)據(jù)的線性回歸分析中更加常見(jiàn)，在時(shí)間序列數(shù)據(jù)中則相對(duì)要少一些。 值得注意的是，當(dāng)線性回歸模

4、型存在解釋變量缺落、函數(shù)形式不準(zhǔn)和參數(shù)改變等模型定式誤差問(wèn)題時(shí)也會(huì)表現(xiàn)出與異方差相似的特征，容易與由誤差項(xiàng)變動(dòng)幅度變化引起的真正異方差混淆。,9,,例如兩個(gè)變量有真實(shí)關(guān)系 其中誤差項(xiàng)滿足線性回歸模型的所有假設(shè)。 但如果誤以為Y 和X 之間的關(guān)系是：并認(rèn)為 ，那么,,,,,10,,若記 ，則

5、因此 是 的函數(shù)，即模型表現(xiàn)出異方差性。這種異方差本質(zhì)上與誤差項(xiàng)波動(dòng)變化的異方差是不同的，是模型誤差項(xiàng)均值非零的系統(tǒng)偏差導(dǎo)致的，我們稱(chēng)這種異方差為“假性的”。,,,,,11,二、異方差的危害,異方差對(duì)以最小二乘估計(jì)為核心的線性回歸分析的作用和價(jià)值有嚴(yán)重影響。 異方差雖然不會(huì)影響最小二乘估計(jì)的無(wú)偏性，但最小二乘估計(jì)量方差的估計(jì)和最小方差性，都是以模型誤差項(xiàng)同方差假設(shè)為基礎(chǔ)的。 當(dāng)線性回歸模型的誤差項(xiàng)存在異方

6、差問(wèn)題時(shí)，普通最小二乘估計(jì)不再是方差最小的估計(jì)，某種形式的加權(quán)最小二乘估計(jì)才是最小方差的有效估計(jì)。,12,,最小二乘估計(jì)量方差確定的困難，則會(huì)對(duì)以參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)和分布特征為基礎(chǔ)的統(tǒng)計(jì)推斷等分析，以及區(qū)間估計(jì)和區(qū)間預(yù)測(cè)等造成嚴(yán)重影響，使這些統(tǒng)計(jì)推斷失去基礎(chǔ)。,13,第二節(jié) 異方差的發(fā)現(xiàn)和判斷,一、 殘差序列圖分析二、 戈德菲爾德-夸特檢驗(yàn)三、 戈里瑟檢驗(yàn),14,一、殘差序列分析,利用模型回歸殘差序列的分布形態(tài)進(jìn)行分析，

7、是發(fā)現(xiàn)和判斷異方差問(wèn)題的基本方法。 以i 或 為橫軸，殘差e為縱軸，作殘差序列的分布圖形，那么模型不存在異方差問(wèn)題時(shí)，回歸殘差應(yīng)該均勻地分布在橫軸上下的一定范圍內(nèi)，如圖6.2（a）。如果殘差序列的分布形態(tài)如圖6.2（b）， 的分布有隨著 的增大而越分散的趨勢(shì)，那么應(yīng)該懷疑存在異方差性，而且是遞增異方差。,,,,15,圖6.2 異方差的發(fā)現(xiàn)和識(shí)別,(a)(b),16,,如果殘差序列分布形態(tài)如圖6.2（c）或（d）

8、，應(yīng)該考慮遞減異方差或復(fù)雜異方差的可能性。如果殘差序列分布形態(tài)如圖6.2（e）或（f），應(yīng)該考慮假性異方差，也就是參數(shù)變化或函數(shù)設(shè)定偏差的可能性等。,17,圖6.2 異方差的發(fā)現(xiàn)和識(shí)別,(c)(d),18,圖6.2 異方差的發(fā)現(xiàn)和識(shí)別,(e)(f),19,,殘差序列圖分析雖然直觀簡(jiǎn)便，但有時(shí)無(wú)法作出明確的判斷，特別是殘差分布形態(tài)不很典型時(shí)很難得出結(jié)論。 為此提出了一些更嚴(yán)密的判斷方法，戈德菲爾德-夸特（Goldfel

9、d-Quandt）檢驗(yàn)和戈里瑟（Glejser）檢驗(yàn)是其中比較常見(jiàn)的兩種。,20,二、戈德菲爾德-夸特檢驗(yàn),這種方法適合檢驗(yàn)樣本容量較大的線性回歸模型的遞增或遞減型異方差性。 我們以遞增異方差為例說(shuō)明戈-夸檢驗(yàn)的思路和方法。 模型存在遞增異方差時(shí)會(huì)在回歸殘差序列的分布中反映出來(lái)，表現(xiàn)為其發(fā)散程度隨某個(gè)解釋變量的增大而不斷增大。,21,,如果將樣本按 排序，那么對(duì)應(yīng)較小 的回歸殘差，平均將明顯小于對(duì)應(yīng)較大的 的回歸殘差

10、。 把按 排序的觀測(cè)樣本分成數(shù)目相同的兩部分，并為了加強(qiáng)顯著性起見(jiàn)，去掉中間占樣本總數(shù)大約1/4到1/3的部分樣本，同時(shí)注意使剩余樣本數(shù)為偶數(shù)。,,,,,22,,對(duì)兩個(gè)子樣本分別進(jìn)行回歸，并計(jì)算這兩組樣本各自的回歸殘差平方和，若這兩個(gè)殘差平方和有明顯差異或者它們之比明顯異于1，就表明存在遞增異方差問(wèn)題。 可以利用F 檢驗(yàn)確定上述殘差平方和之比是否異于1。,23,,最小二乘估計(jì)的回歸殘差平方和服從卡方分布，因此用上述兩個(gè)殘差平方

11、和可以構(gòu)造統(tǒng)計(jì)量其中 表示對(duì)應(yīng)較小 樣本的殘差平方和。 則表示對(duì)應(yīng)較大 樣本的殘差平方和，c是去掉的中間部分樣本數(shù)目。,,,,,,,,24,,這個(gè)F 統(tǒng)計(jì)量服從兩自由度為 的F分布。若給定顯著性水平 ，則可以從F 分布表中查出對(duì)應(yīng)上述自由度的臨界值 。如果計(jì)算到的F 統(tǒng)計(jì)量值 ，則可認(rèn)為兩個(gè)殘差平方和之比明顯大于1，誤差項(xiàng)存在明顯的遞增異方差性

12、。,,,,,25,,如果 ，則認(rèn)為誤差項(xiàng)沒(méi)有明顯的異方差性。事實(shí)上F 越大，則表明異方差性越嚴(yán)重。檢驗(yàn)遞減異方差性的方法是相似的。只要把前面構(gòu)造的F統(tǒng)計(jì)量的分子分母互換，就完全可以用同樣的程序檢驗(yàn)?zāi)Ｐ褪欠翊嬖谶f減型異方差問(wèn)題。 對(duì)于復(fù)雜形態(tài)的異方差性，戈-夸檢驗(yàn)無(wú)法應(yīng)用。,,26,三、戈里瑟檢驗(yàn),戈-夸檢驗(yàn)有一個(gè)缺點(diǎn)，就是無(wú)法確定異方差的具體模式，即方差是如何隨解釋變量或樣本序數(shù)而變化的。 由于異方差的具

13、體模式對(duì)于克服異方差有重要作用，因此戈-夸檢驗(yàn)這方面的弱點(diǎn)對(duì)它的價(jià)值有很大影響。 “戈里瑟（Gleiser）檢驗(yàn)”或與它相似的其他檢驗(yàn)方法，在識(shí)別、確定異方差類(lèi)型方面比戈-夸檢驗(yàn)更有效，但在判斷異方差的存在性方面也許略微不如戈-夸檢驗(yàn)。,27,,戈里瑟檢驗(yàn)的思路是：模型誤差項(xiàng)的異方差性會(huì)在回歸殘差序列的分布中反映出來(lái)，通常表現(xiàn)為隨解釋變量（或某個(gè)解釋變量）變化的某種規(guī)律性。 因?yàn)榉讲钆c誤差項(xiàng)的符號(hào)無(wú)關(guān)，因此考察 的分布情況。

14、那么在存在明顯異方差性時(shí)， 會(huì)有明顯的隨解釋變量變化的趨勢(shì)。,,,28,圖6.3 異方差的戈里瑟檢驗(yàn),,,,,29,,可以通過(guò)回歸方法擬合 與 之間的關(guān)系。如果經(jīng)過(guò)檢驗(yàn)確定兩者之間確實(shí)存在顯著的函數(shù)關(guān)系，那么表明異方差確實(shí)存在。通常擬合的回歸模型是 ，其中l(wèi) 根據(jù)圖6.3中的分布形態(tài)，可以在 中選擇。,,,,,30,,當(dāng) 時(shí)，先作一個(gè)簡(jiǎn)

15、單變換，然后用最小二乘法估計(jì) 和 的估計(jì)值，對(duì) 的顯著性檢驗(yàn)等價(jià)于對(duì)模型誤差項(xiàng)是否存在異方差性的檢驗(yàn)。 如果 確實(shí)存在顯著性，說(shuō)明模型確實(shí)存在異方差性。異方差的具體模式也可以根據(jù)上述回歸方程判斷。,,,,,,31,,與戈里瑟檢驗(yàn)相似的另一種檢驗(yàn)方法，是根據(jù)對(duì)殘差序列和殘差平方序列的直觀分析，采用適當(dāng)?shù)?函數(shù)形式，對(duì)模型 進(jìn)行回歸擬合 與 的關(guān)系，并通過(guò)檢驗(yàn)它

16、們之間是否存在顯著關(guān)系判斷原模型誤差項(xiàng)是否有異方差問(wèn)題。 的函數(shù)形式反映原模型異方差的模式。,,,,,,32,第三節(jié) 異方差的克服和處理,處理異方差，首先可以利用增長(zhǎng)率具有消除隨著數(shù)據(jù)數(shù)值增大而波動(dòng)幅度增大問(wèn)題的作用，通過(guò)改用增長(zhǎng)模型來(lái)消除或避免異方差問(wèn)題。 但這些方法比較盲目，效果如何需要事后的檢驗(yàn)評(píng)價(jià)判斷。處理異方差更主要的方法，是根據(jù)異方差的具體形式，通過(guò)對(duì)模型的相應(yīng)變換等，針對(duì)性地克服異方差問(wèn)題。,33,,

17、如線性回歸模型 經(jīng)檢驗(yàn)，知誤差項(xiàng)有如下形式的異方差性： 可以用 除模型的各項(xiàng)，得到,,,,34,,新模型誤差項(xiàng)的方差為： 顯然已經(jīng)不存在異方差問(wèn)題。用這個(gè)新模型進(jìn)行線性回歸分析，可以克服原模型的異方差問(wèn)題，同樣可以得到原模型所有參數(shù)的估計(jì)。,,35,,考察上述新模型最小二乘估計(jì)的回歸殘差平方和：可以發(fā)現(xiàn)該殘差平方和相當(dāng)于原模型最小二乘估計(jì)殘差平方和，每一項(xiàng)都乘一個(gè)權(quán)重的加權(quán)平方和，其中權(quán)重即

18、 ＝,,,,36,,因此通過(guò)上述模型變換得到的參數(shù)估計(jì)量也稱(chēng)為“加權(quán)最小二乘估計(jì)”。 加權(quán)最小二乘估計(jì)正是克服線性回歸模型異方差性的針對(duì)性方法，這種方法的實(shí)質(zhì)可以理解為對(duì)方差較小部分的樣本數(shù)據(jù)的信息更加重視。,37,[例6-1],在研究某地區(qū)居民的儲(chǔ)蓄傾向時(shí)，得到了如表6.1的數(shù)據(jù)資料。判斷用線性回歸模型研究居民儲(chǔ)蓄傾向時(shí)，誤差項(xiàng)是否存在異方差，以及處理的方法。具體處理請(qǐng)參考eviews軟件。,38,表6.1 個(gè)人收入和儲(chǔ)蓄數(shù)據(jù)

19、,n 儲(chǔ)蓄 收入 n 儲(chǔ)蓄 收入 1 264 8777 17 1578 24127 2 105 9210 18 1654 25604 3 90

20、 9954 19 1400 26500 4 131 10508 20 1829 27670 5 122 10979 21 2200 28300 6 107 1

21、1912 22 2017 27430 7 406 12747 23 2105 29560 8 503 13499 24 1600 28150 9 431 14269

22、 25 2250 32100 10 588 15522 26 2420 32500 11 898 16730 27 2570 35250 12 950 17663 28

23、1720 33500 13 779 18575 29 1900 36000 14 819 19635 30 2100 36200 15 1222 21163 31 2300 3