統(tǒng)計(jì)學(xué)第六版賈俊平12章

1、第 12 章 多元線性回歸,第12章 多元線性回歸,12.1 多元線性回歸模型 12.2 回歸方程的擬合優(yōu)度12.3 顯著性檢驗(yàn)12.4 多重共線性12.5 利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)12.6 虛擬自變量的回歸,學(xué)習(xí)目標(biāo),1.回歸模型、回歸方程、估計(jì)的回歸方程2.回歸方程的擬合優(yōu)度回歸方程的顯著性檢驗(yàn)多重共線性問題及其處理利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)虛擬自變量的回歸問題用 Exce

2、l 進(jìn)行回歸分析,12.1 多元線性回歸模型,多元回歸模型與回歸方程估計(jì)的多元回歸方程參數(shù)的最小二乘估計(jì),多元回歸模型與回歸方程,多元回歸模型 (multiple regression model),一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量 y 如何依賴于自變量 x1 ， x2 ，…， xp 和誤差項(xiàng) ? 的方程，稱為多元回歸模型涉及 p 個(gè)自變量的多元回歸模型可表示為,b0 ，b1，b2 ，?，bp是參數(shù)

3、? 是被稱為誤差項(xiàng)的隨機(jī)變量 y 是x1,，x2 ，? ，xp 的線性函數(shù)加上誤差項(xiàng)? ? 包含在y里面但不能被p個(gè)自變量的線性關(guān)系所解釋的變異性,多元回歸模型(基本假定),誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E(?)=0對(duì)于自變量x1，x2，…，xp的所有值，?的方差?2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,?2)，且相互獨(dú)立,多元回歸方程 (multiple regression equatio

4、n),描述因變量 y 的平均值或期望值如何依賴于自變量 x1， x2 ，…，xp的方程多元線性回歸方程的形式為 E( y ) = ?0+ ?1 x1 + ?2 x2 +…+ ?p xp,b1，b2，?，bp稱為偏回歸系數(shù) bi 表示假定其他變量不變，當(dāng) xi 每變動(dòng)一個(gè)單位時(shí)，y 的平均平均變動(dòng)值,二元回歸方程的直觀解釋,,估計(jì)的多元回歸方程,估計(jì)的多元回歸的方程(estimated multiple re

5、gression equation),是 估計(jì)值 是 y 的估計(jì)值,用樣本統(tǒng)計(jì)量 估計(jì)回歸方程中的 參數(shù) 時(shí)得到的方程由最小二乘法求得一般形式為,參數(shù)的最小二乘估計(jì),參數(shù)的最小二乘法,求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下,使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到

6、最小來求得 。即,參數(shù)的最小二乘法(例題分析),【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款(y)與貸款余額(x1)、累計(jì)應(yīng)收貸款(x2)、貸款項(xiàng)目個(gè)數(shù)(x3)和固定資產(chǎn)投資額(x4)的線性回歸方程，并解釋各回歸系數(shù)的含義 用

7、Excel進(jìn)行回歸,,12.2 回歸方程的擬合優(yōu)度,多重判定系數(shù)估計(jì)標(biāo)準(zhǔn)誤差,多重判定系數(shù),多重判定系數(shù)(multiple coefficient of determination),回歸平方和占總平方和的比例計(jì)算公式為因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例,修正多重判定系數(shù)(adjusted multiple coefficient of determination),用樣本容量n和自變量的個(gè)數(shù)p

8、去修正R2得到 計(jì)算公式為避免增加自變量而高估 R2意義與 R2類似數(shù)值小于R2,Excel 輸出結(jié)果的分析,,估計(jì)標(biāo)準(zhǔn)誤差 Sy,對(duì)誤差項(xiàng)?的標(biāo)準(zhǔn)差?的一個(gè)估計(jì)值衡量多元回歸方的程擬合優(yōu)度計(jì)算公式為,Excel 輸出結(jié)果的分析,,12.3 顯著性檢驗(yàn),線性關(guān)系檢驗(yàn)回歸系數(shù)檢驗(yàn)和推斷,線性關(guān)系檢驗(yàn),線性關(guān)系檢驗(yàn),檢驗(yàn)因變量與所有自變量之間的是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸離差平方和(SSR)同

9、剩余離差平方和(SSE)加以比較，應(yīng)用 F 檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系,線性關(guān)系檢驗(yàn),提出假設(shè)H0：?1??2????p=0 線性關(guān)系不顯著H1：?1，?2，?，?p至少有一個(gè)不等于0,2. 計(jì)算檢驗(yàn)統(tǒng)計(jì)量F,3. 確定顯著性水平?和分子自由度p、分母自由度n-p-1找出臨界值F ?4. 作出決策：若F>F ?，

10、拒絕H0,Excel 輸出結(jié)果的分析,,回歸系數(shù)檢驗(yàn)和推斷,回歸系數(shù)的檢驗(yàn),線性關(guān)系檢驗(yàn)通過后，對(duì)各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)究竟要對(duì)哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在建立模型之前作出決定對(duì)回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過多的第一類錯(cuò)誤(棄真錯(cuò)誤) 對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用 t 檢驗(yàn)統(tǒng)計(jì)量,回歸系數(shù)的檢驗(yàn)(步驟),提出假設(shè)H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關(guān)系) H1

11、： bi ? 0 (自變量 xi 與 因變量 y有線性關(guān)系) 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量 t,確定顯著性水平?，并進(jìn)行決策? t?>t???，拒絕H0； ? t?<t???，不能拒絕H0,Excel 輸出結(jié)果的分析,,回歸系數(shù)的推斷 (置信區(qū)間),?回歸系數(shù)在(1-?)%置信水平下的置信區(qū)間為,回歸系數(shù)的抽樣標(biāo)準(zhǔn)差,,Excel 輸出結(jié)果的分析,,12.4 多重共線性,多重共線性及其所產(chǎn)生的問題多重共線性的判別多重共線

12、性問題的處理,多重共線性及其產(chǎn)生的問題,多重共線性(multicollinearity),回歸模型中兩個(gè)或兩個(gè)以上的自變量彼此相關(guān)多重共線性帶來的問題有 可能會(huì)使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤?可能對(duì)參數(shù)估計(jì)值的正負(fù)號(hào)產(chǎn)生影響，特別是各回歸系數(shù)的正負(fù)號(hào)有可能同我們與其的正負(fù)號(hào)相反,Excel 輸出結(jié)果的分析,,多重共線性的識(shí)別,多重共線性的識(shí)別,檢測(cè)多重共線性的最簡單的一種辦法是計(jì)算模型中各對(duì)自變量之間的相關(guān)系數(shù)，并對(duì)

13、各相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)若有一個(gè)或多個(gè)相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對(duì)自變量之間顯著相關(guān)。當(dāng)模型的線性關(guān)系檢驗(yàn)(F檢驗(yàn))顯著時(shí)，幾乎所有回歸系數(shù)的t檢驗(yàn)卻不顯著 回歸系數(shù)的正負(fù)號(hào)與其的相反。,Excel 輸出結(jié)果的分析,,多重共線性(例題分析),【例】判別各自變量之間是否存在多重共線性,貸款余額、應(yīng)收貸款、貸款項(xiàng)目、固定資產(chǎn)投資額之間的相關(guān)矩陣,多

14、重共線性(例題分析),【例】判別各自變量之間是否存在多重共線性,相關(guān)矩陣系數(shù)的檢驗(yàn)統(tǒng)計(jì)量,多重共線性(例題分析),t???(25-2)=2.0687，所有統(tǒng)計(jì)量t>t???(25-2)=2.0687，所以均拒絕原假設(shè)，說明這4個(gè)自變量兩兩之間都有顯著的相關(guān)關(guān)系由表Excel輸出的結(jié)果可知，回歸模型的線性關(guān)系顯著(Significance-F＝1.03539E-06?=0.05) 。這也暗示了模型中存在多重共線性固定資產(chǎn)投資

15、額的回歸系數(shù)為負(fù)號(hào)(-0.029193) ，與預(yù)期的不一致,多重共線性問題的處理,多重共線性(問題的處理),將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù) t 統(tǒng)計(jì)量對(duì)單個(gè)參數(shù)進(jìn)行檢驗(yàn)對(duì)因變量值的推斷(估計(jì)或預(yù)測(cè))的限定在自變量樣本值的范圍內(nèi),Excel 輸出結(jié)果的分析,,12.5 利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè),,軟件應(yīng)用,置信區(qū)間估計(jì)(例題分析),STATIST

16、ICA輸出的不良貸款的置信區(qū)間,預(yù)測(cè)區(qū)間估計(jì)(例題分析),STATISTICA輸出的不良貸款的預(yù)測(cè)區(qū)間,12.6 虛擬自變量的回歸,含有一個(gè)虛擬自變量的回歸用虛擬自變量回歸解決方差分析問題,含有一個(gè)虛擬自變量的回歸,虛擬自變量(dummy variable),用數(shù)字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個(gè)水平的虛擬自變量比如，性別(男，女) 有兩個(gè)以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)

17、虛擬變量的取值為0，1,虛擬自變量的回歸,回歸模型中使用虛擬自變量時(shí)，稱為虛擬自變量的回歸當(dāng)虛擬自變量只有兩個(gè)水平時(shí)，可在回歸中引入一個(gè)虛擬變量比如，性別(男，女) 一般而言，如果定性自變量有k個(gè)水平，需要在回歸中模型中引進(jìn)k-1個(gè)虛擬變量,虛擬自變量的回歸(例題分析),【例】為研究考試成績與性別之間的關(guān)系，從某大學(xué)商學(xué)院隨機(jī)抽取男女學(xué)生各8名，得到他們的市場(chǎng)營銷學(xué)課程的考試成績?nèi)缦卤?虛擬自變量的回歸(例題分析),散點(diǎn)圖,y

18、與x的回歸,,虛擬自變量的回歸 (例題分析),引進(jìn)虛擬變量時(shí)，回歸方程可寫：E(y) =?0+ ?1x男( x=0)：E(y) =?0—男學(xué)生考試成績的期望值女(x=0 )：E(y) =?0+ ?1—?1女學(xué)生考試成績的期望值注意：當(dāng)指定虛擬變量0—1時(shí)?0總是代表與虛擬變量值0所對(duì)應(yīng)的那個(gè)分類變量水平的平均值?1總是代表與虛擬變量值1所對(duì)應(yīng)的那個(gè)分類變量水平的平均響應(yīng)與虛擬變量值0所對(duì)應(yīng)的那個(gè)分類變量水平的平均值的差值，即

19、 平均值的差值 =(?0+ ?1) - ?0= ?1,虛擬自變量的回歸(例題分析),【例】為研究工資水平與工作年限和性別之間的關(guān)系，在某行業(yè)中隨機(jī)抽取10名職工，所得數(shù)據(jù)如下表,y與x1的回歸及分析,y與x1、 x2的回歸及分析,,,虛擬自變量的回歸 (例題分析),引進(jìn)虛擬變量時(shí)，回歸方程可寫： E(y) =?0+ ?1x1+ ?2x2女( x2=0)：E

20、(y|女性) =?0 +?1x1男(x2=1)：E(y|男性) =(?0 + ?2 ) +?1x1?0的含義表示：女性職工的期望月工資收入 (?0+ ?2)的含義表示：男性職工的期望月工資收入 ?1含義表示：工作年限每增加1年，男性或女性工資的平均增加值 ?2含義表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值 (?0+ ?2) - ?0= ?2,用虛擬自變量回歸解決方差分析問題,方差分析的回歸方法 (例

21、題分析),引進(jìn)虛擬變量建立回歸方程：E(Y)=?0+ ?1x1+ ?2x2+?3x3用Excel進(jìn)行回歸?0—家電制造業(yè)投訴次數(shù)的平均值 (?0+ ?1)—零售業(yè)投訴次數(shù)的平均值 (?0+ ?2)—旅游業(yè)投訴次數(shù)的平均值 (?0+ ?3)—航空公司投訴次數(shù)的平均值,,本章小結(jié),多元回歸模型、回歸方程、估計(jì)方程回歸方程的擬合優(yōu)度顯著性檢驗(yàn)多重共線性利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)虛擬自變量的回歸方差分析的回歸方法,結(jié)