多元線性回歸

1、多元線性回歸概論,復習“直線回歸”內容：1. 直線回歸方程；2. 回歸系數(shù)的解釋；3. 回歸系數(shù)的假設檢驗方法： t檢驗 方差分析（SS總=SS回歸+SS剩余）4. 剩余標準差的概念；5. 應用：用于統(tǒng)計預測和統(tǒng)計控制,多元線性回歸是直線回歸的擴展。都屬于線性回歸，前者有2個及2個以上自變量x，后者只有1個自變量x。,多元線性回歸的主要內容,1 多元線性回歸模型簡介2 回歸系數(shù)的估計3

2、方程的假設檢驗4 方程的擬合優(yōu)度評價指標5 偏回歸系數(shù)、標化偏回歸系數(shù)6 指標的量化7 回歸與t檢驗、方差分析的關系8 標準偏回歸系數(shù)與自變量的貢獻,某學校20名一年級女大學生體重、胸圍、肩寬及肺活量的實測數(shù)據(jù),問題：,體重、胸圍、肩寬與肺活量有無線性關系？用該仨指標預測肺活量有多高的精度？該仨指標的貢獻大小如何？,1 多元線性回歸模型簡介,多元回歸multiple regressionmult

3、iple linear regression因變量 dependent variable response variable (響應變量)自變量 independent variable explanatory variable(解釋變量),,,回歸模型,因變量y, 自變量為x1, x2, ?, xpa為截距(intercept)，又稱常數(shù)項(constant), 表示各自變量均為0時y的估計值bi 稱

4、為偏回歸系數(shù)(partial regression coefficient) 稱為 y 的估計值或預測值(predicted value),,,,根據(jù)該校20名大一女生的體重（kg）、胸圍（cm）、肩寬（cm）和肺活量（L）建立的回歸方程為：,,,當x1=51.3，x2=73.6，x3=36.4時， =2.824， 表示對所有體重為51.3kg、胸圍為73.6cm、肩寬為36.4cm的大一女生，估計平均肺活量為2.8

5、24(L)。,,2 回歸系數(shù)的估計,最小二乘法(least square, LS)基本思想殘差平方和(sum of squares for residuals)最小,,,估計值與殘差,估計值與殘差有下列性質：,,,3 Y的總變異分解,未引進回歸時的總變異： (sum of squares about the mean of Y)引進回歸以后的變異(剩余): (sum of squares about regres

6、sion)回歸的貢獻，回歸平方和： (sum of squares due to regression),,,,資料回歸方程中的方差分析,4 模型的擬合優(yōu)度評價指標,（1）復相關系數(shù)——R（2）決定系數(shù)——R2 （3） 調整決定系數(shù)——Radj2（4）剩余標準差——Sy·x1x2…xm,,衡量回歸方程的標準,決定系數(shù)R2 調整決定系數(shù)R2adj 剩余標準差,,5 偏回歸系數(shù)、標化偏回歸系數(shù),

7、5.1 偏回歸系數(shù)H0：? i =0；H1：? i ?0。,,,,,5.2 標準偏回歸系數(shù)——反映自變量的貢獻大小,,6 指標的量化,6.1 二分類變量,,例 t 檢驗與回歸的關系,正常人與矽肺患者血清粘蛋白合理(mg/100mg),資料重新整理,t 檢驗結果,與方差分析結果等價（F=t2）,與回歸分析結果的比較,回歸系數(shù)與各組均數(shù)的關系,指標的量化,6.2 無序多分類變量如：血型(A，B，AB，O)x1=0, x2=0,

8、 x3=0 表示O型x1=1, x2=0, x3=0 表示A型x1=0, x2=1, x3=0 表示B型x1=0, x2=0, x3=1 表示AB型啞變量(dummy)：當某變量分成無序的m類，生成啞變量m－1個又稱指示變量(indicator variables),,方差分析與回歸分析,血清粘蛋白合理(mg/100mg),指標的量化,組別(0，1，2)g1=0, g2=0 表示0組(正常人)

9、g1=1, g2=0 表示1組(矽肺I期)g1=0, g2=1 表示2組(矽肺II期)（g1、g2見下圖）啞變量(dummy)又稱指示變量(indicator variables),,方差分析的結果,回歸分析的結果,系數(shù)與均數(shù),再看一個資料：,資料整理,回歸分析結果,線性回歸分析與 t 檢驗等價線性回歸分析與方差分析等價回歸分析適用于： y = xi