第二章簡單回歸模型

1、第二章 簡單回歸模型,回歸的歷史含義F.加爾頓最先使用“回歸（regression）”。父母高，子女也高；父母矮，子女也矮。給定父母的身高，子女平均身高趨向于 “回歸”到全體人口的平均身高。,簡單回歸模型的定義,,,回歸的現(xiàn)代釋義,回歸分析用于研究一個變量關于另一個（些）變量的具體依賴關系的計算方法和理論。 關注對象：（1）用x來解釋y （2）研究y如何隨x而變化,商

2、品需求函數(shù)：,警察和犯罪率：,除x外其他影響y的因素如何處理？y和x函數(shù)關系如何設定？,簡單回歸的幾個問題：,y=?0 + ?1 x + u,擾動項u的引入。x和y的非線性關系怎么辦？生產函數(shù)：,兩個例子,yield=?0 + ?1 fertilizer + u,wage=?0 + ?1 educ + u,其他因素不變，?u=0，則： ?1 =?yield/?fertilizer ?

3、1 =?wage/?educ 變化解釋變量fertilizer或educ時，能假定其他因 素不變嗎？,解釋變量x和擾動項u關于均值獨立：均值獨立比“不相關”更強相關關系度量的是變量間的線性關系。若x表示受教育水平，u是個人能力，假定可能成立嗎？,關于u的假定,E(u|x)=E(u),對于模型： 如方程包含常數(shù)項，可以假定： 若E(u)=a?0，可將模型調整為：零條件均值假定：,y=?

4、0 + ?1 x + u,E(u)=0,y=?0 +a+?1 x + u1,E(u|x) = 0,總體回歸函數(shù)（PRF）,E(y|x)=?0 + ?1 x,PRF是確定的，未知的,總體回歸函數(shù)（傳統(tǒng)思路）,假想案例,總體回歸函數(shù)的隨機設定,隨機誤差項的意義,假設一個國家只有60戶居民，他們的可支配收入和消費支出數(shù)據如下（單位：美元）：,假想案例,描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直

5、線上。這條直線稱為總體回歸線。,,E(Y|Xi) = ?0 + ?1Xi=17.00+0.6Xi,“天行有常，不為堯存，不為桀亡。應之以治則吉，應之以亂則兇?！?---荀子《天論》,E(Y|Xi) = ?0 + ?1Xi,總體回歸函數(shù),其中： Y——被解釋變量；,X——解釋變量；,?0，?1—回歸系數(shù)（待定系數(shù)或待估參數(shù)）,總體回歸模型的隨機設定,對于某一個家庭，如何描述可支配

6、收入和消費支出的關系?,某個家庭的消費支出分為兩部分：一是E(Y|Xi)=?0 + ?1 Xi ，稱為系統(tǒng)成分或確定性成分；二是ui，稱為非系統(tǒng)或隨機性成分。,Yi=E(Y|Xi) + ui =?0 + ?1 Xi + ui,Yi=?0 + ?1 Xi + ui,E(Y|Xi) = ?0 + ?1 Xi,,隨機性總體回歸函數(shù),確定性總體回歸函數(shù),隨機誤差項u的意義,反映被忽略掉的因素對被解釋變量的影響。 或者理論不夠完善，或者數(shù)

7、據缺失；或者影 響輕微。模型設定誤差度量誤差 人類行為內在的隨機性,普通最小二乘法,對于一元回歸模型： 兩個條件：兩個未知數(shù)：所有的yi和xi都是已知數(shù)據。,E(u)=0,E(u|x) = 0?E(xu) = 0,yi=?0 + ?1 xi + ui,?0 和 ?1,方程組： 用樣本矩代替總體矩：,E(y-?0 - ?1 x) = E(u) = 0E[x(y-?0 - ?1 x)] = E(xu)

8、 = 0,,當滿足條件： OLS估計量 ：,實際上就是y和x的樣本協(xié)方差與x的樣本方 差之比。,擬合值 ： 給定截距和斜率估計值，y在x=xi時的預測值 該函數(shù)為樣本回歸函數(shù) （SRF）殘差 ：,普通最小二乘法（傳統(tǒng)思路）,如何得到一條能夠較好地反映這些點變化規(guī)律 的直線呢？,Q =,,,,=,,通過Q最小確定這條直線，即確定 ，以

9、 為變量，把它們看作是Q的函數(shù)，就變成了一個求極值的問題，可以通過求導數(shù)得到。,,,,殘差的平方和最小,,,,,求Q對 兩個待估參數(shù) 的偏導數(shù)：,,,,,即,樣本回歸函數(shù),為研究總體，我們需要抽取一定的樣本。,第一個樣本,樣本回歸線,樣本均值連線,樣本回歸函數(shù),第二個樣本,樣本回歸線,樣本均值連線,總體回歸模型和樣本回歸模型的比較,幾個例子,首席執(zhí)行官的薪水和股本回報率？,工資和受教育程度投票結果與競選支出：,,Xi,y

10、i,y1,y2,y3,u1,u2,u3,,,,,,,,E(y|xi) = ?0 + ?1 xi,注意：分清幾個關系式和表示符號,（2）樣本（估計的）回歸直線：,（3）總體（真實的）回歸模型：,（4）樣本（估計的）回歸模型：,（1）總體（真實的）回歸直線：,ui——隨機誤差項 ——殘差項,OLS操作技巧,（1）殘差和及樣本均值都等于零,OLS估計量代數(shù)性質,=,=,（2）回歸元和殘差的樣本協(xié)方差為零,（3）

11、 總在OLS回歸線上,（4）擬合值 的樣本均值等于yi的樣本均值,（5）擬合值和殘差的樣本協(xié)方差為零,,,.,.,.,.,.,.,.,.,,,,,,,,,y,x,yi,,,,,xi,A,0,=,+,總離差 = 回歸差 + 殘差,回歸差：由樣本回歸直線解釋的部分 殘差：不能由樣本回歸直線解釋的部分,可以證明:,,離差平方和分解,總平方和 ＝ 解釋平方和 ＋ 殘差平方和 SST

12、= SSE + SSR,=,+,利用性質（1）和性質（5）：,＋,= 1,解釋平方（SSE）和在總平方和（SST）中所占的比重越大，說明樣本回歸模型對樣本數(shù)據擬合的程度越好。因此，用來表示擬合優(yōu)度的可決系數(shù)定義為：,R2,,,,,R2 的取值范圍是 [0，1]。對于一組數(shù)據，TSS是不變，所以ESS↑（↓），RSS↓（↑）,擬合優(yōu)度與判定系數(shù)（可決系數(shù)）,R2=0時 表明解釋變量x與被解釋變量y之間不存在

13、線性關系；R2=1時 表明樣本回歸線與樣本值重合； 一般情況下，R2越接近1表示擬合程度越好，x對y的解釋能力越強；看似很低的R2值，并不意味著OLS回歸方程沒有用！,R2 =,=,=,=(R)2,度量單位和函數(shù)形式,改變度量單位對OLS估計量的影響,首席執(zhí)行官的薪水和股本回報率？,若salarydol=1000salary，即將薪水單位由千美元 調整為美元，模型估計結果為：,若股本回報率由百分比調整為小數(shù)，即roed

14、oc=roe/100， 模型估計結果為：,若將薪水單位調整為美元，股本回報率調整為小數(shù)， 模型估計結果？,判定系數(shù)R2為什么不變？,彈性度量：雙對數(shù)模型 yt = a xtb 兩側同取對數(shù)，加入擾動項

15、： Lnyt = Lna + b Lnxt + ut 令a* = Lna，yt* = Lnyt，xt* = Lnxt，上式表示為 yt*= a* + bxt*+ utCobb-Douglas生產函數(shù) Q = A L? K ?,模型的非線性,雙對數(shù)模型與線性模型的區(qū)別雙對數(shù)模型中斜率系數(shù)b為y對x的彈性

16、E： Lnyt = a* + b Lnxt + ut b=E=線性模型中斜率系數(shù)b為x 對y的邊際影響： yt =a + bxt + ut b=dy/dx 從而彈性E =(dy/dx)(x/y)=b(x/y)雙對數(shù)模型中彈性E是不變的，線性模型中彈性隨著x/y的變化而變化。,,增長率測度：半對數(shù)模型

17、 Lnyt = a+bxt+ut b反映x一單位變動導致y的相對變動：當x表示時間時，b為y的增長率。 令 yt = y0(1+r)t 兩側同時取對數(shù)： Lnyt =Lny0 +tLn(1+r) 當r很小時， b=Ln(1

18、+r) ≈r,人力資本研究中，通常會使用半對數(shù)模型： 這里wage為工資收入，edu為受教育年限，ability為能力，work為工作經驗。 引入work2是因為人們通常認為存在最優(yōu)工作年限！ 半對數(shù)模型中，參數(shù)?1的含義為： ?1 = 如果使用線性模型，即被解釋變量為wage， 則參數(shù)?1的含義為,

19、線性—對數(shù)模型 yt = a + b Ln xt + ut （b>0） 家庭預算的截面研究中，一類支出y和收入x的關系。預算花費在這種商品之前，收入要達到一個確定的臨界水平e-a/b。而且支出隨著收入的增加而單調增加，但

20、其增長率遞減，該商品消費的邊際傾向(b/x)和彈性(b/y)都隨著收入增加而遞減。,,倒數(shù)模型 yt = a + b/xt + ut,菲利普斯曲線,恩格爾消費曲線,多項式模型：二次函數(shù)： yt = b0 + b1 xt + b2 xt2 + ut 交叉乘積項：yt = b0 + b1 x1t + b2 x2t + b3 x1tx2

21、t + ut,,,吸煙與肺癌,關于參數(shù)線性，而不是關于變量線性！可以通過變量替換，轉化為線性模型！,“線性”回歸的含義,OLS估計量的期望值和方差,高斯-馬爾可夫定理（參見P97）,如果滿足古典線性回歸模型的基本假定，則在所有的線性估計量中，OLS估計量是最優(yōu)線性無偏估計量（BLUE）。,,線性性 無偏性 有效性,簡單回歸的高斯—馬爾科夫假定假定1：關于參數(shù)線性 y=?0 +

22、?1 x + u （1）假定2：隨機抽樣 有一個服從總體模型（1）的隨機樣本{(xi ,yi): i =1, 2, …, n}，n為樣本容量假定3：解釋變量的樣本有變異 xi的樣本實現(xiàn)值，{xi : i =1, 2, …, n}不是完全相同的數(shù)值假定4：零條件均值 E(u|x)=0假定5：同方差性

23、 Var(u|x)=?2,線性性,可以表示為因變量數(shù)據yi的線性函數(shù)。,證明：,=,=,=,其中,=,線性估計量分布的推導比非線性估計量容易,無偏性,證明：,=,=,=,=,,,,,=?1,??1,無偏估計量,有偏估計量,,?1,=,OLS估計量的方差比其他線性無偏估計量的方差都小。,最小方差性與有效性,,,,?1,,,,一致性（參見P158）,,,?1,,,,,,概率密度,OLS估計量的抽樣方差,為什

24、么要估計方差？,方差反映了數(shù)據的離散程度和估計結果的精確性。,受教育年限與每小時工資,,,?1,,,同方差,（遞增型）異方差,假定4：零條件均值 E(u|x)=0假定5：同方差性 Var(u|x)=?2,估計?0時，最好有 ，此時?0估計量的方差最小，但?1估計量的方差不受影響。 為什么？,?2的估計量（無偏）：,擾動

25、項方差（ ?2）的估計,OLS估計量的樣本方差和標準誤,當x=0時，y的期望值為零收入為零，收入稅所得為零木材砍伐量為零，木材剩余物為零模型形式： 殘差平方和最小：,過原點回歸,注意：對于過原點回歸： 標準的可決系數(shù)（R2）可能為負。如果真實情況下?0 ?0，使用過原點回歸模型會導致?1的 估計量有偏且不一致。如果?0 =0，使用含截距項的回歸模型，由于沒有利用