應(yīng)用統(tǒng)計(jì)學(xué)--第8章-相關(guān)分析與回歸分析

1、1,第8章 相關(guān)分析和回歸分析,2,相關(guān)分析（掌握）線性回歸分析（掌握）回歸模型的統(tǒng)計(jì)檢驗(yàn)和預(yù)測(cè)（掌握）非線性回歸模型（了解）,主要內(nèi)容和學(xué)習(xí)目標(biāo),3,8.1.1 相關(guān)關(guān)系的概念和種類8.1.1.1 相關(guān)關(guān)系的概念在社會(huì)經(jīng)濟(jì)發(fā)展變化中，客觀現(xiàn)象總是普遍聯(lián)系和相互依存的，客觀現(xiàn)象（變量）之間的數(shù)量依存關(guān)系可分為兩種類型：確定性關(guān)系和相關(guān)關(guān)系。相關(guān)關(guān)系是指現(xiàn)象之間客觀存在的非確定性的數(shù)量依存關(guān)系。,8.1相關(guān)分析,4,如：商品的

2、消費(fèi)量（y）與居民收入（x）之間的關(guān)系,變量間關(guān)系是不能用函數(shù)關(guān)系精確表達(dá)的，一個(gè)變量的取值不能由另一個(gè)變量唯一確定。當(dāng)變量x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)。,各觀測(cè)點(diǎn)分布在直線周圍。,5,8.1.1.2 相關(guān)關(guān)系的種類,按相關(guān)的方向可以分為正相關(guān)和負(fù)相關(guān)。按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。按涉及的變量或因素的個(gè)數(shù)可以分為單相關(guān)與復(fù)相關(guān)。按相關(guān)的表現(xiàn)形式可分為線性相關(guān)與非線性相關(guān)。,6,曲線相關(guān),,相關(guān)關(guān)系

3、,線性相關(guān),,,,,正相關(guān),負(fù)相關(guān),,,,,,單相關(guān),復(fù)相關(guān),,,多元線性相關(guān),多元非線性相關(guān),,,,,7,8.1.1.3 相關(guān)圖表,相關(guān)表和相關(guān)圖可直觀地表達(dá)變量之間的相關(guān)關(guān)系的程度。相關(guān)表是將具有相關(guān)關(guān)系的原始數(shù)據(jù),按某一順序平行排列在一張表上,以觀察它們之間的相互關(guān)系。,8,表8-1高校人數(shù)和周邊飯店季營(yíng)業(yè)額,9,相關(guān)圖也稱為分布圖或散點(diǎn)圖，它是在平面直角坐標(biāo)中把相關(guān)關(guān)系的原始數(shù)據(jù)用點(diǎn)描繪出來，通常以直角坐標(biāo)的橫軸代表自變量x,

4、縱軸代表因變量y。相關(guān)圖所反映的變量之間的相關(guān)關(guān)系的方向和程序比相關(guān)表更為清晰，也更為直觀。,10,圖8-1學(xué)生人數(shù)和季營(yíng)業(yè)額相關(guān)圖,,11,,,12,8.1.1.4 相關(guān)分析的意義,1、相關(guān)分析可以確定變量之間相關(guān)關(guān)系的方向和程度2、相關(guān)分析可以衡量回歸估計(jì)的精確程度,13,8.1.2 簡(jiǎn)單線性相關(guān),8.1.2.1 相關(guān)系數(shù)相關(guān)系數(shù)是描述相關(guān)的兩個(gè)變量之間相關(guān)關(guān)系密切程度的數(shù)量指標(biāo)。早在1890年，英國(guó)著名統(tǒng)計(jì)學(xué)家Karl

5、Pearson便提出了一個(gè)測(cè)定兩個(gè)變量線性相關(guān)的計(jì)算方法，通常稱為積差相關(guān)系數(shù)或簡(jiǎn)單相關(guān)系數(shù)。,14,總體相關(guān)系數(shù):,,式中：,——是變量X和Y的協(xié)方差,——是變量X的標(biāo)準(zhǔn)差,——是變量Y的標(biāo)準(zhǔn)差,樣本相關(guān)系數(shù):,,,15,計(jì)算學(xué)生人數(shù)和季營(yíng)業(yè)額的相關(guān)系數(shù),,16,8.1.2.2 相關(guān)系數(shù)的性質(zhì),1、2、若 ，表示變量x與變量y為線性正相關(guān)關(guān)系；若 ，表示變量x與變量y為線性負(fù)相關(guān)

6、關(guān)系。3、若 ，表示兩變量完全線性相關(guān)，即變量x與變量y之間存在確定的函數(shù)關(guān)系。若 ，表示兩變量完全線性正相關(guān)；若 ，表示兩變量完全線性負(fù)相關(guān)。4、若 ，表示兩變量不存在線性相關(guān)。,,,,,,,,17,5、當(dāng) 時(shí)，表示兩變量存在不同程度的線性相關(guān)。 的數(shù)值越接近于1，表示兩變量之間線性相關(guān)程度越高；反之 的數(shù)值越接近于0，表示兩

7、變量之間線性相關(guān)程度越低。通常認(rèn)為： 微弱相關(guān)； 低度相關(guān) 顯著相關(guān)； 高度相關(guān)6、相關(guān)系數(shù)不受變量值水平和計(jì)量單位的影響。,,,,,,,,18,根據(jù)給定的顯著性水平和自由度n-2,查找t分布中的相應(yīng)臨界值 。如果 ，就否定原假設(shè)，認(rèn)為 r 在統(tǒng)計(jì)上是顯著的，

8、即總體相關(guān)系數(shù)不為零，總體變量間存在線性相關(guān)關(guān)系。,8.1.2.3 相關(guān)系數(shù)的顯著性檢驗(yàn),提出假設(shè)：,計(jì)算 t 檢驗(yàn)統(tǒng)計(jì)量：,,19,檢驗(yàn)高校學(xué)生人數(shù)與周邊飯店季營(yíng)業(yè)額之間的相關(guān)系數(shù)是否顯著，顯著性水平?=0.05。第一步：提出假設(shè)第二步：構(gòu)造并計(jì)算檢驗(yàn)統(tǒng)計(jì)量,,,20,第三步：確定臨界值。根據(jù)給定的顯著性水平?=0.05和自由度10-2=8，查找t分布表或利用Excel計(jì)算，得到臨界值。第四步：決策。由于

9、 所以拒絕原假設(shè)，說明高校學(xué)生人數(shù)與周邊飯店季營(yíng)業(yè)額之間存在著顯著的正線性相關(guān)關(guān)系。,,,21,8.2.1 回歸分析 回歸分析是根據(jù)已知變量估計(jì)未知變量的一種統(tǒng)計(jì)方法，它是以對(duì)未知變量(因變量)同其他變量(自變量)相互關(guān)系的觀察為基礎(chǔ)，在某種精確度下，預(yù)測(cè)未知變量的數(shù)值。,8.2 線性回歸分析,22,回歸分析的內(nèi)容和步驟:,①選擇適當(dāng)?shù)幕貧w模型。②進(jìn)行參數(shù)估計(jì)。③進(jìn)行模型的檢驗(yàn)。

10、④進(jìn)行預(yù)測(cè)。即根據(jù)回歸方程進(jìn)行適當(dāng)?shù)慕?jīng)濟(jì)預(yù)測(cè)，這是回歸分析的最終目的。,23,8.2.1.1 總體回歸方程與樣本回歸方程,例：研究家庭消費(fèi)支出與家庭收入之間的關(guān)系，一個(gè)總體由50戶家庭組成，并按人均月收入水平劃分成組內(nèi)收入水平大致相同的10個(gè)組。,24,圖8-4 不同收入水平的家庭消費(fèi)支出散點(diǎn)分布圖,總體回歸線PRL,隨機(jī)試驗(yàn)所有可能結(jié)果的集合稱為總體或樣本空間,第一節(jié) 古典回歸模型,由圖中看出總體回歸直線是線性的，用函數(shù)的形式來表示

11、： (1) 這是直線的數(shù)學(xué)表達(dá)式，在式(1)中， E(Y｜Xi)表示給定X值相應(yīng)的(或條件的) Y的均值，稱為Y的條件期望或條件均值下標(biāo)i代表第i個(gè)子總

12、體。如，x=2時(shí)，y的條件均值為 即收入水平為2000元的4個(gè)家庭的平均消費(fèi)支出為1500元。,第一節(jié) 古典回歸模型,注意：,E(Y｜Xi)是Xi的函數(shù)(在此例中是線性函數(shù))。這意味著Y依賴于Xi，一般稱之為Y對(duì)X的回歸。回歸可簡(jiǎn)單地定義為在給定X值的條件下Y值分布的均值。換句話說，總體回歸直線經(jīng)過Y的條件期望值。式(1)是總體回歸函數(shù)(Population Regression Function, PRF)的數(shù)學(xué)形式。在本

13、例中，總體回歸函數(shù)是線性函數(shù)。,第一節(jié) 古典回歸模型,為參數(shù)(parameters)，也稱回歸系數(shù)(regression coefficients)。 又稱為截距(intercept)，是當(dāng)X為0時(shí)Y的均值 又稱為斜率(slope)，斜率度量了X 每變動(dòng)一單位，Y 的均值的變化率。 例，如果斜率 為0.5，那么，當(dāng)收入x每增加1單位（千元），Y 的(期望)均值將增加0.5個(gè)單位（千元）；即，平均而言，消

14、費(fèi)支出將增加0.5千元。,第一節(jié) 古典回歸模型,模型的隨機(jī)設(shè)定,從圖中可看出單個(gè)家庭的消費(fèi)支出與平均消費(fèi)支出之間存在著一定的離差，即 (2) 其中， 表示隨機(jī)誤差項(xiàng)(stochastic, random erro

15、r term)或簡(jiǎn)稱為誤差項(xiàng)。,29,表8-4 從表8-3的總體中抽取一個(gè)隨機(jī)樣本,,30,圖8-5 總體回歸線與樣本回歸線,第一節(jié) 古典回歸模型,得到一條很好地“擬合”了樣本數(shù)據(jù)的直線，稱之為樣本回歸線(sample regression lines, SRL)?？赡軓腒個(gè)不同的樣本中得到K條不同的樣本回歸直線，所有的這些樣本回歸線不可能都相同。每一條直線也最多是對(duì)真實(shí)總體回歸線的近似。,第一節(jié) 古典回歸模型,用樣本回歸函數(shù)(sa

16、mple regression function,S R F)來表示樣本回歸線。 (3) 表示總體條件均值， E(Y|Xi)的估計(jì)量； 表

17、示 的估計(jì)量； 表示 的估計(jì)量；,,,第一節(jié) 古典回歸模型,建立隨機(jī)的樣本回歸函數(shù)： (4)其中ei為殘差項(xiàng)(residual term)，或簡(jiǎn)稱為殘差(residual)。,,第一節(jié) 古典回歸模型,回歸分析的主要目的是根據(jù)樣本回歸函數(shù)來估計(jì)總體回歸函數(shù)，,35,8.2.1.2 相關(guān)

18、分析與回歸分析的聯(lián)系與區(qū)別,1、相關(guān)分析與回歸分析的聯(lián)系①相關(guān)分析和回歸分析具有共同的研究對(duì)象②相關(guān)分析和回歸分析需要相互補(bǔ)充③相關(guān)分析是回歸分析的前提④回歸分析是相關(guān)分析的拓展,36,2、相關(guān)分析與回歸分析的區(qū)別,①變量的地位不同②變量的性質(zhì)不同③研究的目的不同④研究的方法不同⑤所起的作用不同,37,8.2.2 一元線性回歸模型,8.2.2.1 回歸模型的基本假定回歸模型是描述因變量如何依賴自變量和隨機(jī)誤差項(xiàng)的方程。

19、一元線性回歸模型只涉及一個(gè)自變量，可表述為：,第一節(jié) 古典回歸模型,隨機(jī)誤差項(xiàng)是服從正態(tài)分布的實(shí)隨機(jī)變量。零均值假定。即，同方差假定，即對(duì)于自變量 所有觀察值，隨機(jī)誤差項(xiàng)?的方差 都相同。非自相關(guān)假定，即與自變量不同觀察值對(duì)應(yīng)的隨機(jī)誤差項(xiàng)之間是互不相關(guān)、互不影響的自變量變量與隨機(jī)誤差項(xiàng)不相關(guān)假定。無多重共線性假定。,回歸模型的基本假定,第二節(jié) 回歸模型的參數(shù)的估計(jì),8.2.2.2 最小二乘估計(jì)

20、(OLS),殘差是Yi的真實(shí)值與估計(jì)值之差，即普通最小二乘法(ordinary least squares, OLS )，即選擇參數(shù) 和 ，使得全部觀察值的殘差平方和最小。用數(shù)學(xué)形式表示為：最小二乘原理就是所選樣本回歸函數(shù)使得所有Y的估計(jì)值與真實(shí)值差的平方和最小。,第二節(jié) 回歸模型的參數(shù)的估計(jì),求解聯(lián)立方程解得,41,參數(shù)估計(jì)誤差和置信區(qū)間,1、估計(jì)誤差:估計(jì)值和真值的偏差。 的估計(jì)誤差為：

21、 的估計(jì)誤差為：,42,2、置信區(qū)間,對(duì)于給定的置信度1-?， 參數(shù)的置信區(qū)間為:即以100(1-?)%的概率回歸系數(shù)屬于該區(qū)間內(nèi)。同理， 參數(shù)的置信區(qū)間為,43,8.2.3 多元線性回歸模型,8.2.3.1 多元線性回歸模型的參數(shù)估計(jì)利用最小二乘法估計(jì)模型的參數(shù),44,參數(shù)估計(jì)值應(yīng)該是下列方程組的解：,45,定義矩陣：方程組可以用矩陣表示成：參數(shù)的最小二乘估計(jì)為,46,8.2.3.2 參數(shù)的估

22、計(jì)誤差和置信區(qū)間,參數(shù)估計(jì)值的標(biāo)準(zhǔn)差為 為矩陣 對(duì)角線上的第i個(gè)元素對(duì)于給定的置信度1-?，參數(shù)的100(1-?)%置信區(qū)間為：,47,8.2.3.3 多元回歸模型中的相關(guān)分析,多元回歸分析中，由于變量總數(shù)不止兩個(gè)，因變量與多個(gè)自變量的組合產(chǎn)生一定的依存關(guān)系；同時(shí)任何兩個(gè)變量之間的相關(guān)關(guān)系都可能受到其余變量的影響。為此需要對(duì)已建立的多元回歸模型進(jìn)行相關(guān)分

23、析，包括復(fù)相關(guān)和偏相關(guān)。,48,1、復(fù)相關(guān),在多變量情況下，復(fù)相關(guān)系數(shù)是用來測(cè)定因變量 與一組自變量 之間相關(guān)程度的指標(biāo)。其計(jì)算公式為：,,,,復(fù)相關(guān)系數(shù)的值域在0到1之間，它的值為1，表明 與 之間存在嚴(yán)密的線性關(guān)系；它的值為0，則表明 與 之間不存在任何線性相關(guān)關(guān)系；它的取值在0和1之間時(shí)，表明變量之間存在一定的線性相關(guān)關(guān)系。,49,2、偏相關(guān),在多變

24、量情況下，偏相關(guān)系數(shù)是用來測(cè)定當(dāng)其他變量保持不變的情況下，任意兩個(gè)變量之間相關(guān)程度的指標(biāo)。它主要考察兩個(gè)變量之間的凈相關(guān)關(guān)系，從而反映現(xiàn)象之間的真實(shí)聯(lián)系。以兩個(gè)自變量的情形為例:,,,x1和y偏相關(guān)系數(shù)：,,x2和y偏相關(guān)系數(shù)：,50,回歸分析是要通過樣本所估計(jì)的參數(shù)來代替總體的真實(shí)參數(shù)。在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)。主要包括擬合優(yōu)度檢驗(yàn)、模型的顯著性檢驗(yàn)和變量的顯著性檢驗(yàn)，以及

25、預(yù)測(cè)。,8.3 回歸模型的統(tǒng)計(jì)檢驗(yàn)和預(yù)測(cè),51,8.3.1 擬合優(yōu)度檢驗(yàn),擬合優(yōu)度檢驗(yàn)：對(duì)樣本回歸直線與樣本觀測(cè)值之間擬合程度的檢驗(yàn)。度量擬合優(yōu)度的指標(biāo)：判定系數(shù)（可決系數(shù)）R2,問題：采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測(cè)值，為什么還要檢驗(yàn)擬合程度？,52,如果Yi=?i 即實(shí)際觀測(cè)值落在樣本回歸“線”上，則擬合最好?？烧J(rèn)為,“離差”全部來自回歸線，而與“殘差”無關(guān)。,53,對(duì)于所有樣本點(diǎn)，則需考慮這些點(diǎn)與樣本

26、均值離差的平方和,可以證明：,,記,總體平方和,回歸平方和,殘差平方和,54,TSS=RSS+ESS,Y的觀測(cè)值圍繞其均值的總離差(total variation)可分解為兩部分：一部分來自回歸線(RSS)，另一部分則來自隨機(jī)勢(shì)力(ESS)。,在給定樣本中，TSS不變，如果實(shí)際觀測(cè)點(diǎn)離樣本回歸線越近，則RSS在TSS中占的比重越大，因此 擬合優(yōu)度：回歸平方和RSS/Y的總離差TSS,55,可決系數(shù)R2統(tǒng)計(jì)量,稱 R2 為（樣本）

27、可決系數(shù)或判定系數(shù),可決系數(shù)的取值范圍：[0，1] R2越接近1，說明實(shí)際觀測(cè)點(diǎn)離樣本線越近，擬合優(yōu)度越高。,56,8.3.2 模型的顯著性檢驗(yàn),模型的顯著性檢驗(yàn)，就是檢驗(yàn)?zāi)Ｐ蛯?duì)總體的近似程度，即檢驗(yàn)因變量y和模型中所以自變量的線性關(guān)系是否顯著。通常構(gòu)造F統(tǒng)計(jì)量進(jìn)行檢驗(yàn)，稱為F檢驗(yàn)。對(duì)多元線性回歸模型,57,基本步驟如下：,1、提出假設(shè),2、計(jì)算檢驗(yàn)統(tǒng)計(jì)量：,3、對(duì)給定的顯著水平?確定臨界值,4、得出檢驗(yàn)結(jié)論：,如果

28、 ，則否定原假設(shè)，表明回歸模型是顯著的；反之，就不能否定原假設(shè)。,58,8.3.3 解釋變量的顯著性檢驗(yàn),變量的顯著性檢驗(yàn)是判斷解釋變量X是否對(duì)被解釋變量Y具有顯著的線性性影響，主要是針對(duì)變量的參數(shù)真值是否為零來進(jìn)行顯著性檢驗(yàn)的。多元線性回歸模型， 檢驗(yàn)?zāi)硞€(gè)自變量 x 對(duì)y是否有顯著影響，進(jìn)行解釋變量的顯著性檢驗(yàn)。,59,檢驗(yàn)步驟：,1、對(duì)總體參數(shù)提出假設(shè),4、 比較，判斷 若|t|>

29、;t?/2(n--k-1)，則拒絕H0 ，接受H1 ； 若|t|? t?/2(n-k-1)，則拒絕H1 ，接受H0 ；,2、構(gòu)造檢驗(yàn)統(tǒng)計(jì)量,3、對(duì)給定的顯著水平?確定臨界值t ?/2(n-k-1),60,注意:,在一元線性回歸分析中，回歸系數(shù)的顯著性檢驗(yàn)與回歸模型的顯著性檢驗(yàn)是等價(jià)的，因此 t 檢驗(yàn)和F 檢驗(yàn)的結(jié)論是一致的。但在多元回歸分析中，它們是不等價(jià)的，t 檢驗(yàn)只檢驗(yàn)方程中各個(gè)系數(shù)的顯著性，而 F 檢驗(yàn)則檢驗(yàn)的是整個(gè)方程的

30、顯著性。,61,(一)點(diǎn)預(yù)測(cè)對(duì)于一元線性回歸模型,給定樣本以外的解釋變量的觀測(cè)值Xf，可以得到被解釋變量的預(yù)測(cè)值?f ，可以此作為其條件均值E(Y|X=Xf)或個(gè)別值Yf的一個(gè)近似估計(jì)。,注意：嚴(yán)格地說，這只是被解釋變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。 原因:（1）參數(shù)估計(jì)量不確定； （2）隨機(jī)項(xiàng)的影響,8.3.4 預(yù)測(cè),62,（二）區(qū)間預(yù)測(cè)1、y的期望值的置信區(qū)間估計(jì) 在1-?的置信水平下的置信區(qū)間

31、可表示為 （一元模型） （多元模型）,63,2、y的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì)真實(shí)值 的置信水平為1-?的預(yù)測(cè)區(qū)間為：,64,1. 適配曲線問題選配曲線通常可以分為下列兩個(gè)步驟：確定變量間的依存關(guān)系，根據(jù)實(shí)際資料做散點(diǎn)圖，按照?qǐng)D形的分布形狀選擇合適的模型。確定回歸模型中的未知參數(shù)。2.常見的函數(shù)雙曲