[學(xué)習(xí)]概論與統(tǒng)計(jì)課件第七章參數(shù)估計(jì)

1、引 言,上一章，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的三大分布，給出了幾個(gè)重要的抽樣分布定理. 它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).,,參數(shù)估計(jì)問(wèn)題,假設(shè)檢驗(yàn)問(wèn)題,,點(diǎn)估計(jì),區(qū)間估計(jì),,統(tǒng)計(jì)推斷 的基本問(wèn)題,第七章 參數(shù)估計(jì),參數(shù)的點(diǎn)估計(jì) 點(diǎn)估計(jì)的優(yōu)良性準(zhǔn)則 區(qū)間估計(jì),在實(shí)際問(wèn)題中,我們根據(jù)問(wèn)題本身的專(zhuān)業(yè)知識(shí)或以往的經(jīng)驗(yàn)或適當(dāng)?shù)慕y(tǒng)計(jì)方法,有時(shí)可以判斷總體分布的類(lèi)型. 總體分布的參

2、數(shù)往往是未知的,需要通過(guò)樣本來(lái)估計(jì).,例如 (1) 為了研究人們的市場(chǎng)消費(fèi)行為,我們要先搞清楚人們的收入狀況. 假設(shè)某城市人均年收入X～N(?,?2). 但參數(shù) ? 和 ?2 的具體值并不知道,需要通過(guò)樣本來(lái)估計(jì). (2) 假定某城市在單位時(shí)間(譬如一個(gè)月)內(nèi)交通事故發(fā)生次數(shù) X ～ P(?). 參數(shù)?未知,需要從樣本來(lái)估計(jì).,通過(guò)樣本來(lái)估計(jì)總體的參數(shù),稱(chēng)為參數(shù)估計(jì),它是統(tǒng)計(jì)推斷的一種重要形式.,參數(shù)估計(jì),點(diǎn)估計(jì),區(qū)

3、間估計(jì),（假定身高服從正態(tài)分布N(μ，0.12））,設(shè)這5個(gè)數(shù)是:,1.65 1.67 1.68 1.78 1.69,估計(jì) 為1.68，,這是點(diǎn)估計(jì).,這是區(qū)間估計(jì).,例如我們要估計(jì)某隊(duì)男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值 的估計(jì). 而全部信息就由這5個(gè)數(shù)組成 .,從總體 X 中抽取樣本(X1, X2, …, X n ),,,,參數(shù)的 估計(jì)量,,

4、參數(shù)的 估計(jì)值,,設(shè)總體X的分布函數(shù)為F(x, ? ), ? 未知， ? 的取值 范圍稱(chēng)為 參數(shù)空間 。記作? ?，F(xiàn)估計(jì)? 。步驟如下：,參數(shù)估計(jì)問(wèn)題的一般步驟,問(wèn)題　如何構(gòu)造統(tǒng)計(jì)量？,構(gòu)造點(diǎn)估計(jì)的估計(jì)量的具體方法有多種，在此，介紹兩種方法。,1. 矩估計(jì)法,2. 極大似然法,1.1 矩估計(jì)法,矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出來(lái)的 .,由辛欽大數(shù)定理 ,,若總體 的數(shù)學(xué)期望

5、有限,,則有,這表明 , 當(dāng)樣本容量很大時(shí) , 在統(tǒng)計(jì)上 , 可以用樣本各階矩去估計(jì)總體相應(yīng)的各階矩.,用樣本各階矩去估計(jì)總體相應(yīng)的各階矩。,------矩估計(jì)法的基本思想,按以上思想方法去獲得未知參數(shù)點(diǎn)估計(jì)的方法叫做矩法。,用矩法所確定的估計(jì)量稱(chēng)為矩估計(jì)量，,相應(yīng)的估計(jì)值稱(chēng)為矩估計(jì)值，,矩估計(jì)量與矩估計(jì)值統(tǒng)稱(chēng)為矩估計(jì),矩估計(jì)法的理論依據(jù):,大數(shù)定律,矩估計(jì)法的具體做法如下,設(shè)總體X的分布形式是已知的，?1, ?2…… ,?k是k個(gè)未

6、知參數(shù)，樣本(X1, X2, …, X n )來(lái)自總體 X。假定總體X的m階原點(diǎn)矩EXm存在，一般地，,都是這 k 個(gè)參數(shù)的函數(shù),記為：,m=1,2, … ,k,取樣本的m階原點(diǎn)矩 作為總體的m階原點(diǎn)矩EXm的估計(jì),得方程組：,—— 含未知參數(shù)?1,?2, ?,?k的方程組．,解方程組，得 k 個(gè)統(tǒng)計(jì)量：,——未知參數(shù)?1,?2, ?,?k 的矩估計(jì)量．,代入一

7、組樣本值得k個(gè)數(shù),——未知參數(shù)?1,?2, ?,?k 的矩估計(jì)值．,例2：設(shè)樣本(X1, X2, …, X n )來(lái)自總體 X~N( ? ,? 2)， 求? 與? 2 的矩估計(jì)量。,解：,例1：設(shè)樣本(X1, X2, …, X n )來(lái)自總體 X，且總體的均值 ? 未知， 求 ? 的矩估計(jì)量。,解：,總體 X 的均值 ?矩估計(jì)量為一階樣本原點(diǎn)矩,?和σ2的矩估計(jì)量分別為樣本的一階原點(diǎn)矩和二階中心矩,例3

8、：設(shè)樣本(X1, X2, …, X n )來(lái)自總體 X~P( ?)， 求 ? 的矩估計(jì)量。,解：,另一方面：EX2 = DX + (EX)2 = ?+ ?2 ，所以：,,此例說(shuō)明：矩估計(jì)可以不唯一。此時(shí)，一般取低階矩得到的那一個(gè)。,一階樣本原點(diǎn)矩作為 ? 的矩估計(jì)量,例4：設(shè)樣本(X1, X2, …, X n )來(lái)自總體 X，X服從[?1, ?2]上的均勻分布，求?1和 ?2 的矩估計(jì)量。,解：這是兩個(gè)參數(shù)的矩估計(jì)問(wèn)題。,由,解得,

9、EX2 = DX + (EX)2,P148例4,例5：已知總體的X的均值EX= ?， 方差DX=? 2>0, 其中? 與? 2未知, 樣本(X1, X2, …, X n )來(lái)自總體 X，求? 與? 2的矩估計(jì)量。,解：,無(wú)論總體的分布形式如何，總體均值?和方差σ2的矩估計(jì)量分別為樣本均值和樣本二階中心矩。,矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布 .,缺點(diǎn)是，當(dāng)總體類(lèi)型已知時(shí)，沒(méi)有充分利用分布提供的信息 . 一般場(chǎng)

10、合下, 矩估計(jì)量不具有唯一性 .,其主要原因在于建立矩法方程時(shí)，選取哪些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性 .,1.2 極大似然估計(jì)法,極大似然估計(jì)作為一種點(diǎn)估計(jì)方法最初是由,德國(guó)數(shù)學(xué)家高斯(Gauss)于1821年提出，英國(guó)統(tǒng)計(jì),學(xué)家費(fèi)歇爾(R.A.Fisher)在1922年作了進(jìn)一步發(fā)展,使之成為數(shù)理統(tǒng)計(jì)中最重要應(yīng)用最廣泛的方法之一.,Gauss,Fisher,極大似然估計(jì)法是建立在極大似然原理的基礎(chǔ)上的一個(gè)統(tǒng)計(jì)方法。,極大

11、似然原理的直觀想法是：一次試驗(yàn)就出現(xiàn),的事件有較大的概率. 即：一個(gè)試驗(yàn)如有若干個(gè),可能結(jié)果 ,若在一次試驗(yàn)中，結(jié)果 出現(xiàn),,則認(rèn)為 出現(xiàn)的概率最大.,例如: 有兩外形相同的箱子,各裝100個(gè)球 一箱 99個(gè)白球 1 個(gè)黑球 一箱 1 個(gè)白球 99個(gè)黑球,現(xiàn)從兩箱中任取一箱, 并從箱中任取一球,結(jié)果所取得的球是白球.,問(wèn):

12、所取的球來(lái)自哪一箱？,答: 第一箱.,假定一個(gè)盒中黑球和白球兩種球的數(shù)目之比,,為 3:1，但不知哪種球多 ， 表示從盒中任取一球,是黑球的概率，那么 或 , 現(xiàn)在有放回地,從盒中抽3個(gè)球，試根據(jù)樣本中的黑球數(shù) 來(lái)估計(jì),參數(shù) .,解,,隨機(jī)變量 ，即,,例,估計(jì) 只需在 和 之間作出選擇

13、.,計(jì)算這兩種情況下 的分布律：,的估計(jì),根據(jù)極大似然原理，應(yīng)該尋找使事件發(fā)生的概率最大的參數(shù)值作為未知參數(shù)的估計(jì)值。,1. 似然函數(shù),進(jìn)行一次具體的抽樣之后， (X1, X2, …, X n ) 得到一組觀察值 (x1, x2, …, x n )。是一組確定的數(shù)，把它們代入上式，則,設(shè)總體分布(以離散型為例)為P(X=x)=P(x,?1, ?2…… ,?k), （?1, ?2…… ,?k )∈Θ未知，樣本(X1, X2,

14、…, X n )來(lái)自總體 X，則樣本(X1, X2, …, X n )的概率分布函數(shù)為：,僅為（?1, ?2…… ,?k )∈Θ的函數(shù)。把它記作 并稱(chēng),為參數(shù)（?1, ?2…… ,?k )的似然函數(shù)。,進(jìn)行一次具體的抽樣之后， (X1, X2, …, X n ) 得到一組觀察值 (x1, x2, …, x n )。是一組確定的數(shù)，把它們代入上式，則,若總體X為連續(xù)性隨機(jī)變量，

15、其密度函數(shù)為分布為f(x,?1, ?2…… ,?k), （?1, ?2…… ,?k )∈Θ未知，樣本(X1, X2, …, X n )來(lái)自總體 X，則樣本(X1, X2, …, X n )的密度函數(shù)為：,僅為（?1, ?2…… ,?k )∈Θ的函數(shù)。把它記作 并稱(chēng),為參數(shù)（?1, ?2…… ,?k )的似然函數(shù)。,可見(jiàn)，似然函數(shù)實(shí)質(zhì)上是樣本的概率分布或密度函數(shù)。,2.極大似

16、然法,當(dāng)給定一組樣本值時(shí)，似然函數(shù)L (?1, ?2…… ,?k )為參數(shù)(?1, ?2…… ,?k )的函數(shù)，極大似然估計(jì)法的思想就是：,選擇使似然函數(shù)L (?1, ?2…… ,?k )達(dá)到最大值的點(diǎn),作為為參數(shù)(?1, ?2…… ,?k )的估計(jì)。,定義1.1,若存在樣本值 (x1, x2, …, x n )的函數(shù),使似然函數(shù)L (?1, ?2…… ,?k )達(dá)到最大值，即,則稱(chēng),為參數(shù)?i的極大似然估計(jì)值；,稱(chēng)相應(yīng)的統(tǒng)計(jì)量,為?

17、i的極大似然估計(jì)量；,極大似然估計(jì)值和極大似然估計(jì)量統(tǒng)稱(chēng)為極大似然估計(jì)。,3、極大似然估計(jì)（離散型總體）的步驟,,極大似然估計(jì)（連續(xù)型總體）的步驟,,下面舉例說(shuō)明如何求參數(shù)的極大似然估計(jì)。,試求參數(shù)p的極大似然估計(jì)量,故似然函數(shù)為,例1：,試求參數(shù)p的極大似然估計(jì)量,故似然函數(shù)為,例1：,故似然函數(shù)為,例2：,似然函數(shù)為：,例3：,例4：,例5：,例6：,極大似然法求估計(jì)量的步驟：(一般情況下),說(shuō)明：若似然方程（組）無(wú)解，或似然函數(shù)不

18、可導(dǎo)， 此法失效，改用其它方法。,例7：,,,方程組無(wú)解,點(diǎn)估計(jì),,矩估計(jì)法,基本步驟,,,極大似然估計(jì)法,基本步驟,,第二節(jié) 點(diǎn)估計(jì)的優(yōu)良性準(zhǔn)則,我們知道，一個(gè)未知參數(shù)的估計(jì)量可能不止一個(gè)。究竟采用哪個(gè)為好呢？這就涉及到用什么標(biāo)準(zhǔn)來(lái)評(píng)價(jià)估計(jì)量的問(wèn)題。我們介紹三個(gè)常用的標(biāo)準(zhǔn)： 1）無(wú)偏性； 2）有效性； 3）一致性。,2.1 無(wú)偏

19、性,根據(jù)樣本推得的估計(jì)值與真值可能不同， 然而，如果有一系列抽樣構(gòu)成各個(gè)估計(jì)，很合理地會(huì)要求這些估計(jì)的期望值與未知參數(shù)的真值相等，它的直觀意義是樣本估計(jì)量的數(shù)值在參數(shù)的真值周?chē)鷶[動(dòng)，而無(wú)誤差，這就是估計(jì)量的無(wú)偏性。,定義2.1：設(shè)總體X的分布中含有未知參數(shù)? ?? ，? 為參數(shù)空間，樣本(X1, X2, …, X n)來(lái)自 X， ，若,例1：設(shè)

20、總體X 有期望 EX=? 與方差 DX=? 2，? 與? 2 都未知。 樣本(X1, X2, …, X n)來(lái)自 X，試證： (1) 樣本均值 是總體均值?的無(wú)偏估計(jì)； (2) 樣本方差S2是? 2的無(wú)偏估計(jì)； (3) 樣本標(biāo)準(zhǔn)差S不是標(biāo)準(zhǔn)差? 的無(wú)偏估計(jì)； (4) B2不是? 2的無(wú)偏估計(jì)。,證： 由定理知： (1),(2) ES2=? 2,這個(gè)結(jié)論與總

21、體的分布類(lèi)型沒(méi)有關(guān)系。只要總體期望和方差存在， 樣本均值總是總體期望的無(wú)偏估計(jì)，樣本方差總是總體方差的無(wú)偏估計(jì),(3) 由DS=ES2 - (ES)2=? 2 - (ES)2，得,所以，樣本標(biāo)準(zhǔn)差S不是標(biāo)準(zhǔn)差? 的無(wú)偏估計(jì)。,(4) 因,所以，二階樣本中心矩B2不是總體方差? 2的無(wú)偏估計(jì)。因此，通常把B2的分母修正為n-1獲得樣本方差S2作為總體方差? 2的估計(jì)。,例2：設(shè)總體X 的期望值 EX=?未知，方差 DX有限， 樣本

22、(X1, X2, …, X n)來(lái)自 X，試證：,所以，未知參數(shù)? 的無(wú)偏估計(jì)量往往有許多個(gè)， 在這些估計(jì)量中，當(dāng)然是取值對(duì)于? 的離散程度越小的 越好，即方差越小的越好。,2.2 無(wú)偏估計(jì)的有效性,定義2.2：設(shè)總體X的分布中含有未知參數(shù)? ?? ，? 為參數(shù)空間，樣本(X1, X2, …, X n)來(lái)自 X，,解：DX1=DX=? 2,解：所謂線性估計(jì)是指,為樣本的線性函數(shù)，,2.3 一致性（相合性）,例：,樣本

23、均值 是總體均值μ的一致估計(jì)值.,結(jié)論1：,樣本方差 是總體方差 的一致估計(jì)值.,結(jié)論2：,要求：,當(dāng)樣本容量 n 無(wú)限增大時(shí)，估計(jì)量能在某種意義下充分接近被估計(jì)的參數(shù)。,引言,前面，我們討論了參數(shù)點(diǎn)估計(jì). 它是用樣本算得的一個(gè)值去估計(jì)未知參數(shù). 但是，點(diǎn)估計(jì)值僅僅是未知參數(shù)的一個(gè)近似值，它沒(méi)有反映出這個(gè)近似值的誤差范圍，使用起來(lái)把握不大. 區(qū)間估計(jì)正好彌補(bǔ)了點(diǎn)估計(jì)的這個(gè)缺陷 .,§ 6.3

24、 區(qū)間估計(jì),,譬如，在估計(jì)湖中魚(yú)數(shù)的問(wèn)題中，若我們根據(jù)一個(gè)實(shí)際樣本，得到魚(yú)數(shù) N 的極大似然估計(jì)為1000條.,若我們能給出一個(gè)區(qū)間，在此區(qū)間內(nèi)我們合理地相信 N 的真值位于其中. 這樣對(duì)魚(yú)數(shù)的估計(jì)就有把握多了.,實(shí)際上，N的真值可能大于1000條，也可能小于1000條.,也就是說(shuō)，我們希望確定一個(gè)區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.,,湖中魚(yú)數(shù)的真值,[ ],,這里所說(shuō)的“可靠程度”是用概率來(lái)度量的

25、 ，稱(chēng)為置信度或置信水平.,一、區(qū)間估計(jì)的基本概念,的可靠性。,置信區(qū)間表示估計(jì)結(jié)果的精確性，,而置信概率則表示這一結(jié)果,通常，置信系數(shù)（可靠性）采用 0.95, 0.99, 0.90 等值。,,未知參數(shù)θ的置信區(qū)間，稱(chēng)為參數(shù)θ的區(qū)間估計(jì)。,對(duì)于已給的置信概率1-α，,根據(jù)樣本觀測(cè)值來(lái)確定,可見(jiàn)，,區(qū)間估計(jì):,1.可靠度：要求區(qū)間以很大的可能性包含? 即：,2.精度：估計(jì)的精度要盡可能高, 即 區(qū)間的長(zhǎng)度要盡可能小, 或

26、能體現(xiàn)此要求的其它準(zhǔn)則。,在保證可靠度的條件下，盡量提高精度,可靠度和精度要統(tǒng)籌兼顧,,,在求置信區(qū)間時(shí)，要查表求分位點(diǎn).,二、置信區(qū)間的求法,教材已經(jīng)給出了概率分布的上側(cè)分位數(shù)（分位點(diǎn)）的定義，為便于應(yīng)用，這里我們?cè)俸?jiǎn)要介紹一下.,標(biāo)準(zhǔn)正態(tài)分布的臨界值（? 分位點(diǎn)）,?2分布的臨界值（? 分位點(diǎn)）,例：,t 分布的臨界值（? 分位點(diǎn)）,例：,1. 397,例：,樞軸變量法求置信區(qū)間,(1) 找與?有關(guān)的統(tǒng)計(jì)量 T (一般T是?

27、的點(diǎn)估計(jì)),(2)找一個(gè)函數(shù) I=I(T, ? ), I 的分布F與 ? 無(wú)關(guān)( I(T,? )為樞軸變量),(3)對(duì)給定的 1- ? ，找到F 的上分位點(diǎn) 和,三、正態(tài)總體未知參數(shù)的區(qū)間估計(jì)（樞軸變量法）,1、均值? 的區(qū)間估計(jì),,(1) ? 2已知,設(shè)總體X ~N(? ,? 2)，樣本 (X1, X2, …, Xn) 來(lái)自總體X 。,所以 ? 的置信系數(shù)為1-? 的置信區(qū)間：,樞軸變量為,(2) ? 2未

28、知,所以 ? 的置信系數(shù)為1-? 的置信區(qū)間：,,樞軸變量為,例1：從大批燈泡中隨機(jī)地抽取5個(gè),測(cè)得壽命為(單位: 小時(shí))：1650, 1700, 1680, 1820, 1800，假定燈泡壽命X~N(? , 9)，求這批燈泡平均壽命的區(qū)間估計(jì) （? = 0.05）。,解：方差? 2=9已知，利用公式：,,P(1727.37? ? ?1732.63)=0.95,注,,例2 ：從大批燈泡中隨機(jī)地抽取5個(gè),測(cè)得壽命為(單位: 小時(shí))：

29、1650, 1700, 1680, 1820, 1800，假定燈泡壽命X~N( ?, ? 2)，求這批燈泡平均壽命的區(qū)間估計(jì) （? = 0.05）。,,解：方差? 2未知，利用公式：,,2、方差的區(qū)間估計(jì),(1) ? 已知,? 2 的置信系數(shù)為1-?的區(qū)間估計(jì)為：,樞軸變量為,,,(2) ? 未知,? 2 的置信系數(shù)為1-?的區(qū)間估計(jì)為：,,樞軸變量為,查 ? 2 分布表得 ? 20.025(5)=12.833

30、， ? 20.975(5)=0.831。所以，得方差的區(qū)間估計(jì)為 [0.055 , 0.842]。,例3：對(duì)某塔的高度進(jìn)行了 5 次測(cè)量，數(shù)據(jù)（單位：米）如下：90.5, 90.4, 89.7, 89.6, 90.2，設(shè)測(cè)量數(shù)據(jù)服從正態(tài)分布，求方差的區(qū)間估計(jì)（? = 0.05）。 (1) 假設(shè)塔的真實(shí)高度為 90米。 (2) 假設(shè)塔的真實(shí)高度未知。,解：(1) 利用公式：,計(jì)算得：,,

31、,(2) 利用公式：,,計(jì)算得：,查?2分布表得? 20.025(4)=11.143， ? 20.975(4)=0.484。 所以，得方差的區(qū)間估計(jì)為 [0.060 , 1.380]。,1、均值差? 1 -?2的區(qū)間估計(jì),(1) ? 12 ,, , ?22都已知,令樞軸變量為,,所以 ? 1 -?2的置信系數(shù)為1-? 的置信區(qū)間：,解：由? = 0.1，查標(biāo)準(zhǔn)正態(tài)分

32、布表得 U?/2=U0.05=1.645因 n1=10，n2=12, ?12=25, ?22 =36，所以，,例1：設(shè)自總體X~N(?1 ,25)得到一容量為10的樣本，其樣本均值 ，自總體Y~N(?1 ,36)得到一容量為12的樣本，其樣本均值 , 并且兩樣本 相互獨(dú)立,求? 1 -?2的置信區(qū)間（? = 0.1）。,得? 1 -?2的置信區(qū)間為 [-8.06,-0.34]。,(2)

33、? 12 ,,=?22= ?2 ,但?2未知,令樞軸變量為 定理（5.10）,所以 ? 1 -?2的置信系數(shù)為1-? 的置信區(qū)間：,解：由抽樣的隨機(jī)性可推知樣本燈泡相互獨(dú)立，又因?yàn)樗鼈兊目傮w方差相等，所以由,得? 1 -? 2的置信區(qū)間為 [-36.53,76.53]。,例2：為比較A,B兩種型號(hào)燈泡的壽命， 隨機(jī)抽取A型燈泡5只，測(cè)得 ，標(biāo)準(zhǔn)差SA=28小時(shí)，隨機(jī)抽取B型燈泡5只，測(cè)得

34、 ，標(biāo)準(zhǔn)差SB=32小時(shí)，設(shè)總體都是正態(tài)的，并且由生產(chǎn)過(guò)程知它們的方差相等. 求? 1 -?2 的置信區(qū)間（? = 0.01）,因 n1=5，n2=7, SA=28, SB =32,而 ? = 0.01，查t-分布表得 t?/2(10)= t0.005(10 )= 3.169 , ， 所以,令樞軸變量為,2、兩個(gè)正態(tài)總體方差比 的區(qū)

35、間估計(jì),所以方差比 的置信系數(shù)為1-?的置信區(qū)間為,例3：兩正態(tài)總體X~N(?1 ,?12)和Y~N(?2 ,?22)的參數(shù)均未知，依次取容量為25 ，15的兩獨(dú)立樣本，測(cè)得 ，樣本方差依次為6.38 ，5.15 ，求兩個(gè)正態(tài)總體方差比 的置信區(qū)間（? = 0.1）,所以方差比 的置信系數(shù)為1-?的置信區(qū)間為[ 0.527，2.639],解：因 n1=25，n2=15, S12/S22 =6.38/5.15=1.