[學(xué)習(xí)]概率論與數(shù)理統(tǒng)計(jì)王明慈第二版第6章參數(shù)點(diǎn)估計(jì)1節(jié)

1、第5章數(shù)理統(tǒng)計(jì)的基本知識,,基本概念,,總體X,樣本(X1, X2,…, Xn),統(tǒng)計(jì)量,三大抽樣分布,,正態(tài)總體X下統(tǒng)計(jì)量的分布,? 分位點(diǎn),,,,第六章 參數(shù)估計(jì),基本內(nèi)容：,一、參數(shù)的點(diǎn)估計(jì): 1. 矩估計(jì)法 2. 最大似然估計(jì)法,二、判別估計(jì)量好壞的標(biāo)準(zhǔn): 無偏性；有效性；一致性,三、正態(tài)總體參數(shù)的區(qū)間估計(jì).,第一節(jié) 參數(shù)的點(diǎn)估計(jì),一、參數(shù)點(diǎn)估計(jì)的概念,二、矩估計(jì)法,三、最大似然

2、估計(jì)法,基本內(nèi)容：,但參數(shù) 是未知的.,,事實(shí)上，我們常遇到這樣的實(shí)際問題——,,從總體X中抽取一個(gè)樣本,相應(yīng)的,一、參數(shù)點(diǎn)估計(jì)的概念,總體X的分布的形式為已知，,然后用觀測值去估計(jì),解決思路：,一個(gè)觀測值為,已知某種元件的壽命 ，即,的概率密度函數(shù),,,的形式已知, 但 未知 .,,例如,1050, 1100, 1080, 1200,1300,1250,1340

3、,1060,1150,1150.,現(xiàn)用抽取的觀測值,則稱統(tǒng)計(jì)量,參數(shù) 的點(diǎn)估計(jì)的思路,估計(jì), 即令,的點(diǎn)估計(jì)值 .,構(gòu)造一個(gè)合適的統(tǒng)計(jì)量,作為參數(shù),為,點(diǎn)估計(jì)量;,的觀測值,稱為,點(diǎn)估計(jì)的定義：,設(shè)總體X的分布中含有未知參數(shù),從總體X中,抽取樣本 X1, X2, … , Xn,,注：,,矩估計(jì)法是由英國統(tǒng)計(jì)學(xué)家,其基本思想: 是用樣本矩估計(jì) (或代替)總體矩.,皮爾遜(K. Pearson)在1900年提出.,或令,二、矩估計(jì)法,即令

4、,（其中k=1, 2, ……）,設(shè)總體X服從區(qū)間,試求未知參數(shù) 的矩估計(jì)量和矩估計(jì)值.,解:,其觀測值為 .,即,解方程①得 的矩估計(jì)量為,例1.,上的均勻分布,,易求得,………①,令,而矩估計(jì)值為,求總體 的均值 和方差 的矩估計(jì)量.,解:,設(shè) 是總體 的一個(gè)樣本，,經(jīng)計(jì)算得,故令,解得,例2.,令,…………①,…………②

5、,解方程組得,,一般地,,注: 總體均值與方差的矩估計(jì)量不因總體分布的不同而異.,,假定總體X的1～m 階原點(diǎn)矩,存在，,第二步：用樣本矩代替總體矩，即令,矩估計(jì)法步驟：,設(shè)總體X的分布中含有m個(gè)待估的未知參數(shù),則,第一步:求總體X的k階原點(diǎn)矩,,解含m個(gè)參數(shù) 的m個(gè)方程組,,得,以 作為參數(shù) 的估計(jì)量.,第三步:,第四步:,矩估計(jì)法的優(yōu)缺點(diǎn):,直觀、簡單;,2.缺點(diǎn):,只須知道總體矩,無須知道總體的分布形式.,沒

6、有充分利用總體分布提供的信息；,可能估計(jì)結(jié)果的精度比其它估計(jì)法的低.,矩估計(jì)量不具有唯一性；,1.優(yōu)點(diǎn):,最大似然估計(jì)作為一種點(diǎn)估計(jì)方法最初是由,德國數(shù)學(xué)家高斯(Gauss)于1821年提出;,學(xué)家費(fèi)歇爾(R.A.Fisher)在1912年作了進(jìn)一步發(fā)展,使之成為數(shù)理統(tǒng)計(jì)中最重要應(yīng)用最廣泛的方法之一.,Gauss,Fisher,三、最大似然估計(jì)法,英國統(tǒng)計(jì),其中 是未知參數(shù).,則稱 為似然函數(shù).,設(shè)總體X的概率函數(shù)為

7、,或概率密度為 ,,的聯(lián)合概率函數(shù)或,,1.似然函數(shù),則樣本,聯(lián)合概率密度函數(shù)為,或,最大似然原理的直觀想法：在試驗(yàn)中概率,最大的事件最有可能出現(xiàn).一個(gè)試驗(yàn)如有若干個(gè),可能結(jié)果 ,若在一次試驗(yàn)中,結(jié)果 出現(xiàn),,則認(rèn)為 出現(xiàn)的概率最大.,2.最大似然估計(jì)法 MLE (Maximum Likelihood Estimate),也就是說, 在一次抽樣中得到觀測值(x1,…,xn

8、),則認(rèn)為觀測值(x1,…,xn)出現(xiàn)的概率最大.,,,,若在一次試驗(yàn)中得到的觀察值 ，,則該觀測值出現(xiàn)的概率應(yīng)最大，,使似然函數(shù) 達(dá)到最大.,是樣本的觀測值,,設(shè)總體X的概率函數(shù)為,以離散型總體X為例,則其出現(xiàn)的概率,所以適當(dāng)選取,,最大似然估計(jì)量,定義.,由于,與 有相同的最大值點(diǎn) .因此， 為,最大似然估計(jì)的必要條件為,,稱它為似然方程, 其中,如何求

9、似然函數(shù)的最大值？,似然函數(shù)：,最大似然估計(jì)(MLE)的步驟:,第一步:,第二步:,第三步:,第四步:,設(shè)總體 服從泊松分布 ,其中 為未知,參數(shù)，試求參數(shù) 的最大似然估計(jì)值 .,設(shè)樣本 的一個(gè)觀測值為,解:,,由于總體 ,故有,似然函數(shù)為,例3.,取對數(shù),,即,所以 的最大似然估計(jì)值為 .,

10、隨機(jī)變量X表示,例4. 從一批產(chǎn)品中放回抽樣依次抽取60件樣品,,發(fā)現(xiàn)其中有3件次品，用最大似然估計(jì)法估計(jì),這批產(chǎn)品的次品率.,解：,設(shè)這批產(chǎn)品的次品率為p，,任一次抽樣時(shí)取得次品的件數(shù),,則 X~B(1, p).,則概率函數(shù)為,所以似然函數(shù)為,取對數(shù)，得,即,解得p的最大似然估計(jì)值為,似然方程,解:,似然函數(shù),例5.,取對數(shù),求導(dǎo),似然方程,與相應(yīng)的矩估計(jì)量相同.(P151),解:,例6.,總體X的概率密度函數(shù)為,分析,20 取對

11、數(shù)求導(dǎo),3.最大似然估計(jì)的性質(zhì)——不變性,內(nèi)容小結(jié),1. 理解參數(shù)的點(diǎn)估計(jì)的概念；,2. 掌握矩估計(jì)法和最大似然估計(jì)法；,熟練掌握常見分布的矩估計(jì)和最大似然估計(jì)，,如泊松分布、均勻分布、指數(shù)分布及正態(tài)分布,中參數(shù)的矩估計(jì)和最大似然估計(jì).,習(xí)題六(P180): 1、2,作業(yè),備用題,(1)求 ? =1 時(shí), 未知參數(shù) ? 的矩估計(jì)量.,其中參數(shù) ? > 0, ? > 1,,1. 設(shè) X 的分布函數(shù)為,X1, X2,…, Xn

12、是總體 的樣本,,解:,當(dāng) ? =1時(shí), X 的概率密度為,令樣本均值代替總體均值,解得,∴ ? 的矩估計(jì)量為,,,即,解 (2) ? =2 時(shí),,由于L(?)關(guān)于? 的單調(diào)增函數(shù),,且注意到? 須滿足,故? 的極大似然估計(jì)量為,(2) 求 ? =2 時(shí), 未知參數(shù) ? 的極大似然估計(jì)量.,作似然函數(shù),? <x i, i=1,2,…, n,,2.設(shè)總體X的概率密度為,X1, X2,…, Xn 是取自總體X 的簡單隨機(jī)樣本,,

13、解：,令,即,得矩估計(jì)量,(2) 由于,3. 設(shè)某種電子元件的壽命T服從指數(shù)分布,今測得10個(gè)元件的失效時(shí)間為1050, 1100, 1080,,1200,1300,1250,1340,1060,1150,1150.,解：,指數(shù)分布的概率密度為,試求?的最大似然估計(jì)值.,作似然函數(shù),= 0 ,,解得?的最大似然估計(jì)值：,取對數(shù)似然函數(shù)：,令,由抽樣數(shù)據(jù)易得樣本均值的觀測值為,(2) 參數(shù)?的最大似然估計(jì)值；,4. 設(shè)總體X服從拉普拉斯