[學(xué)習(xí)]概率論與數(shù)理統(tǒng)計(jì)ppt課件第七章最大似然估計(jì)

1、1,它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的 ,,Gauss,Fisher,然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇(Fisher) .,費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì) .,§7.2 最大似然估計(jì),2,思想方法 一次試驗(yàn)就出現(xiàn)的事件有較大的概率,7-17,3,最大似然法的基本思想,先看一個(gè)簡(jiǎn)單例子：,一只野兔從前方竄過(guò) .,是誰(shuí)打中的呢？,某位同學(xué)與一位獵人一起外出打獵 .

2、,如果要你推測(cè)，,你會(huì)如何想呢?,只聽(tīng)一聲槍響，野兔應(yīng)聲倒下 .,4,因?yàn)橹话l(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來(lái)這一槍是獵人射中的 .,其數(shù)學(xué)模型為,令X為打一槍的中彈數(shù)，則X~B(1,p), p未知.設(shè)想事先知道p只有兩種可能:,p=0.9 或 p=0.1,兩人中有一人打槍, 估計(jì)這一槍是誰(shuí)打的，即估計(jì)總體X的參數(shù)p的值,5,當(dāng)兔子不中彈，即{X =0}發(fā)生了,現(xiàn)有樣本觀測(cè)值x =1, 什么

3、樣的參數(shù)使該樣本值出現(xiàn)的可能性最大呢？,若p=0.9，則P{X=1}=0.9 若p=0.1，則P{X=1}=0.1,若p=0.9，則P{X=0}=0.1 若p=0.1，則P{X=0}=0.9,當(dāng)兔子中彈，即{X =1}發(fā)生了,6,引例 設(shè)總體 X 服從0-1分布，且P (X = 1) = p, 用極大似然法求 p 的估計(jì)值。,解,X 的概率分布可以寫(xiě)成,設(shè) X1, X2,…, Xn為總

4、體 X 的樣本,,設(shè) x1, x2,…, xn為總體 X 的樣本值,,則,7,對(duì)于不同的 p ,L (p)不同，見(jiàn)右下圖,現(xiàn)經(jīng)過(guò)一次試驗(yàn)，,,,8,在容許的范圍內(nèi)選擇 p ，使L(p)最大,注意到，ln L(p)是 L 的單調(diào)增函數(shù)，故若某個(gè)p 使ln L(p)最大，則這個(gè)p 必使L(p)最大。,7-20,9,最大似然估計(jì)法的基本思想：根據(jù)樣本觀測(cè)值，選擇參數(shù)p的估計(jì) ，使得樣本在該樣本值附近出現(xiàn)的可能性最大,10,一 離散型隨

5、機(jī)變量的情況,最大似然估計(jì)的求法,11,12,13,,定義2.1 設(shè)離散型隨機(jī)變量X1,X2,...,Xn 有聯(lián)合分布,其中 是未知參數(shù)，給定觀測(cè)數(shù)據(jù)x1，x2，...，xn后，稱 的函數(shù),為基于x1，x2，...，xn的似然函數(shù)(likelihood function)，稱 的最大值點(diǎn) 為 的最大似然估計(jì)(maximum likelihood estimator縮寫(xiě)為MLE),其中

6、 也可以是向量,14,二 連續(xù)型隨機(jī)變量的情況,15,16,,定義2.2 設(shè)隨機(jī)向量X=(X1,X2,...,Xn ) 有聯(lián)合密度,其中 是未知參數(shù)，給定X的觀測(cè)值x=(x1，x2，...，xn )后，稱 的函數(shù),為基于x=(x1，x2，...，xn )的似然函數(shù)(likelihood function)，稱 的最大值點(diǎn) 為參數(shù) 的最大似然估計(jì)(MLE),其中 也可以是向量,17,若

7、總體中包含多個(gè)未知參數(shù),18,(4) 在最大值點(diǎn)的表達(dá)式中, 用樣本值代入 就得參數(shù)的極大似然估計(jì)值 .,求最大似然估計(jì)(MLE)的一般步驟是：,(1) 由總體分布導(dǎo)出樣本的聯(lián)合分布列 (或聯(lián)合密度);,(2) 把樣本聯(lián)合分布列(或聯(lián)合密度)中自變 量看成已知常數(shù),而把參數(shù) 看作自變量, 得到似然函數(shù)L( );,(3) 求似然函數(shù) 的最大值點(diǎn)(常轉(zhuǎn)化為求對(duì)數(shù)似然函數(shù)

8、 的最大值點(diǎn)) 即 的MLE;,19,未知參數(shù)的函數(shù)的最大似然估計(jì),設(shè)總體X的分布類型已知, 其概率密度(或概率函數(shù))為f(x;?1,…, ?k), 未知參數(shù)的已知函數(shù)為g(?1,…, ?k). 若,分別為?1,…, ?k的最大似然估計(jì), 則,為 g(?1,…, ?k)的最大似然估計(jì).,20,解：X的分布列為,例1設(shè)X1,X2,…, Xn獨(dú)立同分布，都服從Poisson分布 ，給定觀測(cè)數(shù)據(jù)x

9、1,x2,…, xn，試求參數(shù) 的最大似然估計(jì).,因此似然函數(shù)為,21,令,=0,對(duì)數(shù)似然函數(shù)為：,得 的最大似然估計(jì)為,22,例2設(shè)X1,X2,…, Xn是取自總體 X~B(1, p) 的一個(gè)樣本，求參數(shù)p的最大似然估計(jì).,解：似然函數(shù)為:,對(duì)數(shù)似然函數(shù)為：,23,對(duì)p求導(dǎo)并令其為0，,=0,p的最大似然估計(jì)為,24,似然函數(shù)為：,25,對(duì)數(shù)似然函數(shù)為：,26,27,例4 X 服從指數(shù)分布,其密度函數(shù)為

10、 x1，x2，…，xn 為觀察值.試用最大似然估計(jì)法估計(jì),28,解：似然函數(shù)為,對(duì)數(shù)似然函數(shù)為,由,得 的最大似然估計(jì)為,29,解：似然函數(shù)為,對(duì)數(shù)似然函數(shù)為,例5 設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本,求 的最大似然估計(jì).,其中 >0,,30,求導(dǎo)并令其為0,=0,從中解得,即為 的MLE .,對(duì)數(shù)似然函數(shù)為,31,例6 設(shè)X1,X2,…, Xn是取自

11、總體 X~U(a, b) 的一個(gè)樣本，求參數(shù)a, b的最大似然估計(jì).,似然函數(shù)為,32,,不能求解。,33,似然函數(shù)a 越大, b 越小, L 越大.,令,x(1) = min {x1, x2,…, xn}x(n) = max {x1, x2,…, xn},34,故,是 a , b 的最大似然估計(jì)值.,取,35,例7 設(shè)總體X的概率分布為,其中0? ? ?1/2為未知參數(shù)。今對(duì)X進(jìn)行觀測(cè)， 得如下樣本值

12、 0，1，2，0，2，1求? 的最大似然估計(jì)。,,36,從而對(duì)數(shù)似然函數(shù)為,解：似然函數(shù)為,令,得,37,三 估計(jì)量的評(píng)選標(biāo)準(zhǔn),對(duì)于同一參數(shù)，用不同的估計(jì)方法求出的估計(jì)量可能不相同。,問(wèn)題：采用哪一個(gè)估計(jì)量好?,X1, X2,…, Xn,為來(lái)自該總體的樣本。,設(shè)總體X~ F(x, ? ), 其中 ? 為未知參數(shù)。,為 ? 的一個(gè)估計(jì)量。,38,估計(jì)量,而當(dāng)樣本(X1, …, Xn)有觀測(cè)值(y1, …, yn)時(shí)，估計(jì)值為,是一個(gè)

13、隨機(jī)變量，當(dāng)樣本(X1, …, Xn)有觀測(cè)值(x1, …, xn)時(shí)，估計(jì)值為,39,由不同的觀測(cè)結(jié)果，就會(huì)求得不同的參數(shù)估計(jì)值. 因此評(píng)價(jià)一個(gè)估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果來(lái)判斷，而必須根據(jù)估計(jì)量的分布從整體上來(lái)做評(píng)價(jià)。,當(dāng)樣本值取不同的觀測(cè)值時(shí)， 我們希望相應(yīng)的估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的均值與未知參數(shù)的真值的偏差越小越好. 當(dāng)這種偏差為0時(shí)，就導(dǎo)致無(wú)偏性這個(gè)標(biāo)準(zhǔn) .,40,1．無(wú)偏性,則稱 為 的無(wú)偏估計(jì)

14、 .,41,例1 樣本均值 與樣本方差S2 分別是 總體均值μ和總體方差σ2的無(wú)偏估計(jì)量.,證：,42,樣本k階矩為,例2 設(shè)總體X的k階原點(diǎn)矩存在，記其為?k， X1, X2,…, Xn為來(lái)自總體的樣本，問(wèn),是否為總體k階矩?k的無(wú)偏估計(jì).,解：由于,因此樣本k階矩是總體k階矩的無(wú)偏估計(jì),43,例3 設(shè)總體X ? N (?，? 2)，其中參數(shù)?，? 2未知，試用最大似然估計(jì)法求?，? 2的估計(jì)量，并問(wèn)是否是無(wú)偏估計(jì)？

15、,44,45,解：,因?yàn)?,設(shè)X的分布函數(shù)為,46,先求Z的分布函數(shù),47,對(duì)其求導(dǎo)數(shù)得到Z的密度函數(shù)為：,即Z的分布函數(shù),48,故,因此,nZ是? 的無(wú)偏估計(jì),49,例5 設(shè)X1, X2,…, Xn是來(lái)自總體X的樣 本，且E(X)=?。以下兩個(gè)估計(jì)是否為 ? 的無(wú)偏估計(jì),（答：是）,（答：是）,50,無(wú)偏估計(jì)以方差小者為好, 這就引進(jìn)了有效性這一概念 .,,的大小來(lái)決定二者,和,一個(gè)參數(shù)往往有不止一個(gè)無(wú)

16、偏估計(jì), 若,和,都是參數(shù) 的無(wú)偏估計(jì)量，,比較,我們可以,誰(shuí)更優(yōu) .,51,2．有效性,,且存在 的情形，則稱 較 有效 。,52,例6 設(shè)X1, X2,…, Xn是來(lái)自總體X的樣本，且E(X)=?。以下兩個(gè)估計(jì)誰(shuí)更有效？,解：,53,,,3. 相合性(一致性) 設(shè) 為未知參數(shù)? 的估計(jì)量，若對(duì)任意給定的? > 0，任意?，都有,設(shè)總體的k 階矩存在，則樣