[學(xué)習(xí)]概率論與數(shù)理統(tǒng)計柴中林第17講

1、,,概率論與數(shù)理統(tǒng)計第十七講,主講教師：柴中林副教授,中國計量學(xué)院理學(xué)院,,,第七章: 參數(shù)估計,數(shù)理統(tǒng)計的任務(wù)： ● 總體分布類型的判斷； ● 總體分布中未知參數(shù)的推斷(參數(shù)估計與 假設(shè)檢驗)。,參數(shù)估計問題的一般提法,設(shè)總體 X 的分布函數(shù)為 F( x, θ )，其中θ 為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本,X1, X2 , … , Xn .,依樣本對參數(shù)θ 做出估計，或估計參數(shù) θ 的某個已知函數(shù) g

2、(θ ) 。,這類問題稱為參數(shù)估計。,參數(shù)估計包括：點估計和區(qū)間估計。,稱該計算值為 µ 的一個點估計。,為估計參數(shù) µ，需要構(gòu)造適當(dāng)?shù)慕y(tǒng)計量 T( X1, X2 , … , Xn )，一旦當(dāng)有了樣本，就將樣本值代入到該統(tǒng)計量中，算出一個值作為 µ 的估計，,尋求估計量的方法,1. 矩估計法,2. 極大似然法,3. 最小二乘法,4. 貝葉斯方法 …,我們僅介紹前面的兩

3、種參數(shù)估計法 。,其思想是: 用同階、同類的樣本矩來估計總體矩。,矩估計是基于“替換”思想建立起來的一種參數(shù)估計方法 。,最早由英國統(tǒng)計學(xué)家 K. 皮爾遜 提出。,§7.1 矩估計,矩估計就是用相應(yīng)的樣本矩去估計總體矩。,設(shè)總體 X 的分布函數(shù)中含 k 個未知參數(shù),步驟一：記總體 X 的 m 階原點矩 E(Xm)為 am , m = 1,2,…,k.,am(?1,?2,…,?k), m =1, 2, …, k.,一

4、般地, am (m = 1, 2, …, K) 是總體分布中參數(shù)或參數(shù)向量 (?1, ?2, …, ?k) 的函數(shù)。,故, am (m=1, 2, …, k) 應(yīng)記成:,步驟二：算出樣本的 m 階原點矩,步驟三：令,得到關(guān)于 ?1,?2,…,?k 的方程組(L≥k)。一般要求方程組(1)中有 k 個獨立方程。,步驟四：解方程組(1), 并記其解為,這種參數(shù)估計法稱為參數(shù)的矩估計法，簡稱矩法。,解：先求總體的期望,例1：設(shè)總

5、體 X 的概率密度為,由矩法，令,樣本矩,總體矩,解得,為α 的矩估計。,注意：要在參數(shù)上邊加上“^”，表示參數(shù)的估計。它是統(tǒng)計量。,解: 先求總體的均值和 2 階原點矩。,例2：設(shè) X1,X2,…Xn 是取自總體 X 的簡單樣本, X 有概率密度函數(shù),令y=(x-μ )/θ,令y=(x-μ )/θ,用樣本矩估計總體矩,得,列出方程組:,例3：設(shè)總體X的均值為?，方差為?2，求? 和?2 的矩估計。,解：由,故，均值?,方差?2的

6、矩估計為,求解，得,如：正態(tài)總體N(? , ?2) 中? 和?2的矩估計為,又如：若總體 X～ U(a, b)，求a, b的矩估計。,解：列出方程組,因,解上述方程組，得到 a,b 的矩估計:,矩估計的優(yōu)點是：簡單易行, 不需要事先知道總體是什么分布。,缺點是：當(dāng)總體的分布類型已知時，未充分利用分布所提供的信息；此外，一般情形下，矩估計不具有唯一性 。,§7.2 極大似然估計,極大似然估計法是在總體的分布類型已知前提下，使

7、用的一種參數(shù)估計法 。,該方法首先由德國數(shù)學(xué)家高斯于 1821年提出，其后英國統(tǒng)計學(xué)家費歇于 1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質(zhì)，并給出了求參數(shù)極大似然估計一般方法——極大似然估計原理 。,I. 極大似然估計原理,設(shè)總體 X 的分布 (連續(xù)型時為概率密度，離散型時為概率分布) 為 f(x, θ) , X1,X2,…,Xn 是抽自總體 X 的簡單樣本。于是，樣本的聯(lián)合概率函數(shù) (連續(xù)型時為聯(lián)合概率密度，離散型時為聯(lián)合概率分

8、布) 為,被看作固定，但未知的參數(shù)。,,視為變量,將上式簡記為 L(θ )，即,稱 L(θ )為θ 的似然函數(shù)。,視為變量,,視為固定值,假定現(xiàn)在我們觀測到一組樣本 X1, X2, …, Xn，要去估計未知參數(shù)θ 。,稱 為θ 的極大似然估計 (MLE)。,一種直觀的想法是：哪個參數(shù)(多個參數(shù)時是哪組參數(shù)) 使得現(xiàn)在的出現(xiàn)的可能性 (概率) 最大，哪個參數(shù)(或哪組參數(shù))就作為參數(shù)的估計。,這就是 極大似然估計原理。,如果,θ

9、可能變化空間,稱為參數(shù)空間。,(4). 在最大值點的表達(dá)式中，代入樣本值， 就得參數(shù) θ 的極大似然估計。,II. 求極大似然估計(MLE)的一般步驟,. 由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)(連 續(xù)型時為聯(lián)合概率密度, 離散型時為聯(lián)合 概率分布)；,(2). 把樣本的聯(lián)合概率函數(shù)中的自變量看成 已知常數(shù), 參數(shù)θ 看成自變量, 得到似然 函數(shù) L(θ

10、 )；,(3). 求似然函數(shù) L(θ ) 的最大值點 (常常轉(zhuǎn)化 為求ln L(θ )的最大值點) ，即 θ 的MLE;,兩點說明：,● 求似然函數(shù) L(θ ) 的最大值點，可應(yīng)用微積分中的技巧。由于 ln(x) 是 x 的增函數(shù)，所以 ln L(θ ) 與 L(θ ) 在 θ 的同一點處達(dá)到各自的最大值。假定 θ 是一實數(shù), ln L(θ )是 θ 的一個可微函數(shù)。通過求解似然方程,可以得到 θ 的MLE

11、。,● 用上述方法求參數(shù)的極大似然估計有時行不通，這時要用極大似然原理來求 。,若θ 是向量，上述似然方程需用似然方程組,代替 。,III. 下面舉例說明如何求參數(shù)的MLE,例1: 設(shè)X1, X2, …, Xn是取自總體 X~B(1, p) 的一個樣本，求參數(shù) p 的極大似然估計。,解：似然函數(shù)為,對數(shù)似然函數(shù)為：,對 p 求導(dǎo)，并令其等于零，得,,上式等價于,解上述方程，得,換成,換成,例2：求正態(tài)總體 N(?, ?2) 參數(shù) ?

12、 和 ?2 的極大似然估計(注: 我們把 ?2 看作一個參數(shù))。,解：似然函數(shù)為,對數(shù)似然函數(shù)為,似然方程組為,由第一個方程，得到,代入第二方程，得到,是L(?,?2)的最大值點，即 ? 和 ?2 的極大似然估計。,下面驗證：似然方程組的唯一解是似然函數(shù)的最大值點。,例3：設(shè)總體 X 服從泊松分布 P(? )，求參數(shù)? 的極大似然估計。,解：由 X 的概率分布函數(shù)為,得? 的似然函數(shù),似然方程為,對數(shù)似然函數(shù)為,其解為,換成,換成,得?

13、 的極大似然估計,例 4：設(shè) X ～U(a, b)，求 a, b 的極大似然估計。,解：因,所以,由上式看到：L(a,b)作為a和b的二元函數(shù)是不連續(xù)的，所以我們不能用似然方程組來求極大似然估計，而必須從極大似然估計的定義出發(fā)，求L(a,b)的最大值。,為使 L(a, b) 達(dá)到最大，b-a 應(yīng)該盡量地小。但 b不能小于 max{x1,x2,…,xn}。否則，L(a,b) = 0。類似地，a 不能大于min{x1,x2,…,xn}。