[學(xué)習(xí)]概率論完整ppt課件第29講

1、,,引言,上一講，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的三大分布，給出了幾個(gè)重要的抽樣分布定理. 它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).,,總體,樣本,統(tǒng)計(jì)量,,,描述,,作出推斷,研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).,,隨機(jī)抽樣,,,現(xiàn)在我們來(lái)介紹一類重要的統(tǒng)計(jì)推斷問(wèn)題,參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).,參數(shù)估計(jì),估計(jì)廢

2、品率,估計(jì)新生兒的體重,估計(jì)湖中魚數(shù),… …,估計(jì)降雨量,在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).,這類問(wèn)題稱為參數(shù)估計(jì).,參數(shù)估計(jì)問(wèn)題的一般提法,X1,X2,…,Xn,參數(shù)估計(jì),點(diǎn)估計(jì),區(qū)間估計(jì),（假定身高服從正態(tài)分布 ）,設(shè)這5個(gè)數(shù)是:,1.65 1.67 1.68 1.78 1.69,估計(jì) 為1.68，,這是點(diǎn)估計(jì).,這是區(qū)間估計(jì).,假如我們

3、要估計(jì)某隊(duì)男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值 的估計(jì). 而全部信息就由這5個(gè)數(shù)組成 .,一、點(diǎn)估計(jì)概念及討論的問(wèn)題,例1 已知某地區(qū)新生嬰兒的體重X~,隨機(jī)抽查100個(gè)嬰兒,…,得100個(gè)體重?cái)?shù)據(jù),10,7,6,6.5,5,5.2, …,而全部信息就由這100個(gè)數(shù)組成.,把樣本值代入T(X1,X2,…Xn) 中，得到,的一個(gè)點(diǎn)估計(jì)值 .,請(qǐng)注意，被估計(jì)的參數(shù) 是

4、一個(gè)未知常數(shù)，而估計(jì)量 T(X1,X2,…Xn)是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個(gè)已知的數(shù)值,這個(gè)數(shù)常稱為 的估計(jì)值 .,使用什么樣的統(tǒng)計(jì)量去估計(jì) ？,可以用樣本均值;,也可以用樣本中位數(shù);,還可以用別的統(tǒng)計(jì)量 .,問(wèn)題是:,我們知道,服從正態(tài)分布,,由大數(shù)定律,,自然想到把樣本體重的平均值作為總體平均體重的一個(gè)估計(jì).,類似地，用樣本體重的方差 .,用樣本體重的均值,樣本體重的平

5、均值,樣本均值是否是 的一個(gè)好的估計(jì)量？,(2) 怎樣決定一個(gè)估計(jì)量是否比另一個(gè)估計(jì) 量“好”？,樣本方差是否是 的一個(gè)好的估計(jì)量？,這就需要討論以下幾個(gè)問(wèn)題:,(1) 我們希望一個(gè)“好的”估計(jì)量具有什么 特性？,(3) 如何求得合理的估計(jì)量？,那么要問(wèn):,二、估計(jì)量的優(yōu)良性準(zhǔn)則,在介紹估計(jì)量?jī)?yōu)良性的準(zhǔn)則之前，我們必須強(qiáng)調(diào)指出：,評(píng)價(jià)一個(gè)估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果，而必須由多次試驗(yàn)結(jié)果來(lái)衡量 .,這是因

6、為估計(jì)量是樣本的函數(shù)，是隨機(jī)變量 . 因此，由不同的觀測(cè)結(jié)果，就會(huì)求得不同的參數(shù)估計(jì)值. 因此一個(gè)好的估計(jì)，應(yīng)在多次試驗(yàn)中體現(xiàn)出優(yōu)良性 .,常用的幾條標(biāo)準(zhǔn)是：,1．無(wú)偏性,2．有效性,3．相合性,這里我們重點(diǎn)介紹前面兩個(gè)標(biāo)準(zhǔn) .,估計(jì)量是隨機(jī)變量，對(duì)于不同的樣本值會(huì)得到不同的估計(jì)值 . 我們希望估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的期望值等于未知參數(shù)的真值. 這就導(dǎo)致無(wú)偏性這個(gè)標(biāo)準(zhǔn) .,1．無(wú)偏性,則稱 為 的無(wú)偏估計(jì)

7、.,例如，用樣本均值作為總體均值的估計(jì)時(shí)，雖無(wú)法說(shuō)明一次估計(jì)所產(chǎn)生的偏差，但這種偏差隨機(jī)地在0的周圍波動(dòng)，對(duì)同一統(tǒng)計(jì)問(wèn)題大量重復(fù)使用不會(huì)產(chǎn)生系統(tǒng)偏差 .,無(wú)偏性是對(duì)估計(jì)量的一個(gè)常見(jiàn)而重要的要求 .,無(wú)偏性的實(shí)際意義是指沒(méi)有系統(tǒng)性的偏差 .,所以無(wú)偏估計(jì)以方差小者為好, 這就引進(jìn)了有效性這一概念 .,由于,2．有效性,,在數(shù)理統(tǒng)計(jì)中常用到最小方差無(wú)偏估計(jì).,它的定義是:,（也稱最佳無(wú)偏估計(jì)）,若 滿足：,（1）

8、 ， 即 為 的無(wú)偏估計(jì)；,則稱 為 的最小方差無(wú)偏估計(jì).,二、尋求估計(jì)量的方法,1. 矩估計(jì)法,2. 極大似然法,3. 最小二乘法,4. 貝葉斯方法,……,這里我們主要介紹前面兩種方法 .,1. 矩估計(jì)法,其基本思想是用樣本矩估計(jì)總體矩 .,理論依據(jù):,或格列汶科定理（見(jiàn)教材177頁(yè)）,它是基于一種簡(jiǎn)單的“替換”思想建立起來(lái)的一種估計(jì)方法 .,是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的 .,大數(shù)定律,記總體k階矩為

9、,樣本k階矩為,用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法.,記總體k階中心矩為,樣本k階中心矩為,i=1,2,…,k,從這k個(gè)方程中解出,j=1,2,…,k,那么用諸 的估計(jì)量 Ai分別代替上式中的諸 , 即可得諸 的矩估計(jì)量 ：,j=1,2,…,k,解:,由矩法,,樣本矩,總體矩,從中解得,數(shù)學(xué)期望是一階原點(diǎn)矩,解:由密度函數(shù)知,具有均值為 的指數(shù)分布,故 E(X- )=,D(X-

10、 )=,用樣本矩估計(jì)總體矩,矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布 .,缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有 充分利用分布提供的信息 . 一般場(chǎng)合下,矩估計(jì)量不具有唯一性 .,其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性 .,稍事休息,2. 極大似然法,是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法 .,它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的 ,,Gauss,Fisher,然而，這個(gè)

11、方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇 .,費(fèi)歇在1922年重新發(fā)現(xiàn)了 這一方法，并首先研究了這 種方法的一些性質(zhì) .,極大似然法的基本思想,先看一個(gè)簡(jiǎn)單例子：,一只野兔從前方竄過(guò) .,是誰(shuí)打中的呢？,某位同學(xué)與一位獵人一起外出打獵 .,如果要你推測(cè)，,你會(huì)如何想呢?,只聽(tīng)一聲槍響，野兔應(yīng)聲倒下 .,下面我們?cè)倏匆粋€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想 .,你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.

12、 看來(lái)這一槍是獵人射中的 .,這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 .,例4 設(shè)X~B(1,p), p未知.設(shè)想我們事先知道p只有兩種可能:,問(wèn):應(yīng)如何估計(jì)p?,p=0.7 或 p=0.3,如今重復(fù)試驗(yàn)3次,得結(jié)果: 0 , 0, 0,由概率論的知識(shí), 3次試驗(yàn)中出現(xiàn)“1”的次數(shù),k=0,1,2,3,將計(jì)算結(jié)果列表如下：,應(yīng)如何估計(jì)p?,p=0.7 或 p=0.3,k=0,1,2,3,p值P(

13、Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027,出現(xiàn),估計(jì),出現(xiàn),出現(xiàn),出現(xiàn),估計(jì),估計(jì),估計(jì),0.343,0.441,0.441,0.343,如果有p1,p2,…,pm可供選擇, 又如何合理地選p呢?,從中選取使Qi 最大的pi 作為p的

14、估計(jì).,i=1,2,…,m,則估計(jì)參數(shù)p為,若重復(fù)進(jìn)行試驗(yàn)n次,結(jié)果“1”出現(xiàn)k次(0 ≤ k≤ n),,如果只知道0<p<1,并且實(shí)測(cè)記錄是 Y=k (0 ≤ k≤ n),又應(yīng)如何估計(jì)p呢?,注意到,是p的函數(shù),可用求導(dǎo)的方法找到使f (p)達(dá)到極大值的p .,但因f (p)與lnf (p)達(dá)到極大值的自變量相同,故問(wèn)題可轉(zhuǎn)化為求lnf (p)的極大值點(diǎn) .,=f (p),將ln f (p)對(duì)p求導(dǎo)并令其為0,,這

15、時(shí), 對(duì)一切0<p<1,均有,從中解得,=0,便得 p(n-k)=k(1-p),以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想 .,這時(shí),對(duì)一切0<p<1,均有,則估計(jì)參數(shù)p為,極大似然估計(jì)原理：,當(dāng)給定樣本X1,X2,…Xn時(shí)，定義似然函數(shù)為：,設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合概率函數(shù)(離散型)為 f (X1,X2,…Xn;

16、 ) .,似然函數(shù)：,極大似然估計(jì)法就是用使 達(dá)到最 大值的 去估計(jì) .,稱 為 的極大似然估計(jì)（MLE）.,看作參數(shù) 的函數(shù)，它可作為 將以多大可能產(chǎn)生樣本值X1,X2,…Xn的一種度量 .,(4) 在最大值點(diǎn)的表達(dá)式中, 用樣本值代入 就得參數(shù)的極大似然估計(jì)值 .,求極大似然估計(jì)(MLE)的一般步驟是：,(1) 由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù) (或聯(lián)合密度);,

17、(2) 把樣本聯(lián)合概率函數(shù)(或聯(lián)合密度)中自變 量看成已知常數(shù),而把參數(shù) 看作自變量, 得到似然函數(shù)L( );,(3) 求似然函數(shù)L( ) 的最大值點(diǎn)(常常轉(zhuǎn)化 為求ln L( )的最大值點(diǎn)) ，即 的MLE;,兩點(diǎn)說(shuō)明：,1、求似然函數(shù)L( ) 的最大值點(diǎn)，可以應(yīng)用微積分中的技巧。由于ln(x)是x的增函數(shù)，lnL( )與L( )在 的同一值處達(dá)到它的最

18、大值，假定 是一實(shí)數(shù)，且lnL( )是 的一個(gè)可微函數(shù)。通過(guò)求解所謂“似然方程”：,可以得到 的MLE .,若 是向量，上述方程必須用似然方程組代替 .,2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然原則來(lái)求 .,兩點(diǎn)說(shuō)明：,下面舉例說(shuō)明如何求極大似然估計(jì),L(p)= f (X1,X2,…Xn; p ),例5 設(shè)X1,X2,…Xn是取自總體 X~B(1, p) 的一個(gè)樣本，求參數(shù)p的極大似然估

19、計(jì).,解：似然函數(shù)為:,對(duì)數(shù)似然函數(shù)為：,對(duì)p求導(dǎo)并令其為0，,=0,得,即為 p 的MLE .,解：似然函數(shù)為,對(duì)數(shù)似然函數(shù)為,例6 設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本,求 的極大似然估計(jì).,其中 >0,,求導(dǎo)并令其為0,=0,從中解得,即為 的MLE .,對(duì)數(shù)似然函數(shù)為,解：似然函數(shù)為,i=1,2,…,n,對(duì)數(shù)似然函數(shù)為,解：似然函數(shù)為,i=1,2,…,n,=0 (2),由(1)

20、得,=0 (1),對(duì) 分別求偏導(dǎo)并令其為0,,對(duì)數(shù)似然函數(shù)為,是,對(duì),故使 達(dá)到最大的 即 的MLE，,于是,取其它值時(shí)，,即 為 的MLE .,且是 的增函數(shù),由于,極大似然估計(jì)的一個(gè)性質(zhì),可證明極大似然估計(jì)具有下述性質(zhì)：,設(shè) 的函數(shù)g=g( )是 上的實(shí)值函數(shù),且有唯一反函數(shù) . 如果 是 的

21、MLE，則g( )也是g( )的極大似然估計(jì).,例8 一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的樣本，其中有 k 個(gè)白球，求罐中黑球與白球之比 R 的極大似然估計(jì).,,解: 設(shè)X1,X2,…,Xn為所取樣本，,則X1,X2,…,Xn是取自B(1,p)的樣本，p是每次抽取時(shí)取到白球的概率，p未知 .,先求p的MLE：,p的MLE為,,在前面例4中,我們已求得,由前述極大似然估計(jì)的性質(zhì)不難求得,的MLE是,第二次捕出的有記

22、號(hào)的魚數(shù)X是r.v, X具有超幾何分布：,為了估計(jì)湖中的魚數(shù)N，第一次捕上r條魚，做上記號(hào)后放回. 隔一段時(shí)間后, 再捕出S條魚, 結(jié)果發(fā)現(xiàn)這S條魚中有k條標(biāo)有記號(hào).根據(jù)這個(gè)信息，如何估計(jì)湖中的魚數(shù)呢？,最后，我們用極大似然法估計(jì)湖中的魚數(shù),應(yīng)取使L(N;k)達(dá)到最大的N，作為N的極大似然估計(jì). 但用對(duì)N求導(dǎo)的方法相當(dāng)困難, 我們考慮比值：,把上式右端看作N的函數(shù)，記作L(N;k) .,經(jīng)過(guò)簡(jiǎn)單的計(jì)算知，這個(gè)比值大

23、于或小于1，,經(jīng)過(guò)簡(jiǎn)單的計(jì)算知，這個(gè)比值大于或小于1，,這就是說(shuō)，當(dāng)N增大時(shí)，序列P(X=k;N)先是上升而后下降; 當(dāng)N為小于 的最大整數(shù)時(shí), 達(dá)到最大值 . 故N的極大似然估計(jì)為,請(qǐng)看演示,捕魚問(wèn)題,這一講，我們介紹了參數(shù)點(diǎn)估計(jì)，討論了估計(jì)量的優(yōu)良性準(zhǔn)則 . 給出了尋求估計(jì)量最常用的矩法和極大似然法 .,參數(shù)點(diǎn)估計(jì)是用一個(gè)確定的值去估計(jì)未知的參數(shù). 看來(lái)似乎精確，實(shí)際上把握不大. 為了使估計(jì)的結(jié)論更