大數(shù)定律及中心極限定理

1、第五章 大數(shù)定律及中心極限定理,概率論與數(shù)理統(tǒng)計(jì)是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的學(xué)科. 隨機(jī)現(xiàn)象的規(guī)律性只有在相同的條件下進(jìn)行大量重復(fù)試驗(yàn)時(shí)才會(huì)呈現(xiàn)出來(lái). 也就是說(shuō)，要從隨機(jī)現(xiàn)象中去尋求必然的法則，應(yīng)該研究大量的隨機(jī)現(xiàn)象.,,研究大量的隨機(jī)現(xiàn)象，常常采用極限形式，由此導(dǎo)致對(duì)極限定理進(jìn)行研究.極限定理的內(nèi)容很廣泛，其中最重要的有兩種:,定理1 切比雪夫大數(shù)定律的特殊情況,設(shè) X1, X2, …是相互獨(dú)立的隨機(jī)變量序列，它們具有相同的數(shù)學(xué)

2、期望和方差，即 E(Xi)=? ， D(Xi)=? 2 ，i=1,2, …則對(duì)任意的? ?0，有,切比雪夫(1821-1894),證明：,切比雪夫大數(shù)定律表明，當(dāng)n充分大時(shí)，,與 ? 偏差很小的概率接近于1.,當(dāng) n 很大時(shí)，X1, …, Xn 的算術(shù)平均值在概率意義下接近于它們公共的均值?,注1：,有,設(shè) Y1, Y2, … Yn 是隨機(jī)變量序列，a 是一個(gè)常數(shù)。若對(duì)任意的? ?0，有,則稱序列Y1, Y2, … Yn

3、 以概率收斂于常數(shù)a 記為,以概率收斂于有以下性質(zhì),若,又 g(x, y) 設(shè)在點(diǎn) (a, b) 連續(xù)，則,定理1,設(shè) X1, X2, …是相互獨(dú)立的隨機(jī)變量序列，它們具有相同的數(shù)學(xué)期望和方差，即 E(Xi)=? ， D(Xi)=? 2 ，i=1,2, …,以概率收斂于 ? ，即,則序列,即：具有相同數(shù)學(xué)期望和方差的獨(dú)立隨機(jī)變量序列的算術(shù)平均值依概率收斂于數(shù)學(xué)期望.,定理2（辛欽大數(shù)定律）,設(shè)X1, X2, …是獨(dú)立同分布的隨

4、機(jī)變量序列，且E(Xi)= ? ，i=1, 2,…, 則對(duì)任給? >0,,辛欽(1894-1959),辛欽大數(shù)定律為尋找隨機(jī)變量的期望值提供了一條實(shí)際可行的途徑.,當(dāng) n 足夠大時(shí)，算術(shù)平均值幾乎就是一個(gè)常數(shù),可以用算術(shù)平均值近似地代替數(shù)學(xué)期望.,設(shè)Sn是n重貝努里試驗(yàn)中事件A發(fā)生的 次數(shù)，p 是一次試驗(yàn)中事件A發(fā)生的概率，則對(duì)任給的ε> 0，,定理3（貝努里大數(shù)定律）,或,(1654-1705),設(shè)Sn是n重貝努

5、里試驗(yàn)中事件A發(fā)生的 次數(shù)，p 是一次試驗(yàn)中事件A發(fā)生的概率,則有,且,由辛欽大數(shù)定律，有,設(shè),證明,貝努里大數(shù)定律表明，當(dāng)重復(fù)試驗(yàn)次數(shù)n充分大時(shí)，事件A發(fā)生的頻率Sn/n與事件A的概率p有較大偏差的概率很小.,貝努里大數(shù)定律提供了通過(guò)試驗(yàn)來(lái)確定事件概率的方法.,貝努里大數(shù)定律為小概率原理（或?qū)嶋H推斷原理）提供了理論依據(jù),小概率原理是：小概率事件在一次試驗(yàn)中，它是幾乎不能發(fā)生的,例1：設(shè)X1, X2, …獨(dú)立同分布，且 Xi 的k階

6、矩mk=E(Xi k)存在，則有,證明：令,則有,Y1, Y2, …獨(dú)立同分布,且,所以由辛欽大數(shù)定律,也即,,,中心極限定理的客觀背景,在客觀實(shí)際中有許多隨機(jī)變量，它們是由大量的相互獨(dú)立的隨機(jī)因素的綜合影響所形成的. 而其中每一個(gè)別因素在總的影響中所起的作用都是微小的。,該結(jié)論得益于高斯對(duì)測(cè)量誤差分布的研究.他指出測(cè)量誤差服從正態(tài)分布,這種隨機(jī)變量往往近似地服從正態(tài)分布。,高斯1777-1855,例如：考慮炮彈的射擊誤差。設(shè)靶心為坐

7、標(biāo)原點(diǎn)，彈著點(diǎn)的坐標(biāo)為( X, Y )， X, Y 分別表示彈著點(diǎn)與靶心的橫向和縱向誤差。我們來(lái)看造成誤差的原因是什么？,炮身在每次射擊后，因震動(dòng)而造成的微小偏差,每發(fā)炮彈內(nèi)炸藥的數(shù)量和質(zhì)量上的微小差異而引起的誤差,每發(fā)炮彈外形上的細(xì)小差別引起空氣阻力不同，由此出現(xiàn)的誤差,,炮彈在前進(jìn)時(shí)遇到的空氣氣流的微小擾動(dòng)而造成的誤差,而誤差X（或Y）是這許多彼此間相互獨(dú)立的隨機(jī)小誤差的總和，即,等等許多原因，每種原因引起一個(gè)微小的誤差，有的為正，

8、有的為負(fù)，都是隨機(jī)的,一般認(rèn)為它服從正態(tài)分布。,以下我們從數(shù)學(xué)上來(lái)研究這種隨機(jī)變量之和的分布,考慮,取值的概率.,可以證明，滿足一定的條件時(shí)，上述和的分布函數(shù)的極限是標(biāo)準(zhǔn)正態(tài)分布.,在概率論中，習(xí)慣于把和的分布收斂于正態(tài)分布這一類定理都叫做中心極限定理.,我們只討論幾種簡(jiǎn)單情形.,下面給出的獨(dú)立同分布隨機(jī)變量序列的中心極限定理，也稱列維一林德伯格（Levy－Lindberg）中心極限定理.,定理1（獨(dú)立同分布的中心極限定理）,設(shè)X1,

9、 X2 , …是獨(dú)立同分布的隨機(jī)變量序列，且E(Xi)= ，D(Xi)= >0 ，i=1,2,…，則,當(dāng) n 較大時(shí),近似服從正態(tài)分布 N(0,1),另外，利用該定理，當(dāng) n 較大時(shí),近似服從正態(tài)分布 N(n? , n? 2),特別地,近似服從正態(tài)分布 N(? , ? 2/n),這表明，當(dāng) n 較大時(shí)，可以用正態(tài)分布N(? , ? 2/n)近似計(jì)算與n個(gè)相互獨(dú)立、同分布隨機(jī)變量的算術(shù)平均值,有關(guān)事件的概率,定理2

10、 李雅普諾夫(Liapunov)定理,設(shè)隨機(jī)變量序列,相互,獨(dú)立，且有有限的期望和方差：,記,若,則對(duì)于任意實(shí)數(shù) x ,,定理3 (棣莫佛－拉普拉斯定理）,設(shè)隨機(jī)變量 服從參數(shù)n, p(0<p<1)的二項(xiàng)分布，則對(duì)任意x，有,定理表明，當(dāng) n 較大，0<p<1時(shí)，可以用正態(tài)分布 N(np,np(1-p))近似二項(xiàng)分布.常有下面的近似計(jì)算。,即對(duì)任意的 a < b,例2 設(shè)有一大批種子，其中良種占1/6.

11、 試估計(jì) 在任選的6000粒種子中，良種所占比例與 1/6比較上下不超過(guò)1%的概率.,解 設(shè) X 表示6000粒種子中的良種數(shù) , 則,X ~ B(6000,1/6),比較幾個(gè)近似計(jì)算的結(jié)果,用中心極限定理,用二項(xiàng)分布(精確結(jié)果),用Poisson 分布,用Chebyshev 不等式,例3. (供電問(wèn)題)某車間有200臺(tái)車床, 在生產(chǎn)期間由于需要檢修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車.設(shè)開(kāi)工率為0.6,并設(shè)每臺(tái)

12、車床的工作是獨(dú)立的，且在開(kāi)工時(shí)需電力1千瓦.,問(wèn)應(yīng)供應(yīng)多少千瓦電力就能以99.9%的概率保證該車間不會(huì)因供電不足而影響生產(chǎn)?,用 X 表示在某時(shí)刻工作著的車床數(shù),解：對(duì)每臺(tái)車床的觀察作為一次試驗(yàn)，,每次試驗(yàn)觀察該臺(tái)車床在某時(shí)刻是否工作,工作的概率為0.6，共進(jìn)行200次試驗(yàn).,依題意，,X~B(200,0.6),現(xiàn)在的問(wèn)題是：,求滿足,設(shè)最多供應(yīng)N臺(tái)車床工作，,,由德莫佛-拉普拉斯極限定理,近似N(0,1),,于是 P(X≤N)= P(

13、0≤X≤N),這里 np=120, np(1-p)=48,由3σ準(zhǔn)則，此項(xiàng)為0。,查正態(tài)分布函數(shù)表得,由 ≥0.999，,從中解得N≥141.5,,即所求N=142.,也就是說(shuō),應(yīng)供應(yīng)142 千瓦電力就能以99.9%的概率保證該車間不會(huì)因供電不足而影響生產(chǎn),例4 對(duì)敵人的防御工事用炮火進(jìn)行 100 次轟擊,設(shè)每次轟擊命中的炮彈數(shù)服從同一分布, 其數(shù)學(xué)期望為 2, 均方差為 1.5 . 如果各次

14、轟擊命中的炮彈數(shù)是相互獨(dú)立的, 求100 次轟擊 (1) 至少命中180發(fā)炮彈的概率; (2) 命中的炮彈數(shù)不到200發(fā)的概率.,解 設(shè) X k 表示第 k 次轟擊命中的炮彈數(shù),相互獨(dú)立，,設(shè) X 表示100次轟擊命中的炮彈數(shù),則,(1),(2),例5. 假如在市場(chǎng)調(diào)查中獨(dú)立獲得10000個(gè)由四舍五入獲得的用5位小數(shù)表示的近似數(shù)。設(shè)用一個(gè)5位小數(shù) x* 近似表示一個(gè)實(shí)數(shù)時(shí)，其誤差可看作是區(qū)間（?0.000005， 0.000

15、005)上的均勻分布。求這10000個(gè)近似數(shù)和的誤差的分布。,解：,設(shè)Xi表示第i個(gè)數(shù)近似時(shí)產(chǎn)生的誤差,則：Xi~U(-0.000005,0.000005),EXi=0, DXi=10-10/12,故滿足獨(dú)立同分布情形下的中心極限定理,所以,中心極限定理的意義,在實(shí)際問(wèn)題中，若某隨機(jī)變量可以看作是有相互獨(dú)立的大量隨機(jī)變量綜合作用的結(jié)果，每一個(gè)因素在總的影響中的作用都很微小，則綜合作用的結(jié)果服從正態(tài)分布.,這一講我們介紹了中