數(shù)學(xué)之美番外篇

1、數(shù)學(xué)之美番外篇：平凡而又神奇的貝葉斯方法數(shù)學(xué)之美番外篇：平凡而又神奇的貝葉斯方法By劉未鵬(pongba)C的羅浮宮(:blog.pongba)TopLanguage(:groups.grouppongba)概率論只不過(guò)是把常識(shí)用數(shù)學(xué)公式表達(dá)了出來(lái)?！绽褂浀米x本科的時(shí)候，最喜歡到城里的計(jì)算機(jī)書(shū)店里面去閑逛，一逛就是好幾個(gè)小時(shí)；有一次，在書(shū)店看到一本書(shū)，名叫貝葉斯方法。當(dāng)時(shí)數(shù)學(xué)系的課程還沒(méi)有學(xué)到概率統(tǒng)計(jì)。我心想，一個(gè)方法能夠?qū)ｉT(mén)寫(xiě)

2、出一本書(shū)來(lái)，肯定很牛逼。后來(lái)，我發(fā)現(xiàn)當(dāng)初的那個(gè)樸素歸納推理成立了——這果然是個(gè)牛逼的方法?！}記目錄目錄0.前言1.歷史1.1一個(gè)例子：自然語(yǔ)言的二義性1.2貝葉斯公式2.拼寫(xiě)糾正3.模型比較與貝葉斯奧卡姆剃刀3.1再訪拼寫(xiě)糾正3.2模型比較理論（ModelComparasion）與貝葉斯奧卡姆剃刀（BayesianOccam’sRaz）3.3最小描述長(zhǎng)度原則3.4最優(yōu)貝葉斯推理4.無(wú)處不在的貝葉斯4.1中文分詞4.2統(tǒng)計(jì)機(jī)器翻譯4.

3、3貝葉斯圖像識(shí)別，AnalysisbySynthesis4.4EM算法與基于模型的聚類我們就需要提供一個(gè)猜測(cè)（hypothesis，更為嚴(yán)格的說(shuō)法是“假設(shè)”，這里用“猜測(cè)”更通俗易懂一點(diǎn)），所謂猜測(cè)，當(dāng)然就是不確定的（很可能有好多種乃至無(wú)數(shù)種猜測(cè)都能滿足目前的觀測(cè)），但也絕對(duì)不是兩眼一抹黑瞎蒙但也絕對(duì)不是兩眼一抹黑瞎蒙——具體地說(shuō)，具體地說(shuō)，我們需要做兩件事情：我們需要做兩件事情：1.算出各種不同猜測(cè)的可能性大小。算出各種不同猜測(cè)的可能

4、性大小。2.算出最靠譜的算出最靠譜的猜測(cè)是什么。第一個(gè)就是計(jì)算特定猜測(cè)的后驗(yàn)概率，對(duì)于連續(xù)的猜測(cè)空間則是猜測(cè)是什么。第一個(gè)就是計(jì)算特定猜測(cè)的后驗(yàn)概率，對(duì)于連續(xù)的猜測(cè)空間則是計(jì)算猜測(cè)的概率密度函數(shù)。第二個(gè)則是所謂的模型比較，模型比較如果不考慮計(jì)算猜測(cè)的概率密度函數(shù)。第二個(gè)則是所謂的模型比較，模型比較如果不考慮先驗(yàn)概率的話就是最大似然方法。先驗(yàn)概率的話就是最大似然方法。1.1一個(gè)例子：自然語(yǔ)言的二義性一個(gè)例子：自然語(yǔ)言的二義性下面舉一個(gè)自然

5、語(yǔ)言的不確定性的例子。當(dāng)你看到這句話：Thegirlsawtheboywithatelescope.你對(duì)這句話的含義有什么猜測(cè)？平常人肯定會(huì)說(shuō)：那個(gè)女孩拿望遠(yuǎn)鏡看見(jiàn)了那個(gè)男孩（即你對(duì)這個(gè)句子背后的實(shí)際語(yǔ)法結(jié)構(gòu)的猜測(cè)是：Thegirlsawwithatelescopetheboy）。然而，仔細(xì)一想，你會(huì)發(fā)現(xiàn)這個(gè)句子完全可以解釋成：那個(gè)女孩看見(jiàn)了那個(gè)拿著望遠(yuǎn)鏡的男孩（即：Thegirlsawtheboywithatelescope）。那為什

6、么平常生活中我們每個(gè)人都能夠迅速地對(duì)這種二義性進(jìn)行消解呢？這背后到底隱藏著什么樣的思維法則？我們留到后面解釋。1.2貝葉斯公式貝葉斯公式貝葉斯公式是怎么來(lái)的？我們還是使用wikipedia上的一個(gè)例子：一所學(xué)校里面有60%的男生，40%的女生。男生總是穿長(zhǎng)褲，女生則一半穿長(zhǎng)褲一半穿裙子。有了這些信息之后我們可以容易地計(jì)算“隨機(jī)選取一個(gè)學(xué)生，他（她）穿長(zhǎng)褲的概率和穿裙子的概率是多大”，這個(gè)就是前面說(shuō)的“正向概率”的計(jì)算。然而，假設(shè)你走在校