馬爾可夫模型介紹(從零開始)

1、馬爾可夫模型介紹（從零開始）馬爾可夫模型介紹（從零開始）（一）：定義及簡介：介紹（介紹（introduction）通常我們總是對尋找某一段時(shí)間上的模式感興趣，這些模式可能出現(xiàn)在很多領(lǐng)域：一個(gè)人在使用電腦的時(shí)候使用的命令的序列模式；一句話中的單詞的序列；口語中的音素序列?？傊墚a(chǎn)生一系列事件的地方都能產(chǎn)生有用的模式?？紤]一個(gè)最簡單的情況：有人(柯南？)試圖從一塊海藻來推斷天氣的情況。一些民間的傳說認(rèn)為“soggy”的海藻意味著潮濕（wet

2、）的天氣，“dry”的海藻預(yù)示著晴朗（sun）。如果海藻處于中間狀態(tài)“damp”，那就無法確定了。但是，天氣的情況不可能嚴(yán)格的按照海藻的狀態(tài)來變化，所以我們可以說在一定程度上可能是雨天或是晴天。另一個(gè)有價(jià)值的信息是之前某些天的天氣情況，結(jié)合昨天的天氣和可以觀察到的海藻的狀態(tài)，我們就可以為今天的天氣做一個(gè)較好的預(yù)報(bào)。這是在我們這個(gè)系列的介紹中一個(gè)非常典型的系統(tǒng)。?首先我們介紹一個(gè)可以隨時(shí)間產(chǎn)生概率性模型的系統(tǒng)，例如天氣在晴天或者雨天之間變

3、動(dòng)。?接下來我們試圖去預(yù)言我們所不能觀察到的“隱形“的系統(tǒng)狀態(tài)，在上面的例子中，能被觀察到的序列就是海藻的狀態(tài)嗎，隱形的系統(tǒng)就是天氣情況?然后我們看一下關(guān)于我們這個(gè)模型的一些問題，在上面那個(gè)例子中，也許我們想知道1.如果我們觀察一個(gè)星期每一天的海藻的狀態(tài)，我們是否能知相應(yīng)的其天氣情況2.如果給出一個(gè)海藻狀態(tài)的序列，我們是否能判斷是冬天還是夏天？我們假設(shè)，如果海藻干（dry）了一段時(shí)間，那就意味著是夏天如果海藻潮濕（soggy）了一段時(shí)間

4、，那可能就是冬天。（二）：生成模式（（二）：生成模式（GeneratingPatterns）?確定的模式（確定的模式（DeterministicPatterns）考慮交通燈的例子，一個(gè)序列可能是紅紅橙綠橙紅。這個(gè)序列可以畫成一個(gè)狀態(tài)機(jī)，不同的狀態(tài)按照這個(gè)狀態(tài)機(jī)互相交替注意一個(gè)含有M個(gè)狀態(tài)的一階過程有M的平方個(gè)狀態(tài)轉(zhuǎn)移。每一個(gè)轉(zhuǎn)移的概率叫做狀態(tài)狀態(tài)轉(zhuǎn)移概率（轉(zhuǎn)移概率（statetransitionprobability），就是從一個(gè)狀態(tài)轉(zhuǎn)

5、移到另一個(gè)狀態(tài)的概率。這所有的M的平方個(gè)概率可以用一個(gè)狀態(tài)轉(zhuǎn)移矩陣來表示。注意這里有一個(gè)假設(shè)，概率不概率不隨時(shí)間的變化而變化隨時(shí)間的變化而變化，這又是一個(gè)不現(xiàn)實(shí)但很重要的假設(shè)。下面就是一個(gè)狀態(tài)轉(zhuǎn)移矩陣的列子：這個(gè)矩陣的意思是，如果昨天是晴天，那么今天又50%的可能是晴天，37.5%的概率是陰天，12.5%的概率會(huì)下雨，很明顯，每一行的和都是1。為了初始化這樣一個(gè)系統(tǒng)，我們需要一個(gè)初始的概率向量：這個(gè)向量表示第一天是晴天。到這里，我們就為

6、一階馬爾科夫過程定義了以下三個(gè)部分:?狀態(tài)：晴天、陰天和下雨?初始向量：定義系統(tǒng)在時(shí)間為0的時(shí)候的狀態(tài)的概率?狀態(tài)轉(zhuǎn)移矩陣：每種天氣轉(zhuǎn)換的概率所有的能被這樣描述的系統(tǒng)都是一個(gè)馬爾科夫過程。?總結(jié)（總結(jié)（Summary）我們?yōu)榱苏业诫S時(shí)間變化的模式，就試圖去建立一個(gè)可以產(chǎn)生模式的過程模型。我們使用了具體的時(shí)間步驟、狀態(tài)、并且做了馬爾科夫假設(shè)。有了這些假設(shè)，這個(gè)能產(chǎn)生模式系統(tǒng)就是一個(gè)馬爾科夫過程。一個(gè)馬爾科夫過程包括一個(gè)初始向量初始向量和一