快速精確的結(jié)構(gòu)化機(jī)器學(xué)習(xí)方法研究.pdf

1、相比于普通的機(jī)器學(xué)習(xí)算法，結(jié)構(gòu)化機(jī)器學(xué)習(xí)可以利用結(jié)構(gòu)信息達(dá)到更好的效果，但其時(shí)間復(fù)雜度要高很多，雖然有快速的近似解法，但精度的損失一定程度上抵消了結(jié)構(gòu)信息帶來的好處，因此研究快速精確的結(jié)構(gòu)化機(jī)器學(xué)習(xí)算法成了一個(gè)重要的課題。
　　本文中，我們對(duì)結(jié)構(gòu)化機(jī)器學(xué)習(xí)中的推斷算法以及特征抽取兩個(gè)重要環(huán)節(jié)進(jìn)行改進(jìn)。首先，我們針對(duì)序列標(biāo)注問題，基于許多實(shí)際應(yīng)用中高階特征信息的稀疏性特點(diǎn)，提出了稀疏高階的條件隨機(jī)場(chǎng)模型和一種新的快速精確的推斷算法，

2、它可以同時(shí)處理局部特征和稀疏的高階特征。由于稀疏性的存在，這種新的推斷算法是十分高效的。在手寫體識(shí)別任務(wù)上，我們采用詞綴特征作為高階特征，稀疏高階的條件隨機(jī)場(chǎng)模型達(dá)到了所有公開的實(shí)驗(yàn)結(jié)果中最高的精度。在中文組織機(jī)構(gòu)名識(shí)別任務(wù)上，我們將人工抽取的規(guī)則轉(zhuǎn)化為高階特征，并取得了微軟亞洲研究院數(shù)據(jù)集上第二名的成績(jī)。這兩個(gè)實(shí)驗(yàn)表明，在特征集相同的情況下，稀疏高階的條件隨機(jī)場(chǎng)模型明顯優(yōu)于其他的方法。
　　其次，我們提出了一種新的特征字符串索引

3、結(jié)構(gòu)以加速特征抽取，從而縮短解碼時(shí)間?，F(xiàn)在許多結(jié)構(gòu)化機(jī)器學(xué)習(xí)方法采用模板生成數(shù)以百萬千萬的特征。復(fù)雜的模板可以產(chǎn)生大量復(fù)雜的特征，從而提高了精度，但卻需要更多特征抽取的時(shí)間，大大影響了解碼速度。為此，我們提出了兩維的Trie結(jié)構(gòu)，該結(jié)構(gòu)可以利用模板之間的相互關(guān)系提高特征抽取的速度：一個(gè)模板生成的特征字符串是它的擴(kuò)展模板生成的特征字符串的前綴，因此前一個(gè)特征字符串的索引號(hào)可以用來檢索后一個(gè)特征字符串，從而節(jié)約了時(shí)間。我們將這種新的數(shù)據(jù)結(jié)構(gòu)