面向文本組塊獲取的機(jī)器學(xué)習(xí)方法的研究.pdf

1、從50年代初機(jī)器翻譯課題的提出至今，自然語言處理的研發(fā)歷史至少也有50年了，其間經(jīng)歷了從以通過自省方式學(xué)習(xí)符號(hào)文法和手工編寫規(guī)則為主要方法的“理性主義”到日益強(qiáng)調(diào)以對(duì)真實(shí)文本數(shù)據(jù)的統(tǒng)計(jì)分析和經(jīng)驗(yàn)知識(shí)歸納為主要方法的“經(jīng)驗(yàn)主義”。這種趨勢(shì)還同計(jì)算機(jī)處理能力不斷提高和文本數(shù)據(jù)積累不斷增大密切相關(guān)。尊重真實(shí)文本語言已成為當(dāng)前各種信息處理技術(shù)的一個(gè)基本立場(chǎng)和出發(fā)點(diǎn)。 經(jīng)驗(yàn)主義方法的復(fù)興一方面是由于理性主義方法一直無法擺脫知識(shí)瓶頸問題的困

2、擾，但更為重要的是，正如(Armstrong&Warwick1993)指出的，經(jīng)驗(yàn)主義方法提供了解決自然語言處理中長(zhǎng)期存在的問題的方法，這些問題歸納為以下四個(gè)方面：(1)語言知識(shí)的自動(dòng)獲取。各種相關(guān)的語言知識(shí)可以自動(dòng)或半自動(dòng)的從語料中獲取，而不是來自語言專家的人工知識(shí)編碼。 (2)語言現(xiàn)象的覆蓋范圍。在給定領(lǐng)域或應(yīng)用的前提下，能夠解釋所有的語言現(xiàn)象。 (3)健壯性。對(duì)于真實(shí)數(shù)據(jù)中包含的噪音和在一些特定模型下無法解釋的現(xiàn)象

3、，仍然能夠很好的適應(yīng)。 (4)可擴(kuò)展性?？梢院苋菀椎貙⑾到y(tǒng)移植到新的領(lǐng)域或新的任務(wù)中去。 最近幾年，機(jī)器學(xué)習(xí)的研究不斷的蓬勃發(fā)展，原因是多方面的，正如(Dietterich1997)指出的，歸于以下兩個(gè)方面：(1)各種獨(dú)立的研究團(tuán)體，包括研究符號(hào)機(jī)器學(xué)習(xí)，計(jì)算學(xué)習(xí)理論，神經(jīng)網(wǎng)絡(luò)，統(tǒng)計(jì)和模式識(shí)別的團(tuán)體開始注意到了對(duì)方，并進(jìn)行了廣泛的合作。 (2)機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到很多新的領(lǐng)域，如知識(shí)發(fā)現(xiàn)，語言處理，機(jī)器人控制，組合

4、優(yōu)化，和一些傳統(tǒng)的問題，如語音識(shí)別，人臉識(shí)別，手寫體識(shí)別，醫(yī)療診斷等。 將機(jī)器學(xué)習(xí)技術(shù)和自然語言處理聯(lián)系起來，是基于這樣一個(gè)事實(shí)，所有的自然語言處理問題都可以被描述成以下兩種分類問題之一(Daelemans1995)：(1)消歧。給定一組可能的類別和以屬性和值表示的上下文信息，判斷在該上下文環(huán)境下，所屬的正確類別。 (2)切分。給定一個(gè)目標(biāo)和上下文信息，判斷在該上下文環(huán)境下，是否存在目標(biāo)的邊界信息以及哪類邊界信息。

5、 當(dāng)然，復(fù)雜的語言處理問題(句法分析)可以通過分解成一系列上述問題。正是基于這樣一個(gè)事實(shí)，本文的工作以文本組塊獲取作為應(yīng)用背景，探討了各種機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)過程以及性能比較。在有指導(dǎo)的學(xué)習(xí)方法中，分別對(duì)統(tǒng)計(jì)的方法如HMM，符號(hào)的方法如TBL，MBL，Winnow，以及其他的方法如SVM，組合分類器等進(jìn)行了深入地分析和實(shí)踐，在半指導(dǎo)的學(xué)習(xí)方法中，對(duì)co-training方法進(jìn)行了嘗試。 首先給出了組塊分析體系和形式化定義，并將組

6、塊識(shí)別問題看成一種分類問題，為應(yīng)用各種機(jī)器學(xué)習(xí)方法提供了一個(gè)學(xué)習(xí)框架。 在有指導(dǎo)的學(xué)習(xí)方法中，首先對(duì)傳統(tǒng)的HMM進(jìn)行了改進(jìn)，提出了增益的HMM來構(gòu)造更為準(zhǔn)確的模型。利用轉(zhuǎn)換函數(shù)將各種上下文信息導(dǎo)入訓(xùn)練模型中，在提高模型描述能力的同時(shí)，保持了與原模型一致的訓(xùn)練和標(biāo)注過程。實(shí)驗(yàn)結(jié)果表明，無論漢語還是英語組塊識(shí)別，新模型均比原模型有很大的提高。 接著探討了SVM算法實(shí)現(xiàn)細(xì)節(jié)以及性能分析。SVM算法是目前公認(rèn)的最好的文本分類算法

7、之一。在本文應(yīng)用各單分類器的組塊識(shí)別結(jié)果中，SVM也取得了最好的結(jié)果。在對(duì)多項(xiàng)式核函數(shù)各個(gè)階次的比較發(fā)現(xiàn)，SVM在高維特征空間的確表現(xiàn)了良好的泛化能力，在與增益的HMM比較發(fā)現(xiàn)，SVM在小樣本統(tǒng)計(jì)模式識(shí)別方面表現(xiàn)出特有的優(yōu)勢(shì)。我們還著重討論了直推式SVM和多類識(shí)別算法。 在此基礎(chǔ)上，提出了基于stacking算法的組合分類器模型。組合分類器方法是近幾年機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱點(diǎn)，該方法由于可以取得比單分類器更好的性能而日益受到研究人

8、員的重視。我們構(gòu)造了兩層疊加式框架結(jié)構(gòu)，將SVM，TBL，Winnow，MBL四種分類器進(jìn)行組合，并與基于voting算法的組合分類器方法進(jìn)行了比較，基于stacking算法的組合模型無論在準(zhǔn)確率還是召回率方面都取得了更好的結(jié)果。 我們嘗試半指導(dǎo)機(jī)器學(xué)習(xí)方法co-training方法。半指導(dǎo)機(jī)器學(xué)習(xí)方法是有指導(dǎo)和無指導(dǎo)機(jī)器學(xué)習(xí)兩者的一個(gè)折中辦法，它的原則是：在不犧牲性能的前提下，盡量多的使用未帶標(biāo)數(shù)據(jù)。在具體的組塊識(shí)別過程中，分