面向?qū)哟伟l(fā)類標(biāo)簽的詞性標(biāo)注系統(tǒng).pdf

1、作為自然語言處理的基本操作,詞性標(biāo)注能提供關(guān)于單詞及其鄰近成分的大量有用信息,因此常常是組成復(fù)雜應(yīng)用的模塊之一。詞性標(biāo)注任務(wù)是文本理解、文本生成等自然語言處理領(lǐng)域的重要基礎(chǔ),經(jīng)過多年的發(fā)展,被認(rèn)為是相對成熟的一個領(lǐng)域。然而,隨著互聯(lián)網(wǎng)的發(fā)展和信息的日益增多,出現(xiàn)了大量的不規(guī)則的短語文本,如層次分類標(biāo)簽。另一方面,目前的詞性標(biāo)注工具均建立在常規(guī)長句的基礎(chǔ)上,在短語文本上的性能并不理想。正是在這種前提下,本文深入研究了面向?qū)哟畏诸悩?biāo)簽的詞性

2、標(biāo)注算法。
　　 本文介紹了詞性標(biāo)注的核心技術(shù)和研究方法,包括四種經(jīng)典的詞性標(biāo)注模型和算法。通過手工標(biāo)注,我們成功分析出層次分類標(biāo)簽同長句文本之間的六個主要差異,找到了傳統(tǒng)的詞性標(biāo)注工具性能不佳的根本原因,并指出了兩個有待解決的關(guān)鍵問題:路徑信息和專有名詞。
　　 在此基礎(chǔ)上,本文提出了基于最大熵模型的詞性標(biāo)注算法。為了把路徑信息集成到輸入中,我們引入了一個新的標(biāo)記PATH,同時還添加了三類利用該路徑信息的特征。針對層次

3、分類標(biāo)簽中大量的專有名詞,我們從WordNet和Wikipedia出發(fā),分別構(gòu)造出一個詞典和一個數(shù)據(jù)庫,然后以二值特征的形式引入到最大熵模型中去。在分類目錄Dmoz上,這些改進(jìn)取得了非常顯著的性能提升,從而表明了該方法的有效性。
　　 層次分類標(biāo)簽上的詞性標(biāo)注可以應(yīng)用到自動網(wǎng)頁分類系統(tǒng)中。當(dāng)前的網(wǎng)頁分類系統(tǒng)過于依賴于人工標(biāo)注的網(wǎng)頁以作為訓(xùn)練語料。我們設(shè)計出這樣一個系統(tǒng),在沒有語料的條件下,巧妙地利用分類標(biāo)簽的詞性標(biāo)注信息和搜索引