網(wǎng)絡文本信息中的共指消歧方法及應用.pdf

1、隨著網(wǎng)絡技術的快速發(fā)展和網(wǎng)絡信息的不斷豐富,互聯(lián)網(wǎng)為人們的工作和生活提供了越來越多的便利。要滿足人們對網(wǎng)絡信息服務越來越高的要求,我們不僅需要從存儲、傳播和顯示等方面處理信息,更要從內(nèi)容上理解信息。目前網(wǎng)絡信息的形式已經(jīng)非常豐富,但是文本信息仍然是互聯(lián)網(wǎng)信息的重要組成部分,文本作為語言的載體,理解其內(nèi)容需要自然語言處理的相關技術,而共指消歧則是其中一個非常重要的方面。網(wǎng)絡文本信息中包含著許多共指現(xiàn)象,即針對同一實體有著不同的描述,例如代

2、詞的指代和名詞的縮寫等。這些現(xiàn)象都是語言表達的常用形式,但對計算機而言理解其真正內(nèi)容卻是很難的。如果能將這些不同的實體描述加以識別并歸類,那么文本內(nèi)容將得到更準確規(guī)范的整理。網(wǎng)絡文本信息的共指消歧,可以幫助計算機更準確的理解信息的內(nèi)容以及用戶的需求,從而提高信息服務的質(zhì)量。
　　迄今為止,共指消歧特別是中文共指消歧,仍然是自然語言處理的研究難點。中文語言表達的多樣性使得中文共指消歧更為復雜。網(wǎng)絡文本信息中語言表達形式的不斷發(fā)展,也

3、增加了將共指消歧應用到網(wǎng)絡文本信息處理中的難度。解決共指消歧的基本途徑是利用機器學習方法,其主要思想是將該問題轉(zhuǎn)換成分類問題,利用分類模型完成共指消歧。但是共指消歧問題的復雜性使得利用單個分類器得到的結果不夠理想。為此論文提出了基于多分類器投票的中文共指消歧方法。首先對訓練數(shù)據(jù)樣例的生成方式進行了改進,平衡了正反例的比例。通過訓練多個分類方法,包括決策樹模型,隨機森林模型和最大熵模型,分別完成共指關系的判斷,然后投票給出最后的結果。多個

4、分類器的投票方法,修正了單分類器的判斷錯誤并中和了各分類器的優(yōu)勢,得到了更好的共指消歧結果。
　　機器學習方法的優(yōu)點是不需要過多語言學知識,但是利用投票方式解決中文共指消歧的結果仍不夠理想。為了更好的解決該問題,論文認為共指現(xiàn)象是由多個子問題組成,因此提出了基于決策模型的中文共指消歧方法。論文建立了共指消歧問題的分類體系,通過該分類體系將共指消歧問題拆分成若干子問題,如名詞性短語的共指,代詞共指問題等,對每一個子問題建立了詳細的判

5、定準則。同時論文利用有效的人稱識別,性別和單復數(shù)判定等先驗知識幫助建立子問題規(guī)則集。在CoNLL-2012國際公開評測數(shù)據(jù)集上決策模型得到的結果優(yōu)于利用機器學習方法得到的結果,并在該國際評測的中文共指消歧任務中取得國內(nèi)第一,國際第二的成績。決策模型解決共指消歧的優(yōu)勢是可以快速實現(xiàn)單個子問題的解決策略,從而更方便應用到網(wǎng)絡信息處理過程中。
　　時間信息的共指判斷是共指消歧中特定的任務。實際上所有時間信息在時間軸上是唯一定位并可以相互

6、比較的,那么時間信息的共指消歧可以幫助確定文檔在時間維度上的相關性。該方法可以應用到網(wǎng)絡文本信息的處理中,例如搜索引擎的返回結果排序主要是基于關鍵詞匹配的程度和網(wǎng)頁自身的重要度等,針對包含時間信息修飾的查詢,忽略了查詢的時間限定作用,因此可以對該類查詢與網(wǎng)頁內(nèi)容的時間信息進行共指消歧,調(diào)整搜索結果的排序使其更合理。為此論文提出了基于時間信息共指消歧的搜索結果排序方法。首先完成了用戶查詢中的時間信息抽取和時間信息標準化。提取用戶查詢包含的

7、事件描述特征,并根據(jù)該特征完成網(wǎng)頁中事件的定位和時間信息的提取,通過網(wǎng)頁內(nèi)容和用戶查詢的時間信息共指對比,得到搜索結果的時間相關度排序。針對包含時間信息修飾的用戶查詢,在原有的搜索結果排序基礎上,給出了基于時間信息共指消歧的搜索結果排序,為用戶提供更好的信息服務。
　　論文將共指消歧解決方法應用到網(wǎng)絡新聞的事件發(fā)現(xiàn)研究中,提出了基于共指消歧的多特征組合事件發(fā)現(xiàn)方法。論文利用文本聚類方法來實現(xiàn)網(wǎng)絡新聞事件發(fā)現(xiàn)。文本聚類多是利用詞頻作

8、為特征,忽略了新聞事件包含的時間信息和領域詞典分類信息等,并且表達習慣中的共指現(xiàn)象降低了某些詞的詞頻,從而降低了文檔間的相似度。論文將時間信息和詞典信息加入文本特征,并通過共指消歧得到文本中的共指描述集合,用集合中最完整的描述替代文本中的其他描述,以此來調(diào)整文本的詞頻特征。最后計算不同特征的相似度,加權得到文本之間的相似度,以此完成事件發(fā)現(xiàn)。論文提出的方法將共指消歧研究應用到網(wǎng)絡文本信息處理中,并考慮了網(wǎng)頁新聞中包含的多種特征。針對金融