文本分割關(guān)鍵技術(shù)及其在多文檔摘要中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)時代的到來,電子文本形式的信息大量涌現(xiàn),使得互聯(lián)網(wǎng)成為一個巨大的信息源。各類海量的文本信息在給人們帶來便利的同時,也為信息產(chǎn)業(yè)帶來了新的挑戰(zhàn)。如何從信息海洋中迅速準確地獲得用戶感興趣的信息,并以適當?shù)男问匠尸F(xiàn)給用戶,成為文本智能處理領(lǐng)域的研究熱點。
　　 傳統(tǒng)文本處理技術(shù)以篇章作為基本處理單元,隱性假設(shè)一篇文章只討論一個主題。然而,篇幅較長的文章往往涉及多個不同的子主題,造成基于整篇文檔的處理顆粒度難以滿足用戶的更高和更

2、準確的要求。文本分割的研究就是在這樣的背景下產(chǎn)生的。通過文本分割技術(shù),能夠自動識別出文本內(nèi)部不同子主題的邊界,將其線性分割開來。將語義段落(同一子主題的文本片段)作為基本處理單元,有益于改善文本處理技術(shù)的性能。
　　 文本分割需要解決兩個關(guān)鍵問題:一是子主題邊界的自動識別;二是語義段落數(shù)目的自動確定。本論文針對以上問題進行了研究,指出現(xiàn)有分割算法中存在的問題,并在深入分析文本結(jié)構(gòu)特點的基礎(chǔ)上,提出新的分割模型,取得一定的效果。最

3、后,作者將所提出的文本分割模型應(yīng)用于問題相關(guān)的多文檔摘要任務(wù)中,實驗結(jié)果表明子主題信息可以為摘要提供一些有價值的線索和范圍,從而改善摘要的質(zhì)量。本文的主要研究工作包括:
　　 1、提出了基于區(qū)域詞匯密度的文本分割模型-MMD模型。本文對文本分割領(lǐng)域的著名算法-Dotplotting算法進行了理論分析,并指出Dotplotting用于評價分割點的區(qū)域密度函數(shù)存在兩個問題:第一,評價函數(shù)不對稱,導(dǎo)致前向掃描文本與后向掃描文本的分割結(jié)

4、果不同的明顯錯誤;第二,在確定新的語義段落邊界時,評價函數(shù)未能充分考慮先前識別出的語義段落邊界的制約。在此基礎(chǔ)上,本文提出了MMD文本分割模型,彌補了Dotplotting模型存在的問題和不足。本文還利用語義段落長度因子來進一步提高分割性能。
　　 2、提出了一個基于多元判別分析的文本分割統(tǒng)計模型-MDA模型。采用多元判別分析方法定義了四種全局評價函數(shù),實現(xiàn)對文本分割方式的全局評價。評價函數(shù)主要考慮了分割單元內(nèi)距離、分割單元間距

5、離和分割單元長度三個因素。其中假設(shè)分割單元內(nèi)距離越小(強凝聚性)、分割單元間距離越大(強發(fā)散性)的分割方式是全局最佳的。最后根據(jù)全局分割評價結(jié)果,選擇具有最高評價值的分割方式作為正確分割,從而自動判定子主題邊界和確定語義段落的最佳數(shù)目。
　　 3、提出了基于動態(tài)規(guī)劃的文本分割模型-MMS模型。在深入分析文本詞匯分布特點和文本結(jié)構(gòu)特點的基礎(chǔ)上,定義了分割評價函數(shù),通過動態(tài)規(guī)劃算法搜索分割評價函數(shù)的全局最優(yōu)解,同時自動確定最佳語義段

6、落數(shù)目。評價函數(shù)綜合考慮同一語義段落內(nèi)部相似度、相鄰語義段落之間相似度、語義段落長度和句子距離對相似度的影響等各種因素,來識別文檔的子主題變化情況。與MDA模型相比,MMS模型的計算復(fù)雜度大大降低。MDA通過全搜索來確定最佳分割方式,是一個無序模型,計算復(fù)雜度為指數(shù)級別。而MMS模型采用動態(tài)規(guī)劃方法作為搜索策略,屬于有序模型。
　　 4、在本文提出的文本分割模型的基礎(chǔ)上,面向問題相關(guān)的多文檔摘要任務(wù),構(gòu)建了基于文本分割的多文檔摘

7、要系統(tǒng)-SEG_SUM系統(tǒng)。本文先用文本分割模型對每篇文檔進行主題分割,然后對分割出的語義段落進行聚類,從而將不同文檔之間討論相同子主題的片段聚集在一起,得到同一主題下的多個語義段落簇,其中每個簇代表一個子主題。接著過濾掉與問題不相關(guān)的子主題,并按照子主題的重要程度排序,依次從重要子主題中選取句子形成摘要。由于摘要覆蓋了與問題相關(guān)的多個子主題,并評價了子主題的重要程度,因此摘要能在貼合問題的特定關(guān)注點的基礎(chǔ)上,覆蓋更多的信息。同時也使得