基于系統(tǒng)相似模型與持續(xù)時間的話題檢測技術研究.pdf

1、話題檢測與跟蹤(Topic Detection and Tracking,TDT)作為一個新興的自然語言處理研究方向,它的研究主要涉及了自然語言處理、信息檢索、信息過濾、人工智能和機器學習等多個領域,是一個跨學科領域的綜合性課題。話題檢測與跟蹤旨在基于事件對信息進行組織和利用,同時也是為了應對信息過載問題而提出的一項應用研究。TDT是指在新聞專線和廣播新聞等來源的新聞數(shù)據(jù)流中自動的發(fā)現(xiàn)話題并把話題相關的內容聯(lián)系在一起的技術。自1996年

2、TDT概念提出以來,國內外許多研究機構都參與了這一技術的研究。目前TDT研究已經(jīng)引起了國內外研究者們的廣泛關注,逐漸成為自然語言處理領域的一個研究熱點。
　　 本文以文本形式的英文新聞報道流為處理對象,對話題檢測任務進行了深入細致的研究。我們首先介紹了話題檢測與跟蹤技術的相關概念,以及近年來的發(fā)展動向。然后重點介紹了系統(tǒng)相似模型及系統(tǒng)相似度計算方法。本文分析詞變體與縮略詞在話題檢測與跟蹤中的作用,研究并實現(xiàn)了一種基于形態(tài)學與語義

3、相結合的詞變體與縮略詞的識別方法。
　　 本文針對話題檢測研究中存在的“難以區(qū)分”的難題,并分析了英語新聞報道內容及書寫形式上的特點提出了一種基于語義劃分的話題檢測技術。實驗證明,基于語義劃分的話題檢測算法對于解決“難以區(qū)分”問題非常有效。最后探索了時間信息在話題檢測中的應用研究,研究并實現(xiàn)了基于話題持續(xù)時間的動態(tài)閾值模型,并結合其特點采用了一種比值法來選擇和話題最相似的報道。通過在英語語料上對該動態(tài)閾值模型進行實驗證明基于話題