基于詞匯鏈義原向量空間模型的話題跟蹤算法研究.pdf

1、經(jīng)典的話題跟蹤算法是將文本分詞后,以詞匯作為特征項詞頻作為權(quán)重,構(gòu)建出話題的特征空間向量,再對報道做同樣處理得到報道的特征空間向量,以向量之間的相似度作為話題跟蹤的指標(biāo)。雖然此種方法將文本內(nèi)容的處理簡化為向量空間中的向量運算,極大地提高了自然語言文本的可計算性和可操作性,但是向量空間模型中以詞匯作為特征項,以詞頻作為權(quán)重,不僅導(dǎo)致了文本的語義和結(jié)構(gòu)信息的缺乏,還增加了向量空間的維度造成了相似度計算時的復(fù)雜性的提高,從而將其應(yīng)用于話題跟蹤

2、中時,影響了話題跟蹤的效率和準(zhǔn)確性。本文嘗試利用知網(wǎng)基于詞語的語義相似度構(gòu)建詞匯鏈,再以詞匯鏈的義原構(gòu)建話題的義原特征向量,再將其應(yīng)用于話題跟蹤中,以期提高話題跟蹤的效率和準(zhǔn)確性。最后實驗證明該方法是有效的。
　　本文首先介紹了話題跟蹤的相關(guān)基礎(chǔ)理論,詳述了話題跟蹤過程及涉及的話題報道建模、權(quán)重計算等關(guān)鍵技術(shù),分析了現(xiàn)有的話題模型表示中存在的不足,同時介紹了知網(wǎng)的概念、基于知網(wǎng)的詞語相似度算法、詞匯鏈的生成算法;接下來針對現(xiàn)有話題

3、模型表示方法中的不足,提出了基于詞匯鏈義原的向量空間模型,用于對報道和話題建模,最后本文進行了兩次對比實驗,首先用傳統(tǒng)的詞頻統(tǒng)計方法為話題和報道建模計算相似度,然后用改進的表示方法對同樣的實驗語料建模進行相似度計算,后將二者的相似度對比;然后將兩種方法用于話題跟蹤的實驗系統(tǒng)中,通過話題跟蹤的漏報率誤報率系統(tǒng)損耗代價等指標(biāo)來進行對比,證明改進方法的有效性。
　　具體的創(chuàng)新點有:
　　(1)本文基于知網(wǎng)提取詞匯鏈,抽取詞匯鏈義原