話題檢測與跟蹤算法改進研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,互聯(lián)網(wǎng)信息呈現(xiàn)爆炸式的增長,對這些信息進行有效的組織和管理變得更加困難,時常會出現(xiàn)信息過載現(xiàn)象。為了有效的組織和管理這些信息,話題檢測與跟蹤技術(shù)應運而生。其主要的目的是針對不同的新聞報道信息流進行新話題的檢測以及跟蹤已知話題的后續(xù)報道。
　　根據(jù)話題檢測的特點使用層次聚類能夠在不設定類別個數(shù)的前提下進行聚類,對話題進行檢測。層次聚類能夠很好的適應話題檢測的需求,并在此基礎上針對話題報道中的命名實體對話題區(qū)分度

2、高的特點,在進行相似度計算時增加命名實體在計算中的權(quán)重值來提高系統(tǒng)整體性能。利用現(xiàn)有的語料庫和實驗數(shù)據(jù)進行實驗驗證,結(jié)果表明改進相似度計算提高了話題檢測時的正確率并減小了系統(tǒng)開銷。
　　應用于話題跟蹤中的常用傳統(tǒng)方法K近鄰算法在進行話題跟蹤時,要求話題之間報道數(shù)量具有平衡性,這一缺點會在一定程度上導致話題偏移。通過利用支持向量機算法在K近鄰算法訓練階段確定支持向量而不使用K值來消除跟蹤算法對K值的依賴,減小由于話題報道不均衡帶來的