基于話題檢測與跟蹤的話題搜索技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速普及，互聯(lián)網(wǎng)已經(jīng)成為一種新興媒體，與傳統(tǒng)的報紙、電視等信息傳播媒介相比，網(wǎng)絡(luò)上的信息傳播時間短、突發(fā)性強(qiáng)、互動性好。尤其是互聯(lián)網(wǎng)上發(fā)布的新聞信息更能體現(xiàn)這些特點(diǎn)。人們也逐漸開始習(xí)慣在網(wǎng)絡(luò)上瀏覽新聞，關(guān)注自己感興趣的話題或搜索諸如“最近都發(fā)生了什么大事”這樣的信息。為了讓人們更加快速的從網(wǎng)絡(luò)上獲取信息，需要對網(wǎng)絡(luò)新聞信息的內(nèi)容進(jìn)行深入挖掘，實(shí)現(xiàn)對新聞報道信息流中話題的自動檢測，并對已有話題進(jìn)行跟蹤，提供以話題為單位的信息搜

2、索服務(wù)。
　　本文在對話題檢測與跟蹤這一技術(shù)進(jìn)行研究的基礎(chǔ)上，將其應(yīng)用到Web新聞領(lǐng)域，通過話題檢測、話題跟蹤技術(shù)對新聞報道信息的內(nèi)容進(jìn)行挖掘，將報道同一話題的新聞組織到一起，并使用信息檢索領(lǐng)域的索引以及檢索技術(shù)對抽取到的話題信息進(jìn)行處理，最終提供一種話題搜索服務(wù)。
　　本文首先介紹了話題檢測與跟蹤中的相關(guān)概念和文本聚類、文本分類等關(guān)鍵技術(shù)，并對搜索引擎涉及的關(guān)鍵技術(shù)進(jìn)行了闡述；然后對數(shù)據(jù)獲取及預(yù)處理涉及的新聞頁面采集、新聞

3、信息抽取、新聞報道的模型表示進(jìn)行了說明；針對 Web新聞領(lǐng)域信息的特點(diǎn)設(shè)計(jì)了話題檢測與話題跟蹤算法，根據(jù)詞性的不同賦予詞語不同的權(quán)值，對余弦相似度計(jì)算公式進(jìn)行了改進(jìn)，通過實(shí)驗(yàn)驗(yàn)證了改進(jìn)后的相似度計(jì)算公式對算法性能的提高，并在不同閾值下對話題檢測與跟蹤算法進(jìn)行了測試；在話題搜索模塊的實(shí)現(xiàn)過程中，提出了一種話題信息格式，并對這種結(jié)構(gòu)化的話題信息建立了索引，實(shí)現(xiàn)了按內(nèi)容相關(guān)性和按時間順序進(jìn)行排序的兩種檢索結(jié)果排序方法，給出了對互聯(lián)網(wǎng)真實(shí)語料的