基于布爾模型的網(wǎng)頁查重算法研究.pdf

1、隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)呈現(xiàn)出數(shù)據(jù)爆炸的趨勢，其中所包含的各種信息越來越多，互聯(lián)網(wǎng)已經(jīng)成為了人們獲取信息的一個主要渠道。然而，用戶有的時候只是知道自己所要尋找信息的關(guān)鍵詞，而不知道具體的網(wǎng)頁鏈接(URL)。因此，開發(fā)出一種工具來幫助用戶尋找自己需要的信息成為了自然語言處理的一個研究方向。于是，受到信息檢索的啟發(fā)，有研究機構(gòu)發(fā)明了搜索引擎，以方便用戶從網(wǎng)絡(luò)中搜索到自己所需要的信息。 搜索引擎的出現(xiàn)大大的方便了用

2、戶從互聯(lián)網(wǎng)上查找信息的過程，節(jié)約了用戶的處理時間，受到了互聯(lián)網(wǎng)使用者的歡迎?；ヂ?lián)網(wǎng)上也出現(xiàn)了很多著名的搜索引擎，如針對多種語言的Google搜索引擎和針對漢語的Baidu搜索引擎等。然而，‘受到商業(yè)利益的驅(qū)使，有些網(wǎng)站為了提高自己的點擊率，經(jīng)常大量轉(zhuǎn)載別的網(wǎng)站的文章；除此之外，各大網(wǎng)站也會爭相報道發(fā)生的熱門事件和大眾感興趣的焦點話題，這樣不僅增加了搜索引擎處理的負擔，也使得搜索引擎經(jīng)常返回很多內(nèi)容相同但是只是鏈接不同的結(jié)果，降低了搜索引

3、擎返回結(jié)果的有效性，也增加了用戶查找到自己需要的信息的時間。 去除重復(fù)的網(wǎng)頁是提高搜索引擎檢索效率和結(jié)果有效性的一個途徑。本文基于對文章的內(nèi)容的分析，提出了兩種較為有效的網(wǎng)頁查重算法：基于高頻詞的網(wǎng)頁查重算法和基于布爾模型的網(wǎng)頁查重算法。 基于高頻詞的網(wǎng)頁查重算法根據(jù)特征的頻率選擇特征，組成特征串，來判別重復(fù)網(wǎng)頁。而基于布爾模型的網(wǎng)頁查重算法則是選擇布爾模型來表示文本，同時將其運用到了文本的漢明距離計