基于布爾模型的網(wǎng)頁(yè)查重算法研究.pdf

1、隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)呈現(xiàn)出數(shù)據(jù)爆炸的趨勢(shì)，其中所包含的各種信息越來(lái)越多，互聯(lián)網(wǎng)已經(jīng)成為了人們獲取信息的一個(gè)主要渠道。然而，用戶有的時(shí)候只是知道自己所要尋找信息的關(guān)鍵詞，而不知道具體的網(wǎng)頁(yè)鏈接(URL)。因此，開發(fā)出一種工具來(lái)幫助用戶尋找自己需要的信息成為了自然語(yǔ)言處理的一個(gè)研究方向。于是，受到信息檢索的啟發(fā)，有研究機(jī)構(gòu)發(fā)明了搜索引擎，以方便用戶從網(wǎng)絡(luò)中搜索到自己所需要的信息。 搜索引擎的出現(xiàn)大大的方便了用

2、戶從互聯(lián)網(wǎng)上查找信息的過(guò)程，節(jié)約了用戶的處理時(shí)間，受到了互聯(lián)網(wǎng)使用者的歡迎?；ヂ?lián)網(wǎng)上也出現(xiàn)了很多著名的搜索引擎，如針對(duì)多種語(yǔ)言的Google搜索引擎和針對(duì)漢語(yǔ)的Baidu搜索引擎等。然而，‘受到商業(yè)利益的驅(qū)使，有些網(wǎng)站為了提高自己的點(diǎn)擊率，經(jīng)常大量轉(zhuǎn)載別的網(wǎng)站的文章；除此之外，各大網(wǎng)站也會(huì)爭(zhēng)相報(bào)道發(fā)生的熱門事件和大眾感興趣的焦點(diǎn)話題，這樣不僅增加了搜索引擎處理的負(fù)擔(dān)，也使得搜索引擎經(jīng)常返回很多內(nèi)容相同但是只是鏈接不同的結(jié)果，降低了搜索引

3、擎返回結(jié)果的有效性，也增加了用戶查找到自己需要的信息的時(shí)間。 去除重復(fù)的網(wǎng)頁(yè)是提高搜索引擎檢索效率和結(jié)果有效性的一個(gè)途徑。本文基于對(duì)文章的內(nèi)容的分析，提出了兩種較為有效的網(wǎng)頁(yè)查重算法：基于高頻詞的網(wǎng)頁(yè)查重算法和基于布爾模型的網(wǎng)頁(yè)查重算法。 基于高頻詞的網(wǎng)頁(yè)查重算法根據(jù)特征的頻率選擇特征，組成特征串，來(lái)判別重復(fù)網(wǎng)頁(yè)。而基于布爾模型的網(wǎng)頁(yè)查重算法則是選擇布爾模型來(lái)表示文本，同時(shí)將其運(yùn)用到了文本的漢明距離計(jì)