基于重復(fù)串的STC網(wǎng)頁(yè)去重算法研究.pdf

1、隨著網(wǎng)絡(luò)信息呈指數(shù)級(jí)的不斷膨脹,如何從這個(gè)信息的海洋快速獲得真正有價(jià)值的信息變得至關(guān)重要。搜索引擎應(yīng)運(yùn)而生,提供了在互聯(lián)網(wǎng)上搜索信息的功能。然而在搜索引擎返回的檢索結(jié)果中,存在大量的重復(fù)網(wǎng)頁(yè),其中大部分網(wǎng)頁(yè)主要來(lái)自網(wǎng)站之間的轉(zhuǎn)載。這些冗余網(wǎng)頁(yè)既占用了網(wǎng)絡(luò)帶寬,又浪費(fèi)存儲(chǔ)資源,如何有效消除這些重復(fù)網(wǎng)頁(yè),提高檢索的準(zhǔn)確率,節(jié)省用戶的時(shí)間和精力,提高用戶滿意度,成為當(dāng)今搜索引擎領(lǐng)域中一個(gè)重要的研究方向。因此,網(wǎng)頁(yè)去重工作有著十分重要的研究意義

2、。
　　本文在深入學(xué)習(xí)數(shù)據(jù)挖掘知識(shí)的基礎(chǔ)上,對(duì)搜索引擎工作原理進(jìn)行剖析,對(duì)現(xiàn)有去重算法進(jìn)行了分析。重點(diǎn)對(duì)STC算法和重復(fù)序列算法進(jìn)行了詳細(xì)比較,對(duì)兩種算法進(jìn)行性能測(cè)試后,分析二者利弊,提出一種基于重復(fù)串的STC改進(jìn)算法,核心思想是對(duì)字符重復(fù)串進(jìn)行抽取,使用重復(fù)串作為短語(yǔ)標(biāo)引生成后綴樹(shù),并映射生成倒排索引進(jìn)行STC算法去重。實(shí)驗(yàn)證實(shí)了改進(jìn)算法有著良好的準(zhǔn)確率和召回率,并有著優(yōu)良的時(shí)間和空間特性。
　　為了驗(yàn)證所提出算法的有效性

3、并比較其去重效果,本文開(kāi)發(fā)了一個(gè)搜索引擎實(shí)驗(yàn)原型系統(tǒng),完成了該系統(tǒng)的總體設(shè)計(jì)和各個(gè)模塊的設(shè)計(jì)工作,通過(guò)該系統(tǒng)實(shí)現(xiàn)了算法的改進(jìn),并驗(yàn)證了其有效性。
　　在實(shí)驗(yàn)過(guò)程中,首先對(duì)算法進(jìn)行了編輯測(cè)試語(yǔ)料的模擬實(shí)驗(yàn),將一篇文檔內(nèi)容進(jìn)行標(biāo)題和正文的刪除、修改后生成修改文檔。使用改進(jìn)算法將修改文檔與原文進(jìn)行相似度判斷。結(jié)果表明,算法能有效判定文檔相似度。然后在實(shí)現(xiàn)了該算法的搜索引擎實(shí)驗(yàn)原型系統(tǒng)中,進(jìn)行互聯(lián)網(wǎng)實(shí)測(cè)。實(shí)驗(yàn)結(jié)果表明,本文的改進(jìn)算法具有較