基于正文結(jié)構(gòu)和長句提取的網(wǎng)頁去重研究.pdf

1、研究表明，近似鏡像網(wǎng)頁數(shù)占總網(wǎng)頁數(shù)的比例高達29％，而完全相同的頁面大約占22％。根據(jù)CNNIC 2005年7月發(fā)布的統(tǒng)計報告，用戶在回答“檢索信息時遇到的最大問題”這一提問時，選擇“重復信息太多”這一選項的占44.6％，排名問題榜的第1位。如果搜索引擎能夠找出這些重復網(wǎng)頁并從數(shù)據(jù)庫中去掉，不僅可以節(jié)省存儲空間，也可以提高有效網(wǎng)頁的收集速度，還可以根據(jù)網(wǎng)頁的鏡像度來制定更為合理的網(wǎng)頁搜集策略和輸出結(jié)果定序(Ranking)算法。因而，如

2、何快速準確地發(fā)現(xiàn)這些內(nèi)容上相似的網(wǎng)頁已經(jīng)成為提高搜索引擎服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一。
　　 通過分析大量重復網(wǎng)頁，本文發(fā)現(xiàn)重復網(wǎng)頁有以下兩個特征：
　　 ①重復網(wǎng)頁的正文可以表示成一棵正文結(jié)構(gòu)樹。其中標題為根結(jié)點，每個自然段按照其在正文結(jié)構(gòu)中所處的層次表示為樹相應層次的一個結(jié)點。
　　 ②重復網(wǎng)頁的正文內(nèi)容很可能有所變化，但網(wǎng)頁的正文結(jié)構(gòu)形式通常不會改變或改變很小。即使最壞情況的分頁轉(zhuǎn)載形式，網(wǎng)頁的正文結(jié)構(gòu)也不會發(fā)生

3、較大變化，只不過分頁轉(zhuǎn)載后的網(wǎng)頁正文結(jié)構(gòu)樹是其原文正文結(jié)構(gòu)樹的一（幾）棵子樹分支。
　　 針對網(wǎng)頁重復的特點和網(wǎng)頁正文的結(jié)構(gòu)特征，本文提出了一種動態(tài)的、層次的、魯棒性強的網(wǎng)頁去重算法。該方法先對網(wǎng)頁進行必要的去噪處理，其次將網(wǎng)頁正文通過正文結(jié)構(gòu)樹生成算法表示成一棵正文結(jié)構(gòu)樹（除根節(jié)點外，正文結(jié)構(gòu)樹的結(jié)點對應于正文中的自然段），然后動態(tài)地、層次地從樹中抽取結(jié)點段落作為長句提取算法的輸入得到層次指紋，最后通過層次指紋的相似度計算算法

4、得到網(wǎng)頁的相似度，從而實現(xiàn)鏡像網(wǎng)頁和近似鏡像網(wǎng)頁的檢測。動態(tài)地、分層地對正文進行特征抽取和層次指紋計算，保證了去重算法的效率；通過長句提取算法得到結(jié)點指紋，保證了算法的魯棒性。
　　 實驗表明，該方法相對于基于自然段簽名算法和基于長句提取算法有更好的召回率。該方法不僅解決了在正文前后添刪信息的近似鏡像網(wǎng)頁，也解決了在正文中添刪信息的近似鏡像網(wǎng)頁，還解決了分頁轉(zhuǎn)載的近似鏡像網(wǎng)頁。此方法在搜索引擎重復網(wǎng)頁的過濾中有很好的應用前景和較