面向移動搜索的WAP頁面消重技術(shù)研究.pdf

1、隨著科學(xué)技術(shù)和網(wǎng)絡(luò)通訊的發(fā)展，特別是Internet的應(yīng)用和普及，電子信息資源呈現(xiàn)出爆炸式增長趨勢，數(shù)據(jù)量已從GB級到TB級，再到PB級。海量數(shù)據(jù)在給人們獲取信息帶來便捷的同時，存在著大量重復(fù)的現(xiàn)象。由于信息來源的多樣性，以及對不同用戶群體的針對性，使得相同信息可能以多種形態(tài)在不同頁面出現(xiàn)，導(dǎo)致互聯(lián)網(wǎng)上存在大量重復(fù)信息。這些重復(fù)網(wǎng)頁的存在，嚴(yán)重影響了用戶上網(wǎng)的體驗，增加了互聯(lián)網(wǎng)的成本，所以網(wǎng)頁消重成為一個亟待解決的問題。
　　

2、目前的消重技術(shù)主要集中于針對以PC為終端訪問的Web頁面，對于面向手機(jī)等移動終端的WAP（WirelessApplicationProtocol，無線應(yīng)用協(xié)議）頁面的消重技術(shù)鮮有涉及。然而，近年來隨著移動互聯(lián)網(wǎng)的迅速發(fā)展，手機(jī)等移動設(shè)備迅速普及，手機(jī)WAP頁面海量增長，對WAP頁面進(jìn)行消重變得尤為迫切。
　　 本文針對WAP頁面的特點(diǎn)以及WAP頁面消重的特定需求，提出了面向不同類別的WAP網(wǎng)頁的特征提取方法，然后，將其與SimH

3、ash算法結(jié)合，從而得到面向WAP頁面的消重方法，并且將其應(yīng)用到真實數(shù)據(jù)中。
　　 本文的主要貢獻(xiàn)如下：
　　 1.提出了一種面向WAP頁面的特征提取方法，包含兩個步驟：一是對WAP頁面進(jìn)行特征提取，二是針對不同類別的WAP頁面利用基于視覺的網(wǎng)頁結(jié)構(gòu)分割算法(VIPS)識別的行信息對特征進(jìn)行過濾。該方法既能反映不同類別頁面重復(fù)方式的差異，又能充分考慮語義信息，提取的特征粒度大小適中，計算復(fù)雜度低且具有代表性；