基于WSFT模型的深層網(wǎng)文本獲取方法.pdf

1、隨著Web2.0的興起，目前互聯(lián)網(wǎng)應(yīng)用延伸出了兩種存在方式:表層網(wǎng)和深層網(wǎng)。前者是指傳統(tǒng)搜索引擎可以檢索到的Web頁面，是由超鏈接連通的靜態(tài)頁面組成的;后者是指存在互聯(lián)網(wǎng)中但無法通過超鏈接到達(dá)的一些資源的集合。目前，深層網(wǎng)里包含的可訪問信息容量遠(yuǎn)遠(yuǎn)高于一般表層網(wǎng)，可見研究深層網(wǎng)的內(nèi)容獲取方法對提高搜索引擎的覆蓋率有著非常重要的的意義。在深層網(wǎng)應(yīng)用所使用的技術(shù)中，Ajax技術(shù)由于為Web應(yīng)用提供了更流暢的交互而成為了其中的重要組成部分。使

2、用了Ajax技術(shù)的頁面與一般表層網(wǎng)頁面的區(qū)別在于其是多種狀態(tài)的“混合體”，即一個頁面對應(yīng)多個文檔結(jié)構(gòu)，且文檔結(jié)構(gòu)之間存在強(qiáng)關(guān)聯(lián)關(guān)系。Ajax頁面的多狀態(tài)以及狀態(tài)之間強(qiáng)關(guān)聯(lián)的特性可能會有助于Web頁面數(shù)據(jù)處理（如重要內(nèi)容挖掘），而當(dāng)前研究還沒有針對Ajax頁面的這種特性來進(jìn)行數(shù)據(jù)預(yù)處理的方法。
　　考慮到文本作為信息的主要載體，且大部分Web挖掘方法是針對文本來進(jìn)行分析的，頁面文檔的內(nèi)容信息與結(jié)構(gòu)信息對Web挖掘工作都是非常重要的。

3、由此提出一種基于WSFT（帶權(quán)狀態(tài)融合樹）模型的深層網(wǎng)文本獲取方法:在一個Ajax頁面多個狀態(tài)的轉(zhuǎn)換中，一個文本塊出現(xiàn)頻率越高，可能越重要。本文主要針對Ajax頁面的文本信息進(jìn)行分析處理，且很好的保留Web頁面的內(nèi)容信息和結(jié)構(gòu)信息。
　　首先，構(gòu)建一個特定的數(shù)據(jù)結(jié)構(gòu)—文本特征樹。這個數(shù)據(jù)結(jié)構(gòu)即能有效地保留原Web頁面的文檔內(nèi)容信息和結(jié)構(gòu)特征，同時也能作為狀態(tài)轉(zhuǎn)換的信息指紋，有效地判斷狀態(tài)改變。從而優(yōu)化了深層網(wǎng)中Ajax頁面信息采集

4、方法。
　　然后，將文本特征樹引入到Ajax頁面的采集過程。具體實(shí)現(xiàn)中，通過事件代理技術(shù)，主動觸發(fā)一個Web頁面的各種狀態(tài)，并將每一個頁面樹轉(zhuǎn)換為一個文本特征樹，從而獲取到一個頁面的文本特征樹集合以及相互轉(zhuǎn)換條件來構(gòu)造出狀態(tài)轉(zhuǎn)移有向圖，進(jìn)而計(jì)算出這個有向圖的鄰接矩陣。
　　最后，使用StatusRank算法對每個狀態(tài)進(jìn)行權(quán)值計(jì)算，并將所有狀態(tài)融合成一個WSFT（帶權(quán)狀態(tài)融合樹），為后續(xù)的Web挖掘（內(nèi)容挖掘和結(jié)構(gòu)挖掘）工作提