基于用戶瀏覽行為的深度網(wǎng)絡(luò)挖掘.pdf

1、近年來(lái),隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)中蘊(yùn)含了海量的信息,并且仍在以驚人的速度增長(zhǎng)。一般來(lái)說(shuō),互聯(lián)網(wǎng)中信息的主要發(fā)布形式為靜態(tài)網(wǎng)頁(yè),每個(gè)靜態(tài)網(wǎng)頁(yè)都含有一定數(shù)量的靜態(tài)超鏈接,指向其他的靜態(tài)網(wǎng)頁(yè)。傳統(tǒng)的搜索引擎正是利用這些靜態(tài)網(wǎng)頁(yè)中的超鏈接來(lái)收集、索引和顯示用戶所感興趣的網(wǎng)頁(yè)和信息。然而,除此之外,互聯(lián)網(wǎng)中還有很大一部分信息是以動(dòng)態(tài)數(shù)據(jù)源的形式存在的。這些信息并不存在于靜態(tài)網(wǎng)頁(yè)中,而是存儲(chǔ)在網(wǎng)站背后的在線數(shù)據(jù)庫(kù)中,并且根據(jù)用戶的關(guān)鍵詞實(shí)時(shí)地、動(dòng)

2、態(tài)地生成網(wǎng)頁(yè)來(lái)呈現(xiàn)給用戶。由于缺乏足夠的靜態(tài)超鏈接指向這些動(dòng)態(tài)網(wǎng)頁(yè),傳統(tǒng)的搜索引擎很難發(fā)現(xiàn)和索引這些網(wǎng)頁(yè),因此這部分信息相對(duì)于用戶是“隱藏”的。這些“隱藏”信息的集合被稱為深度網(wǎng)絡(luò)(即Deep Web,又名Invisible Web或Hidden Web)。與此相對(duì)應(yīng),那些靜態(tài)網(wǎng)頁(yè)集合被稱為Surface Web。
　　 現(xiàn)在,Deep Web的信息量遠(yuǎn)遠(yuǎn)超過(guò)了Surface Web,尤其是Deep Web中的高質(zhì)量數(shù)據(jù),更是高

3、達(dá)Surface Web的2000多倍。但是,有效而充分地利用Deep Web中的高質(zhì)量數(shù)據(jù)在目前仍然是一個(gè)巨大的挑戰(zhàn),其中最重要的問(wèn)題就是Deep Web數(shù)據(jù)源的發(fā)現(xiàn)和Deep Web數(shù)據(jù)源的采集?！?dāng)前的關(guān)于Deep Web數(shù)據(jù)源的發(fā)現(xiàn)與采集的研究工作各有一些不足,比如,有些需要人工參與,有些依賴于特定的領(lǐng)域,所以它們都很難大規(guī)模應(yīng)用。因此,本文圍繞著Deep Web挖掘的研究,重點(diǎn)關(guān)注Deep Web數(shù)據(jù)源的發(fā)現(xiàn)和采集這兩個(gè)問(wèn)題,

4、以方便用戶利用Deep Web中的信息,進(jìn)一步推動(dòng)Deep Web的發(fā)展。本文通過(guò)仔細(xì)分析用戶在Deep Web中特有的瀏覽行為,歸納出了用戶在Deep Web中特有的瀏覽路徑,并基于此瀏覽路徑提出了全自動(dòng)的、不依賴特定領(lǐng)域的、高效的Deep Web數(shù)據(jù)源發(fā)現(xiàn)和采集的方法,使得大規(guī)模的Deep Web挖掘成為可能。
　　 本文的創(chuàng)新之處主要有三點(diǎn)：
　　 1.深入分析了網(wǎng)絡(luò)用戶在Deep Web中的瀏覽行為
　　

5、 首先分析了用戶在Surface Web和Deep Web中的瀏覽記錄與瀏覽行為,并將它們轉(zhuǎn)換為更為直觀的圖形表示(瀏覽圖),然后仔細(xì)對(duì)比了它們的不同之處；再結(jié)合Deep Web中網(wǎng)頁(yè)的功能與布局特點(diǎn)和鏈接規(guī)則,最后提出了用戶在Deep Web中的模型化的瀏覽路徑：表單頁(yè)面→列表頁(yè)面→目標(biāo)頁(yè)面。這條瀏覽路徑很好地描述了用戶在Deep Web中的瀏覽行為的獨(dú)特性。據(jù)我們所知,本文是第一次提出類似的概念。
　　 2.提出了一種高效的

6、發(fā)現(xiàn)Deep Web數(shù)據(jù)源的方法
　　 基于用戶在Deep Web中的獨(dú)特的瀏覽路徑,提出了一種高效的從瀏覽記錄中發(fā)現(xiàn)Deep Web數(shù)據(jù)源的方法。該方法利用Deep Web中的鏈接特點(diǎn),首先通過(guò)鏈接聚類把用戶瀏覽過(guò)的表單頁(yè)面、列表頁(yè)面、目標(biāo)頁(yè)面聚類到一塊,然后根據(jù)用戶在瀏覽過(guò)程中的轉(zhuǎn)移關(guān)系重建用戶的瀏覽圖；接著,該方法從建好的瀏覽圖中檢測(cè)瀏覽路徑,來(lái)發(fā)現(xiàn)Deep Web數(shù)據(jù)源。由于該方法使用鏈接聚類取代了頁(yè)面聚類,因此大大提高

7、了Deep Web數(shù)據(jù)源發(fā)現(xiàn)的效率,而且也不依賴于特定的主題。此外,從用戶瀏覽記錄中尋找Deep Web數(shù)據(jù)源,進(jìn)一步降低了代價(jià),而且提高了發(fā)現(xiàn)Deep Web數(shù)據(jù)源的準(zhǔn)確率和發(fā)現(xiàn)高質(zhì)量Deep Web數(shù)據(jù)源的概率,降低了發(fā)現(xiàn)低質(zhì)量Deep Web數(shù)據(jù)源的風(fēng)險(xiǎn)。
　　 3.提出了一種高效的采集Deep Web數(shù)據(jù)源的方法
　　 基于用戶在Deep Web中的獨(dú)特的瀏覽路徑,提出了一種高效的采集Deep Web數(shù)據(jù)源的方法

8、。由于用戶的瀏覽過(guò)程就是訪問(wèn)大量目標(biāo)頁(yè)面的過(guò)程,因此我們嘗試模擬用戶的瀏覽行為,沿著用戶在Deep Web中的瀏覽路徑來(lái)獲取大量的目標(biāo)頁(yè)面。該方法從表單頁(yè)面出發(fā),首先收集一定數(shù)目的列表頁(yè)面；然后,該方法利用DOM樹(shù)對(duì)齊技術(shù)和目標(biāo)鏈接的布局特點(diǎn)在列表頁(yè)面上檢測(cè)目標(biāo)鏈接；之后,在列表頁(yè)面和目標(biāo)頁(yè)面上,該方法利用翻頁(yè)鏈接的特點(diǎn)來(lái)檢測(cè)翻頁(yè)鏈接。當(dāng)收集到足夠的鏈接后,該方法會(huì)學(xué)習(xí)這些鏈接的鏈接規(guī)則,并使用學(xué)到的這些鏈接規(guī)則去采集目標(biāo)Deep We