Deep Web數(shù)據(jù)源發(fā)現(xiàn)及Deep Web垂直搜索引擎設(shè)計.pdf

1、隨著網(wǎng)絡(luò)的快速發(fā)展,因特網(wǎng)上的信息急劇膨脹,且正在加速深化。按其所蘊含信息的深度可以將Web劃分為Surface Web和Deep Web兩類。與Surface Web相比,Deep Web信息不僅領(lǐng)域性強,主題專一,而且信息的質(zhì)量和結(jié)構(gòu)化更好,增長速度也更快。因此,Deep Web數(shù)據(jù)集成研究正逐漸成為互聯(lián)網(wǎng)信息檢索領(lǐng)域的研究熱點。
　　 Deep Web數(shù)據(jù)源發(fā)現(xiàn)是指在Web中發(fā)現(xiàn)可訪問的Web數(shù)據(jù)庫,它是DeepWeb數(shù)據(jù)

2、集成的前提和基礎(chǔ)。這一過程涉及許多關(guān)鍵技術(shù),如網(wǎng)頁分類、查詢接口判定等。
　　 本文以Deep Web數(shù)據(jù)源發(fā)現(xiàn)為重點,對其所涉及的一些關(guān)鍵技術(shù)進(jìn)行深入研究,并結(jié)合所研究的成果,開發(fā)了一個面向圖書領(lǐng)域的Deep Web垂直搜索引擎原型系統(tǒng)。所做的工作和取得的成果主要體現(xiàn)在以下三個方面:
　　 (1)網(wǎng)頁分類技術(shù)。針對網(wǎng)頁分類中關(guān)聯(lián)分類方法存在的不足:一、儀把網(wǎng)頁當(dāng)成純文本處理,忽略了網(wǎng)頁的標(biāo)簽信息；二、僅用網(wǎng)頁中的特征詞

3、作為關(guān)聯(lián)規(guī)則的項,沒有考慮特征詞的權(quán)重,或僅以詞頻來量化權(quán)重,忽略了特征詞位置特征的影響,提出一種基于特征詞復(fù)合權(quán)重的關(guān)聯(lián)網(wǎng)頁分類方法。實驗結(jié)果表明,考慮網(wǎng)頁的標(biāo)簽信息,并以特征詞的復(fù)合權(quán)重為基礎(chǔ)建立分類規(guī)則,可以提高網(wǎng)頁分類的準(zhǔn)確率,是一種比傳統(tǒng)關(guān)聯(lián)分類方法更好的分類方法。
　　 (2)查詢接口判定技術(shù)。針對目前查詢接口判定方法誤判較多,無法有效區(qū)分搜索引擎類接口的不足,提出一種基于決策樹和鏈接相似的Deep Web查詢接口判