Deep Web頁(yè)面結(jié)構(gòu)分析與核心內(nèi)容提取研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展和廣泛應(yīng)用，網(wǎng)絡(luò)提供給用戶的資源與日俱增。特別是傳統(tǒng)搜索引擎無(wú)法搜索到的海量信息資源規(guī)模增長(zhǎng)顯著，稱這部分資源為Deep Web。關(guān)于Deep Web的研究，是近年來(lái)Web數(shù)據(jù)管理方向的研究熱點(diǎn)。
　　在Deep Web數(shù)據(jù)提取方面，很多工作都是對(duì)Deep Web頁(yè)面數(shù)據(jù)記錄或是數(shù)據(jù)項(xiàng)的研究，如何深入分析Deep Web整個(gè)頁(yè)面結(jié)構(gòu)的研究以及如何從頁(yè)面中定位數(shù)據(jù)記錄所在區(qū)域還很不充分，但是這兩項(xiàng)研究?jī)?nèi)容對(duì)Dee

2、p Web語(yǔ)義標(biāo)注、Deep Web數(shù)據(jù)提取、Web信息檢索和文本處理具有重要意義。因此，本文主要的研究工作聚焦于任意Deep Web頁(yè)面內(nèi)容結(jié)構(gòu)的提取和Deep Web查詢結(jié)果頁(yè)面核心內(nèi)容域的提取。主要研究及成果如下：
　　第一：Deep Web頁(yè)面的標(biāo)簽特征和視覺特征
　　本文通過分析大量的Deep Web頁(yè)面發(fā)現(xiàn)，Deep Web頁(yè)面具有標(biāo)簽和視覺兩方面的特征。從這兩個(gè)方面入手，提出了一種結(jié)合標(biāo)簽信息和視覺信息分析頁(yè)面

3、的方法，該方法從客觀和主觀兩方面分析了Deep Web頁(yè)面的特征。采用樹型的結(jié)構(gòu)來(lái)表述頁(yè)面的標(biāo)簽信息和視覺信息，分別使用Tag-Tree表示頁(yè)面的標(biāo)簽信息，使用Visual-AttributeTree表示頁(yè)面的視覺信息。采用標(biāo)簽特征和視覺特征相結(jié)合的方法的準(zhǔn)確性優(yōu)于只依賴于其中一種特征的方法。
　　第二：Deep Web頁(yè)面內(nèi)容結(jié)構(gòu)的提取
　　本文采用樹型結(jié)構(gòu)來(lái)表示頁(yè)面的內(nèi)容結(jié)構(gòu)，將這棵樹取名為Visual-Block-Tr

4、ee。樹中的根節(jié)點(diǎn)代表整個(gè)頁(yè)面，樹中的每個(gè)塊對(duì)應(yīng)著頁(yè)面中的一個(gè)矩形區(qū)域，樹中的葉子塊表示頁(yè)面中不可再分部分。本文通過噪聲過濾和視覺塊聚類兩個(gè)階段實(shí)現(xiàn)頁(yè)面內(nèi)容結(jié)構(gòu)的提取。提出了相似性聚類算法TVS算法，實(shí)驗(yàn)表明該算法能很好地提取頁(yè)面的內(nèi)容結(jié)構(gòu)。
　　第三：Deep Web查詢結(jié)果頁(yè)面核心內(nèi)容域(rich-contentarea)的提取
　　本文使用相似性計(jì)算算法-TVS算法計(jì)算得到同一Web數(shù)據(jù)庫(kù)的查詢頁(yè)面和查詢結(jié)果頁(yè)面Vis