使用多分類器進(jìn)行Deep Web數(shù)據(jù)源的分類和判定.pdf

1、Deep Web數(shù)據(jù)源的發(fā)現(xiàn)及其領(lǐng)域相關(guān)性越來越引起人們的關(guān)注和興趣。針對(duì)在判別查詢接口時(shí)，提取精度低和忽略領(lǐng)域相關(guān)性的問題，提出了一種采用多分類器對(duì)Deep Web數(shù)據(jù)源進(jìn)行自動(dòng)分類和判別的方法：將Deep Web數(shù)據(jù)源的發(fā)現(xiàn)過程階段化，每個(gè)重要的階段使用有效的分類器對(duì)其進(jìn)行處理。本文給出了數(shù)據(jù)源發(fā)現(xiàn)的框架圖，并根據(jù)TEL-8 Query Interfaces提供的數(shù)據(jù)和一些收集數(shù)據(jù)實(shí)現(xiàn)了數(shù)據(jù)源發(fā)現(xiàn)的框架，并對(duì)其效率進(jìn)行了評(píng)估。本文主

2、要研究?jī)?nèi)容包括以下四個(gè)方面： (1)對(duì)國(guó)內(nèi)外Deep Web資源的規(guī)模、結(jié)構(gòu)進(jìn)行了調(diào)查研究，并指出國(guó)內(nèi)外對(duì)Deep Web資源發(fā)現(xiàn)的新進(jìn)展。 (2)針對(duì)傳統(tǒng)搜索引擎爬蟲程序在Deep Web領(lǐng)域資源發(fā)現(xiàn)上的缺陷，設(shè)計(jì)了一個(gè)面向查詢表單的聚焦爬蟲，并將強(qiáng)化學(xué)習(xí)的思想用于爬蟲程序?qū)Τ溄拥倪x擇上，實(shí)驗(yàn)表明爬蟲的效率及其準(zhǔn)確性有了很大的提高。 (3)采用分步的思想，將Deep Web的資源發(fā)現(xiàn)過程階段化，提出了資源發(fā)現(xiàn)

3、的框架設(shè)計(jì)，針對(duì)于每個(gè)階段的主要任務(wù)，使用有效的分類器對(duì)其進(jìn)行處理，從而最大限度地提高其資源發(fā)現(xiàn)的回報(bào)率與準(zhǔn)確率。 (4)針對(duì)于查詢表單分類器和領(lǐng)域表單分類器所選取的分類特征，設(shè)計(jì)了一個(gè)表單信息提取器，對(duì)表單的結(jié)構(gòu)特征和文本特征進(jìn)行解析。 本文最后根據(jù)Deep Web數(shù)據(jù)源的分類和判別框架，利用TEL-8 Query Interfaces采集到的查詢接口的數(shù)據(jù)集和自己搜集的非查詢接口的數(shù)據(jù)集對(duì)分類器進(jìn)行訓(xùn)練，并使用表單聚