海量Web信息智能獲取技術(shù)研究.pdf

1、隨著Web信息的爆炸性增長(zhǎng)，如何及時(shí)有效地從網(wǎng)絡(luò)上查找到真正所需要的信息，已經(jīng)成為研究者所面臨的難題。搜索引擎技術(shù)在這種背景下應(yīng)運(yùn)而生并得到了快速發(fā)展。但越來(lái)越多的應(yīng)用要求搜索對(duì)象，不應(yīng)僅局限于靜態(tài)頁(yè)面，還必須包括更多數(shù)量的動(dòng)態(tài)頁(yè)面。 本論文的研究圍繞著網(wǎng)絡(luò)智能搜索和獲取問(wèn)題展開(kāi)，主要著眼于深層數(shù)據(jù)源的發(fā)現(xiàn)技術(shù)，封裝器半自動(dòng)化構(gòu)建方法，以及移動(dòng)Agent應(yīng)用于搜索領(lǐng)域的若干問(wèn)題研究?；诒疚乃枷胨_(kāi)發(fā)的系統(tǒng)，在實(shí)際應(yīng)用中，取得了

2、較好的效果。歸納起來(lái)，本文主要工作和貢獻(xiàn)如下： 1．對(duì)目前主流的搜索引擎技術(shù)做了廣泛的調(diào)查和總結(jié)，包括基于靜態(tài)頁(yè)面的搜索、基于主題的搜索和元搜索。 2．提出了一種網(wǎng)絡(luò)深層數(shù)據(jù)源發(fā)現(xiàn)的方法。在表單模型的基礎(chǔ)上，使用迭代嘗試填單并分析判斷返回頁(yè)面的方法，發(fā)現(xiàn)網(wǎng)上的深層數(shù)據(jù)源，且準(zhǔn)確提取頁(yè)面中的動(dòng)態(tài)數(shù)據(jù)區(qū)域。 3．實(shí)現(xiàn)了網(wǎng)絡(luò)信息抽取的方法。分析了應(yīng)用于無(wú)結(jié)構(gòu)化/半結(jié)構(gòu)化資料抽取的三種方法：自然語(yǔ)言處理、統(tǒng)計(jì)學(xué)習(xí)、有限狀