基于視覺信息的Deep Web信息自動抽取技術的研究.pdf

1、隨著互聯(lián)網(wǎng)技術日新月異的發(fā)展,web已經(jīng)成為一個巨大的信息源,擁有著海量的重要數(shù)據(jù)。目前數(shù)據(jù)挖掘在許多領域應用廣泛,如:金融、醫(yī)療保險、市場分析等。通過分析挖掘得到的數(shù)據(jù),可以獲得許多有用知識,最大程度的進行輔助決策。然而,Web數(shù)據(jù)的特點是數(shù)量多,形式異構,自治的,分布存儲,這使得 Web數(shù)據(jù)挖掘的分析工作變得尤為困難,所以當務之急是對數(shù)據(jù)進行集成,為高質量數(shù)據(jù)分析奠定基礎。根據(jù)web中所蘊含信息的“深度”,可以將web分為Surfa

2、ce Web和Deep Web。在數(shù)量和質量上,Deep Web遠遠超過了Surface Web,具有較高的應用價值。因此,如何進行抽取Deep Web中的數(shù)據(jù),以便于更有效的分析,具有重要的現(xiàn)實意義和廣闊的應用前景。Internet上的各個網(wǎng)站的信息相互獨立,Deep Web數(shù)據(jù)收集起來十分困難,在這種情況下,通常的搜索引擎發(fā)揮的作用微乎其微。雖然手工編寫信息的抽取規(guī)則準確率較高,但技術門檻低,而且由于信息源的多元性和改版的潛在風險,

3、手工方法無法滿足人們對信息獲取的需求。在這樣的背景下,可以發(fā)現(xiàn)Deep Web信息自動提取技術的實現(xiàn)與研究是一個非常重要的問題。針對這一問題,本文在Deep Web信息自動抽取技術方面,包括基于網(wǎng)頁視覺信息、機器學習訓練模型、Deep Web數(shù)據(jù)區(qū)域定位、數(shù)據(jù)項的對齊等方面,進行了深入而系統(tǒng)的研究,同時開發(fā)了Web信息自動抽取系統(tǒng)。
　　本研究主要內容包括：⑴基于頁面中的視覺信息,分割網(wǎng)頁得到視覺塊樹,然后在視覺塊樹上,整合數(shù)據(jù)區(qū)