基于Web頁面結構的網(wǎng)頁數(shù)據(jù)提取研究.pdf

1、自上世紀50年代世界上第一臺計算機問世以來，尤其是最近幾十年隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，英特網(wǎng)上來自全球領域的數(shù)據(jù)呈現(xiàn)指數(shù)型的增長。我們的日常生活也早已和這些海量的數(shù)據(jù)密切相關?；ヂ?lián)網(wǎng)上的數(shù)據(jù)當然主要以Web數(shù)據(jù)為主要載體。但是由于受到web固有半結構限制再加上網(wǎng)頁隨處可見的與主題信息毫不相干的廣告等噪聲信息，這樣使得我們對于自己感興趣的信息難以從海量的web數(shù)據(jù)中獲取并利用。于是研究如何準確方便的從海量的信息中提取人們關心的目標信息數(shù)據(jù)

2、并且結構化存儲起來變得越來越重要。
　　目前這方面的研究已成為國內外學者研究熱點之一，基本上多數(shù)的研究都是在HTML標簽的解析基礎上基于網(wǎng)頁DOM樹結構或者視覺樹，然后通過一些包裝器的設計等方法進行人工或者半人工也有自動化的提取技術，很多研究也取得了很好的效果。本文的研究也是建立在DOM樹的結構基礎上，針對列表型頁面的數(shù)據(jù)提取做了詳細的研究。提取結構特征值，通過對特征值的處理引入了中介數(shù)學理論。
　　在定位目標數(shù)據(jù)區(qū)域的算法

3、研究中，本文首先在基于對HTML解析成DOM文檔樹的基礎上進行了優(yōu)化處理。并且提出了“基于XPath的葉子節(jié)點路徑改進算法”該算法輸出DOM文檔樹葉子節(jié)點一個路徑。此路徑結構是后續(xù)的工作的可行性至關重要的基礎。在此基礎上把中介數(shù)學理論系統(tǒng)（MMTD）引入并且針對DOM樹的結構特征提出了“基于MMTD目標數(shù)據(jù)區(qū)域定位算法(DL_MMTD)”，這個對模糊世界進行量化處理的數(shù)學方法被用在計算機科學的多個領域，尤其是模糊集處理方面。但是本文首次