非結(jié)構(gòu)化數(shù)據(jù)提取方法研究.pdf

1、隨著計算機的普及和互聯(lián)網(wǎng)的迅速發(fā)展,大量的數(shù)據(jù)以網(wǎng)頁的形式呈現(xiàn)在人們面前。面對這海量數(shù)據(jù),人們不知道如何確切描述自身的數(shù)據(jù)需求,使得直接使用瀏覽器訪問網(wǎng)頁以找尋所需數(shù)據(jù)的效率不斷下降,表現(xiàn)出了資源迷向問題:并且,由于Web數(shù)據(jù)格式異構(gòu)性和缺乏關(guān)聯(lián)描述的特點,對于已經(jīng)獲取的大量數(shù)據(jù)用戶難以及時的理解,出現(xiàn)信息過載現(xiàn)象。所以如何將Internet上這些非結(jié)構(gòu)化數(shù)據(jù)及時準(zhǔn)確的提取、過濾和歸納成便于人們查詢檢索的形式,已經(jīng)成為了研究開發(fā)的熟點。

2、
　　數(shù)據(jù)提取早期是為了處理純文本文件,之后還涌現(xiàn)了一些其他的方法,比如機器學(xué)習(xí)算法,基于Ontology和自然語言理解算法和基于HTML的方法等等?；诓煌姆椒ǘ伎梢栽诓煌潭壬蠈崿F(xiàn)特定數(shù)據(jù)的提取,可以說各有優(yōu)缺點。但是限于網(wǎng)頁數(shù)據(jù)的特點,這些數(shù)據(jù)提取算法在某一領(lǐng)域或是針對特定問題方面還是比較理想,但就其通用性和可維護(hù)性方面都不能達(dá)到令人滿意的程度。
　　本文針對數(shù)據(jù)源提供網(wǎng)站的特點,結(jié)合網(wǎng)絡(luò)爬蟲技術(shù),采用基于DOM樹結(jié)