基于Bootstrapping的領(lǐng)域知識(shí)自動(dòng)抽取技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展及其各種Web應(yīng)用的快速增長,網(wǎng)絡(luò)上的信息規(guī)模急劇擴(kuò)大。網(wǎng)絡(luò)已經(jīng)成為人們生活中重要的知識(shí)庫,人們對(duì)高效地獲取信息的需求尤為迫切。在網(wǎng)絡(luò)的海量數(shù)據(jù)中,包含了大量的半結(jié)構(gòu)化的領(lǐng)域知識(shí),例如電影、書籍和酒店等等,這些領(lǐng)域知識(shí)與我們的生活秘密相關(guān)。目前,雖然可以通過搜索引擎從海量數(shù)據(jù)中進(jìn)行信息檢索,但是搜索的結(jié)果并不是非常可靠。而這些領(lǐng)域知識(shí)往往來自供應(yīng)商的后臺(tái)數(shù)據(jù)庫,同時(shí)基于關(guān)鍵字匹配的搜索引擎由于自身的限制,不能索引這些

2、嵌入在半結(jié)構(gòu)化的HTML網(wǎng)頁中的領(lǐng)域知識(shí)。如何從大規(guī)模的Web網(wǎng)站中自動(dòng)抽取并組織這些領(lǐng)域知識(shí)成為信息抽取研究的熱點(diǎn)。Web信息抽取技術(shù)(Web Information Extraction)可以從半結(jié)構(gòu)化的網(wǎng)頁中抽取數(shù)據(jù),并以結(jié)構(gòu)化的方式存儲(chǔ)在數(shù)據(jù)庫中。
　　 本文在分析當(dāng)前Web信息抽取技術(shù)的基礎(chǔ)上,利用標(biāo)簽路徑技術(shù)(Tag Path Technique)代替DOM樹來表示HTML文檔。該表示方法大大降低了標(biāo)簽的數(shù)量,提高了

3、算法的性能。針對(duì)半結(jié)構(gòu)化的網(wǎng)站,提出了一種新的基于Bootstrapping的自動(dòng)抽取領(lǐng)域知識(shí)的算法:(D_)omain-specific(K_)nowledge(E_)xtractionfrom(W_)ebsites,DKEW。DKEW利用本體(Ontology)來統(tǒng)一標(biāo)注同一領(lǐng)域中抽取的半結(jié)構(gòu)化數(shù)據(jù),便于存儲(chǔ)和查詢。DKEW首先利用基于標(biāo)簽路徑技術(shù)的聚類算法對(duì)目標(biāo)網(wǎng)頁進(jìn)行聚類,過濾掉噪音網(wǎng)頁,DKEW只抽取包含詳細(xì)信息的半結(jié)構(gòu)化網(wǎng)頁

4、。根據(jù)標(biāo)簽路徑技術(shù),提出一種新的模式定義。對(duì)同一類別的網(wǎng)頁,借助于機(jī)器學(xué)習(xí)方法和領(lǐng)域種子自動(dòng)地進(jìn)行模式學(xué)習(xí)。然后利用學(xué)習(xí)到的模式自動(dòng)抽取領(lǐng)域知識(shí)并匹配到事先定義的領(lǐng)域本體,將匹配好的領(lǐng)域知識(shí)存儲(chǔ)在結(jié)構(gòu)化的、便于查詢的知識(shí)庫表格中。在知識(shí)抽取的同時(shí),利用新抽取的具有高可信性的領(lǐng)域知識(shí)來擴(kuò)充領(lǐng)域種子和Ontology,以便下次迭代應(yīng)用。最后,通過Bootstrapping方法將相關(guān)的知識(shí)抽取過程結(jié)合起來,使之成為一套無需人工監(jiān)督的自動(dòng)抽取工