基于Bootstrapping的領(lǐng)域知識自動抽取技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展及其各種Web應(yīng)用的快速增長,網(wǎng)絡(luò)上的信息規(guī)模急劇擴大。網(wǎng)絡(luò)已經(jīng)成為人們生活中重要的知識庫,人們對高效地獲取信息的需求尤為迫切。在網(wǎng)絡(luò)的海量數(shù)據(jù)中,包含了大量的半結(jié)構(gòu)化的領(lǐng)域知識,例如電影、書籍和酒店等等,這些領(lǐng)域知識與我們的生活秘密相關(guān)。目前,雖然可以通過搜索引擎從海量數(shù)據(jù)中進行信息檢索,但是搜索的結(jié)果并不是非常可靠。而這些領(lǐng)域知識往往來自供應(yīng)商的后臺數(shù)據(jù)庫,同時基于關(guān)鍵字匹配的搜索引擎由于自身的限制,不能索引這些

2、嵌入在半結(jié)構(gòu)化的HTML網(wǎng)頁中的領(lǐng)域知識。如何從大規(guī)模的Web網(wǎng)站中自動抽取并組織這些領(lǐng)域知識成為信息抽取研究的熱點。Web信息抽取技術(shù)(Web Information Extraction)可以從半結(jié)構(gòu)化的網(wǎng)頁中抽取數(shù)據(jù),并以結(jié)構(gòu)化的方式存儲在數(shù)據(jù)庫中。
　　 本文在分析當(dāng)前Web信息抽取技術(shù)的基礎(chǔ)上,利用標簽路徑技術(shù)(Tag Path Technique)代替DOM樹來表示HTML文檔。該表示方法大大降低了標簽的數(shù)量,提高了

3、算法的性能。針對半結(jié)構(gòu)化的網(wǎng)站,提出了一種新的基于Bootstrapping的自動抽取領(lǐng)域知識的算法:(D_)omain-specific(K_)nowledge(E_)xtractionfrom(W_)ebsites,DKEW。DKEW利用本體(Ontology)來統(tǒng)一標注同一領(lǐng)域中抽取的半結(jié)構(gòu)化數(shù)據(jù),便于存儲和查詢。DKEW首先利用基于標簽路徑技術(shù)的聚類算法對目標網(wǎng)頁進行聚類,過濾掉噪音網(wǎng)頁,DKEW只抽取包含詳細信息的半結(jié)構(gòu)化網(wǎng)頁

4、。根據(jù)標簽路徑技術(shù),提出一種新的模式定義。對同一類別的網(wǎng)頁,借助于機器學(xué)習(xí)方法和領(lǐng)域種子自動地進行模式學(xué)習(xí)。然后利用學(xué)習(xí)到的模式自動抽取領(lǐng)域知識并匹配到事先定義的領(lǐng)域本體,將匹配好的領(lǐng)域知識存儲在結(jié)構(gòu)化的、便于查詢的知識庫表格中。在知識抽取的同時,利用新抽取的具有高可信性的領(lǐng)域知識來擴充領(lǐng)域種子和Ontology,以便下次迭代應(yīng)用。最后,通過Bootstrapping方法將相關(guān)的知識抽取過程結(jié)合起來,使之成為一套無需人工監(jiān)督的自動抽取工