標簽樹模板在網(wǎng)頁關鍵信息抽取及話題識別中的應用.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,人們通過網(wǎng)頁分享與交流著大量的信息,如何快速全面準確地獲取互聯(lián)網(wǎng)上的信息,成為人們迫切關心的問題。網(wǎng)頁話題識別研究將為網(wǎng)頁搜索與檢索、經(jīng)濟決策、人類社會學、網(wǎng)絡內(nèi)容安全等研究領域提供了有效的方法。本文探討了利用標簽樹模型提取結構化記錄的網(wǎng)頁信息提取技術,結合網(wǎng)頁結構特征,進行網(wǎng)頁話題識別研究的方法體系。
　　 本文介紹了網(wǎng)頁文檔話題識別技術的發(fā)展歷史與相關技術,這是一種基于網(wǎng)頁信息抽取、以數(shù)據(jù)挖掘為基礎的話

2、題識別方法。
　　 從半結構化的網(wǎng)頁中提取信息是一項有趣而具有挑戰(zhàn)性的工作,也為互聯(lián)網(wǎng)搜索、信息檢索和網(wǎng)頁挖掘提供了基礎。許多網(wǎng)站具備后臺數(shù)據(jù)庫,其網(wǎng)頁是通過動態(tài)網(wǎng)頁生成技術,在網(wǎng)頁HTML模板內(nèi)加入數(shù)據(jù)記錄而生成的。本文利用了標簽樹結構,對網(wǎng)頁HTML進行解析,并且通過樹的相似度計算,提取網(wǎng)頁中HTML的標簽樹模板。進而我們可以通過標簽樹模板,提取HTML中的非模板內(nèi)容。最后分析HTML中非模板內(nèi)容的重復模式,并利用一些啟發(fā)式

3、規(guī)則,網(wǎng)頁文檔的記錄模式與記錄內(nèi)容將被提取出來。實驗證明,這是一個有效的網(wǎng)頁信息提取的方法,特別是對于新聞網(wǎng)站與BBS網(wǎng)站的網(wǎng)頁。
　　 本文進一步探討了如何利用網(wǎng)頁中提取的文本,結合網(wǎng)頁結構特征,例如文本樣式、字體、位置和鏈接,改進了以詞頻-逆文本頻率為權重計算方法的向量空間模型,采用層次聚類方法,進行網(wǎng)頁話題識別的方法.
　　 最后介紹了一個網(wǎng)頁文檔話題識別的原型系統(tǒng).系統(tǒng)主要由網(wǎng)頁信息收集模塊、文檔信息解析模塊、話