基于最大公共子圖的中文Web文本分類研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展,Internet上的Web頁(yè)面數(shù)量呈指數(shù)增長(zhǎng),如何有效的組織和處理這些海量信息,如何更好地搜索、過濾和管理這些網(wǎng)絡(luò)資源,成為一個(gè)亟待解決的問題。Web文本挖掘技術(shù)就是解決上述問題的一種方法,它借鑒數(shù)據(jù)挖掘的基本思想和理論方法,從大量半結(jié)構(gòu)化、異構(gòu)的Web文檔的集合中發(fā)現(xiàn)潛在的、有價(jià)值的知識(shí)。Web文本分類是Web文本挖掘的重要技術(shù),是一種快速、有效的組織網(wǎng)上海量信息的關(guān)鍵技術(shù),是Web信息處理的基礎(chǔ),有著很高

2、的研究?jī)r(jià)值和廣泛的應(yīng)用前景。
　　 本文研究的對(duì)象是中文Web文本,目的是提高Web文本分類的精度和速度,主要針對(duì)中文Web文本的表示以及分類算法進(jìn)行了深入地探討。Web文檔包含大量的與主題內(nèi)容無(wú)關(guān)的噪音數(shù)據(jù),因此本文提出了一種基于網(wǎng)頁(yè)分塊的主題信息自動(dòng)提取算法。首先對(duì)Web文檔依據(jù)布局標(biāo)簽分塊構(gòu)建文本內(nèi)容塊層次樹,然后自底向上遍歷層次樹,計(jì)算每個(gè)塊節(jié)點(diǎn)的語(yǔ)義屬性和主題相關(guān)度,同時(shí)刪除主題無(wú)關(guān)節(jié)點(diǎn),最終通過遍歷文本塊層次樹的最大

3、內(nèi)容節(jié)點(diǎn)路徑,提取當(dāng)前網(wǎng)頁(yè)的主題信息。實(shí)驗(yàn)表明該主題信息提取算法對(duì)大多數(shù)中文門戶網(wǎng)站的主題型網(wǎng)頁(yè)均有效,適用性比較強(qiáng)。傳統(tǒng)的向量空間文本表示方法不能有效表示文本的結(jié)構(gòu)信息,缺乏對(duì)文本特征詞條上下文環(huán)境的考慮,因此本文探討了Web文檔的圖表示方法、文檔圖之間距離度量選擇等問題,并在此基礎(chǔ)上發(fā)展了KNN算法,得到了基于最大公共子圖的Web文本分類算法:MCS-KNN算法。MCS-KNN算法為每個(gè)Web文檔生成表示圖,通過計(jì)算兩個(gè)Web文檔表