基于貝葉斯算法和后向鏈接的中文網(wǎng)頁組合分類研究.pdf

1、中文Web文檔的自動(dòng)分類主要還是以文本分類的算法思想為基礎(chǔ)來進(jìn)行的。但由于中文Web文檔的數(shù)量巨大，內(nèi)容多樣，噪音繁多，很多比較成熟的文本分類算法直接應(yīng)用到網(wǎng)頁分類之后，效果變得非常不理想，因此也不能完全依靠現(xiàn)有的文本分類技術(shù)去進(jìn)行研究?；诖?，本文對在中文環(huán)境下的Web文檔自動(dòng)分類這一課題進(jìn)行了研究，提出了一些提高分類精度的設(shè)想，并做了相應(yīng)的實(shí)驗(yàn)，在這一過程中，主要完成了以下工作： （1）根據(jù)網(wǎng)頁的鏈接關(guān)系，將待分類目標(biāo)網(wǎng)頁及

2、其域內(nèi)的后向鏈接網(wǎng)頁合并作為整體輸入分類器，而不是單純的將目光局限于待分類目標(biāo)網(wǎng)頁。 （2）設(shè)計(jì)了相應(yīng)的網(wǎng)頁爬蟲，只下載待分類目標(biāo)網(wǎng)頁及其域內(nèi)后向鏈接網(wǎng)頁。 （3）提出了一種網(wǎng)頁噪音去除方法。并不局限于在網(wǎng)頁中尋找主題內(nèi)容，去除剩余噪音，而是通過引入本域內(nèi)后向鏈接網(wǎng)頁的主題詞匯，提高主題詞匯的數(shù)量，降低包含噪音詞匯所占的比例，是一種以退為進(jìn)的方法。 （4）由于分類需要主題特征詞匯，因此構(gòu)建了一個(gè)主題特征詞典，在分

3、詞的同時(shí)完成初步的特征選擇。 （5）利用裝袋的方法，采用不同的訓(xùn)練數(shù)據(jù)，訓(xùn)練多個(gè)樸素貝葉斯分類器，綜合每個(gè)分類器的分類結(jié)果，來提高分類的精度。 （6）基于上述理論，設(shè)計(jì)了一個(gè)中文網(wǎng)頁分類器，并做了相關(guān)的實(shí)驗(yàn)以驗(yàn)證算法的有效性。 （7）由于國內(nèi)并沒有形成一個(gè)統(tǒng)一的關(guān)于中文網(wǎng)頁分類的訓(xùn)練集、測試集，因此通過訪問大量網(wǎng)站，收集形成了一個(gè)小規(guī)模的中文網(wǎng)頁分類的訓(xùn)練集和測試集，以待日后發(fā)布，供廣大愛好者們使用。 經(jīng)