基于支持向量機(jī)的中文網(wǎng)頁自動分類技術(shù)研究.pdf

1、隨著WWW的迅速發(fā)展和普及，在線電子信息日益增多，人們已經(jīng)從信息資源匱乏的時代迅速過渡到信息極為豐富的數(shù)字化時代。面對網(wǎng)上海量的信息資源，人們很難迅速有效的找到真正所需的信息。因此，如何合理和有效地組織和管理網(wǎng)上信息，已經(jīng)日益成為信息處理領(lǐng)域里一個十分重要的研究課題。傳統(tǒng)上是依靠人工的方法對網(wǎng)頁進(jìn)行分類，即專業(yè)人員在分析網(wǎng)頁的內(nèi)容后，將它分到一個或若干個比較合適的類別中。很明顯，隨著網(wǎng)頁信息容量的快速增長，仍然依靠人工的方式來進(jìn)行大量的

2、網(wǎng)頁分類，將是不合適和不現(xiàn)實的。文本分類是組織和管理信息的有力手段，它可以在較大程度上解決目前網(wǎng)上信息雜亂無章的現(xiàn)象，使用戶更容易更準(zhǔn)確地定位所需的信息，因此，對網(wǎng)頁的分類是必要的，也是必需的。這就使得對網(wǎng)頁自動分類的研究成為了一個日益重要的研究領(lǐng)域，并且，它還逐步與IR技術(shù)、搜索引擎、信息過濾等技術(shù)相結(jié)合，成為解決人們網(wǎng)上信息獲取的重要手段。 本文首先講述了現(xiàn)有的中文分詞技術(shù)，然后分析了網(wǎng)頁中對分類過程有貢獻(xiàn)的結(jié)構(gòu)成分，并針對

3、網(wǎng)頁的特點和網(wǎng)頁標(biāo)記作用的不同對權(quán)值進(jìn)行調(diào)整，充分利用了網(wǎng)頁中鏈接信息的作用，使其更加適用于自動分類過程。重點討論了支持向量機(jī)的相關(guān)問題。概述了統(tǒng)計學(xué)習(xí)理論的主要內(nèi)容，推導(dǎo)了支持向量機(jī)方法在文本線性可分和線性不可分情況下實現(xiàn)分類的數(shù)學(xué)公式，在此基礎(chǔ)上對支特向量機(jī)進(jìn)行了擴(kuò)展。采用了基于二叉樹、預(yù)抽取支持向量機(jī)及循環(huán)迭代算法的支持向量機(jī)對多類文本進(jìn)行分類。同時提出了一種容噪的支持向量機(jī)方法KNN-SVM算法，并用于中文網(wǎng)頁的分類實驗，取得了