基于支持向量機(jī)的中文網(wǎng)頁(yè)自動(dòng)分類(lèi)技術(shù)研究.pdf

1、隨著WWW的迅速發(fā)展和普及，在線(xiàn)電子信息日益增多，人們已經(jīng)從信息資源匱乏的時(shí)代迅速過(guò)渡到信息極為豐富的數(shù)字化時(shí)代。面對(duì)網(wǎng)上海量的信息資源，人們很難迅速有效的找到真正所需的信息。因此，如何合理和有效地組織和管理網(wǎng)上信息，已經(jīng)日益成為信息處理領(lǐng)域里一個(gè)十分重要的研究課題。傳統(tǒng)上是依靠人工的方法對(duì)網(wǎng)頁(yè)進(jìn)行分類(lèi)，即專(zhuān)業(yè)人員在分析網(wǎng)頁(yè)的內(nèi)容后，將它分到一個(gè)或若干個(gè)比較合適的類(lèi)別中。很明顯，隨著網(wǎng)頁(yè)信息容量的快速增長(zhǎng)，仍然依靠人工的方式來(lái)進(jìn)行大量的

2、網(wǎng)頁(yè)分類(lèi)，將是不合適和不現(xiàn)實(shí)的。文本分類(lèi)是組織和管理信息的有力手段，它可以在較大程度上解決目前網(wǎng)上信息雜亂無(wú)章的現(xiàn)象，使用戶(hù)更容易更準(zhǔn)確地定位所需的信息，因此，對(duì)網(wǎng)頁(yè)的分類(lèi)是必要的，也是必需的。這就使得對(duì)網(wǎng)頁(yè)自動(dòng)分類(lèi)的研究成為了一個(gè)日益重要的研究領(lǐng)域，并且，它還逐步與IR技術(shù)、搜索引擎、信息過(guò)濾等技術(shù)相結(jié)合，成為解決人們網(wǎng)上信息獲取的重要手段。 本文首先講述了現(xiàn)有的中文分詞技術(shù)，然后分析了網(wǎng)頁(yè)中對(duì)分類(lèi)過(guò)程有貢獻(xiàn)的結(jié)構(gòu)成分，并針對(duì)

3、網(wǎng)頁(yè)的特點(diǎn)和網(wǎng)頁(yè)標(biāo)記作用的不同對(duì)權(quán)值進(jìn)行調(diào)整，充分利用了網(wǎng)頁(yè)中鏈接信息的作用，使其更加適用于自動(dòng)分類(lèi)過(guò)程。重點(diǎn)討論了支持向量機(jī)的相關(guān)問(wèn)題。概述了統(tǒng)計(jì)學(xué)習(xí)理論的主要內(nèi)容，推導(dǎo)了支持向量機(jī)方法在文本線(xiàn)性可分和線(xiàn)性不可分情況下實(shí)現(xiàn)分類(lèi)的數(shù)學(xué)公式，在此基礎(chǔ)上對(duì)支特向量機(jī)進(jìn)行了擴(kuò)展。采用了基于二叉樹(shù)、預(yù)抽取支持向量機(jī)及循環(huán)迭代算法的支持向量機(jī)對(duì)多類(lèi)文本進(jìn)行分類(lèi)。同時(shí)提出了一種容噪的支持向量機(jī)方法KNN-SVM算法，并用于中文網(wǎng)頁(yè)的分類(lèi)實(shí)驗(yàn)，取得了