網(wǎng)頁去噪音與分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上信息的數(shù)量也在急劇增長?；ヂ?lián)網(wǎng)給人們提供了大量信息，但同時也給人們快速準(zhǔn)確的獲取信息帶來挑戰(zhàn)。為了能有效地利用網(wǎng)頁資源，我們需要對網(wǎng)頁進行分類。 本文研究網(wǎng)頁分類的關(guān)鍵技術(shù)，并對網(wǎng)頁去噪音技術(shù)和分類算法進行深入探討。 在網(wǎng)頁預(yù)處理時，最關(guān)鍵的問題是去除掉網(wǎng)頁中的噪音數(shù)據(jù)，將與網(wǎng)頁內(nèi)容無關(guān)的廣告、導(dǎo)航條以及版權(quán)等信息盡量去除，以得到所需要的網(wǎng)頁主題信息。我們在分析現(xiàn)有方法和網(wǎng)頁制作特點的基礎(chǔ)上，

2、綜合考率網(wǎng)頁的結(jié)構(gòu)、分塊大小信息，設(shè)計并實現(xiàn)了一個基于塊分析的、自動調(diào)整閾值的網(wǎng)頁去噪音算法。 特征聚合算法考慮到詞與詞之間的聯(lián)系，根據(jù)特征詞的分類貢獻將他們聚合為分布模式，并使用分布模式代替?zhèn)鹘y(tǒng)算法中單個詞對應(yīng)向量一維的方式，我們對特征聚合算法在本文分類系統(tǒng)的效果進行了測試，測試結(jié)果顯示特征聚合算法對數(shù)據(jù)集偏斜問題有著很好的效果，并對分類器整體性能有所改進。 當(dāng)前文本分類領(lǐng)域已經(jīng)提出了很多分類算法，其中，KNN和SVM