基于代表樣本的中文網(wǎng)頁分類研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)地飛速發(fā)展，Web上的網(wǎng)頁數(shù)量呈指數(shù)增長。如何把網(wǎng)頁按類分好，為使用者提供直接有效的信息，是網(wǎng)頁分類研究的重點(diǎn)。搜索引擎已成為目前用戶年到達(dá)率最高的互聯(lián)網(wǎng)服務(wù)，信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)資源的迅速膨脹對傳統(tǒng)的搜索引擎提出了挑戰(zhàn)。在提高搜索引擎對信息的檢索效率和用戶操作的方便性方面，中文網(wǎng)頁自動(dòng)分類技術(shù)是一個(gè)有效的解決方案，是中文信息處理中的重要環(huán)節(jié)。它能夠自動(dòng)地把搜索引擎檢索到的結(jié)果歸類，便于用戶按類別進(jìn)行查找，提高檢索信息的效

2、率，已成為信息檢索方向的研究熱點(diǎn)。該技術(shù)能夠大大減少瀏覽網(wǎng)頁的數(shù)量，提高檢索效率，方便用戶快速查詢到需要相關(guān)的信息。此外，網(wǎng)頁分類也有助于對信息資源進(jìn)行組織管理，合理的加以利用，有助于主題詞典的建立和維護(hù)，對主題搜索引擎的發(fā)展起了推動(dòng)作用。
　　 在文中，作者首先分析了系統(tǒng)的開發(fā)背景和國內(nèi)網(wǎng)頁自動(dòng)分類研究的發(fā)展情況，介紹了網(wǎng)頁分類的原理、流程和分類的各項(xiàng)關(guān)鍵技術(shù)。闡述了網(wǎng)頁預(yù)處理、向量空間模型的原理、特征選取技術(shù)、流行的分類算法

3、和分類的評(píng)價(jià)指標(biāo)，對這幾種分類算法進(jìn)行分析，深入研究了KNN算法，分析了國內(nèi)外主要的改進(jìn)算法，發(fā)現(xiàn)KNN在大規(guī)模在線分類方面存在著效率上的缺陷。從修剪訓(xùn)練集合的角度出發(fā)，提出了一種生成代表樣本集合的算法，并在中文網(wǎng)頁分類器CPCK上進(jìn)行驗(yàn)證，從而證明，該算法與普通的KNN分類算法相比，分類效率得到了一定程度的提高。在系統(tǒng)的設(shè)計(jì)上，作者嚴(yán)格按照統(tǒng)一建模語言UML的模式來進(jìn)行。詳細(xì)地畫出分類器CPCK的處理流程圖。在實(shí)現(xiàn)部分，系統(tǒng)是在Win