網(wǎng)頁自動分類技術(shù)研究.pdf

1、海量的Internet信息資源已經(jīng)成為獲取信息的重要來源，越來越多的人使用搜索引擎搜索網(wǎng)絡(luò)來獲取所需要的信息。但是，搜索引擎主要是按關(guān)鍵詞來進(jìn)行檢索，返回結(jié)果中經(jīng)常包含大量的無關(guān)信息，其查準(zhǔn)率難以令人滿意。網(wǎng)頁自動分類技術(shù)可以在較大程度上對網(wǎng)頁數(shù)據(jù)庫進(jìn)行有序地組織，改善目前搜索引擎的缺陷，方便用戶準(zhǔn)確定位所需要的信息，已成為一項具有較大實用價值的關(guān)鍵技術(shù)。本文的目標(biāo)是在研究Internet信息特點的基礎(chǔ)上，針對目前網(wǎng)絡(luò)信息獲取和檢索的缺

2、陷，對網(wǎng)頁自動分類技術(shù)進(jìn)行研究和探討，重點對關(guān)鍵技術(shù)網(wǎng)頁表示和分類算法進(jìn)行了研究。 首先，在介紹研究背景、相關(guān)技術(shù)、研究意義、研究現(xiàn)狀的基礎(chǔ)上，對網(wǎng)頁自動分類技術(shù)的基礎(chǔ)，文本自動分類技術(shù)以及中文分詞，進(jìn)行了比較全面的介紹和分析。然后總結(jié)網(wǎng)頁特點，同時抽樣統(tǒng)計了網(wǎng)頁標(biāo)記對主題類別的分類貢獻(xiàn)，分析特征表示模型及表示過程并總結(jié)網(wǎng)頁表示的研究情況。還研究和探討維數(shù)削減的概念、途徑、網(wǎng)頁特征的選擇方法和抽取方法以及不同網(wǎng)頁特征選擇方法之間

3、的比較。以及介紹基于統(tǒng)計學(xué)習(xí)的自動分類算法，分析和比較常用的網(wǎng)頁自動分類算法，提出k近鄰算法改進(jìn)思想。 其次，為了分析網(wǎng)頁標(biāo)記源的主題分類表達(dá)能力，設(shè)計了一個抽樣調(diào)查方案進(jìn)行統(tǒng)計分析。方案分經(jīng)濟(jì)和教育兩個類別，各隨意抽取50篇網(wǎng)頁進(jìn)行統(tǒng)計數(shù)據(jù)分析?？梢缘玫浇Y(jié)論，網(wǎng)頁的標(biāo)題標(biāo)記、加重標(biāo)記、黑體字標(biāo)記、meta標(biāo)記的主題表達(dá)能力比較強(qiáng)，分類干擾較少；標(biāo)題標(biāo)記使用的情況比較好，其余標(biāo)記沒有被充分利用。超鏈接標(biāo)記，其引用動機(jī)十分廣泛，分

4、類噪聲影響遠(yuǎn)大于其分類作用，因此在分類時一般不考慮超鏈接標(biāo)記。 最后，對K近鄰分類算法進(jìn)行分析，K近鄰算法的優(yōu)點是算法比較簡單，容易實現(xiàn)，分類效果好；缺點是特征項相互獨(dú)立，影響分類精度，在分類階段的時間開銷太大。已有的K近鄰分類的改進(jìn)算法，主要針對特征項相互獨(dú)立問題，并沒有涉及時間開銷的問題。在此基礎(chǔ)上，提出一種算法改進(jìn)思想，結(jié)合簡單聚類算法，比如單鏈聚類方法，在不降低分類精度的情況下，將分類階段大部分的時間開銷轉(zhuǎn)移到訓(xùn)練階段。