基于體裁的中文網(wǎng)頁自動分類的研究與實現(xiàn).pdf

1、隨著Internet的快速發(fā)展，因特網(wǎng)上信息數(shù)據(jù)量與日俱增，當人們利用搜索引擎檢索關(guān)鍵詞，面對其返回的一個龐大的相關(guān)網(wǎng)頁鏈接列表時，常常還是難以尋找到自己真正所需的資源。解決該問題的重要途徑之一就是從體裁的角度對網(wǎng)頁進行分類，在分類的基礎(chǔ)上再進行檢索可以大大提高檢索的精度。 網(wǎng)頁的體裁分類不同于傳統(tǒng)的基于主題和內(nèi)容的網(wǎng)頁分類。網(wǎng)頁的體裁分類是按網(wǎng)頁的類型進行分類，是綜合考慮網(wǎng)頁的風格、樣式、內(nèi)容、功能等各種信息的分類方式，是一種

2、“垂直于”網(wǎng)頁內(nèi)容分類的分類方式。目前，網(wǎng)頁體裁分類還處于全面研究階段，技術(shù)尚不夠成熟，尤其是國內(nèi)的研究才剛剛開始。 本文對網(wǎng)頁體裁分類進行了初步的研究和探討，提出了一種網(wǎng)頁體裁分類的方法。該方法結(jié)合體裁分類的特點使用可擴展的多維向量空間模型來表示網(wǎng)頁，并能夠自動選取體裁特征，在分類計算中根據(jù)不同類型的特征向量采用不同的相似度加權(quán)值，最后采用Java語言編寫了程序?qū)崿F(xiàn)了中文網(wǎng)頁的體裁分類。其主要研究工作如下： (1) 本

3、文歸納選取了因特網(wǎng)上常見的9種體裁類別，根據(jù)此類別人工收集了共1251篇網(wǎng)頁文檔，并對其加以類別標記后作為網(wǎng)頁體裁分類的語料庫。 (2) 借鑒文本分類的相關(guān)理論和技術(shù)，采用4維向量空間模型來表示一個網(wǎng)頁。對網(wǎng)頁的體裁特征進行了分析，采用標簽、形態(tài)、內(nèi)容、詞性四種類型的特征向量共同來描述網(wǎng)頁的體裁特征。 (3) 對網(wǎng)頁體裁特征項的選取進行了研究和分析，并利用特征項頻率、集中度和分散度三者結(jié)合的衡量標準對特征項進行自動選取。