中文網(wǎng)頁獲取及自動分類技術研究.pdf

1、隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，INTERNET上的信息日益豐富，已經(jīng)成為人們?nèi)粘９ぷ骱蜕钪蝎@取信息的重要來源。但是，由于INTERNET所固有的開放性和異構性，用戶很難從紛繁復雜的海量信息中準確定位到自己所需要的信息。因此，如何合理和有效地組織和管理網(wǎng)上信息，已經(jīng)日益成為信息處理領域一個十分重要的研究課題。傳統(tǒng)的處理方式是依靠人工的方法對網(wǎng)頁進行分類，即專業(yè)人員在瀏覽網(wǎng)頁后，根據(jù)其內(nèi)容將它劃分到一個或多個類別中。然而，網(wǎng)頁信息在不斷地快速

2、增長，仍然依靠人工的方式對大量的網(wǎng)頁進行分類，將是不合適，也是難以實現(xiàn)的。為了使用戶更容易更準確地定位所需要的信息，眾多的學者開始研究網(wǎng)頁自動分類技術。 本文對中文網(wǎng)頁獲取和網(wǎng)頁分類技術進行了研究，具體內(nèi)容如下： 1、給出了一種網(wǎng)頁獲取方法。此方法在Java應用程序中集成Google Web API實現(xiàn)網(wǎng)頁的搜索和獲取，同時構造正則表達式來實現(xiàn)在已獲取的網(wǎng)頁中匹配出更多的URL。 2、詳細論述了對中文網(wǎng)頁進行自動

3、分類的主要技術問題。論述了網(wǎng)頁預處理過程，包括網(wǎng)頁的清洗和中文自動分詞技術。分析比較了各種分詞技術，并介紹了中文分詞系統(tǒng)ICTCIAS。 3、分析和比較了三種中文文本表示模型和多種特征選取算法，采用了向量空間模型和特征詞表示方法，并針對不同詞性的詞在文本中的作用以及降低特征向量維數(shù)的需要，提出了基于詞性的特征提取算法，此方法在進行特征值權重之前就剔除認為是噪音的信息，從而在很大程度上提高了特征詞權重的效率。 4、分析比較