智能搜索中的中文網(wǎng)頁分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術突飛猛進的發(fā)展,網(wǎng)絡規(guī)模正以指數(shù)級增長。為了更加快捷的找到所需的信息,而不被龐大無序且結構類型多樣的信息海洋所淹沒,智能搜索已成為人們獲取信息的主要途徑。然而,當前的全文搜索引擎雖然提供了信息檢索服務,但是自身存在著種種缺陷導致了諸如信息孤島、主題偏向性等問題的出現(xiàn)。而如果對搜索信息按照所屬類別進行分類,便可以在很大程度上滿足用戶搜索的需求,網(wǎng)頁自動分類便應運而生。目前,中文網(wǎng)頁自動分類技術在搜索引擎的目錄導航服務、信息過

2、濾、主題搜索、個性化信息檢索、主動信息推送服務領域得到了廣泛地應用。本研究主要內(nèi)容包括以：
　　 ⑴通過分析網(wǎng)頁中包含的“噪聲”,結合網(wǎng)頁內(nèi)容的視覺信息和幾何布局,使用改進的網(wǎng)頁DOM樹結構和可視化分析方法識別出主題型網(wǎng)頁的內(nèi)容塊,然后在得到的內(nèi)容塊中提取出網(wǎng)頁的主要內(nèi)容,利用統(tǒng)計學的方法來去除網(wǎng)頁中與主題不相關的內(nèi)容,最終達到有效去除網(wǎng)頁噪聲的目的。實驗表明,該方法可以在很大程度上凈化網(wǎng)頁文本,刪除網(wǎng)頁中與主題不相關的信息。<

3、br>　　 ⑵針對余弦距離在計算文本相似度時,沒有考慮文本特征詞之間的語義信息,結合《知網(wǎng)》對詞匯間概念的語義定義,使用一種基于改進的最優(yōu)指派模型計算文本的最大相似度。該方法通過模型將網(wǎng)頁文本中每個特征詞對文本間語義相似度的貢獻值聚合在一起,得到網(wǎng)頁文本間的相似度值。
　　 ⑶通過研究網(wǎng)頁自動分類的一般常用模型,并結合網(wǎng)頁類別定義的自身特點,構建了一種基于支持向量機的層次分類模型。該模型首先用支持向量機識別出所有的頂層類別,然