統(tǒng)計和規(guī)則相結(jié)合的新聞網(wǎng)頁分類系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、文本分類是一項具有很高實用價值的信息組織和管理的關(guān)鍵技術(shù)，它可以對網(wǎng)絡上的文本內(nèi)容進行有效的組織與管理。常見的網(wǎng)頁分類方法有文本相似度法、K-最近鄰法、樸素貝葉斯法(Naive-Bayes，NB)、決策樹、支持向量機等。網(wǎng)頁分類算法采用向量空間模型進行表示文本特征向量，然后利用某種相似度計算方法計算網(wǎng)頁所屬的類別。本文對新聞網(wǎng)頁自動分類技術(shù)進行了研究，在對文本分類技術(shù)的理論進行研究的基礎(chǔ)上，分析了文本分類的實現(xiàn)過程，對其中的特征選取算法

2、進行了詳細的介紹，給出了文本分類的評價指標。
　　介紹了新聞網(wǎng)頁的結(jié)構(gòu)和特點，分析了不規(guī)范的新聞網(wǎng)頁的特點，并提出了使用開源工具Tidy進行規(guī)范新聞網(wǎng)頁的方法。利用統(tǒng)計詞頻和人工參與的方法來抽取類別特征詞集，采用開源的NekoHTML工具把新聞網(wǎng)頁解析成DOM樹，然后進行新聞網(wǎng)頁正文的抽取工作，使用Java語言中的正則表達式功能進行新聞網(wǎng)頁標題和超鏈接的抽取，使用計算詞語的CHI值的方法進行新聞網(wǎng)頁的特征選取，利用語義知識數(shù)據(jù)庫H

3、owNet進行詞語之間語義距離的計算，提出了一種統(tǒng)計和規(guī)則相結(jié)合的新聞網(wǎng)頁分類系統(tǒng)的模型。
　　本文利用Java語言對新聞網(wǎng)頁分類系統(tǒng)的各個環(huán)節(jié)作了簡單的實現(xiàn)與測試，主要環(huán)節(jié)包括：類別特征詞的抽取、新聞網(wǎng)頁信息的抽取、語義距離的計算以及分類輔助規(guī)則的設(shè)計。類別特征詞的抽取是利用統(tǒng)計和人工參與的方法來抽取的；新聞網(wǎng)頁中正文信息的抽取利用的是開源的NekoHTML工具把新聞網(wǎng)頁源代碼解析成一個DOM樹，去掉新聞網(wǎng)頁中無用的節(jié)點STYL