支持向量機文本分類的關(guān)鍵問題研究.pdf

1、隨著計算機網(wǎng)絡、數(shù)據(jù)庫、多媒體等技術(shù)的飛速發(fā)展和日益普及，因特網(wǎng)上的可用信息以驚人的速度增加，僅Google搜索引擎能索引到的網(wǎng)頁就高達80億張以上。因特網(wǎng)信息表現(xiàn)為文本、聲頻、圖象和視頻等，其中文本類信息占絕大多數(shù)。為了更好地處理這些數(shù)量龐大、結(jié)構(gòu)不確定的文本類信息，人們迫切需要一些高效的文本檢索、查詢和過濾系統(tǒng)，而文本分類正是實現(xiàn)這些系統(tǒng)所需的一項關(guān)鍵技術(shù)。 文本分類是指一個把自然語言的文本按其內(nèi)容歸入一個或多個預先定義好的

2、類別的過程。由于網(wǎng)上信息數(shù)量巨大而且存在形式多樣，因此傳統(tǒng)的由專家進行手工分類的方法已無法滿足現(xiàn)階段應用的需要。自動文本分類是在給定的分類體系下，由特定的算法根據(jù)文本的內(nèi)容確定與之相關(guān)聯(lián)的類別。自動文本分類是人工智能技術(shù)和信息獲取技術(shù)相結(jié)合的研究領域，是進行基于文本內(nèi)容的自動信息處理的核心技術(shù)。 支持向量機是在上世紀末發(fā)展起來的一種基于結(jié)構(gòu)風險最小化準則的分類學習機模型。它通過構(gòu)造并求解目標函數(shù)來獲得兩類樣本數(shù)據(jù)之間的決策超平面

3、，以保證最小的分類錯誤率。從實際分類效果來看，支持向量機在解決小樣本、非線性及高維的模式識別問題時是目前己知的分類器中效果最好的，而這些問題恰是文本分類問題所面臨的困難。因此，支持向量機和文本分類問題有著良好的結(jié)合點。 雖然支持向量機的訓練算法本身就可以克服特征詞向量維數(shù)過高的問題，但針對文本樣本的特征提取步驟仍是不可或缺的，這是因為當大量特征詞與分類無關(guān)時，只會使支持向量機“過分適應于”訓練樣本而降低推廣性能。此外，傳統(tǒng)的基于

4、詞頻統(tǒng)計的特征提取方法也無法體現(xiàn)詞與詞之間的相互聯(lián)系。針對這一問題，本文的第二章將潛在語義索引和粗糙集特征提取結(jié)合起來，提出了一種在潛在語義空間利用粗糙集進行特征提取的方法，試驗結(jié)果表明采用新方法提取特征可以明顯改善支持向量機的推廣性能。 在分類問題廣泛應用的允許訓練誤差的高斯核函數(shù)的支持向量機中，核參數(shù)σ2和折衷參數(shù)C對于支持向量機的分類性能有著至關(guān)重要的影響。模型選擇，即如何選擇恰當?shù)挠柧殔?shù)，一直是支持向量機研究的一個重要

5、課題。本文的第三章對這一問題進行了分析，并提出了判斷參數(shù)選擇恰當與否的簡化評價指標，并在此基礎上提出了一種兩步驟的選擇恰當參數(shù)的方法。第三章的試驗表明，簡化計算方法可以快速而準確地計算推廣誤差評價指標，參數(shù)選擇算法可以搜索到最佳的訓練參數(shù)。 傳統(tǒng)支持向量機最大的困難在于當訓練樣本數(shù)量較大時，支持向量機的訓練時間較長。這是因為采用分解法時，訓練復雜度與樣本數(shù)量的平方成正比。如何降低支持向量機的訓練復雜度一直都是一個棘手的問題，本文

6、的第四章根據(jù)預選取支持向量的思路對上述問題進行了分析，將粗糙集的概念引入了支持向量的預選分析過程中。第四章提出的新算法選取兩類樣本的上近似集的交集作為支持向量的候選集，并對兩類樣本上近似集交集的一致性進行了證明。試驗表明，訓練樣本的上近似集的交集可以代替全部訓練集進行訓練，從而提高訓練速度。 支持向量機的基本模型是針對兩類樣本集提出的，在處理多類樣本集的分類問題時，目前效果最好的方法是訓練一系列針對兩類樣本的子分類器。盡管這種方

7、法可以獲得令人滿意的分類效果，但其訓練時間比較長。我們認為，在多數(shù)情況下，并不是所有的子分類器都值得訓練，部分子分類器是冗余的。本文的第五章對訓練子分類器的必要性進行了分析，并提出一種采用主動學習策略的多類別支持向量機，新算法按子分類器的重要程度逐漸訓練子分類器。實驗證明，這一算法可以在幾乎不降低分類性能的基礎上，顯著減少子分類器的個數(shù)。 直推式支持向量機是直推式學習理論和支持向量機的結(jié)合，它是目前分類效果最好的支持向量機。但它

8、的分類效果極其依賴于事先指定的正樣本數(shù)量Np的選擇。當Np與實際情況相差較大時，直推式支持向量機的分類性能甚至還不如普通的支持向量機。本文的第六章著重討論了直推式支持向量機對Np的值過分敏感的問題，提出了逐個判定準則來調(diào)整測試集松弛變量的類別標簽，從而使Np的值在訓練過程中可變。實驗結(jié)果表明，改進后的方法使直推式支持向量機不再對事先指定的Np的選擇敏感，能穩(wěn)定地獲得較好的分類效果。 網(wǎng)頁是帶有特定結(jié)構(gòu)信息并說明鏈接關(guān)系的文本，與

9、純文本相比，網(wǎng)頁的信息量更大、樣本與樣本之間的聯(lián)系更緊密，但也比純文本分類問題更加難以處理，要考慮更多因素。本文的第七章在分析了模糊直推式支持向量機在網(wǎng)頁處理方面不足的基礎上，從超鏈接分析的過程和利用網(wǎng)頁重要性信息這兩方面對其進行了改進?；诰W(wǎng)頁數(shù)據(jù)的試驗表明，新算法有更強的適應性和更高的準確性。 綜上所述，本文的主要創(chuàng)新包括如下幾方面的內(nèi)容： 1.根據(jù)文本分類領域的特征，改進了留一錯誤的評價指標和模型選擇算法，顯著提高