基于LDA與SVM的文本分類研究.pdf

1、文本自動(dòng)分類是信息檢索與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)，近年來得到了廣泛的關(guān)注和快速的發(fā)展，它是機(jī)器學(xué)習(xí)和自然語言處理的關(guān)鍵技術(shù)之一。近幾年，人們開始將機(jī)器學(xué)習(xí)的方法應(yīng)用到文本自動(dòng)分類領(lǐng)域，它在分類效果和靈活性上都比傳統(tǒng)的文本分類模式有所發(fā)展，成為相關(guān)領(lǐng)域研究和應(yīng)用的范例。
　　特征選擇和分類算法是文本分類中兩項(xiàng)關(guān)鍵的技術(shù)。在文本分類中，特征空間維數(shù)過高引起“維數(shù)災(zāi)難”，傳統(tǒng)特征選擇方法在處理文本數(shù)據(jù)時(shí)，特征降維效果不佳，且易忽視詞間語義

2、關(guān)系，直接影響分類性能。實(shí)際文本數(shù)據(jù)具有類別和樣本數(shù)目多、噪音多、各類別樣本數(shù)目不均衡等特點(diǎn)，傳統(tǒng)分類算法在分類精度和速度上不能兼顧。
　　本文對(duì)文本分類及其相關(guān)技術(shù)進(jìn)行研究，從降低文本數(shù)據(jù)的維數(shù)，提高分類性能出發(fā)，提出了相應(yīng)的解決或改進(jìn)的方法。本文的研究工作主要包括以下幾個(gè)方面：
　?。?）在文本預(yù)處理階段加入詞頻和文檔頻度過濾，在經(jīng)典的LDA特征選擇算法基礎(chǔ)上融入類別信息，發(fā)掘不同類別文檔內(nèi)部潛在主題的差異性，采取雙重特

3、征選擇方法以期選擇對(duì)分類最有意義的特征詞。
　?。?）針對(duì)大規(guī)模文本數(shù)據(jù)的特點(diǎn)，在各類別訓(xùn)練數(shù)據(jù)集上分別用LDA模型進(jìn)行主題建模，利用Gibbs抽樣參數(shù)推理，間接計(jì)算模型參數(shù)，把每個(gè)文本表示為固定隱含主題集上的概率分布，從而獲得文本集的隱含主題-文本矩陣，簡(jiǎn)化了文本數(shù)據(jù)，取得了顯著降維效果，縮短了分類算法的訓(xùn)練時(shí)間。
　?。?）在上述工作的基礎(chǔ)上應(yīng)用SVM分類算法，將LDA良好的文本特征表示性能和SVM強(qiáng)大的分類能力結(jié)合起來