基于語義的中文文本特征降維方法研究.pdf

1、隨著信息技術(shù)的發(fā)展，文本信息呈幾何級數(shù)不斷增長，人們已經(jīng)被淹沒在信息海洋中。如何有效的組織、管理和利用這些文本信息，并快速、準確的從信息海洋中尋找到所需要的信息，是當前人們所要面對的一大挑戰(zhàn)。文本分類在很大程度上解決了信息雜亂無章的現(xiàn)象。而文本數(shù)據(jù)的高維性和稀疏性可能導致分類精度的下降，因此特征降維作為文本分類過程中不可或缺的環(huán)節(jié)，已經(jīng)成為信息科學領(lǐng)域的研究熱點。
　　作為模式識別、數(shù)據(jù)挖掘等領(lǐng)域中的一項重要預處理步驟，特征降維通

2、過刪除無關(guān)的冗余、噪聲特征，達到降維的目的。然而，由于傳統(tǒng)的特征降維技術(shù)僅僅考慮詞語的統(tǒng)計信息，而忽略詞語本身所含的高層語義，所選特征集往往不能從語義層次完整、準確的表達文檔的意思。而中文作為一種表意型語言，其句法結(jié)構(gòu)復雜，用詞多變，一詞多義和多詞同義的現(xiàn)象嚴重，在降維的過程中更要充分的考慮詞語的語法、語義信息。
　　本文針對傳統(tǒng)降維方法丟棄詞語本身語義的缺點，在降維的過程中考慮了語義信息。首先分析了傳統(tǒng)特征降維的缺點、中文文本特

3、征降維的必要性及文本分類和特征降維的國內(nèi)外研究現(xiàn)狀；然后提出了一種基于語義的降維思路，通過引入潛在語義索引技術(shù)，對原始特征項進行潛在的語義挖掘，隨后將特征項投影到低維的語義空間中并計算其語義相似度，應用聚類算法對所有特征項進行聚類融合，達到對特征項進行二次降維的效果。最后，為了驗證所提出的語義降維方法的有效性，在基于ICTCLAS和Lucene的基礎上搭建了文本分類實驗平臺，并選用傳統(tǒng)2?降維方法進行文本分類對比實驗。實驗表明，本文所提