web文本分類中特征向量優(yōu)化技術(shù)研究.pdf

1、隨著Internet的迅猛發(fā)展和日益普及,電子文本信息迅速膨脹,如何有效地組織和管理這些信息,并快速、準(zhǔn)確、全面地從中找到用戶所需要的信息是當(dāng)前信息科學(xué)技術(shù)領(lǐng)域面臨的一大挑戰(zhàn).文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù),可以在較大程度上解決信息雜亂現(xiàn)象,方便用戶準(zhǔn)確地定位所需的信息.而且作為信息過濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ),文本分類有著廣泛的應(yīng)用前景. 要進(jìn)行web文本分類,首先要做的就是對

2、web文本數(shù)據(jù)進(jìn)行數(shù)學(xué)描述,其中最常用的模型就是向量空間模型和潛在語義索引模型等.在向量空間模型中,每一個不同的單詞都作為特征空間中的一維,每一個文本就是特征空間中的一個向量.潛在語義索引模型在最初對文本的描述上也與之類似.但是,這種描述方法引發(fā)了一個非常嚴(yán)重的問題,那就是高維稀疏,加之文本數(shù)據(jù)所特有的近義詞、多義詞等等問題,使得文本分類具有相當(dāng)高的時間復(fù)雜度,而且這些問題也極大地干擾了分類算法的準(zhǔn)確性,使得文本分類的性能急劇下降.因此

3、,迫切需要通過其它技術(shù)優(yōu)化文本向量表示以幫助提高文本分類的性能. 文本向量的優(yōu)化技術(shù)總的來說分為兩類,首先是權(quán)重調(diào)整方法.權(quán)重調(diào)整方法是通過綜合考慮一個單詞相對于一個文本、一個數(shù)據(jù)集或者一個類的重要性來調(diào)整其在不同文本中的權(quán)重,使其值盡可能正確地反映一個單詞與一個文本在語義上的關(guān)系.另一類優(yōu)化技術(shù)是降維,它指的是通過降低特征空間的維度優(yōu)化文本的表示.主要包括特征選擇和特征抽取兩種技術(shù). 本文從向量優(yōu)化技術(shù)入手,將研究點分為了

4、兩大塊:特征選擇及其權(quán)重計算方案,特征抽取及其權(quán)重計算方案,所做的主要工作如下: 在特征選擇的研究上,針對目前很少有關(guān)于冗余特征研究的現(xiàn)狀,分析和論證了在特征選擇過程中消除冗余特征的重要性,提出了在特征選擇過程中消除冗余特征的途徑-特征之間的關(guān)聯(lián)性分析.該方法以信息論量度為基本工具,綜合考慮了計算代價以及特征評估的客觀性等問題,形成了一種基于關(guān)聯(lián)分析的特征選擇算法,算法在保留類別相關(guān)特征的同時識別并摒棄了冗余特征,取得了較好的約簡

5、效果;在針對特征選擇的權(quán)重計算方面,首先對傳統(tǒng)的權(quán)重計算方案進(jìn)行了分析,在指出其不足的基礎(chǔ)上提出了改進(jìn)方案:(1) 對特征的類別區(qū)分能力予以了著重加強(qiáng),在傳統(tǒng)的權(quán)重公式中擴(kuò)展了一項單詞的類區(qū)分能力:w<,id>=local(t,d)<'*> global(t)<'*>classDisc(t) (2) 對 web 文檔信息特征進(jìn)行分析,并且提出了web 文檔中主特征詞、主特征域和主特征空間的概念.分析論證了在主特征空間上應(yīng)當(dāng)使用文檔頻度D

6、F(document frequency)信息而非傳統(tǒng)意義上的IDFI(inverse document frequency)信息進(jìn)行權(quán)值計算,以更加精確地描述web文本. 在特征抽取的研究上,提出了針對局部LSI的權(quán)重計算方案.本文研究了典型的潛在語義索引技術(shù)(LSI)在文本分類上的兩種應(yīng)用方式:全局LSI和局部LSI.全局LSI完全無視訓(xùn)練數(shù)據(jù)中已知的類信息,所以全局LSI不但不會提高反而還會降低文本分類的性能.相比于全局LS

7、I,局部LSI不是在整個訓(xùn)練數(shù)據(jù)上執(zhí)行LSI,而是在每一個類的局部區(qū)域上分別執(zhí)行奇異值分解從而為每一個類都創(chuàng)建了一個局部語義空間,然后每一個新的文本都分別被映射到每一個局部語義空間中進(jìn)行分類.局部LSI通過利用已知的類信息很好地抽取出了區(qū)分一個類和其他類的語義結(jié)構(gòu),所以較之全局LSI有了一定的進(jìn)步;但是通過對局部LSI的權(quán)重計算方案的分析我們發(fā)現(xiàn),其權(quán)重計算方法只是簡單繼承向量空間模型,雖然潛在語義索引與向量空間模型在描述文本上有一定的

8、相似性,但其基本思想有本質(zhì)的不同:VSM本質(zhì)上將詞語看作空間的維度,將文檔根據(jù)其所包含的詞語看作是該空間中的一個點:LSI中不再將詞語看作是單獨的維度,潛在語義空間中的維度被認(rèn)為是對應(yīng)著各個"潛概念",詞語向量被看作是它們在各個"潛概念"上的投影,文檔向量是其所包含的詞語向量之和.為此本文提出了一種新的基于加權(quán)平滑的局部LSI方法,這個方法通過在語義信息表達(dá)更清晰的局部區(qū)域上執(zhí)行奇異值分解從而抽取出了更具類區(qū)分力的局部語義結(jié)構(gòu).