面向詞袋模型的相似性度量方法在特征降維中的應(yīng)用.pdf

1、詞袋模型是一種向量空間模型，在此模型中，文本或圖像被視作是無(wú)序的詞匯集合，其中語(yǔ)法以及詞匯之間的順序關(guān)系都是被忽略的。通過(guò)選擇或設(shè)計(jì)合適的相似性度量函數(shù)，詞袋模型可以被廣泛應(yīng)用于文本、圖像的分類(lèi)、聚類(lèi)及檢索問(wèn)題中。經(jīng)過(guò)大量的研究工作，目前已經(jīng)總結(jié)出多種常見(jiàn)且有效的相似性度量方法，包括歐幾里得距離、余弦相似度、Manhattan距離以及Mahalanobis距離等。然而，文本和圖像問(wèn)題的詞袋模型，往往具有高維度、特征冗余、一義多詞、一詞多

2、義等特點(diǎn)，這將增加處理詞袋模型時(shí)的計(jì)算復(fù)雜度，并對(duì)學(xué)習(xí)算法的精度造成干擾。
　　本文采用一種有監(jiān)督的學(xué)習(xí)方法，將詞袋模型中的詞語(yǔ)特征項(xiàng)聚合成詞簇，通過(guò)將原始詞語(yǔ)空間上的表達(dá)轉(zhuǎn)變?yōu)樾碌脑~簇空間上的表達(dá)，進(jìn)而影響文本或圖像樣本相似性匹配度的計(jì)算，達(dá)到消除一義多詞的負(fù)面影響的作用。該方法的具體思路是:首先采用類(lèi)條件概率分布描述詞項(xiàng)的分布規(guī)律，并使用Jensen-Shannon散度刻畫(huà)這些分布之間的相關(guān)性即詞語(yǔ)項(xiàng)之間的相似度。在此基礎(chǔ)上設(shè)

3、計(jì)了一種將近義詞項(xiàng)進(jìn)行重組合并成新詞簇的WCE算法，并采用一種有監(jiān)督的損失函數(shù)評(píng)價(jià)模型對(duì)WCE算法產(chǎn)生的新詞簇集進(jìn)行評(píng)估。該評(píng)價(jià)模型中的損失函數(shù)和對(duì)應(yīng)的相似性度量方法的選擇和設(shè)計(jì)具有很大的靈活性。算法最終輸出損失函數(shù)的近似最優(yōu)解以及相應(yīng)的詞簇特征集，從而達(dá)到降維的目的。
　　實(shí)驗(yàn)部分從檢索和分類(lèi)兩個(gè)方面驗(yàn)證了本文的詞語(yǔ)降維算法的有效性及合理性。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于不同的數(shù)據(jù)集，該算法的降維效果以及降維結(jié)果對(duì)檢索效果和分類(lèi)精度的提升程