文本分類中基于綜合度量特征選擇算法的研究.pdf

1、文本分類是一個傳統(tǒng)而又歷久彌新的話題，在互聯(lián)網(wǎng)技術(shù)日益發(fā)達的今天，其應用越來越廣泛。在文本分類的過程中，由于用特征向量表示文本時的高維性、高稀疏度等特點，特征選擇顯得特別重要。
　　在研究文本分類時，發(fā)現(xiàn)詞頻特征選擇忽略了特征的類內(nèi)重要度和類間分散度，而χ2統(tǒng)計量特征選擇只考慮了特征的類內(nèi)重要度。針對詞頻和χ2統(tǒng)計量兩種特征選擇算法的不足，提出了三種基于綜合度量的特征選擇算法：基于平衡因子的詞頻特征選擇、基于平衡因子的χ2統(tǒng)計量特

2、征選擇以及基于過濾器的χ2統(tǒng)計量特征選擇。改進的前兩種算法通過引入權(quán)重平衡因子，將特征的類內(nèi)重要度和類間分散度線性組合起來，通過調(diào)節(jié)權(quán)重平衡因子來調(diào)整類內(nèi)重要度和類間分散度在特征評分中的貢獻度，有效地解決了詞頻和χ2統(tǒng)計量兩種特征選擇算法的不足。基于過濾器的χ2統(tǒng)計量特征選擇在傳統(tǒng)的χ2統(tǒng)計量特征選擇的結(jié)果集上，用類間分散度進行過濾，剔除類間分散度小于給定閾值的特征，從而得到效果更優(yōu)的特征子集。
　　設計并實現(xiàn)了包含多項式樸素貝葉