短信文本的聚類方法研究.pdf

1、近年來，隨著通訊業(yè)的迅猛發(fā)展，短信已成為手機用戶經(jīng)常進行交流、發(fā)表意見或建議的手段。通訊公司為了改善自己的服務(wù)，常常會收到客戶對移動服務(wù)以短信形式回饋回來的意見或者建議，而信息的分類是信息處理的重要組成部分。將客戶的信息進行有效的組織、管理、分類和處理是擺在許多通訊公司的一大難題，也給信息科學(xué)和技術(shù)領(lǐng)域帶來新的挑戰(zhàn)。本文針對短信文本的聚類問題，首先給出兩種特征選擇方法。然后在聚類算法方面，先采用規(guī)則的方法然后通過K均值算法對文本進行聚類

2、。最后選擇多個初始點代表各個簇的類別信息方法，實現(xiàn)對短信文本的最佳聚類。主要內(nèi)容如下:
　　(1)高維空間的數(shù)據(jù)分布考察
　　文本利用有指導(dǎo)的K-NN分類算法和傳統(tǒng)的K均值無監(jiān)督指導(dǎo)方法，對所選數(shù)據(jù)進行高維空間分布考察。方法1:通過基于信息增益的有監(jiān)督K-NN分類方法，分別用全封閉測試和半封閉測試來考察數(shù)據(jù)在高維空間中是否具有一致性;方法2:利用基于信息增益的K均值聚類方法對數(shù)據(jù)的聚集性進行考察。
　　(2)針對短信文

3、本的特征選擇方法研究
　　短信文本本身比較短，通過較少的文字就可以表達文本所要表達的內(nèi)容。本文針對短信這一屬性，我們分別通過全局高文檔頻率和各類高文檔頻率來作為特征選擇的方法，在這兩個方面展開研究。
　　(3)基于規(guī)則與K均值聚類算法的短信數(shù)據(jù)處理
　　基于規(guī)則與K均值聚類算法的短信數(shù)據(jù)處理，是將分過詞的文本，把含有“積分”這個屬性的文本歸為積分類。這樣可以大量地避免其他四類文本錯誤的分到積分類里面。無論是從單個類別還