中文產(chǎn)品評論挖掘關(guān)鍵技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)的蓬勃發(fā)展，以用戶為中心反映了用戶使用體驗、包含了用戶對產(chǎn)品的特征、功能和性能等看法的產(chǎn)品評論越來越多。通過參考產(chǎn)品使用者所發(fā)表的產(chǎn)品評論，用戶可以挑選最適合自己的產(chǎn)品，廠家也可據(jù)此對產(chǎn)品進行改進，從而增強企業(yè)競爭力，因此產(chǎn)品評論挖掘技術(shù)的研究也就變得越來越重要。本文應(yīng)用機器學(xué)習(xí)方法對產(chǎn)品評論挖掘的相關(guān)技術(shù)如短文本分類技術(shù)、特征觀點對的挖掘方法、特征觀點對的優(yōu)化算法及產(chǎn)品特征的層次關(guān)系提取技術(shù)進行了研究。取得的主要成果和創(chuàng)新工作

2、概括如下：
　　 提出基于語義特征的產(chǎn)品評論分類方法。產(chǎn)品評論的自動分類可以獲取更好的研究素材，降低評論挖掘算法的復(fù)雜性，從而提高挖掘效率?；诋a(chǎn)品評論普遍較短，本文從短文本的角度處理產(chǎn)品評論的分類問題。首先對從網(wǎng)上獲取的產(chǎn)品評論進行人工標(biāo)注，獲得訓(xùn)練集；然后提取出產(chǎn)品評論中位于前列的x2統(tǒng)計量和語義內(nèi)容(產(chǎn)品特征、觀點詞、程度詞)作為分類特征，把語義內(nèi)容的數(shù)量、未挑選的語義內(nèi)容和評論文本長度也加入分類特征；再使用二分類具有優(yōu)勢

3、的支持向量機分類方法對所獲取的分類特征進行學(xué)習(xí)，獲得分類器;最后對網(wǎng)上時時更新的產(chǎn)品評論進行分類，挖掘出優(yōu)秀的評論，建立評論語料庫。實驗表明，語義內(nèi)容的加入對產(chǎn)品評論分類效果的改善是很明顯的，準(zhǔn)確率提升了9％，達到了80％，對屬于短文本類型的產(chǎn)品評論來說分類效果是很不錯的。
　　 采用半監(jiān)督學(xué)習(xí)思想，提出在產(chǎn)品評論挖掘過程中把特征挖掘和觀點挖掘相結(jié)合以獲取特征觀點對的方法。針對產(chǎn)品特征和觀點詞具有對應(yīng)的修飾關(guān)系，本文使用半監(jiān)督學(xué)

4、習(xí)方法，把用戶發(fā)表的產(chǎn)品部件、功能、性能等特征和表達了情感的觀點詞結(jié)合在一起進行挖掘，從而保留特征和觀點的對應(yīng)關(guān)系。半監(jiān)督學(xué)習(xí)方法既可以利用少量標(biāo)注樣本獲得專家的標(biāo)注知識，又可以利用大量未標(biāo)注數(shù)據(jù)來改善學(xué)習(xí)性能，增強學(xué)習(xí)算法的泛化能力。因此本文把人工定義的少量特征觀點對作為種子，結(jié)合評論語句中的詞、詞性和修飾關(guān)系等組成的模式特征集對評論庫進行挖掘，獲取用戶真正感興趣的產(chǎn)品特征和評價。然后使用獲得的產(chǎn)品特征詞和觀點詞對多特征的評論進行了處

5、理，實驗表明這種處理使準(zhǔn)確率和召回率都提升了2％左右。雖然把特征與觀點結(jié)合在一起進行挖掘的準(zhǔn)確率不是很高，但較高的召回率可使半監(jiān)督學(xué)習(xí)算法能夠挖掘到新的信息。
　　 為了改善挖掘結(jié)果的性能，提出基于最大化調(diào)和平均數(shù)(MaximizeHarmonic-Mean，MHM)的原則，對觀點序列進行優(yōu)化的方法。針對半監(jiān)督學(xué)習(xí)方法具有準(zhǔn)確率隨著迭代次數(shù)的增加而急劇下降的缺點，本文在準(zhǔn)確率不高、獲取的特征觀點對中有很多錯誤的情況下，利用調(diào)和平

6、均數(shù)易受極端值的影響，尤其受極小值的影響比受極大值的影響更大的特點，對標(biāo)準(zhǔn)差大的觀點序列進行調(diào)整，刪除序列中的低頻元素時，通過最大化調(diào)和平均數(shù)在確保召回率的同時提高準(zhǔn)確率。實驗結(jié)果顯示在準(zhǔn)確率上升17％的情況下，召回率只降低了5％，此時準(zhǔn)確率達到77.3％。
　　 提出從產(chǎn)品說明書和編輯評測中獲取產(chǎn)品特征層次關(guān)系的方法，該方法采用結(jié)構(gòu)化挖掘方法對產(chǎn)品說明書挖掘得到規(guī)格特征及其層次關(guān)系，使用半監(jiān)督學(xué)習(xí)方法對編輯評測挖掘獲得描述特征

7、及其層次關(guān)系?，F(xiàn)有的評論挖掘系統(tǒng)在獲得特征及對應(yīng)的觀點詞后沒有對上下位的特征、同一特征的不同詞語表達進一步處理，這樣就會把同一個特征的不同詞語表示作為不同的特征、上下位的特征作為平行特征展現(xiàn)給用戶。本文首先使用結(jié)構(gòu)化數(shù)據(jù)挖掘方法對廠家的產(chǎn)品說明書進行挖掘，獲取規(guī)格特征之間的層次關(guān)系，再利用半監(jiān)督學(xué)習(xí)方法對網(wǎng)站所提供的編輯評測進行挖掘，獲取描述特征及其層次關(guān)系。然后把一段中獲取的描述特征與規(guī)格特征進行相似度比較，從而獲得規(guī)格特征和描述特征