文本傾向性分析中的情感詞典構(gòu)建技術(shù)研究.pdf

1、隨著計算機與網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，Internet已經(jīng)成為現(xiàn)代主要的信息載體，網(wǎng)絡(luò)在線文檔也成為人們?nèi)粘Ｉ钪胁豢苫蛉钡闹饕畔碓?。而隨著互聯(lián)網(wǎng)進入Web2.0時代，Internet又逐步地從靜態(tài)的信息載體變成人們表達意見、交流情感的平臺，人們通過各種途徑，以各種方式表達自身對于各種事物的意見、看法：新聞評論、產(chǎn)品評論、情感博客等。這些觀點性內(nèi)容對于網(wǎng)絡(luò)電子商務(wù)、網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)、網(wǎng)絡(luò)信息安全、網(wǎng)絡(luò)信息檢索等多方面都具有重要的意義和實用價值

2、。面對如此海量的富含情感信息的文本，亟待找到一種快速的自動分析方法對這些網(wǎng)絡(luò)文本進行處理。對網(wǎng)絡(luò)文本觀點性內(nèi)容的自動情感分析成為近期web信息處理的一個研究熱點，而其中的核心技術(shù)就是文本傾向性分析。情感詞典構(gòu)建是文本傾向性分析的基礎(chǔ)。本文以高質(zhì)量的情感詞典構(gòu)建算法作為研究目標(biāo)，著重對以下幾個方面進行了深入的研究：
　　首先，介紹了文本傾向性分析研究的背景，分析了文本傾向性分析及情感詞典構(gòu)建所面臨的挑戰(zhàn)；然后分析了當(dāng)前文本傾向性分析

3、及情感詞典構(gòu)建技術(shù)的研究現(xiàn)狀；最后進一步明確了研究情感詞典構(gòu)建算法的意義和必要性。
　　為了減少通用情感詞典構(gòu)建算法對于基準(zhǔn)詞的依賴，提出了基于函數(shù)優(yōu)化的通用詞典構(gòu)建方法。目前多數(shù)通用情感詞典構(gòu)建方法根據(jù)語氣待定詞語與之前人工進行語氣標(biāo)注的基準(zhǔn)詞之間的局部信息來確定語氣待定詞語的語氣傾向。這樣導(dǎo)致了兩方面的問題：①由于對于語氣待定詞語與測試集中所有詞語之間的全局信息利用不充分，致使算法準(zhǔn)確率仍存在提高空間；②該方法對領(lǐng)域?qū)＜业囊蕾?/p>

4、較強，對基準(zhǔn)詞的選擇和數(shù)量較為敏感。針對該問題，本文從圖劃分的角度提出基于函數(shù)優(yōu)化的通用情感詞典構(gòu)建方法，該方法將通用情感詞典構(gòu)建問題轉(zhuǎn)化為函數(shù)優(yōu)化問題，并利用模擬退火算法進行求解。
　　為了解決基于圖劃分方法在某些應(yīng)用場景中易于陷入局部極值的問題，提出了基于詞語聚團性的通用詞典構(gòu)建方法。在利用函數(shù)優(yōu)化求解圖分解問題的算法中，多數(shù)以“最小切分”作為切分的目標(biāo)。但當(dāng)子圖大小和數(shù)目不固定時，采用“最小切分”策略的目標(biāo)函數(shù)在求解過程易于

5、陷入局部極值：即傾向于把所有節(jié)點劃入一個子圖，而使的另外的子圖中的節(jié)點數(shù)目為零。針對該問題，本文采用復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)中的基于Modularity優(yōu)化的方法來構(gòu)建通用情感詞典。本文對于傳統(tǒng)Modularity方法的改進在于，只比較所有二分情況下的Modularity值并進行優(yōu)化，這樣既使得Modularity方法能夠適用于本問題，又極大的降低了運算量。
　　為了解決情感詞典的領(lǐng)域移植問題，提出了基于擴展信息瓶頸的領(lǐng)域詞典構(gòu)建方法。領(lǐng)

6、域情感詞典被廣泛應(yīng)用于細粒度的文本傾向性分析中，自動構(gòu)建領(lǐng)域情感詞典文本傾向性分析研究中一個重要且基礎(chǔ)的工作?，F(xiàn)有的構(gòu)建算法只考慮了新舊領(lǐng)域之間詞語的關(guān)系，算法準(zhǔn)確率仍存在提升空間。針對該問題，本文對傳統(tǒng)信息瓶頸聚類方法進行改進，通過充分利用源領(lǐng)域與目標(biāo)領(lǐng)域的情感詞與文檔之間的相互關(guān)系，來建立目標(biāo)領(lǐng)域的領(lǐng)域情感詞典。
　　最后，設(shè)計并實現(xiàn)了一個細粒度的產(chǎn)品屬性挖掘系統(tǒng)。在該系統(tǒng)中，通過利用產(chǎn)品屬性和評論語氣詞之間的互相推薦，可以實