WEB文本情感分類中關(guān)鍵問(wèn)題的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)在線的文檔成為現(xiàn)代主要的信息載體，是人們生活中不可或缺的主要信息來(lái)源。而隨著互聯(lián)網(wǎng)進(jìn)入web2.0時(shí)代，人們從被動(dòng)的接受門戶網(wǎng)站發(fā)布信息，轉(zhuǎn)變?yōu)橹鲃?dòng)的獲取、發(fā)布、共享、傳播信息。同時(shí)，由于用戶參與到信息的產(chǎn)生，網(wǎng)絡(luò)信息的內(nèi)容形式也變得多樣化，越來(lái)越多的具有個(gè)人觀點(diǎn)性的內(nèi)容充斥著網(wǎng)絡(luò)。這些觀點(diǎn)性內(nèi)容對(duì)于網(wǎng)絡(luò)電子商務(wù)、網(wǎng)絡(luò)社區(qū)發(fā)掘、網(wǎng)絡(luò)信息安全、網(wǎng)絡(luò)信息檢索等多方面都具有重要的意義和實(shí)用價(jià)值。對(duì)網(wǎng)絡(luò)文本

2、觀點(diǎn)性內(nèi)容的自動(dòng)情感分析成為近期web信息處理的一個(gè)研究熱點(diǎn)，而其中的核心技術(shù)就是文本情感分類。 在這樣一個(gè)背景下，本文對(duì)面向web文本的中文分詞、文本情感分類以及Weblog觀點(diǎn)檢索問(wèn)題進(jìn)行了下述創(chuàng)新性研究工作： 首先，研究了面向web文本的中文分詞問(wèn)題。根據(jù)web文本環(huán)境的特點(diǎn)，研究重點(diǎn)在于中文分詞中的未登錄詞識(shí)別問(wèn)題，同時(shí)兼顧切分歧義消解、整體切分準(zhǔn)確率和高效處理海量文本的能力。在未登錄詞識(shí)別方面，提出了POC-N

3、LW字符標(biāo)記模板，從字符級(jí)別的粒度來(lái)表征中文詞匯的構(gòu)成機(jī)制，并結(jié)合隱馬爾可夫模型，實(shí)現(xiàn)了基于字符序列標(biāo)注的中文分詞方法。此外，分別使用了基于規(guī)則匹配的預(yù)處理、基于詞典匹配的初級(jí)全切分、基于詞語(yǔ)級(jí)別的N-Gram統(tǒng)計(jì)切分模型，并通過(guò)級(jí)聯(lián)方式將上述各模塊有效組合，構(gòu)成了多模型混合的層疊系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，本文提出的基于POC-NLW模板標(biāo)注的切分方法具有較強(qiáng)的未登錄詞識(shí)別能力；而多模型混合的層疊系統(tǒng)在整體切分精度和未登錄詞識(shí)別方面都達(dá)到了較

4、高的實(shí)用水平。另外，本文提出的系統(tǒng)還具有高效的建模和切分處理速度，具有面向海量web文本切分的實(shí)用性能。 第二，研究了web文本情感分類問(wèn)題，主要包括文本的主客觀分類和正負(fù)面極性分類兩個(gè)子問(wèn)題。在語(yǔ)言特征表示方面，對(duì)比研究了基于多種N-Gram語(yǔ)言特征模板的文本特征表示方式；在文本特征加權(quán)方面，對(duì)比了布爾、絕對(duì)詞頻、歸一化詞頻以及基于TFIDF的特征加權(quán)方式；在特征選擇方面，提出了全局TFIDF顯著指數(shù)，引入“全局過(guò)濾．局部加權(quán)

5、”的特征抽取方式；在情感分類模型方面，以樸素貝葉斯模型做對(duì)比，詳細(xì)研究了最大熵模型的最大似然估計(jì)問(wèn)題，采用高斯先驗(yàn)和指數(shù)型先驗(yàn)，對(duì)傳統(tǒng)的最大熵模型進(jìn)行改進(jìn)。通過(guò)在真實(shí)網(wǎng)絡(luò)電影評(píng)論數(shù)據(jù)集上的詳細(xì)對(duì)比試驗(yàn)，以及對(duì)語(yǔ)料樣本的分析，證實(shí)了采用高階語(yǔ)言特征模板、基于TFIDF的特征選擇和過(guò)濾方法、加入指數(shù)型先驗(yàn)的最大熵模型較好的適用于文本情感分類問(wèn)題。 第三，研究了Weblog觀點(diǎn)檢索問(wèn)題，以TREC Blog Track評(píng)測(cè)為主線，主要

6、研究了面向blog文檔的主題檢索和文本情感分類技術(shù)在觀點(diǎn)檢索中的應(yīng)用。首先，針對(duì)Weblog文檔的特點(diǎn)以及觀點(diǎn)檢索的特殊性，在Weblog文檔的HTML解析、噪聲標(biāo)簽過(guò)濾、文本內(nèi)容提取、詞形還原等預(yù)處理方面作了技術(shù)改進(jìn)；之后，以Indri檢索系統(tǒng)為研究平臺(tái)，利用結(jié)構(gòu)化查詢語(yǔ)言和web搜索引擎進(jìn)行查詢擴(kuò)展和結(jié)構(gòu)化查詢主題構(gòu)造，并采用基于文檔標(biāo)題字段的域查詢，有效的提高了基本的ad-hoc主題檢索的性能；在Weblog觀點(diǎn)檢索方面，使用基于