網(wǎng)絡(luò)輿情敏感話題發(fā)現(xiàn)平臺的研究.pdf

1、互聯(lián)網(wǎng)作為重要的交流渠道，其存儲和傳輸?shù)男畔?，尤其是一些敏感話題，對于大眾輿論的形成和傳播有著舉足輕重的影響，其潛在的安全威脅也是不可估量的。因此，敏感話題主動發(fā)現(xiàn)技術(shù)已經(jīng)成為一項緊迫而又重要的課題。網(wǎng)絡(luò)輿情敏感話題發(fā)現(xiàn)平臺圍繞著網(wǎng)絡(luò)信息分析和處理中的各項關(guān)鍵技術(shù)，主要是對預(yù)處理后的網(wǎng)絡(luò)信息進行分詞和結(jié)構(gòu)化存儲及在此基礎(chǔ)上的敏感話題發(fā)現(xiàn)技術(shù)，進行了系統(tǒng)的研究。 論文設(shè)計并實現(xiàn)了基于網(wǎng)絡(luò)信息分詞結(jié)果與敏感詞庫匹配的網(wǎng)絡(luò)輿情敏感話題

2、發(fā)現(xiàn)平臺。針對中文網(wǎng)絡(luò)輿情敏感信息的分詞，本系統(tǒng)實現(xiàn)了基于層疊隱馬爾可夫模型的中文詞法分析方法，將中文分詞、切分歧義排除、未登錄詞識別和詞性標(biāo)注整合到一個框架中。對敏感詞庫的管理，通過鏈表和序列化方式保證敏感詞庫的完整性和可傳遞性。關(guān)于敏感話題的發(fā)現(xiàn)，采用逆向思維的識別過程，將處理后的話題與敏感詞庫匹配，即將分詞結(jié)果在敏感詞庫中查詢并識別出敏感話題，從而提高了敏感話題的識別發(fā)現(xiàn)效率。 基于以上工作，對提高敏感話題發(fā)現(xiàn)平臺的性能上

3、進行了以下幾點探索：通過實驗比對完全二階隱馬爾可夫模型（FHMM2）與隱馬爾可夫模型（HMM）的分詞準確率與召回率，得出FHMM2在統(tǒng)計效果和精確率上有著明顯的優(yōu)勢；對現(xiàn)有分詞詞典的改進提出了基于四字Hash機制的分詞詞典；在基于語義的敏感話題發(fā)現(xiàn)方面，提出了基于關(guān)鍵詞和隱性語義標(biāo)引的敏感詞識別和敏感度評測方法。 本論文基于以上的工作，最終設(shè)計并實現(xiàn)了網(wǎng)絡(luò)輿情敏感話題發(fā)現(xiàn)平臺，在實驗室范圍內(nèi)測試，并經(jīng)校園網(wǎng)內(nèi)部試運行，結(jié)果證明此