基于條件隨機場的中文短文本分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,網(wǎng)上生活已經(jīng)成為了人們必生活中不可少的一部分。互聯(lián)網(wǎng)上的人們使用的信息很多是以短文本的形式存在的。短文本就是內(nèi)容較短的文本(一般長度不超過140字符),通常的新聞標(biāo)題、微博、手機短信、電子郵件、購物評價等都是短文本。面對互聯(lián)網(wǎng)中的海量信息,利用計算機技術(shù)自動地進(jìn)行短文本分類可以幫助人們在有限的時間內(nèi)閱讀更多感興趣的信息。本文對基于條件隨機場的短文本分類的算法進(jìn)行了較深入的研究和討論,在特征選擇與文本表示方面進(jìn)行了改

2、進(jìn)。
　　與通常的文本相比,短文本有許多特性。本文介紹了短文本的特點并對國內(nèi)外相關(guān)領(lǐng)域的研究現(xiàn)狀進(jìn)行了分析。目前短文本分類方法大多采用的是傳統(tǒng)文本分類方法的改進(jìn)。本文回顧了文本分類方法的一般過程,列舉了中文分詞、特征選擇、特征權(quán)重計算、文本表示、文本分類器等文本分類領(lǐng)域的重要知識。
　　條件隨機場是一個給定輸入序列條件下計算出輸出序列的無向圖模型,是對傳統(tǒng)的有向圖概率模型的改進(jìn)。將條件概率模型應(yīng)用于文本分類領(lǐng)域是目前短文本分

3、類的新思路。
　　本文系統(tǒng)地描述了條件隨機場理論和如何將序列標(biāo)注的方法用于短文本分類領(lǐng)域。針對短文本所面臨的特征稀疏等問題,本文提出了將語料預(yù)處理和分詞后,用類別作為標(biāo)注使用條件隨機場模型進(jìn)行標(biāo)注預(yù)測的短文本分類方法。重點介紹了序列標(biāo)注方法、分類結(jié)果的判斷與特征模版的選擇問題。
　　對比實驗表明,基于條件隨機場的短文本分類算法是一種有效的文本分類方法,在新聞的主題分類、微博的主客觀分類和情感傾向性分類中都取得了不錯的分類效果