基于類短語串和半監(jiān)督學習的短文本分類研究.pdf

1、我國的互聯(lián)網(wǎng)經(jīng)過十年的高速發(fā)展，網(wǎng)民規(guī)模已達到3.38億，普及率達到25.5％。網(wǎng)絡(luò)已成為公眾獲取信息的主要渠道。在Internet上充斥著的大量信息流中，很大一部分是來自于人們的相互交流活動產(chǎn)生的短文本信息。此外，在移動通訊時代，通過移動通信網(wǎng)絡(luò)發(fā)出的手機短消息已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠帧：Ａ康亩涛谋菊Z料中包含了人們對當前社會各種現(xiàn)象的種種立場和觀點，短文本的傳播使得信息傳播格局正在發(fā)生深刻變化。因此短文本信息挖掘技術(shù)在話

2、題跟蹤與發(fā)現(xiàn)、流行語分析、輿情預警等領(lǐng)域有廣泛的應(yīng)用前景。在話題識別、話題跟蹤等新技術(shù)的背后，分類分析是其基本和重要的方法之一。
　　 針對短文本獨特的語言特性，本文對短文本分類的若干關(guān)鍵技術(shù)進行了研究。本文的工作主要集中在以下幾點：
　　 (1)提出基于類短語串(Phrase-Like Repeat，PLR)的短文本特征選擇算法。首先分析了傳統(tǒng)文本表示模型在短文本分類應(yīng)用中的不足，給出了類短語串的概念和基于類短語串的短

3、文本文檔標引方法，從文本中獲得具有強文本表示的類短語串作為文本特征，提高了特征項的獨立完整程度，能克服向量空間模型的缺點；并在此基礎(chǔ)上提出了基于類短語串的短文本特征選擇方法。實驗結(jié)果表明，基于類短語串的短文本特征選擇算法降低了特征向量維數(shù)，有效地解決了短文本的特征稀疏性問題。
　　 (2)提出了一種嵌入集成學習的半監(jiān)督短文本分類算法(FB-EM)。該算法應(yīng)用半監(jiān)督學習解決文本分類中的標注瓶頸問題，并為了能夠有效地放松屬性獨立性假