文本分類相關(guān)問題研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上的多媒體信息快速的增長。如何有效的組織、管理、挖掘這些信息，是一項是非常艱巨的任務(wù)。文本分類作為一種處理文本信息的有效手段，在過去十幾年的時間里的，得到了廣泛的關(guān)注和快速的發(fā)展。
　　 目前的文本分類方法中存在兩個問題。首先，特征權(quán)重不能反映出特征對不同類別的分辨程度，而且正面特征和負面特征也沒有有效地區(qū)分:其次，語義角色標注在短文本分類中作用顯著，但是FrameNet的詞匯覆蓋率低，限制了其在其在大

2、規(guī)模文本上的使用。因此，本文重點研究了有監(jiān)督特征加權(quán)和詞匯單元規(guī)約。
　　 基于統(tǒng)計機器學(xué)習(xí)的文本分類技術(shù)，由于具有速度快、分類效果好的特點，而成為主流?；诮y(tǒng)計的文本分類，通常采用向量空間模型，將文檔表示為特征向量。其中兩個非常關(guān)鍵的步驟是特征選擇和特征加權(quán)。在傳統(tǒng)的文本分類過程中，特征選擇和特征加權(quán)是分離的。有監(jiān)督加權(quán)則將特征對于分類的重要程度包含到特征的權(quán)重中。
　　 我們在前人的基礎(chǔ)上提出了三種新的有監(jiān)督特征加權(quán)

3、方法。第一種和第二種方法將傳統(tǒng)的特征加權(quán)方法tf-idf與“單側(cè)”特征選擇方法（即奇異率和相關(guān)系數(shù)）結(jié)合，有效地區(qū)分了正面特征和負面特征，提高了正面特征的權(quán)重，改善了分類性能。第三種方法是將tf與我們提出的特征熵進行結(jié)合，這種方法簡潔而高效。特征熵度量了特征在不同類別的分布情況。在Reuters-21578數(shù)據(jù)集上實驗表明，我們提出的三種方法優(yōu)于傳統(tǒng)的tf-idf和前人提出的有監(jiān)督加權(quán)方法（例如，tf×CHI和tf×OR）。
　　

4、 語義角色標注指的是識別句子中的語義角色，是一種語義分析任務(wù)。它被證明能夠顯著改善文本分類的性能，尤其是對于短文本。語義角色標注有兩個主要的人工標注的語料庫，即PropBank和FrameNet。由于FrameNet中，不同框架的語義角色都是有意義的名稱，因而FrameNet更適合于文本分類。但是FrameNet的詞匯覆蓋率較低，所以限制了其在大規(guī)模文本上的使用。所以，詞匯單元規(guī)約是語義角色標注中的一個非常重要的任務(wù)。