中文文本體裁分類中特征選擇的研究.pdf

1、近年來隨著萬維網(wǎng)甚至企業(yè)內(nèi)聯(lián)網(wǎng)內(nèi)信息量的不斷增加和人們對個性化搜索的需求的增大，文本體裁分類在計算語言學(xué)中的重要性逐漸得到體現(xiàn)，文本體裁自動分類問題已成為當(dāng)前計算語言學(xué)及傳統(tǒng)語言學(xué)的研究熱點之。 識別文本體裁是一項復(fù)雜的工作。體裁屬于形式的范疇，是人類思維的抽象歸納，要對其進(jìn)行準(zhǔn)確概括和表述都有一定難度；而且中文文本體裁分類交叉于漢語修辭學(xué)與計算語言學(xué)之間，需要有較深的語言學(xué)功底和計算語言學(xué)理論基礎(chǔ)作為支撐，這些都是體裁分類研究

2、道路上必須要克服的障礙。另一方面，體裁分類作為文本分類的一個研究分支，從計算機實現(xiàn)角度而言，它與目前發(fā)展較為成熟的主題分類在分類模型和分類算法等方面并沒有本質(zhì)的區(qū)別，兩者的區(qū)別主要集中在分類體系的確定與特征選擇方面，主題分類為體裁分類研究的展開提供了重要條件。整體來看，體裁分類研究尚處于全面探索階段的初期，其技術(shù)還不夠成熟。而且，國內(nèi)漢語體裁自動分類的研究工作也剛剛起步。 本文參照英語體裁分類以及主題分類機制，結(jié)合主題分類在特征

3、選擇方面的研究成果以及體裁分類在漢語修辭學(xué)方面的特殊性對體裁分類中的特征選擇展開了較深入的研究實驗，包括較全面的選取特征項，將主題分類中的傳統(tǒng)降維公式：卡方統(tǒng)計量法、相關(guān)系數(shù)法以及權(quán)重公式：tf.idf應(yīng)用到體裁分類中、根據(jù)體裁分類的特性對這些傳統(tǒng)公式進(jìn)行改進(jìn)，在體裁分類中嘗試使用潛在語義分析技術(shù)進(jìn)行降維等。最后采用在主題分類中取得了較好分類效果的支持向量機技術(shù)進(jìn)行體裁自動分類。分類實驗在包含應(yīng)用文、新聞、記敘文、說明文、議論文5類典型