自動(dòng)文本分類若干基本問題研究.pdf

1、南京理工大學(xué)博士學(xué)位論文自動(dòng)文本分類若干基本問題研究姓名：宋楓溪申請(qǐng)學(xué)位級(jí)別：博士專業(yè)：模式識(shí)別與智能系統(tǒng)指導(dǎo)教師：劉樹海楊靜宇20040701AbstracT博士論文十分普遍現(xiàn)象。為了使學(xué)習(xí)算法變得可行，必須首先用特征選擇方法降低特征空間的維數(shù)。本文提出了5種新的文本特征選擇方法：低損降維、頻率差、Bayes準(zhǔn)則、Fl值準(zhǔn)則和Fisher鑒別量。大量實(shí)驗(yàn)結(jié)果表明，“低損降維”和“頻率差”的降維能力可以與晟好的兩種經(jīng)典特征選擇方法“互信

2、息”和“z2一統(tǒng)計(jì)量”相媲美，但計(jì)算效率更高。文本分類器經(jīng)典Fisher鑒別分析通過最大化類間散度和類內(nèi)散度的比值來確定樣本的最優(yōu)投影方向。當(dāng)類內(nèi)散布矩陣為奇異矩陣時(shí)，最大化Fisher鑒別函數(shù)實(shí)際上是一個(gè)病態(tài)問題。因此，如何處理類內(nèi)散布矩陣的奇異性成為Fisher鑒別分析的基本任務(wù)之一。與Fisher鑒別分析不同，本文提出的源于Fisher鑒別準(zhǔn)則的大間距線性投影將充分利用類內(nèi)散布矩陣的奇異性，來確定最優(yōu)投影方向，并根據(jù)投影結(jié)果直接對(duì)

3、樣本進(jìn)行分類。理論分析說明，大間距線性投影實(shí)際上是線性可分條件下線性支持向量機(jī)的9特殊情況。類間散度和類內(nèi)散度是用來衡量投影樣本可分性的兩種不同指標(biāo)。類間散度越大，投影樣本的可分性就越好；類內(nèi)散度越小，投影樣本的可分性也越好。因此，尋求最大化樣本可分性的投影方向，可以歸結(jié)為求解一個(gè)多目標(biāo)規(guī)劃問題。Fisher鑒別準(zhǔn)則通過最大化類間散度與類內(nèi)散度的比值，從而將原來的多目標(biāo)規(guī)劃轉(zhuǎn)化為單目標(biāo)規(guī)劃，本文提出的“最大散度差”則通過最大化兩者的廣義

4、差來達(dá)到同樣的目的。理論分析說明，大間距線性投影分類器是類內(nèi)散布矩陣為奇異矩陣時(shí)，最大散度差分類器的極限情況。“最小二乘誤差”是用于確定線性鑒別函數(shù)的重要準(zhǔn)則之一，它將尋找鑒別函數(shù)中的權(quán)向量的問題，歸結(jié)為求解一個(gè)線性方程組。但是，如何求解這個(gè)線性方程組以獲得所需的分離向量，以往的理論研究并不徹底，忽略了很多重要情況。另外，人們也未能明確給出依據(jù)該準(zhǔn)則獲得的解向量的物理含義。通過研究線性可分條件下“最d乘誤差”解的物理含義，本文提出了一個(gè)