自動文本分類若干基本問題研究.pdf

1、南京理工大學博士學位論文自動文本分類若干基本問題研究姓名：宋楓溪申請學位級別：博士專業(yè)：模式識別與智能系統(tǒng)指導教師：劉樹海楊靜宇20040701AbstracT博士論文十分普遍現(xiàn)象。為了使學習算法變得可行，必須首先用特征選擇方法降低特征空間的維數(shù)。本文提出了5種新的文本特征選擇方法：低損降維、頻率差、Bayes準則、Fl值準則和Fisher鑒別量。大量實驗結果表明，“低損降維”和“頻率差”的降維能力可以與晟好的兩種經(jīng)典特征選擇方法“互信

2、息”和“z2一統(tǒng)計量”相媲美，但計算效率更高。文本分類器經(jīng)典Fisher鑒別分析通過最大化類間散度和類內散度的比值來確定樣本的最優(yōu)投影方向。當類內散布矩陣為奇異矩陣時，最大化Fisher鑒別函數(shù)實際上是一個病態(tài)問題。因此，如何處理類內散布矩陣的奇異性成為Fisher鑒別分析的基本任務之一。與Fisher鑒別分析不同，本文提出的源于Fisher鑒別準則的大間距線性投影將充分利用類內散布矩陣的奇異性，來確定最優(yōu)投影方向，并根據(jù)投影結果直接對

3、樣本進行分類。理論分析說明，大間距線性投影實際上是線性可分條件下線性支持向量機的9特殊情況。類間散度和類內散度是用來衡量投影樣本可分性的兩種不同指標。類間散度越大，投影樣本的可分性就越好；類內散度越小，投影樣本的可分性也越好。因此，尋求最大化樣本可分性的投影方向，可以歸結為求解一個多目標規(guī)劃問題。Fisher鑒別準則通過最大化類間散度與類內散度的比值，從而將原來的多目標規(guī)劃轉化為單目標規(guī)劃，本文提出的“最大散度差”則通過最大化兩者的廣義

4、差來達到同樣的目的。理論分析說明，大間距線性投影分類器是類內散布矩陣為奇異矩陣時，最大散度差分類器的極限情況。“最小二乘誤差”是用于確定線性鑒別函數(shù)的重要準則之一，它將尋找鑒別函數(shù)中的權向量的問題，歸結為求解一個線性方程組。但是，如何求解這個線性方程組以獲得所需的分離向量，以往的理論研究并不徹底，忽略了很多重要情況。另外，人們也未能明確給出依據(jù)該準則獲得的解向量的物理含義。通過研究線性可分條件下“最d乘誤差”解的物理含義，本文提出了一個