模糊理論在文本分類中的應(yīng)用研究.pdf

1、文本分類是將文字組織的電子文檔按不同的語義概念歸入一個(gè)或多個(gè)不同語義范疇的過程。由于萬維網(wǎng)的普及與互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，數(shù)量劇增的電子文本數(shù)據(jù)變得越來越難以管理，文本分類的重要性便受到了有效的重視。為了減小信息量爆炸所帶來的負(fù)面影響，對(duì)具有高精度性能的文本自動(dòng)分類方法的需求是必然的。作為文本挖掘、信息檢索以及網(wǎng)頁搜索等領(lǐng)域的關(guān)鍵技術(shù)，文本自動(dòng)分類也因此在相關(guān)應(yīng)用中扮演著極其重要的角色。
　　目前主流的基于機(jī)器學(xué)習(xí)的文本分類方法主要

2、結(jié)合統(tǒng)計(jì)理論分類，利用表示文本特征的統(tǒng)計(jì)特性作為度量手段，其關(guān)鍵過程包括文本預(yù)處理、特征削減、權(quán)重計(jì)算、分類方法學(xué)習(xí)和分類結(jié)果及性能評(píng)估。通過分析發(fā)現(xiàn)，自然語言天然的模糊性使得特征之間的聯(lián)系很難清晰地定義，同時(shí)也很難由統(tǒng)計(jì)工具明確地表示，由此引入模糊理論，以模糊的概念來表示特征的語義及文本的類別屬性，待分類文本不再是絕對(duì)地屬于或不屬于某個(gè)類別，而是由對(duì)各類的隸屬程度判斷最可能屬于哪一類，從而引出了模糊文本分類的概念。
　　本文提出

3、了基于模糊關(guān)系的文本分類方法，用模糊關(guān)系來表示語義單元的類別屬性更符合自然語言特征，以達(dá)到更高的分類精度。該方法分別定義了特征用于表示文本和類別的隸屬函數(shù)，將測(cè)試文本和類別表示為特征的模糊集，并以模糊相關(guān)系數(shù)來度量文本與類別的模糊關(guān)系，得到文本的類別模糊集，并按最大隸屬原則決定測(cè)試文本所屬類別。
　　實(shí)際情況下，一篇文章可能同時(shí)屬于多個(gè)類別或者文本類別不清晰，多標(biāo)簽文本分類問題正是關(guān)注于文本可能屬于多于一個(gè)以上類別的情形?；谝陨?/p>

4、模糊關(guān)系的計(jì)算，本文提出了改進(jìn)的多標(biāo)簽文本分類方法，使用多類別向量表示類別之間的關(guān)聯(lián)信息，重新計(jì)算引入類別關(guān)系之后文本與各類的模糊相關(guān)度，并且采用啟發(fā)式搜索的思想為每個(gè)類別設(shè)定相關(guān)度閾值，當(dāng)測(cè)試文本與某類別的相關(guān)性計(jì)分大于所求出的閾值時(shí)，則應(yīng)為文本標(biāo)記該類標(biāo)簽。
　　在中文文本分類系統(tǒng)平臺(tái)上，本文首先將基于模糊關(guān)系的文本分類方法與k-NN算法進(jìn)行了多組實(shí)驗(yàn)對(duì)比，并采用多種指標(biāo)對(duì)性能進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果表明該方法有較好的分類精度，且分