基于正則化線性統(tǒng)計模型的文本分類研究.pdf

1、文本是信息最基本、最常用的載體之一，隨著信息技術(shù)的飛速發(fā)展，文本信息迅速膨脹。如何有效地組織和管理這些海量信息，并且能夠從中快速、準(zhǔn)確、全面地找到所需要的信息是當(dāng)前信息科學(xué)與技術(shù)領(lǐng)域面臨的一大挑戰(zhàn)。文本分類技術(shù)是組織和管理文本信息的有力手段，也是信息檢索和數(shù)據(jù)挖掘的重要基礎(chǔ)。
　　 本文在分析文本分類相關(guān)研究的基礎(chǔ)上，結(jié)合正則化線性統(tǒng)計模型的思想及其發(fā)展，從特征降維及表達、分類器的快速學(xué)習(xí)、以及降維和分類一致性模型等方面展開研究

2、，完成了如下的一系列工作:
　　 1.提出了一種基于類別信息融合的非負(fù)矩陣分解的文本降維算法。針對傳統(tǒng)的非負(fù)矩陣分解在實現(xiàn)降維時難以利用多標(biāo)簽類別信息的情況，通過類別編碼并擴展維數(shù)的方式實現(xiàn)將類別信息融入矩陣分解，從而達到提高系統(tǒng)抗干擾能力并增強基的判別性的目的。之后通過對矩陣分解施加約束項驅(qū)使基向量正交歸一化以減少其冗余信息。最后通過矩陣裁剪及變換實現(xiàn)了將文本數(shù)據(jù)從高維項空間映射到由一組非負(fù)基向量張成的低維語義子空間的降維目的

3、。實驗結(jié)果表明，該方法提高了基的判別能力，在維數(shù)降到很低情況下仍然獲得很好的分類性能。
　　 2.提出了一種面向文本分類的非負(fù)稀疏語義編碼算法。針對常見的降維方法產(chǎn)生的稠密表達與常識不符，以及通常的稀疏表達方法耗時且可能存在負(fù)元素（難以解釋文本語義）等問題，本文開發(fā)了一個高效的字典構(gòu)造算法，該字典包含的一組非負(fù)基向量可以張成一個語義子空間，在其中，所有的文本被表示為非負(fù)稀疏形式，這種編碼方式符合一篇文檔通常只包含不多的語義概念的

4、實際情況。實驗結(jié)果表明，該方法不僅達到了很好的分類性能，而且也獲得了較好的可解釋性。
　　 3.提出了一種基于極限學(xué)習(xí)機的文本分類算法。極限學(xué)習(xí)機是近年來快速發(fā)展的一種機器學(xué)習(xí)方法，其模型通?？梢酝ㄟ^解析方式獲得，避免了模型學(xué)習(xí)過程中常見的收斂性問題，從而達到很高的學(xué)習(xí)速度。本文針對極限學(xué)習(xí)機應(yīng)用在高維稀疏文本數(shù)據(jù)上的一些問題，構(gòu)建了一個正則化極限學(xué)習(xí)機模型，并給出其相應(yīng)的解析解和理論證明以保證解的存在性。之后，根據(jù)模型的結(jié)構(gòu)特

5、點給出了相應(yīng)的分類方法。實驗結(jié)果表明，該方法在分類性能上優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，與支持向量機相當(dāng)，但在學(xué)習(xí)和分類速度上均遠超BP神經(jīng)網(wǎng)絡(luò)或支持向量機。
　　 4.提出了一種基于分組結(jié)構(gòu)的正則化回歸模型的文本分類方法。目前，基于lasso約束的回歸模型可以較好地解決降維和分類不一致的問題。但文本特征的相關(guān)性常會導(dǎo)致這類模型過度稀疏（丟失較多的判別特征）。本文通過聚類方法獲得相關(guān)特征的分組結(jié)構(gòu)，并將該結(jié)構(gòu)以正則化方式嵌入logistic回