正則化方法在數(shù)據(jù)挖掘中的應(yīng)用與研究.pdf

1、隨著信息技術(shù)的發(fā)展尤其是高通量技術(shù)的進(jìn)步，數(shù)據(jù)已成為各行業(yè)接觸最多，使用最為頻繁的信息載體。但海量數(shù)據(jù)的出現(xiàn)使得人們無法從中獲得真正對決策或者預(yù)測起作用的信息，從而造成了數(shù)據(jù)存儲上的浪費和運算上的困難。因此，如何從數(shù)據(jù)中快速、準(zhǔn)確地獲取有效信息便成為數(shù)據(jù)挖掘領(lǐng)域中的根本問題。正則化方法是近年來數(shù)據(jù)挖掘領(lǐng)域中的研究熱點，通過整合新的信息對數(shù)學(xué)模型進(jìn)行修正從而達(dá)到融合多種信息的目的。該方法被越來越多地運用于生物信息學(xué)、模式識別、人臉檢測、圖

2、像聚類等領(lǐng)域中。因此，研究正則化方法在數(shù)據(jù)挖掘領(lǐng)域的應(yīng)用具有深遠(yuǎn)的意義。
　　本文主要研究的是基于正則化方法的數(shù)據(jù)挖掘技術(shù)，全文就分類器設(shè)計、特征選擇、聚類等問題提出了相應(yīng)的算法，全文在提出正則化數(shù)學(xué)模型的同時分別給出了求解模型的算法及理論分析。本文主要工作概括如下：
　　1）首先介紹了本研究的目的、背景以及正則化方法在數(shù)據(jù)挖掘領(lǐng)域中的研究現(xiàn)狀。其中相關(guān)的內(nèi)容包括：正則化方法在分類器設(shè)計方面的研究現(xiàn)狀；正則化方法在數(shù)據(jù)降維算

3、法中的研究現(xiàn)狀；正則化方法在聚類算法中的研究現(xiàn)狀。
　　2）提出一種針對小樣本分類問題具有魯棒性的無參數(shù)稀疏表達(dá)分類器。傳統(tǒng)稀疏表達(dá)分類器是一種有效的分類方法，但是該分類器的應(yīng)用需要人為設(shè)置相關(guān)的稀疏化參數(shù)，顯然對于不同的數(shù)據(jù)而言稀疏化參數(shù)都不相同。通過交叉驗證的方式挑選參數(shù)是處理此類問題的可行方法，但是這將是一項時間復(fù)雜度非常高的工作。本文提出一種用加權(quán)字典替代原始樣本并構(gòu)造一種不定線性系統(tǒng)的策略，利用正則化稀疏范數(shù)實現(xiàn)對樣本分

4、類。本方法不需要人為設(shè)置參數(shù)，分類方法具有自適應(yīng)性。
　　3）提出了用于特征選擇的局部敏感Laplacian Score算法，本方法的主要思想是結(jié)合數(shù)據(jù)的流形結(jié)構(gòu)考察特征對局部邊界的貢獻(xiàn)能力，如：同時考慮特征對極小化類內(nèi)信息與極大化類間信息的能力。在進(jìn)行有監(jiān)督的特征選擇時，數(shù)據(jù)的局部結(jié)構(gòu)往往比全局特征有更好的判別能力，因此新算法從流形學(xué)習(xí)的角度定義了新的局部邊界結(jié)構(gòu)，擴展了基于距離的度量方式。特征的方差在一定程度上可以描述特征的顯

5、著性且方差越大的特征更具表達(dá)能力，作為一種信息增益方式，新算法從譜圖理論的角度將方差信息作為正則項引入評價框架對特征選擇進(jìn)行綜合考量，進(jìn)而擴展了譜特征選擇算法。
　　4）提出兩種高效的批處理式特征選擇算法，該方法同時考慮了多目標(biāo)回歸模型與圖嵌入并在一個統(tǒng)一的優(yōu)化模型中予以求解。由于模型中加入了結(jié)構(gòu)化稀疏范數(shù)的約束條件使得本文提出的模型可以適用于特征選擇。本方法有以下兩個優(yōu)勢：（1）被選出的特征子集同時考慮了全局邊界結(jié)構(gòu)與局部流形結(jié)

6、構(gòu)，因此數(shù)據(jù)的全局結(jié)構(gòu)與局部結(jié)構(gòu)都得以保存；（2）特征的選擇方式以批處理方式進(jìn)行而非以貪婪策略實現(xiàn)，所以降維的同時特征間的相互作用得以保存。最后本文給出了數(shù)學(xué)模型的求解算法以及理論證明。在求解結(jié)構(gòu)化稀疏問題時，本文提出一種基于迭代的優(yōu)化算法從而避免了在非平滑優(yōu)化問題中關(guān)于次梯度的求解，進(jìn)而提高了算法的收斂速度。
　　5）提出一種基于圖正則的非負(fù)稀疏PCA聚類算法，該方法同時考慮了數(shù)據(jù)的局部流形結(jié)構(gòu)和稀疏約束因此擴展了基于非負(fù)矩陣分