多元校正新算法研究和二維數(shù)據(jù)分析方法在色譜分離評價中的應(yīng)用.pdf

1、本文作者對多元校正中的一些難點問題進行了深入的研究，提出了多種新型化學(xué)計量學(xué)算法，并將其應(yīng)用于標準校正數(shù)據(jù)集的研究，另外也對化學(xué)計量學(xué)二維數(shù)據(jù)分析方法在色譜分離質(zhì)量評價中的應(yīng)用進行了一些研究。本論文主要包括以下幾個方面的工作： 1．探討了多元校正建模中的訓(xùn)練集樣品的代表性和最優(yōu)化樣品加權(quán)問題。由于多元校正的樣品光譜空間的多維性和復(fù)雜性以及樣品選取過程中的不確定性，準確估計訓(xùn)練集樣品在整個樣品空間的代表性尚存在一定困難。傳統(tǒng)的多元

2、校正模型大多根據(jù)經(jīng)驗方法選擇代表性樣品，在某些不利的情況下可能會影響校正模型對新樣品的預(yù)測性能。為解決以上問題，同時考慮到樣品的代表性很難通過考察單個樣品進行估計，我們把全局優(yōu)化樣品加權(quán)的思想和偏最小二乘相結(jié)合，提出了最優(yōu)化樣品加權(quán)偏最小二乘這一新算法。該算法通過對原來的訓(xùn)練集樣品進行非負加權(quán)，在校正建模過程中同時考慮了模型的復(fù)雜性和預(yù)測能力，最優(yōu)樣品權(quán)重通過粒子群優(yōu)化算法搜索獲得。另外，為了使樣品加權(quán)偏最小二乘的建模和優(yōu)化更加易于計算

3、，我們進一步證明了樣品加權(quán)校正模型可通過對每個樣品的光譜數(shù)據(jù)和組分濃度值乘以一個相同的非負常數(shù)實現(xiàn)。將該算法應(yīng)用于真實的標準數(shù)據(jù)集的結(jié)果表明，在原始校正樣品的代表性較差時，最優(yōu)化樣品加權(quán)偏最小二乘算法確實能夠改善模型的預(yù)測性能。 2．基于粒子群優(yōu)化算法，我們提出了一種較傳統(tǒng)的變量選擇方法更為靈活的變量加權(quán)方法。通過對傳統(tǒng)的基于變量選擇的校正模型的考察可以發(fā)現(xiàn)，進入校正模型的變量實際上被賦予權(quán)重1，而被模型舍棄的變量的權(quán)重實則為0

4、。如果把權(quán)重的概念引入變量選擇，允許變量的權(quán)重取非負的連續(xù)值，則傳統(tǒng)的變量選擇只是變量加權(quán)的一種特殊情況。另外，由于變量加權(quán)的目標是同時優(yōu)化校正集的訓(xùn)練和驗證集的預(yù)測，連續(xù)非負的變量加權(quán)實際上可視為對光譜變量的某種最優(yōu)化重新刻度，因此比傳統(tǒng)的變量選擇有更多的靈活性。對真實校正數(shù)據(jù)集的研究表明，變量加權(quán)偏最小二乘方法不僅能起到變量選擇的作用，還能夠在校正模型中保留較多的變量，保持了多元校正的多通道優(yōu)勢。 3．我們改進了一種新的機器

5、學(xué)習(xí)算法—疊加回歸，并將其應(yīng)用于多元校正，同時實現(xiàn)了波長區(qū)間的快速自動優(yōu)化選擇和校正模型組合。我們用蒙特卡羅交互驗證代替了疊加回歸中的傳統(tǒng)的交互驗證，再用改進了的疊加回歸算法組合建立在單個波長子區(qū)間上的偏最小二乘模型，所得模型在組合系數(shù)非負的約束下具有最小的蒙特卡羅交互驗證均方根誤差，所以可以期望組合模型具有較好的泛化性能和防止過擬合的能力。疊加回歸能夠通過非負最小二乘法確定模型組合系數(shù)，把某些光譜子區(qū)間模型對應(yīng)的組合系數(shù)置為0，從而實

6、現(xiàn)波長子區(qū)間的自動選擇。另外，由于線性組合模型的蒙特卡羅交互驗證可通過組合一系列子模型的蒙特卡羅交互驗證來實現(xiàn)，而單個的光譜子區(qū)間模型的交互驗證計算量很小，所以該方法與同類區(qū)間選擇方法相比，計算量要小得多。對標準校正數(shù)據(jù)集的研究進一步證實了該方法的實用性。 4．我們提出了一種多元校正中近紅外光譜數(shù)據(jù)預(yù)處理的新概念—群預(yù)處理方法。由于近紅外光譜數(shù)據(jù)經(jīng)常受到背景、基線漂移和噪聲等不利因素的影響，對原始光譜測量數(shù)據(jù)進行適當?shù)念A(yù)處理在很

7、多情況下已經(jīng)成為多元校正的必要步驟。但是，由于光譜的復(fù)雜性和先驗信息的缺乏，確定最好的預(yù)處理方法常常需要多次嘗試，并且要求操作者有一定的數(shù)據(jù)處理經(jīng)驗；另外，單一的預(yù)處理方法在改善數(shù)據(jù)的某些方面的同時，也可能帶來某些方面的負面影響和面臨信息丟失的風(fēng)險，并且基于單一預(yù)處理方法的校正模型對新樣品的預(yù)測可能缺乏穩(wěn)定性。為解決以上問題，我們提出了近紅外光譜的群預(yù)處理方法，該方法用蒙特卡羅交互驗證疊加回歸算法組合一系列基于不同預(yù)處理方法的校正模型，

8、可以實現(xiàn)預(yù)處理方法的自動選擇和優(yōu)化加權(quán)。對真實校正數(shù)據(jù)集的研究結(jié)果表明，基于群預(yù)處理方法的校正模型與基于單一預(yù)處理方法的校正模型相比，不僅保持或改善了原有模型的準確性，而且模型的穩(wěn)定性有所提高。 5．我們把移動窗口偏最小二乘算法應(yīng)用于多元校正的模型轉(zhuǎn)移，建立了高穩(wěn)定性和低復(fù)雜度的全局校正模型。當把已有的校正模型應(yīng)用于新樣品的光譜校正時，如果新樣品的光譜含有與模型的訓(xùn)練樣品不相同的光譜貢獻時，為防止出現(xiàn)偏差和嚴重的誤差，就需要對原

9、有的校正模型進行校正轉(zhuǎn)移。我們把一種新的波長區(qū)間選擇方法—移動窗口偏最小二乘法引入到全局校正模型中。移動窗口偏最小二乘法能夠選擇與化學(xué)組分相關(guān)的光譜子區(qū)間，并且能夠降低全局模型的復(fù)雜度。通過對標準的校正數(shù)據(jù)集的研究，基于移動窗口偏最小二乘的全局模型確實體現(xiàn)了上述優(yōu)點，較好地實現(xiàn)了校正模型的轉(zhuǎn)移。 6．我們討論了基于單通道檢測器的色譜圖的傳統(tǒng)的色譜分離標準在估計色譜分離質(zhì)量時可能遇到的問題，并且指出，很多問題都是由于一維色譜圖在嚴

10、重峰重疊的情況下缺少諸如組分數(shù)、重疊度和峰純度等信息造成的。然后，我們綜述了化學(xué)計量學(xué)二維數(shù)據(jù)分析方法在色譜分離效率評價中的應(yīng)用，并且依據(jù)文獻和我們的研究經(jīng)驗，對某些重要問題進行了討論。 7．我們提出了一種新的基于秩圖的色譜分離評價指標—峰純度加權(quán)分辨率。與傳統(tǒng)的基于單通道信號檢測器的色譜分離標準相比，峰純度加權(quán)分辨率的優(yōu)勢在于它同時利用了化學(xué)組分數(shù)、重疊程度、流出時間和峰純度等關(guān)鍵色譜信息，而這些信息在色譜峰嚴重重疊時是很難從