基于統(tǒng)計學(xué)的近紅外光譜變量篩選與穩(wěn)健建模方法研究.pdf

1、近紅外光譜(NIR)是一種無損分析技術(shù),已被廣泛應(yīng)用于農(nóng)業(yè)、石化、醫(yī)療等行業(yè)。然而,由于近紅外光譜吸收峰重疊現(xiàn)象嚴(yán)重,信號吸收較弱,且背景干擾嚴(yán)重等問題,必須借助于化學(xué)計量學(xué)方法才能進(jìn)行定性定量分析。在近紅外光譜分析中,變量篩選和穩(wěn)健建模一直是多元校正分析中的重要內(nèi)容,以解決模型的隨機(jī)性和過擬合現(xiàn)象。與傳統(tǒng)方法相比,統(tǒng)計分析是基于大量數(shù)據(jù)的處理,通過統(tǒng)計得到的規(guī)律更具有全局代表性和真實可靠性。因此,本論文利用統(tǒng)計學(xué)與多模型集成建模等方法

2、,開展了新波長篩選方法和穩(wěn)健多模型算法的研究,為提高模型的穩(wěn)健性和準(zhǔn)確性提供了新的思路,進(jìn)一步表明了變量篩選的重要意義。具體研究內(nèi)容如下:
　　 1.針對變量冗余問題,利用隨機(jī)檢驗(Randomization test)思想,建立了新型波長篩選方法,可挑選出代表樣品性質(zhì)特征的波長,提高模型預(yù)測精度。通過隨機(jī)過程建立大量隨機(jī)PLS模型,然后考察每一個波長對應(yīng)的隨機(jī)PLS模型與其PLS模型回歸系數(shù)的關(guān)系,來評價其對模型的重要性。研究

3、表明,該方法可以有效的選擇有信息變量,且與MC-UVE波長篩選方法具有相當(dāng)?shù)膬?yōu)勢,為變量篩選工作提供了新的思路。
　　 2.為了研究變量篩選的必要性及相關(guān)性波長對變量篩選結(jié)果的影響,采用相關(guān)系數(shù)法對波長間的相關(guān)性及其對模型的影響進(jìn)行了考察,同時對波長篩選和波段篩選方法進(jìn)行了比較。通過對谷物和煙草的近紅外光譜的定量分析,結(jié)果表明波長間存在強(qiáng)相關(guān)性。另外,變量篩選可以有效提高模型質(zhì)量,當(dāng)模型中包含較多強(qiáng)相關(guān)波長時,模型預(yù)測效果更好。

4、因此,光譜中強(qiáng)相關(guān)波長連續(xù)分布時,波段篩選的結(jié)果更好；強(qiáng)相關(guān)波長不連續(xù)時,則波長篩選的結(jié)果較具有優(yōu)勢。
　　 3.針對單一PLS模型容易受到奇異樣本干擾的問題,依據(jù)概率取樣和多模型思想,建立了基于概率取樣的穩(wěn)健多模型方法(RE-PLS),并應(yīng)用于谷物和煙草的近紅外光譜建模分析中。該方法的優(yōu)勢在于能有效識別奇異樣本,從而提高子模型的質(zhì)量。研究表明,RE-PLS方法與傳統(tǒng)的穩(wěn)健建模方法(EPLS)相比,所建立的模型更加穩(wěn)健、可靠,預(yù)