四種fld準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集

1、1四種四種FLD準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集［摘要］［摘要］本文在最優(yōu)Fisher線性鑒別(FLD)算法的基礎(chǔ)上討論了FLD準(zhǔn)則下的最優(yōu)正交鑒別(OD)向量集與最優(yōu)不相關(guān)鑒別(UD)向量集的性質(zhì)與求解問(wèn)題，證明了類(lèi)內(nèi)協(xié)方差陣的零空間中的最優(yōu)OD向量集與最優(yōu)UD向量集的等價(jià)性，給出了求取FLD準(zhǔn)則下的最優(yōu)OD向量集與最優(yōu)UD向量集的簡(jiǎn)潔算法和求取更多鑒別向量方法。在L人臉庫(kù)與JEFFE人臉表情庫(kù)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明

2、適當(dāng)增加鑒別向量的個(gè)數(shù)有利于識(shí)別率的提高。［關(guān)鍵詞］［關(guān)鍵詞］FLD準(zhǔn)則最優(yōu)FLD算法最優(yōu)OD向量集最優(yōu)UD向量集1引言引言Fisher線性鑒別（FLD）分析是基于FLD準(zhǔn)則的一種傳統(tǒng)模式特征提取方法，在模式識(shí)別與計(jì)算機(jī)視覺(jué)等方面有著廣泛的應(yīng)用。FLD準(zhǔn)則就是尋找一個(gè)或多個(gè)投影方向，對(duì)原始數(shù)據(jù)進(jìn)行投影，使投影后新數(shù)據(jù)的類(lèi)間離散度達(dá)到最大而類(lèi)內(nèi)離散度達(dá)到最小，而投影后的新數(shù)據(jù)就是所需的模式特征。用以描述FLD準(zhǔn)則的準(zhǔn)則函數(shù)有很多種，其中最

3、為典型也最為常見(jiàn)的四種FLD準(zhǔn)則函數(shù)為：(a)(b)1()TbTwSJS?wwwww??12()()()TTwbJWtrWSWWSW??(c)(d)??3()()TbwJWtrWSSW??4()()()TbTwtrWSWJWtrWSW?其中分別表示原始數(shù)據(jù)的類(lèi)間協(xié)方差陣與類(lèi)內(nèi)協(xié)方差陣。準(zhǔn)則函數(shù)最早是由R.wbSS1()JwFisher針對(duì)兩分類(lèi)問(wèn)題提出的，和是它在多分類(lèi)問(wèn)題中的推廣，盡管它也適2()JW4()JW用于多分類(lèi)問(wèn)題。2006

4、年Li提出了最大間距準(zhǔn)則(MMC)，就是MMC函數(shù)，顯然3()JW也描述了FLD準(zhǔn)則，因此它也可看作是FLD準(zhǔn)則函數(shù)，實(shí)際上早在1990文獻(xiàn)已提到3()JW過(guò)。3()JW最大化準(zhǔn)則函數(shù)可得多個(gè)投影向量，最大化準(zhǔn)則函數(shù)、1()Jw12kwww?2()JW或可得由多個(gè)投影向量組成的投影矩陣。投影向量3()JW4()JW12()kWwww??也稱為鑒別向量，在實(shí)際應(yīng)用中一般要求鑒別向量單位化，即()，iw1Tiiww?12ik??單位化向量集

5、合常稱為鑒別向量集[4]。12kwww?在最大化準(zhǔn)則函數(shù)求取鑒別向量集時(shí)，通常需附加一定的條件，目前人們使用的附加條件主要有兩種：一種是附加正交條件()，相應(yīng)的向量集稱為正交鑒別T0ij?wwij?(thogonalDiscriminant，OD)向量集；另一種是附加不相關(guān)條件()，它T0itj?wSwij?可使由不同鑒別向量投影所得的模式特征具有統(tǒng)計(jì)不相關(guān)性，由此得到的鑒別向量集稱為不相關(guān)鑒別(UncrelatedDiscrimina

6、ntVects，UD)向量集，其中是樣本總tbw??SSS體協(xié)方差陣。更一般的附加條件為()(1)T0ij?wGwij?其中為正定陣。不同的可得到不同的鑒別向量集，因此每一個(gè)準(zhǔn)則函數(shù)都可得無(wú)窮多GG種鑒別向量集。現(xiàn)在的問(wèn)題是，在這么多種鑒別向量集中，哪種鑒別向量集是最優(yōu)的？本3引理引理2設(shè)為階對(duì)稱陣，為其前個(gè)最大特征值所對(duì)應(yīng)的單位正交特征向量矩AnUk陣，則對(duì)于任意列正交矩陣，有nk?VTT()max()trtr?VUAUVAV引理引理

7、3設(shè)為階正定陣，，則()ijAa?n1()ijAa??1iiiiaa?12in??定理定理2令，，則331323()GGGGkWwww??331323()ooookWwww??3333()()GoJWJW?證明：證明：由題意，，其中是3312()()()oTobwkWSSWdiag????????12k????的前個(gè)最大特征值。于是()bwSS?k(5)33331()()()kooTobwiiJWtrWSSW??????設(shè)是相對(duì)于的所有

8、廣義特征值所對(duì)應(yīng)的單位廣義特征向31323GGGnwww?()bwSS?G量，特征值從大到小排列，記，由引理1知31323()GGGGnWwww??，()()GTGbwWSSW???331()()GTGbwWSSW???(6)其中對(duì)角陣，。需注意的是，對(duì)角元12()n??????112()k??????并非是相對(duì)于的廣義特征值。對(duì)實(shí)施QR分解，即，12n????()bwSS?GGWGWQR?其中是列正交矩陣，是上三角陣。對(duì)進(jìn)行分塊，則Q

9、RR，(7)1112220RRRR???????1111111112221220RRRRRR?????????????其中為階方陣。由于都是單位向量，所以的對(duì)角11Rk31323GGGnwww?()TGTGRRWW?元全為1，從而的對(duì)角元也全為1。由引理2和引理3，可得1111TRR11333333()()()()(())()ooTooTGTGobwJWtrWSSWtrWWWW??????1133()(())()oTTotrWQRQRW

10、????1133()()oTTTotrWQRRQW????11110()()0000TTTIIItrRRtrRR??????????????????????????(8)111111111111133()0()()00TTGRRtrtrRRtrJW????????????????證畢。＃由定理2知，基于的最優(yōu)鑒別向量集就是OD向量集，它們是的前個(gè)3()JW()bwSS?k最大特征值所對(duì)應(yīng)的單位特征向量。3.4基于基于的最優(yōu)鑒別向量集的最