01.模式識(shí)別緒論

1、模式識(shí)別Pattern Recognition,第一章 緒論,教學(xué)目標(biāo),掌握模式識(shí)別的基本概念和方法有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問(wèn)題為研究新的模式識(shí)別的理論和方法打下基礎(chǔ),教學(xué)方法,著重講述模式識(shí)別的基本概念，基本方法和算法原理。注重理論與實(shí)踐緊密結(jié)合實(shí)例教學(xué)：通過(guò)大量實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中避免引用過(guò)多的、繁瑣的數(shù)學(xué)推導(dǎo)。,學(xué)習(xí)及考核,相關(guān)背景概率論，線性代數(shù)（矩陣計(jì)算）考核方式平時(shí)成績(jī)

2、 30%出勤情況，回答問(wèn)題課堂討論，隨堂練習(xí)大作業(yè)（課程設(shè)計(jì)） 70%分組進(jìn)行：2—3 名同學(xué)一組分別實(shí)現(xiàn)一種分類和聚類算法進(jìn)行實(shí)驗(yàn)，完成報(bào)告,參考文獻(xiàn),R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中譯本）.邊肇祺，模式識(shí)別（第二版,

3、第三版），清華大學(xué)出版社，2000(2010)。蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。汪增福 .模式識(shí)別 .中國(guó)科學(xué)技術(shù)大學(xué)出版社 孫即祥 .現(xiàn)代模式識(shí)別 .國(guó)防科技大學(xué)出版社,相關(guān)的國(guó)內(nèi)、國(guó)際學(xué)術(shù)組織,1973年 IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”，成立了國(guó)際模式識(shí)別協(xié)會(huì)---“IAPR”，每2年召開(kāi)一次國(guó)際學(xué)術(shù)會(huì)議。1977年 IEEE的計(jì)算機(jī)學(xué)會(huì)成立了模式分析與機(jī)器智能（PAMI）委員會(huì)

4、，每2年召開(kāi)一次模式識(shí)別與圖象處理學(xué)術(shù)會(huì)議。國(guó)內(nèi)的組織有電子學(xué)會(huì)，通信學(xué)會(huì)，自動(dòng)化協(xié)會(huì)，中文信息學(xué)會(huì)….。,本領(lǐng)域相關(guān)期刊,外文期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI);中文期刊：《模式識(shí)別與人工智能》，中國(guó)自動(dòng)化學(xué)會(huì)等主辦，月刊,,模式識(shí)別?Pattern Recognition?,一 模式識(shí)別的基本概念,模式識(shí)別廣泛存在于

5、我們的日常生活中，我們幾乎每時(shí)每刻都在進(jìn)行模式識(shí)別人們?cè)谟^察各種事物或接受各種客觀現(xiàn)象的時(shí)候，常把它們分成由各個(gè)相似的但又不完全相同的事物或現(xiàn)象組成的類別，幾乎每一項(xiàng)活動(dòng)都離不開(kāi)對(duì)外界事物的分類和識(shí)別。比如，我們今天來(lái)這里上課就要先識(shí)別課表（字符識(shí)別），來(lái)教室的路線（環(huán)境識(shí)別），以及教室的識(shí)別（數(shù)字識(shí)別）等等，聽(tīng)課（聲音識(shí)別）；,,人和動(dòng)物都具有模式識(shí)別的能力,人腦具有模式識(shí)別的能力比如，字母“B”可以有各種各樣的寫法，但是他們都

6、屬于同一類別。更重要的是，即使有某個(gè)寫法“B”，人們過(guò)去從未見(jiàn)過(guò)，也很容易把它分到“B”這個(gè)類別中去。又比如，我們今天見(jiàn)到的張三和上次見(jiàn)到的張三已經(jīng)不完全相同，但我們?nèi)匀荒軌蛘_地識(shí)別除了人，很多動(dòng)物也具有一定的模式識(shí)別能力蝙蝠的雷達(dá)系統(tǒng)狗看到主人會(huì)搖頭擺尾，見(jiàn)到生人會(huì)狂吠不止為了生存，最低等的動(dòng)物也要識(shí)別食物和敵害，并做出不同的反應(yīng),模式的概念,模式（pattern）凡是人類能用其感官直接或間接接受的外界信息都稱為模式，例

7、如文字，圖片，景物，聲音，語(yǔ)言；心電圖，腦電圖，地震波；社會(huì)經(jīng)濟(jì)現(xiàn)象，某個(gè)系統(tǒng)的狀態(tài)；模式的直觀特性可觀察性可區(qū)分性相似性,什么是模式（Pattern）？,模式(pattern)代表事物的模板或原型；表征事物特點(diǎn)的特征或性狀的組合；模式是一種規(guī)律，可以看作是對(duì)象的組成部分或影響因素間存在的規(guī)律性關(guān)系，或者是因素間存在確定性或隨機(jī)性規(guī)律的對(duì)象，過(guò)程或事件的集合；廣義地說(shuō)，存在于時(shí)間和空間中可觀察的事物，如果我們可以區(qū)

8、分它們是否相同或是否相似，都可以稱之為模式；模式所指的不是事物本身，而是我們從事物獲得的信息模式往往表現(xiàn)為具有時(shí)間或空間分布的信息,模式識(shí)別的概念,模式識(shí)別（Pattern Recognition）把對(duì)象分門別類地認(rèn)出來(lái)；對(duì)以前見(jiàn)過(guò)的對(duì)象的再認(rèn)識(shí)（re-cognition）；對(duì)模式的區(qū)分和認(rèn)識(shí)；把對(duì)象根據(jù)其特征歸到若干類別中適當(dāng)?shù)囊活?，因此模式識(shí)別也稱為模式分類（pattern classification）對(duì)于復(fù)雜的模式

9、除了分類之外還要描述其結(jié)構(gòu)特征，如 漢字識(shí)別和景物識(shí)別,模式識(shí)別的應(yīng)用（舉例）,生物學(xué)自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究天文學(xué)，遙感天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué)經(jīng)濟(jì)學(xué)股票交易預(yù)測(cè)、企業(yè)行為分析醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析,模式識(shí)別的應(yīng)用（舉例）,工程產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語(yǔ)音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析軍事航空攝像分析、雷達(dá)和聲納信號(hào)檢測(cè)和分類、自動(dòng)目標(biāo)識(shí)別安全指紋識(shí)別、人臉識(shí)別、監(jiān)視和報(bào)警系統(tǒng)

10、娛樂(lè),模式識(shí)別的應(yīng)用（舉例）,模式識(shí)別的應(yīng)用（舉例）,,模式識(shí)別的應(yīng)用（舉例）,模式識(shí)別應(yīng)用舉例,人民幣防偽技術(shù)一直是模式識(shí)別應(yīng)用領(lǐng)域之一，而欺騙這些防偽措施一直是偽造集團(tuán)的努力方向。據(jù)說(shuō)（沒(méi)有驗(yàn)證過(guò)，為相關(guān)公司人員提供）早期投幣電話是通過(guò)投幣之后落入內(nèi)部的聲音來(lái)判斷投幣是何幣種。這個(gè)策略是抓住了不同幣值的硬幣在相同的條件下造成的聲音差異來(lái)區(qū)分幣種，是一種簡(jiǎn)單的必要條件識(shí)別法。據(jù)說(shuō)一個(gè)聰明的學(xué)生偶爾有一次在北京學(xué)院路的一個(gè)投幣電話

11、上發(fā)現(xiàn)了這個(gè)規(guī)律，聰明的學(xué)生拿著一個(gè)錄音機(jī)，播放類似的硬幣掉落的聲音，居然可以欺騙電話。當(dāng)這個(gè)策略公開(kāi)的時(shí)候，由于偽造的代價(jià)特別低，導(dǎo)致該方法的迅速失效。 故事還沒(méi)有結(jié)束，后來(lái)又發(fā)明了稱重法。就是內(nèi)置一個(gè)尺寸測(cè)量加上稱重裝置，根據(jù)硬幣的大小和重量的范圍，判斷是不是硬幣，是什么幣種。這種方法就比原來(lái)好很多，但是依然沒(méi)有解決真正的造假問(wèn)題。假幣集團(tuán)發(fā)現(xiàn)硬幣（一元硬幣）內(nèi)部是貴金屬，于是他們就想法用廉價(jià)的鉛替換內(nèi)部的重金屬，以較

12、低的代價(jià)獲得更高的價(jià)值，據(jù)說(shuō)東南某省的一個(gè)造假作坊短期內(nèi)就賺取了幾百萬(wàn)。尺寸加重量也不能擋住造假的手段。于是，在后來(lái)的機(jī)器上，越來(lái)越多的傳感器被裝進(jìn)去，包括磁性等，以獲得越來(lái)越多硬幣的各種物理和化學(xué)屬性，提高識(shí)別的精確性。,模式識(shí)別的基本術(shù)語(yǔ),樣本（sample）:所研究對(duì)象的一個(gè)個(gè)體樣本集（sample set）:若干樣本的集合類或類別（class）:在所有樣本上定義的一個(gè)子集，處于同一類的樣本在我們所關(guān)心的性質(zhì)上是不可區(qū)分的，

13、即具有相同的模式特征（feature）:用于表征樣本的觀測(cè)信息，通常是數(shù)值表示的，有時(shí)也稱為屬性（attribute）；如果是高維則稱為特征向量，樣本的特征（向量）構(gòu)成了特征空間，每個(gè)樣本是特征空間中的一個(gè)點(diǎn)；,模式識(shí)別的基本術(shù)語(yǔ),已知樣本（known sample）:事先知道類別標(biāo)號(hào)的樣本（訓(xùn)練樣本）；未知樣本（unknown sample）:類別標(biāo)號(hào)未知但特征已知的樣本（待識(shí)別的樣本）,模式識(shí)別的研究?jī)?nèi)容,Pattern rec

14、ognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. J

15、ain)利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。,模式識(shí)別的目標(biāo),研究出能自動(dòng)進(jìn)行模式分類和描述的機(jī)器系統(tǒng)，以完成人類的模式識(shí)別的功能。這同人工智能范疇的其他分支的目標(biāo)是一致的，都是要用機(jī)器來(lái)代替人類的部分智力活動(dòng),相關(guān)學(xué)科,模式識(shí)別是一門邊緣學(xué)科，與人工智能，信號(hào)處理，計(jì)算機(jī)科學(xué)與技術(shù)，概率統(tǒng)計(jì)，模糊集論，信息論，數(shù)字圖像處理，形式語(yǔ)言學(xué)，心理學(xué)，語(yǔ)言學(xué)等都有密切的關(guān)系，而且隨著這門學(xué)

16、科的發(fā)展，還會(huì)與其它更多學(xué)科發(fā)生關(guān)系,模式識(shí)別系統(tǒng)舉例,機(jī)器視覺(jué)：制造業(yè)的自動(dòng)檢測(cè)和自動(dòng)裝配線語(yǔ)音識(shí)別：讓計(jì)算機(jī)聽(tīng)懂人類的指令，在有害環(huán)境中遠(yuǎn)程控制機(jī)器，殘障人士通過(guò)談話控制機(jī)器，語(yǔ)音輸入說(shuō)話人識(shí)別：根據(jù)語(yǔ)音確定說(shuō)話人的身份字符與文字識(shí)別：信件的自動(dòng)分揀，手寫輸入法，銀行支票的機(jī)器讀取，計(jì)算機(jī)輔助診斷技術(shù)：X-射線，超聲，心腦電圖等復(fù)雜圖像中特定目標(biāo)的識(shí)別：道路圖像中汽車的檢測(cè)，人臉檢測(cè)，行路人檢測(cè)等根據(jù)地震勘探數(shù)據(jù)對(duì)地下儲(chǔ)

17、層性質(zhì)的識(shí)別（石油勘探）數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)：多媒體檢索，基因表達(dá)數(shù)據(jù)分析,一個(gè)例子：?jiǎn)栴}的提出,有一家魚包裝公司（fish-packing plant）要根據(jù)傳送帶上的魚的種類實(shí)現(xiàn)自動(dòng)分揀,鱸魚（sea bass）,鮭魚(salmon),一個(gè)例子：可能的解決方案,架設(shè)一臺(tái)照相機(jī)，采集一些圖像通過(guò)初步觀察，注意到兩種魚之間的一些外在的差異（分類器的備用特征）長(zhǎng)度（length）光澤度(lightness)寬度(width)鰭(

18、fins)的數(shù)目和形狀嘴的位置,系統(tǒng)的雛形,攝像機(jī)拍下魚的照片圖像的預(yù)處理：將魚從背景中分割出來(lái)，并彼此分開(kāi)單條魚的信息送到一個(gè)特征提取器（feature extractor）提取的特征送到分類器（classifier）進(jìn)行分類決策,特征提取器和分類器的設(shè)計(jì),一般來(lái)說(shuō)，鱸魚的長(zhǎng)度要比鮭魚長(zhǎng)，因此先考慮用長(zhǎng)度作為分類特征分類基于的模型：鱸魚和鮭魚都有一個(gè)典型的長(zhǎng)度，并且鱸魚的這個(gè)長(zhǎng)度要大于鮭魚的長(zhǎng)度通過(guò)樣本訓(xùn)練確定分類的閾值l

19、*決策規(guī)則：看一條魚的長(zhǎng)度是否超過(guò)閾值l*,以長(zhǎng)度分類樣本的結(jié)果,數(shù)目,鮭魚,鱸魚,長(zhǎng)度,分類結(jié)果分析,盡管平均意義下鱸魚的平均長(zhǎng)度大于鮭魚，但用單一的長(zhǎng)度作為分類標(biāo)準(zhǔn)結(jié)果并不理想無(wú)論我們?nèi)绾芜x擇閾值l* ，都無(wú)法可靠地把兩種魚分開(kāi)來(lái)因此，需要考慮其他的特征,以平均光澤度作為分類特征,結(jié)論：以光澤度作為分類特征的效果要好得多,代價(jià)的考量,前面我們假定犯兩類錯(cuò)誤的代價(jià)是相同的盡管這一假定很多時(shí)候適用，但也有例外由于鮭魚比鱸魚更美

20、味，因此顧客更容易接受鮭魚被錯(cuò)分為鱸魚，而難以接受鱸魚被錯(cuò)分為鮭魚。為減少錯(cuò)誤分類的代價(jià)，必須減少鱸魚錯(cuò)分為鮭魚的概率：決策邊界向光澤度小的方向偏移,如果我們對(duì)分類效果還不滿意,我們將繼續(xù)尋找新的能實(shí)現(xiàn)更好分類效果的單一特征假定在單一特征中光澤度的分類效果是最好的，則我們必須考慮多個(gè)特征例如，我們觀察到鱸魚一般來(lái)說(shuō)要比鮭魚寬，就可以用光澤度和寬度來(lái)構(gòu)造二維特征向量：,分類結(jié)果,結(jié)果分析,二維特征的分類結(jié)果看起來(lái)好于一維特征所以我

21、們可以考慮加入更多的特征來(lái)進(jìn)一步提高分類效果，比如背鰭的頂角，嘴的位置等等問(wèn)題：是否加入的特征越多，分類效果越好？答：不一定,為什么特征不是越多越好,特征越多，測(cè)量的代價(jià)就越多即使不考慮代價(jià)，加入冗余特征也不會(huì)提高分類效果，比如如果眼睛的顏色與寬度是完全相關(guān)的，則加入這一特征便不會(huì)提高分類效果特征越多，模型就越復(fù)雜，分類邊界也越復(fù)雜，盡管可以實(shí)現(xiàn)對(duì)樣本的完美分類，卻偏離了我們?cè)O(shè)計(jì)分類器的初衷,訓(xùn)練樣本的完美分類,推廣能力問(wèn)題（G

22、eneralization）,分類器設(shè)計(jì)的核心目標(biāo)是實(shí)現(xiàn)對(duì)未知樣本的正確分類，也就是要有好的推廣能力。而一個(gè)過(guò)于復(fù)雜的決策界面一般來(lái)說(shuō)不太可能有好的推廣能力，它只是針對(duì)個(gè)別訓(xùn)練樣本的調(diào)整，而沒(méi)有真正地反映所要識(shí)別對(duì)象模型的本質(zhì)特征。結(jié)論：我們必須在訓(xùn)練樣本的分類錯(cuò)誤率和推廣能力之間權(quán)衡以得到滿意的設(shè)計(jì),模式識(shí)別系統(tǒng),信息獲取,信息獲取一般是通過(guò)某種傳感器將光或聲音等信息轉(zhuǎn)化為電信息。信息可以是二維的圖像如文字，指紋，地圖，照片等；

23、可以是一維的波形如心電圖，腦電圖，機(jī)械振動(dòng)波形；也可以是物理量與邏輯值，前者如疾病診斷中病人的體溫及各種化驗(yàn)數(shù)據(jù)，后者如對(duì)某參量正常與否的判斷或?qū)ΠY狀有無(wú)的描述等。此外，還可以是模糊值，如大，很大，比較大等。,預(yù)處理,由感知器輸入的信息往往需要進(jìn)行適當(dāng)?shù)念A(yù)處理，圖像識(shí)別中將圖像從背景中分割出來(lái)在語(yǔ)音識(shí)別中，區(qū)分單個(gè)的音素（phoneme）合成對(duì)象的各個(gè)組成部分正確分組（‘i’有兩個(gè)部分，但我們將它們識(shí)別為一個(gè)符號(hào)）預(yù)處理可

24、以去除噪聲，加強(qiáng)有用的信息預(yù)處理的方法：包括A\D,二值化，圖象的平滑，變換，增強(qiáng)，恢復(fù)，濾波等處理,特征提取和選擇,一般由原始測(cè)量所獲得的數(shù)據(jù)量是相當(dāng)大的，為了有效地實(shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征，這就是特征提取和選擇的過(guò)程。所選的特征必須使同類的樣本相距較近，而不同類的樣本相距較遠(yuǎn)，并對(duì)無(wú)關(guān)變換具有不變性，比如在前面鱸魚 和鮭魚的例子中，所選特征要對(duì)平移，旋轉(zhuǎn)，伸縮等具有不變性,分類決策,分類目

25、標(biāo)： 把特征空間劃分成類型空間。 把未知類別屬性的樣本確定為類型空間的某一個(gè)類型實(shí)際分類過(guò)程中，對(duì)于預(yù)先給定的條件，分類中出現(xiàn)錯(cuò)誤是不可避免的。因此，分類過(guò)程只能以某種錯(cuò)誤率來(lái)完成。顯然，錯(cuò)誤率越小越好。但是，分類錯(cuò)誤率又受很多條件的制約：分類方法、分類器設(shè)計(jì)、選用的樣本及提取的特征等。因此，分類錯(cuò)誤率不能任意小。,分類器設(shè)計(jì)：分類器設(shè)計(jì)的主要功能是通過(guò)訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時(shí)，錯(cuò)誤率最低。分類決策：在特征空間中

26、把被識(shí)別對(duì)象進(jìn)行分類，歸為某一類別。,分類決策,后處理,錯(cuò)誤率和風(fēng)險(xiǎn)評(píng)估，從而改進(jìn)設(shè)計(jì)，提高分類性能（從理論上估計(jì)最小錯(cuò)誤率/風(fēng)險(xiǎn)，看我們?cè)O(shè)計(jì)的分類器還有多大差距）利用上下文信息解釋分類結(jié)果，提高分類性能利用多個(gè)分類器來(lái)提高分類效果,模式識(shí)別的分類,監(jiān)督模式識(shí)別/學(xué)習(xí)（supervised pattern recognition/learning）非監(jiān)督模式識(shí)別/學(xué)習(xí)，聚類（unsupervised pattern recogn

27、ition/learning，clustering）半監(jiān)督模式識(shí)別（semi-supervised pattern recognition）,監(jiān)督模式識(shí)別,在機(jī)器學(xué)習(xí)里稱為監(jiān)督學(xué)習(xí)（supervised learning）,存在有已知樣本的訓(xùn)練集，比如在鱸魚和鮭魚的例子里，有一定數(shù)量的訓(xùn)練樣本，可以利用的先驗(yàn)信息相對(duì)比較多,非監(jiān)督模式識(shí)別,給定的是未知樣本集合，按其特征把相似的歸為一類在工程和社會(huì)科學(xué)中出現(xiàn)較多，比如多光譜遙感(

28、multispectral remote sensing)，圖像分割(image segmentation)，圖像和語(yǔ)音編碼(image and speech coding)等關(guān)鍵是如何定義兩個(gè)特征向量之間的相似性（similarity），并選擇一個(gè)合適的度量一般來(lái)說(shuō)，不同的聚類算法會(huì)產(chǎn)生不同的聚類結(jié)果，需要專家來(lái)解釋,半監(jiān)督模式識(shí)別,其分類目標(biāo)與監(jiān)督模式識(shí)別相同，但是在已知樣本之外還有一部分未知樣本一般出現(xiàn)在系統(tǒng)設(shè)計(jì)者只能得到很

29、少的已知樣本的情況下（用未知樣本做進(jìn)一步的補(bǔ)充）也可以看成帶有約束條件（已知樣本）的聚類,二.模式識(shí)別的發(fā)展史,1929年 G. Tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。30年代 Fisher提出統(tǒng)計(jì)分類理論,奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。因此，在60～70年代，統(tǒng)計(jì)模式識(shí)別發(fā)展很快，但由于被識(shí)別的模式愈來(lái)愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難”。但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個(gè)問(wèn)題得到一定克服。統(tǒng)計(jì)模式識(shí)別仍是模式識(shí)別的主

30、要理論。,50年代喬姆斯基 （ Noam Chemsky） 提出形式語(yǔ)言理論。美籍華人付京蓀 提出句法結(jié)構(gòu)模式識(shí)別。60年代 L.A.Zadeh提出了模糊集理論，模糊模式識(shí)別理論得到了較廣泛的應(yīng)用。80年代 Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識(shí)別和人工智能上得到較廣泛的應(yīng)用。90年代Vapnik基于小樣本學(xué)習(xí)理論發(fā)展了支持向量機(jī)，支持向量機(jī)也受到了很大的重視。,§1-3 模式識(shí)別的方法,

31、模版匹配法(template matching)統(tǒng)計(jì)方法(statistical pattern recognition)神經(jīng)網(wǎng)絡(luò)方法(neural network)結(jié)構(gòu)方法(句法方法)(structural pattern recognition ),模版匹配,模板匹配模式認(rèn)為在人的長(zhǎng)時(shí)記憶中,存在著代表各種景物形態(tài)的“模板”。當(dāng)人注視景物時(shí),景物通過(guò)眼睛及其視覺(jué)系統(tǒng)進(jìn)入大腦與存儲(chǔ)在大腦中的模板進(jìn)行匹配。若某個(gè)模板與輸入

32、景物匹配一致或相關(guān)量最大,就認(rèn)為人已經(jīng)對(duì)這一景物能夠再認(rèn)了。 實(shí)現(xiàn)方式：首先對(duì)每個(gè)類別建立一個(gè)或多個(gè)模版輸入樣本和數(shù)據(jù)庫(kù)中每個(gè)類別的模版進(jìn)行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策,優(yōu)點(diǎn)：直接、簡(jiǎn)單 例如，當(dāng)我們看一個(gè)字母A，視網(wǎng)膜接收的信息便傳到大腦，刺激信息在腦中得到相應(yīng)的編碼，并與記憶中貯存的各式各樣的模板進(jìn)行比較；通過(guò)決策過(guò)程判定它與模板A有最佳的匹配，于是字母A就得到識(shí)別。缺點(diǎn)：適應(yīng)性

33、差 然而現(xiàn)實(shí)世界輸入視覺(jué)系統(tǒng)的景物是復(fù)雜的。就拿字符“F”來(lái)說(shuō)，輸入“F”字符可能是拉伸的、壓縮的、旋轉(zhuǎn)的、歪扭的、斷裂的，等等，這使得模板匹配工作變得困難和復(fù)雜起來(lái)。,模版匹配,統(tǒng)計(jì)方法,根據(jù)訓(xùn)練樣本，建立決策邊界(decision boundary) 統(tǒng)計(jì)決策理論—根據(jù)每一類總體的概率分布決定決策邊界判別式分析方法—給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)本課程的重點(diǎn)內(nèi)容,統(tǒng)計(jì)

34、方法,例1：男女19人進(jìn)行體檢，測(cè)量身高和體重，如下表。但事后發(fā)現(xiàn)4人忘了寫性別，試問(wèn)，這4人是男是女？,統(tǒng)計(jì)方法,解：試驗(yàn)樣本是人，分為男、女兩個(gè)類別。二維的主要特征是身高、體重，構(gòu)成二維特征空間。已知15人的性別，可以作為訓(xùn)練樣本，根據(jù)其值確定他們?cè)谔卣骺臻g的位置。如下圖所示：,統(tǒng)計(jì)方法,,,統(tǒng)計(jì)方法,統(tǒng)計(jì)方法,現(xiàn)考察16～19號(hào)體檢者，由身高、體重確定在上圖中的位置。顯然，16(α)、19(δ)在負(fù)線一側(cè)，判定他們?yōu)榕浴?

35、7(β)、18(γ)位于正線一側(cè)，判為男性。,人工神經(jīng)網(wǎng)絡(luò),受人的大腦神經(jīng)網(wǎng)絡(luò)的啟發(fā)提出的進(jìn)行大規(guī)模并行計(jì)算的數(shù)學(xué)模型具有學(xué)習(xí)、推廣、自適應(yīng)、容錯(cuò)、分布表達(dá)和計(jì)算的能力優(yōu)點(diǎn)：可以有效的解決一些復(fù)雜的非線性問(wèn)題缺點(diǎn)：缺少有效的學(xué)習(xí)理論，容易產(chǎn)生過(guò)學(xué)習(xí),句法方法,許多復(fù)雜的模式可以分解為簡(jiǎn)單的子模式，這些子模式組成所謂 “基元”每個(gè)模式都可以由基元根據(jù)一定的關(guān)系來(lái)組成基元可以認(rèn)為是語(yǔ)言中的詞語(yǔ)，每個(gè)模式都可以認(rèn)為是一個(gè)句子，關(guān)系可

36、以認(rèn)為是語(yǔ)法模式的相似性由句子的相似性來(lái)決定優(yōu)點(diǎn)：適合結(jié)構(gòu)性強(qiáng)的模式缺點(diǎn)：抗噪聲能力差，計(jì)算復(fù)雜度高,句法方法,例2：如下圖中一幅圖形，要識(shí)別圖中的物體，選用句法模式識(shí)別方法,,句法方法,解：圖形結(jié)構(gòu)復(fù)雜，首先應(yīng)分解為簡(jiǎn)單的子圖（背景、物體）。背景由地板和墻組成，物體為長(zhǎng)方體和三角體。三角體又分為一個(gè)長(zhǎng)方形面和一個(gè)三角形面。長(zhǎng)方體又分為三個(gè)長(zhǎng)方形面。上述分析構(gòu)成一個(gè)多級(jí)樹結(jié)構(gòu)：,句法方法,其中，面、三角形、地板和墻壁，即

37、L、T、X、Y、Z、M和N均為基本圖形單元，簡(jiǎn)稱基元。在句法模式識(shí)別中，基元就是特征。,,句法方法,句法模式識(shí)別的方法在學(xué)習(xí)過(guò)程中，確定基元與基元之間的關(guān)系，推斷出生成景物的方法。判決過(guò)程中，首先提取基元，識(shí)別基元之間的連接關(guān)系，使用推斷的文法規(guī)則做句法分析, 即分析給定的模式語(yǔ)句是否符合指定的語(yǔ)法，滿足某類語(yǔ)法的即被分入該類。若分析成立，則判斷輸入的景物屬于相應(yīng)的類型。,本門課程的主要內(nèi)容,第一章 緒論第二章 聚類分析第三