人工智能不確定推理課件

1、第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,>>>,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,基本概念,不精確思維并非專家的習(xí)慣或愛好所至，而是客觀現(xiàn)實(shí)的要求。很多原因?qū)е峦唤Y(jié)果推理所需的信息不完備背景知識(shí)不足信息描述模糊信息中含有噪聲規(guī)劃是模糊的推理能力不足解題方案不唯一,基本概念,什么是不確定性推理從不確定性的

2、初始證據(jù)出發(fā)，通過運(yùn)用不確定性的知識(shí)，最終推出具有一定程度的不確定性但卻是合理或者近乎合理的結(jié)論的思維過程。事實(shí)與結(jié)論之間存在著不確定的因果關(guān)系，且事實(shí)也是不確定的。,基本概念—不確定推理的基本問題,不確定問題的數(shù)學(xué)模型表示的3方面問題表示問題：采用什么方法描述不確定性，這是解決不確定推理關(guān)鍵的一步。計(jì)算問題：不確定性的傳播和更新。也是獲取新信息的過程。語(yǔ)義問題：上述表示和計(jì)算的含義是什么。,>>>

3、;,基本概念—不確定推理的基本問題,表示問題：表達(dá)要清楚。表示不僅僅是數(shù)，還要有語(yǔ)義描述。通常有數(shù)值表示和非數(shù)值表示方法，兩者都不夠完善。數(shù)值表示便于計(jì)算、比較，再考慮到定性的非數(shù)值描述才能較好的解決不確定問題。知識(shí)的不確定性描述（靜態(tài)強(qiáng)度）通常是一數(shù)值，一般由領(lǐng)域?qū)＜医o出。證據(jù)的不確定性描述（動(dòng)態(tài)強(qiáng)度）也是一數(shù)值，除初始證據(jù)由用戶給定外，一般通過傳遞算法計(jì)算得到。,<<<,例： E ? H , 已知f (H

4、, E)和C(E)，計(jì)算求得C(H)。,基本概念—不確定推理的基本問題,計(jì)算問題：不確定性的傳播和更新算法。包括已知規(guī)則 E ? H 的強(qiáng)度f(wàn) (H , E)和前提的不確定性C(E)，如何計(jì)算結(jié)論的不確定性 C(H) = g1(C(E),f(H,E))已知某命題H的不確定性C1(H)，又根據(jù)新的證據(jù)求得C2(H),如何計(jì)算新的C(H) = g2(C1(H),C2(H))定

5、義算法g3，使C(E1 ∧ E2) = g3(C(E1),C(E2))定義算法g4，使C(E1 ∨ E2) = g4(C(E1),C(E2)),<<<,基本概念—不確定推理的基本問題,語(yǔ)義問題：將各個(gè)公式解釋清楚。例如規(guī)則 E ? H 的強(qiáng)度f(wàn) (H , E)有E為真，H為真，則f (H , E) = ？E為真，H為假，則f (H , E) = ？E對(duì)H沒有影響，則f (H , E) = ？前提 E 的

6、不確定性度量C (E)有E為真，則C ( E) = ？E為假，則C ( E) = ？對(duì)E 一無所知，則C ( E) = ？,<<<,基本概念—不確定推理方法的分類,模型方法：把不確定的證據(jù)和不確定的知識(shí)分別與某種度量標(biāo)準(zhǔn)對(duì)應(yīng)起來，并且給出更新結(jié)論的算法，從而構(gòu)成了相應(yīng)的不確定性推理模型。,控制方法：通過識(shí)別領(lǐng)域中引起不確定性的某些特征及相應(yīng)的控制策略來限制或減少不確定性對(duì)系統(tǒng)的影響，此類方法沒有處理不確定性的統(tǒng)一

7、模型，其效率極大地依賴于控制策略。,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,,概率方法,經(jīng)典概率方法 E ? H用概率P(H|E)表示結(jié)論H的確定性程度。問題：實(shí)際情況P(H|E)不容易求。而 P(E|H)較易求。逆概率方法 E ? Hi 用概率P(Hi|E)表示結(jié)論Hi的

8、確定性程度。 P(Hi|E) = i=1,2,3,……,n優(yōu)點(diǎn)：理論背景強(qiáng)。缺點(diǎn)：求P(Hi) 、P(E|Hi)困難,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,,,主觀貝葉斯方法,概述在Pros

9、pector的探礦系統(tǒng)的研究過程中提出的。 原有貝葉斯公式只考慮E出現(xiàn)對(duì)H的影響，沒有考慮E不出現(xiàn)的影響。 貝葉斯規(guī)則：當(dāng)H為n個(gè)互不相容事件的集合時(shí)，Bayes公式可寫為：,主觀貝葉斯方法,思路采用Bayes公式必須有較多的有效 樣本集，且存在“關(guān)聯(lián)數(shù)據(jù)”問題，即要知道在Hi下E存在的概率。實(shí)際應(yīng)用中無法實(shí)現(xiàn)，需“修正”。先定好應(yīng)該怎么辦，再湊公式。主要是避開P(E| H)的計(jì)算。,主觀貝葉斯方法,修正的Bayes公式設(shè)

10、只有一個(gè)證據(jù)E和一個(gè)結(jié)論H ，則（1）（2）相除，得,主觀貝葉斯方法,修正的Bayes公式設(shè) O(H) = P(H) / P(?H)為H的先驗(yàn)機(jī)率，>>> O(H|E) = P(H|E) / P(? H|E)為H的后驗(yàn)機(jī)率。則（3）式為同理，有即為修正的Bayes公式 >>>,主觀貝葉斯方法（規(guī)則的不確定性）,,幾率函數(shù)O(H),O(H)的性質(zhì)P(H

11、) = 0時(shí), O(H) = 0假P(H) = 0.5時(shí), O(H) = 1P(H) = 1時(shí), O(H) = ∞真 <<<,主觀貝葉斯方法,規(guī)則的不確定性定義：,表示E為真時(shí)，對(duì)H為真的影響。（規(guī)則成立的充分性）,表示E為假時(shí)，對(duì)H為真的影響。（規(guī)則成立的必要性）,主觀貝葉斯方法（規(guī)則的不確定性）,則：O(H)與LN，LS的關(guān)系O(H|E) = LS ? O(

12、H)O(H|?E) = LN ? O(H),主觀貝葉斯方法（規(guī)則的不確定性）,，且必須滿足：,主觀貝葉斯方法（規(guī)則的不確定性）,LS、LN≥０，不是獨(dú)立取值的。LS, LN不能同時(shí) ＞１或 ＜１LS, LN可同時(shí)＝1在實(shí)際系統(tǒng)中， LS, LN的值是由專家憑經(jīng)驗(yàn)給出的，而不是依LS, LN的定義來計(jì)算的。,主觀貝葉斯方法（證據(jù)E的不確定性）,P(E)或O(E)表示證據(jù)E的不確定性,主觀貝葉斯方法（推理計(jì)算1）,E必出現(xiàn)時(shí)：O

13、(H|E) = LS?O(H)O(H|?E) = LN?O(H) 若需要概率時(shí)：,主觀貝葉斯方法（推理計(jì)算1）,例：有如下推理圖，問當(dāng)Ei(i-=1,2,3,4,5)存在或不存在時(shí)，H的先驗(yàn)概率P(H)=0.03應(yīng)如何變化？,,,,,R2:300,1,R5:1,0.0002,R3:7.5,1,R4:6,1,主觀貝葉斯方法（推理計(jì)算2）,E不確定時(shí)：即P(E) ? 1 （1976年的算法）向前看一步E’

14、， E’ 為與E有關(guān)的所有觀察 P(H|E’) = P(H|E)P(E| E’)+P(H|?E)P(?E| E’) P(E| E’) = 1時(shí)，證據(jù)E必然出現(xiàn)（P168）P(E| E’) = 0時(shí)，LN代替上式 的LS， P(E| E’) = P(E) 時(shí)，(E’對(duì)E無影響)，由上式 P(H| E’) = P(H),主觀貝葉斯方法（推理計(jì)算2）,P(E| E’)與P(H| E’)坐標(biāo)系上的三點(diǎn)：

15、 總之是找一些P(E| E’)與P(H| E’)的相關(guān)值， 兩點(diǎn)也可以做曲線（或折線、直線）。由插值法從線上得到其它點(diǎn)的結(jié)果，具體過程見教科書上例題。,主觀貝葉斯方法（推理計(jì)算2）,P(H|E’) = P(H|E)P(E| E’)+P(H|?E)P(?E| E’) P.185,主觀貝葉斯方法（推理計(jì)算2）,,證據(jù)不確定的情況下的EH公式 (P.186),0 <=P(E|E’)<= P

16、(E),P(E) <=P(E|E’)<= 1,主觀貝葉斯方法（推理計(jì)算2）,,例：求P(HY | E1)=?,,300,0.001,P(H)=0.03,P(HY)=0.01,主觀貝葉斯方法（推理計(jì)算3）,兩個(gè)證據(jù)時(shí)：,主觀貝葉斯方法,主觀Bayes方法的評(píng)價(jià)優(yōu)點(diǎn)：計(jì)算方法直觀、明了。缺點(diǎn)：要求Hj相互無關(guān)（實(shí)際不可能）。P(E| H’)與P(Hi) 很難計(jì)算。應(yīng)用困難。,第五章 不確定性推理,基本概念概率方法

17、主觀Bayes方法可信度方法證據(jù)理論,,,,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,,,,可信度方法（可信度的概念）,可信度（信任度Degree of confirmation）：又稱證據(jù)強(qiáng)度，即一個(gè)證據(jù)對(duì)結(jié)論的支持程度。 可信度的完備條件Dc1: IF E ? H THEN Dc(H|E) = max （當(dāng)E肯定H時(shí)，Dc值最大）Dc2: IF E ? ?H TH

18、EN Dc(H|E) = min （當(dāng)E肯定? H時(shí)，Dc值最?。〥c3: Dc(HE|E) = Dc(H|E) （重復(fù)證據(jù)的獲取不應(yīng)該增加對(duì)結(jié)論的信任度）Dc4: IF E 、H 相互獨(dú)立 THEN Dc(H|E) = 0,可信度方法（可信度的概念）,可信度的設(shè)計(jì)（能反映專家主觀判斷知識(shí)）便于專家使用，如取值范圍要直觀、方便。在證據(jù)不斷出現(xiàn)時(shí)，可以累加修改，取得肯定的證據(jù)時(shí)其值增加，出現(xiàn)否定的證據(jù)時(shí)其值減少。當(dāng)證

19、據(jù)絕對(duì)肯定結(jié)論時(shí)，取最大值，否則取最小值。累加的最終值不應(yīng)該超過度量的極限值。同一個(gè)證據(jù)對(duì)幾個(gè)互斥的結(jié)論產(chǎn)生影響時(shí)，其度量值之和不應(yīng)該超過極限值。能用于非確定證據(jù)的推理。重復(fù)的證據(jù)不應(yīng)該改變其累加值。,可信度方法（確定性方法、C-F模型）,MYCIN系統(tǒng)研制過程中產(chǎn)生的不確定推理方法,第一個(gè)采用了不確定推理邏輯，70年代很有名。 提出該方法時(shí)應(yīng)遵循的原則不采用嚴(yán)格的統(tǒng)計(jì)理論。使用的是一種接近統(tǒng)計(jì)理論的近似方法。用專家的經(jīng)驗(yàn)

20、估計(jì)代替統(tǒng)計(jì)數(shù)據(jù)盡量減少需要專家提供的經(jīng)驗(yàn)數(shù)據(jù)，盡量使少量數(shù)據(jù)包含多種信息。新方法應(yīng)適用于證據(jù)為增量式地增加的情況。專家數(shù)據(jù)的輕微擾動(dòng)不影響最終的推理結(jié)論。,理論基礎(chǔ)以定量法為工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。 規(guī)則規(guī)則的不確定性度量證據(jù)（前提）的不確定性度量。推理計(jì)算。,可信度方法,理論基礎(chǔ)以定量法為

21、工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。 規(guī)則規(guī)則的不確定性度量證據(jù)（前提）的不確定性度量。推理計(jì)算。,可信度方法,理論基礎(chǔ)以定量法為工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。 規(guī)則規(guī)則的不確定性度量證

22、據(jù)（前提）的不確定性度量。推理計(jì)算。,可信度方法,規(guī)則 (規(guī)則的不確定性度量）,規(guī)則 E → H，可信度表示為CF(H,E)。定義 CF(H, E) = MB(H, E) - MD(H, E) 其中 MB(H, E) 為,,,規(guī)則 (規(guī)則的不確定性度量）,規(guī)則 E → H，可信度表示為CF(H,E)。定義 CF(H, E) = MB(H, E)

23、 - MD(H, E) 其中 MD(H, E) 為,,,規(guī)則 (規(guī)則的不確定性度量）,規(guī)則 E → H，可信度表示為CF(H,E)。定義 CF(H, E) = MB(H, E) - MD(H, E) 其中 MB(H, E)指示信任量度 MD(H, E)指示不信任量度 由定

24、義知，MB和MD不可能同時(shí) > 0，事實(shí)上如果MB>0，則MD=0（E有利于H）；如果MD>0，則MB=0 （E不利于H） 。,規(guī)則 (規(guī)則的不確定性度量）,當(dāng)p(H/E)＞p(H)時(shí)，表示證據(jù)E支持結(jié)論H，則有MB>0，MD=0； 反之，當(dāng)p(H/E)0； 當(dāng)p(H/E)＝p(H)時(shí)，表示E對(duì)H無影響，則有MB＝MD＝0。 值得注意的是

25、，可信度CF(H, E)(即MB, MD)的值通常并不是經(jīng)由p(H/E)和P(H)來計(jì)算的，而是在建立規(guī)則庫(kù)時(shí)由領(lǐng)域?qū)＜覒{經(jīng)驗(yàn)主觀確定的。,規(guī)則 (規(guī)則的不確定性度量）,規(guī)則可信度CF(H,E)有性質(zhì)：1.因?yàn)??MB(H, E) ?1,0? MD(H, E) ?1,則-1? CF(H, E) ?12.若E絕對(duì)肯定H，即P(H|E)=1，則MB(H, E) =1, MD(H, E) =0, CF(H, E) =1

26、 ………..Dc13.若E絕對(duì)否定H，即P(?H|E)=1，則MB(H, E) =0, MD(H, E) =1, CF(H, E) = -1 ………..Dc24.若E不能證實(shí)H或E、H獨(dú)立，即P(H|E)=P(H)，則MB(H, E) =0, MD(H, E) =0, CF(H, E) = 0 ………..Dc45.對(duì)同一個(gè)

27、證據(jù)E，支持若干個(gè)互斥的結(jié)論Hi，則 ?CF(Hi, E)?1 ………..Dc3,規(guī)則 (規(guī)則的不確定性度量）,規(guī)則 E → H，可信度表示為CF(H,E)。,規(guī)則 (規(guī)則的不確定性度量）,CF(H, E)表示的意義證據(jù)為真時(shí)相對(duì)于P(?H) = 1 - P(H)來說，E對(duì)H為真的支持程度。即E發(fā)生更支持H發(fā)生。 此時(shí) CF(H, E)≥ 0。 或，相對(duì)于P(H)來說，

28、E對(duì)H為真的不支持程度。即E發(fā)生不支持H發(fā)生。 此時(shí) CF(H, E)< 0。 結(jié)論-1 ≤ CF(H, E) ≤ 1,規(guī)則 (規(guī)則的不確定性度量）,CF(H, E)的特殊值：CF(H, E) = 1，前提真，結(jié)論必真CF(H, E) = -1，前提真，結(jié)論必假CF(H, E) = 0 ， 前提真假與結(jié)論無關(guān)實(shí)際應(yīng)用中CF(H, E)的值由專家確定，并不是由P(H|E), P(H)計(jì)算得到的。,理論基礎(chǔ)

29、以定量法為工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。 規(guī)則規(guī)則的不確定性度量證據(jù)（前提）的不確定性度量。推理計(jì)算。,可信度方法,理論基礎(chǔ)以定量法為工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。 規(guī)則規(guī)則的不確定

30、性度量證據(jù)（前提）的不確定性度量。推理計(jì)算。,可信度方法,規(guī)則 (證據(jù)的不確定性度量）,證據(jù)E的可信度表示為CF( E )同樣有：-1 ≤ CF( E ) ≤ 1特殊值：CF( E ) = 1， 前提肯定真 CF( E ) = -1， 前提肯定假CF( E ) = 0，對(duì)前提一無所知CF( E ) ＞ 0， 表示E以CF( E )程度為真CF( E ) ＜ 0， 表示E以CF( E

31、)程度為假,理論基礎(chǔ)以定量法為工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。 規(guī)則規(guī)則的不確定性度量證據(jù)（前提）的不確定性度量。推理計(jì)算。,可信度方法,理論基礎(chǔ)以定量法為工具，比較法為原則的相對(duì)確認(rèn)理論。采用此方法的MYCIN系統(tǒng)的診斷結(jié)果不是只給出一個(gè)最可信結(jié)論及其可信度，而是給出可信度較高的前幾位，供人們比較選用。

32、 規(guī)則規(guī)則的不確定性度量證據(jù)（前提）的不確定性度量。推理計(jì)算。,可信度方法,規(guī)則 (推理計(jì)算 － 1）,“與”的計(jì)算： E1 ∧ E2 →HCF(E1 ∧ E2 ) = min { CF(E1), CF(E2 )}“或”的計(jì)算：E1 ∨ E2 →HCF(E1 ∨ E2 ) = max { CF(E1), CF(E2 )} “非”的計(jì)算：CF(?E ) = - CF(E ) 由E， E →H，　求 H：

33、CF(H) = CF(H,E ) · max { 0, CF(E)} (CF(E) ＜ 0 時(shí)可以不算即為“0”),規(guī)則 (推理計(jì)算 － 2）,更新，由兩條規(guī)則求出再合并： 由CF１(H)、 CF２(H)，求 CF(H),可信度方法,例：有以下規(guī)則R1: If e1 then h (0.9) R2: If e2 then h (0.

34、7)R3: If e3 then h (-0.8)R4: If e4 and e5 then e1 (0.7)R5: If e6 and (e7 or e8) then e2 (1)設(shè)系統(tǒng)在問題求解過程中已經(jīng)獲得 CF(e3)=0.3,CF(e4)=0.9,CF(e5)=0.6,CF(e6)=0.7,CF(e7)=-0.3,CF(e8)=0.8求 CF(H)=?,可信度方法,評(píng)論

35、可信度方法的宗旨不是理論上的嚴(yán)密性，而是處理實(shí)際問題的可用性。 不可一成不變地用于任何領(lǐng)域，甚至也不能適用于所有科學(xué)領(lǐng)域。推廣至一個(gè)新領(lǐng)域時(shí)必須根據(jù)情況修改。,可信度方法,盡管確定性方法使MYCIN和其它一些專家系統(tǒng)能簡(jiǎn)單有效地實(shí)現(xiàn)不確定性推理，但仍存在不少問題。現(xiàn)歸納如下：    （1）如何將人表示可信度的術(shù)語(yǔ)轉(zhuǎn)變?yōu)閿?shù)字化的CFs。例如，人的經(jīng)驗(yàn)規(guī)則常涉及"很可能"、"

36、不大可能"等術(shù)語(yǔ)，應(yīng)對(duì)應(yīng)到多大的CF值。    （2）如何規(guī)范化人們對(duì)可信度的估計(jì)，不同人所作的估計(jì)往往相差較大。,可信度方法,（3）為防止積累誤差，需指定門檻值，但多大合適呢？太小固然不行，但太大也不好，因?yàn)榭尚哦鹊膫鬟f需要累計(jì)較小的變化。    （4）為改進(jìn)可信度的精確性，需提供從系統(tǒng)的實(shí)際執(zhí)行反饋的信息，并基于反饋信息調(diào)整可信度。這實(shí)際上是一種機(jī)器學(xué)習(xí)問題，

37、尚未較好地加以解決。    正因?yàn)檫@些問題的存在，限制了MYCIN提出的確定性方法只能用于對(duì)不確定推理的精度要求不高的場(chǎng)合。,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,,,,第五章 不確定性推理,基本概念概率方法主觀Bayes方法可信度方法證據(jù)理論,,,,,,證據(jù)理論 (Evident Theory),概述證據(jù)的不確定性應(yīng)用模型推理計(jì)算,證據(jù)理論

38、 (Evident Theory),概述由Dempster首先提出，并由他的學(xué)生Shafer發(fā)展起來，也稱D-S理論。在專家系統(tǒng)的不精確推理中已得到廣泛的應(yīng)用。 （也用在模式識(shí)別中）證據(jù)理論中引入了信任函數(shù)，它滿足概率論弱公理。在概率論中，當(dāng)先驗(yàn)概率很難獲得，但又要被迫給出時(shí)，用證據(jù)理論能區(qū)分不確定性和不知道的差別。所以它比概率論更合適于專家系統(tǒng)推理方法。當(dāng)概率值已知時(shí)，證據(jù)理論就成了概率論。因此，概率論是證據(jù)理論的一個(gè)特例，有時(shí)

39、也稱證據(jù)論為廣義概率論。,證據(jù)理論 (Evident Theory),概述證據(jù)的不確定性應(yīng)用模型推理計(jì)算,證據(jù)理論 (Evident Theory),概述證據(jù)的不確定性應(yīng)用模型推理計(jì)算,證據(jù)理論 (證據(jù)的不確定性),證據(jù)： 用集合D來表示：如D中的每個(gè)元素代表一種疾病。討論一組疾病A發(fā)生的可能性時(shí)，A變成了單元（某些假設(shè)）的集合。D內(nèi)元素Ai間是互斥的，但Ai中元素間是不互斥的。,證據(jù)理論 (證據(jù)的不確定性),基本概率

40、分配函數(shù)： M：２D→［0,1］（在D的冪集２D上定義，取值[0,1］）M(A)表示了證據(jù)對(duì)D的子集A成立的一種信任度　有： 空集為零 意義若A ? D，且A ? D，表示對(duì)A的精確信任度若A = D，表示這個(gè)數(shù)不知如何分配,證據(jù)理論 (證據(jù)的不確定性),基本概率分配函數(shù)：例，某個(gè)體的顏色只可能為紅、蘭、綠，則建立相應(yīng)論域D = {紅，蘭，綠}?？梢?/p>

41、給D的所有子集分配基本概率，如：M({紅，蘭，綠},{紅，蘭}, {紅，綠}, {蘭，綠}, {紅}, {蘭}, {綠}, Φ) =( 0.2， 0.2， 0.2， 0， 0.3， 0， 0.1， 0)。則M({紅,蘭}) = 0.2意指該個(gè)體顏色為紅或蘭的信任程度是0.2。0.2不是分配給紅就是給蘭。注意，M是2 D上而非 D上的概率分布，所以

42、基本概率 M(A)不必等于概率P(A)，而且M(A)≠ 1。,證據(jù)理論 (證據(jù)的不確定性),信任函數(shù)Bel：２D→［0,1］。 （在D的冪集２D上定義，取值［0,1］）Bel(A) = 有: Bel(Φ) = M(Φ) = 0 , Bel(D) = = 1 Bel類似于概率密度函數(shù)，表示A中所有子集的基本概率分配數(shù)值的和，用來表示對(duì)A的總信任度。,證據(jù)理論 (證據(jù)的不確定性

43、),信任函數(shù)在上例中， D = {紅，蘭，綠}，M({紅，蘭，綠},{紅，蘭}, {紅，綠}, {蘭，綠}, {紅}, {蘭}, {綠}, Φ) =( 0.2， 0.2， 0.2， 0， 0.3， 0， 0.1， 0)。 則      Bel({蘭，綠}) =

44、 M({蘭}) + M({綠}) + M({蘭，綠}) = 0 + 0.1 + 0 = 0.1。 Pl({紅,綠}) = 1- Bel({蘭}) = 1- 0 = 1,證據(jù)理論 (證據(jù)的不確定性),似然函數(shù)（不可駁斥函數(shù)）Pl：２D→［0,1］。（在D的冪集２D上定義，取值［0,1］）Pl(A) = 1 - Bel(?A) = 性質(zhì)：0 ≤ Bel(A) ≤ Pl(A) ≤1 ( B

45、el是Pl的一部分) 稱Bel(A)和Pl(A)是A的下限不確定性值和上限不確定性值。,證據(jù)理論 (證據(jù)的不確定性),設(shè)函數(shù)A[Bel(A), Pl(A)] ，則有如下特殊值： A[0,1]：表示對(duì)A一無所知 A[1,1]：表示A為真 A[0,0]：表示A為假A[a,1]：表示對(duì)A的部分信任, 0<a<1A[0,b]：表示對(duì)?A的部分信任, 0<b<1A[a

46、,b]：表示同時(shí)對(duì)A和?A的部分信任,證據(jù)理論 (證據(jù)的不確定性),似然函數(shù)（不可駁斥函數(shù)）在上例中， D = {紅，蘭，綠}，M({紅，蘭，綠},{紅，蘭}, {紅，綠}, {蘭，綠}, {紅}, {蘭}, {綠}, Φ) =( 0.2， 0.2， 0.2， 0， 0.3， 0， 0.1， 0)。Bel({蘭，綠}) = 0.1則 Pl({紅})

47、 = 1 - Bel({蘭，綠}) = 1 - 0.1= 0.9。 又 Bel ({紅}) = 0.3 所以{紅}[0.3 , 0.9] 表示 {紅}的精確信任為0.3，不可駁斥部分為0.9，即肯定不是{紅}為1-0.9=0.1。,證據(jù)理論 (推理計(jì)算),綜合概率分配函數(shù)（正交和）（對(duì)于同樣的證據(jù)，由于來源不同，得到二個(gè)概率分配函數(shù)M1, M2 ）定義：M = M1 ⊙ M2 規(guī)定：M(Φ) = 0 ，

48、 M(A) = 其中 K＝1－且 K ? 0。若K＝ 0，認(rèn)為M1，M2矛盾，沒有聯(lián)合基本概率分配函數(shù) 。,證據(jù)理論 (推理計(jì)算),綜合概率分配函數(shù)（正交和）舉例：設(shè)：D={p,q} M1({p},{q},{p,q},{})=(0.4,0.4,0.2,0) M2({p},{q},{p,q},{})=(0.5,0.4,0.1,0)k=1-(M1({p}

49、)M2({q})+ M1({q})M2({p})) =1-0.4*0.4-0.4*0.5 = 0.64M({p}) = [M1({p})M2({p})+M1({p})M2({p,q})+M1({p,q})M2({p})]/k = (0.4*0.5+0.4*0.1+0.2*0.5)/0.64 = 0.53125M({q}) = 0.4375 M({p,q}) = 0.03125則 M( {

50、p} , {q} , {p,q} , {} ) = ( 0.53 , 0.44 , 0.03 , 0 ),證據(jù)理論,概述證據(jù)的不確定性應(yīng)用模型推理計(jì)算,證據(jù)理論,概述證據(jù)的不確定性應(yīng)用模型推理計(jì)算,證據(jù)理論 (應(yīng)用模型),針對(duì)一個(gè)特殊的概率分配函數(shù)討論一種具體的不精確推理模型：設(shè)：D={s1,s2,…,sn},在D上定義的概率分配函數(shù)M滿足 1）M({si}) ≥0 對(duì)任何si ∈D

51、 2) ∑ M({si}) ≤1 3) M(D) = 1- ∑ M({si}) 4）M(A) = 0， 當(dāng)A ? D 且 |A|>1 或 |A|=0時(shí),這里定義了基本理論的一個(gè)特殊情況，僅單個(gè)元素組成的子集的概率分配數(shù)大于等于0；由一個(gè)以上元素組成的子集概率分配數(shù)均為0。,證據(jù)理論 (應(yīng)用模型),則： 1）Bel(A)= ∑ M({si}) 對(duì)任何

52、si ∈A 2) Bel(D)=M({si}) + M(D)=1 3) Pl(A)=1-Bel(┒A) = 1- ∑ M({si}) 對(duì)任何si ∈┒A =1-[1-M(D)-Bel(A)] =M(D) + Bel(A) 4）Pl(D)=1-Bel(┒D)= 1-Bel(Φ

53、) =1,證據(jù)理論 (證據(jù)的不確定性),定義：命題A的類概率函數(shù)其中|A|、|D|為集合內(nèi)元素個(gè)數(shù)。 性質(zhì)： 對(duì)于A ? D ∑f ( si ) = 1，i=1,2, … ,nBel (A) ≤ f (A) ≤Pl (A) f (┒A) = 1 - f (A),f (Φ) = 0， f (D) = 1， 0≤f (A)≤1,證據(jù)理論 (規(guī)則的不確定性),推理形式：設(shè)子集合E、A，其中E = {e1, e2,

54、…, el}, A = {a1, a2, …, ak}，用相應(yīng)的向量(c1, c2, …, ck)描述 規(guī)則 E→A ，其中：ci≥0, 1≤i≤k, 且∑cj≤1， 1≤j≤k 用于指示前提E成立時(shí)假設(shè)ai成立的可信度。已知事件E，由f (E)求M(ak) , M(ak) = f (E) ck,證據(jù)理論 (證據(jù)的不確定性),設(shè)規(guī)則 E ? A ={a1，a2，

55、…，am} ,CF 其中 CF={C1，C2，…，Cm} 證據(jù)E的不確定性可以用類概率函數(shù)f (E)表示，原始證據(jù)的f (E)應(yīng)由用戶給定，作為中間結(jié)果的證據(jù)則由下面的不確定性傳遞算法確定。,證據(jù)理論 (證據(jù)的不確定性),命題的確定性CER定義 設(shè)A是規(guī)則條件部分的命題，E’是外部輸入的證據(jù)和已證實(shí)的命題，命題A與E’的匹配程度MD(A|E’)為

56、 若A的所有元素出現(xiàn)在E’里，則MD(A|E’)=1，否則MD(A|E’)=0 則 CER(A)=MD(A|E’)*f(A) 稱為命題A的確定性。 可以證明 0≤ CER(A) ≤1,證據(jù)理論 (不確定性傳遞算法),對(duì)于上述具有不確定性的規(guī)則，定義            

57、    (i = 1,2,…,m)或縮簡(jiǎn)記為           規(guī)定 ，則對(duì)于U的所有其它子集H，均有      m(H)＝0；所以當(dāng)A為U的真子集時(shí)，

58、有        進(jìn)一步可以計(jì)算Pl(A)和f(A)。,證據(jù)理論,概述證據(jù)的不確定性規(guī)則的不確定性推理計(jì)算,證據(jù)理論,概述證據(jù)的不確定性規(guī)則的不確定性推理計(jì)算,證據(jù)理論 (推理計(jì)算),f (E1∧E2) = min { f (E1), f (E2)} f (E1∨E2) = max { f (E1), f (E2)} 已知:f (E)，E → A，

59、(c1, c2, …, ck)。 求:f (A)規(guī)定：M({a1}, {a2}, …,{ak}) = (f (E)c1,f (E)c2,…, f (E)ck) M (D) = 1 –,證據(jù)理論 (推理計(jì)算),證據(jù)的組合：M1, M2在D上的合成 （對(duì)于同樣的證據(jù)，由于來源不同，得到二個(gè)概率分配函數(shù)M1, M2 ）定義：M = M1 ⊙ M2 規(guī)定：M(Φ) = 0 ，M(

60、{si}) =其中 K＝M1(D)M2(D)+,證據(jù)理論 (舉例),設(shè)有如下推理規(guī)則：,,,,,證據(jù)理論 (舉例),Ei（i = 1,2,…,6）是原始證據(jù)，用戶在系統(tǒng)運(yùn)行時(shí)已給定它們的類概率如下：            設(shè)定|U|＝10，求假設(shè) A的確定性。 這些規(guī)則形成與或形推理樹（如圖）。

61、,,,,,證據(jù)理論 (舉例),,,,,0.5 0.7 0.9 0.9 0.8 0.7,證據(jù)理論 (優(yōu)缺點(diǎn)),,,,,優(yōu)點(diǎn)：直觀地表示了不了解的部分。 缺點(diǎn)： 推理（如辨別框的劃分）較困難，缺乏實(shí)踐檢驗(yàn)。,第五章 不確定性推理,基本概念概率方法主觀Bayes方法,,,,,,可信度方法證據(jù)理論貝葉斯網(wǎng)絡(luò),第五章 不確定性推理,基本概念概率方

62、法主觀Bayes方法,,,,,,可信度方法證據(jù)理論貝葉斯網(wǎng)絡(luò),,貝葉斯網(wǎng)絡(luò),二十世紀(jì)八十年代貝葉斯網(wǎng)絡(luò)（Bayes Network）成功地應(yīng)用于專家系統(tǒng)，成為表示不確定性專家知識(shí)和推理的一種流行的方法?；谪惾~斯方法的貝葉斯網(wǎng)絡(luò)是一種適應(yīng)性很廣的手段和工具，具有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)。在綜合先驗(yàn)信息（領(lǐng)域知識(shí)）和數(shù)據(jù)樣本信息的前提下，還可避免只使用先驗(yàn)信息可能帶來的主觀偏見。雖然很多貝葉斯網(wǎng)絡(luò)涉及的學(xué)習(xí)問題是NP難解的。但是，由于

63、已經(jīng)有了一些成熟的近似解法，加上一些限制后計(jì)算可大為簡(jiǎn)化，很多問題可以利用近似解法求解。,貝葉斯網(wǎng)絡(luò),貝葉斯網(wǎng)絡(luò)方法的不確定性表示基本上是保持了概率的表示方式，可信度計(jì)算也是概率計(jì)算方法，只是在實(shí)現(xiàn)時(shí)，各具體系統(tǒng)根據(jù)應(yīng)用背景的需要采用各種各樣的近似計(jì)算方法。推理過程稱為概率推理。因此，貝葉斯網(wǎng)絡(luò)沒有其它確定性推理方法擁有的確定性表示、計(jì)算、語(yǔ)義解釋等問題。本節(jié)只介紹貝葉斯網(wǎng)絡(luò)的基本概念和簡(jiǎn)單的推理方法。,貝葉斯網(wǎng)絡(luò)（事件的獨(dú)立性）,

64、獨(dú)立：如果X與Y相互獨(dú)立，則 P(X,Y) = P(X)P(Y) P(X|Y) = P(X)條件獨(dú)立：如果在給定Z的條件下，X與Y相互獨(dú)立，則 P(X|Y, Z) = P(X|Z)實(shí)際中，條件獨(dú)立比完全獨(dú)立更重要,貝葉斯網(wǎng)絡(luò)（聯(lián)合概率）,聯(lián)合概率：P(X1, X2, …, XN)二值，則有2N可能的值，其中2N-1個(gè)獨(dú)立。如果相互獨(dú)立：

65、 P(X1, X2, …, XN) = P(X1) P(X2) …P(XN),貝葉斯網(wǎng)絡(luò)（聯(lián)合概率）,條件概率： P(X1, X2, …, XN) = P(X1|X2, …, XN) P(X2, …, XN)迭代表示：P(X1, X2, …, XN) = P(X1) P(X2| X1) P(X3| X2X1)…P(XN|XN-1, …, X1) = P(XN) P(XN-1| XN) P(XN-2| XN-1

66、XN)…P(X1|X2, …, XN) 實(shí)際應(yīng)用中就是利用條件獨(dú)立性的性質(zhì)簡(jiǎn)化網(wǎng)絡(luò)復(fù)雜性的。,貝葉斯網(wǎng)絡(luò)（基本概念）,貝葉斯網(wǎng)絡(luò)：一系列變量的聯(lián)合概率分布的圖形表示。一個(gè)表示變量之間的相互依賴關(guān)系的數(shù)據(jù)結(jié)構(gòu)；圖論與概率論的結(jié)合。,貝葉斯網(wǎng)絡(luò)（因果關(guān)系網(wǎng)絡(luò)）,假設(shè)：命題S(smoker)：該患者是一個(gè)吸煙者命題C(coal Miner)：該患者是一個(gè)煤礦礦井工人命題L(lung Cancer)：他患了肺癌

67、命題E(emphysema)：他患了肺氣腫由專家給定的假設(shè)可知，命題S對(duì)命題L和命題E有因果影響，而C對(duì)E也有因果影響。,貝葉斯網(wǎng)絡(luò)（因果關(guān)系圖例）,命題之間的關(guān)系可以描繪成因果關(guān)系網(wǎng)。每一個(gè)節(jié)點(diǎn)代表一個(gè)證據(jù)，每一條弧代表一條規(guī)則（假設(shè)），連接結(jié)點(diǎn)的弧表達(dá)了有規(guī)則給出的，節(jié)點(diǎn)間的直接因果關(guān)系。,因果關(guān)系圖例:其中，節(jié)點(diǎn)S，C是節(jié)點(diǎn)L和E的父節(jié)點(diǎn)或稱雙親節(jié)點(diǎn)，同時(shí)，L，E也稱為是S和C的子節(jié)點(diǎn)或稱后代節(jié)點(diǎn)。,貝葉斯網(wǎng)絡(luò)（貝葉斯網(wǎng)絡(luò)）

68、,貝葉斯網(wǎng)就是一個(gè)在弧的連接關(guān)系上加入連接強(qiáng)度的因果關(guān)系網(wǎng)絡(luò) 。如果A是B的父結(jié)點(diǎn)，P(B|A)就是這兩個(gè)結(jié)點(diǎn)的連接強(qiáng)度；如果C也是 B的一個(gè)雙親結(jié)點(diǎn)，則用聯(lián)合概率P(B|AC)來描述。當(dāng)結(jié)點(diǎn)沒有父結(jié)點(diǎn)時(shí)，稱為頂點(diǎn)。貝葉斯網(wǎng)必須指定頂點(diǎn)的先驗(yàn)概率。,貝葉斯網(wǎng)絡(luò)（圖例）,,貝葉斯網(wǎng)絡(luò)圖例無環(huán)圖和指定概率值P(A), P(C), P(B|AC), P(E|B), P(B|D), P(F|E), P(G|DEF),貝葉斯網(wǎng)絡(luò)（圖例）,貝

69、葉斯網(wǎng)是一個(gè)有向無環(huán)圖。如果結(jié)點(diǎn)間有反饋回路，從各個(gè)方向就可以得到不同的連接權(quán)值，而使得最后難以確定。右圖是一個(gè)有環(huán)的網(wǎng)絡(luò)，不是貝葉斯網(wǎng)。,非貝葉斯網(wǎng)絡(luò)圖例,貝葉斯網(wǎng)絡(luò)（定義）,兩個(gè)部分貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖，這是一個(gè)有向無環(huán)圖（DAG: Directed Acyclic Graph），其中圖中的每個(gè)節(jié)點(diǎn)代表相應(yīng)的變量。當(dāng)有向弧由節(jié)點(diǎn)A指向節(jié)點(diǎn)B時(shí)，則稱：A是B的父節(jié)點(diǎn)；B是A的子節(jié)點(diǎn)。節(jié)點(diǎn)和節(jié)點(diǎn)之間的條件概率表（Conditiona

70、l Probability Table, CPT），也就是一系列的概率值，表示了局部條件概率分布。P(node|parents) 。目的：由證據(jù)得出原因發(fā)生的概率。 即觀察到P(Y)，求P(X|Y),貝葉斯網(wǎng)絡(luò)（如何構(gòu)造）,選擇變量，生成節(jié)點(diǎn) 從左至右（從上到下），排列節(jié)點(diǎn)填充網(wǎng)絡(luò)連接弧，表示節(jié)點(diǎn)之間的關(guān)系得到條件概率關(guān)系表,貝葉斯網(wǎng)絡(luò)（計(jì)算）,有向非循環(huán)圖是各個(gè)節(jié)點(diǎn)變量關(guān)系傳遞的合理表達(dá)形式。條件概率的引入使得計(jì)算較之全連接