基于MapReduce的分布式規(guī)則匹配系統(tǒng)的研究與實現(xiàn).pdf

1、隨著基于規(guī)則的系統(tǒng)的廣泛使用，規(guī)則匹配的效率問題越來越受到人們的重視。自上世紀(jì)七、八十年代以來，人們一直為提高規(guī)則匹配的效率而努力。本文通過對優(yōu)秀規(guī)則推理引擎系統(tǒng)進(jìn)行學(xué)習(xí)和研究，同時在對分布式計算框架研究和學(xué)習(xí)的基礎(chǔ)上，提出和實現(xiàn)了一個基于MapReduce的分布式規(guī)則匹配架構(gòu)，利用MapReduce的思想，將匹配任務(wù)分解到一個集群中，并經(jīng)過適當(dāng)?shù)臍w并，快速得到規(guī)則匹配的結(jié)果。在大規(guī)模的規(guī)則和數(shù)據(jù)的環(huán)境下能夠顯著提高規(guī)則的匹配效率，并且

2、使系統(tǒng)具有更好的可擴(kuò)展性和靈活性。
　　 本文首先從總體需求、接口及系統(tǒng)效率和可靠性需求等幾個方面對系統(tǒng)需求進(jìn)行了分析，并在此基礎(chǔ)上提出了系統(tǒng)的總體架構(gòu)。和MapReduce架構(gòu)一致，系統(tǒng)采用了Master/Worker模式，將Worker分為Map Worker和Reduce Worker，分別進(jìn)行分布式規(guī)則的匹配和結(jié)果匯總的工作。Master負(fù)責(zé)完成任務(wù)的分解和分配，并對所有Worker進(jìn)行管理和監(jiān)控。然后對分布式規(guī)則匹配系

3、統(tǒng)的任務(wù)分配策略進(jìn)行了介紹。在將規(guī)則分解成子規(guī)則的基礎(chǔ)上，提出了一種子規(guī)則的分配策略，根據(jù)服務(wù)器負(fù)載信息和已分配的子規(guī)則信息，實現(xiàn)將子規(guī)則及規(guī)則匹配的任務(wù)能夠均衡地分配到分布式環(huán)境中。在對事實進(jìn)行分配時，基于子規(guī)則的分配情況，提出了事實的分配策略，將事實分配到存在相應(yīng)子規(guī)則的Map Worker上。并給出了處理子規(guī)則與事實匹配的具體Map過程。接著詳細(xì)介紹了分布式規(guī)則在完成匹配后的觸發(fā)和執(zhí)行方式。給出了在歸并中間結(jié)果時所采用的具體Red

4、uce過程。在處理規(guī)則觸發(fā)時，提出了對關(guān)聯(lián)規(guī)則進(jìn)行觸發(fā)的方法，并給出了控制規(guī)則觸發(fā)過程的方式。在處理沖突時，介紹了幾種比較常用的沖突解決策略。
　　 文章最后給出了原型系統(tǒng)的實現(xiàn)類圖并對系統(tǒng)的性能進(jìn)行了測試。在系統(tǒng)實現(xiàn)部分，以實現(xiàn)類圖的方式介紹了對Master、Map Worker、Reduce Worker及系統(tǒng)交互10等主要模塊的設(shè)計。通過對不同問題規(guī)模和服務(wù)器規(guī)模的情況進(jìn)行測試，比較了系統(tǒng)匹配效率，測試結(jié)果基本上達(dá)到了預(yù)期