分布式復(fù)雜事件處理關(guān)鍵技術(shù)研究.pdf

1、近年來(lái)，互聯(lián)網(wǎng)中產(chǎn)生的數(shù)據(jù)大幅增加，如何處理這些數(shù)據(jù)，挖掘出數(shù)據(jù)中蘊(yùn)涵的信息，成為計(jì)算機(jī)領(lǐng)域關(guān)注的重點(diǎn)。傳統(tǒng)的數(shù)據(jù)挖掘方法是先將這些數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)之中，再對(duì)其進(jìn)行處理，但是這些數(shù)據(jù)中只有小部分是我們感興趣的，全部存儲(chǔ)起來(lái)代價(jià)很大，而且在很多領(lǐng)域，比如證券市場(chǎng)，電力設(shè)備的檢測(cè)，對(duì)數(shù)據(jù)處理的實(shí)時(shí)性要求很高，傳統(tǒng)的數(shù)據(jù)挖掘及數(shù)據(jù)庫(kù)的處理方法，無(wú)法滿足這些數(shù)據(jù)處理的實(shí)時(shí)性，為了能夠?qū)崟r(shí)地從源源不斷的海量數(shù)據(jù)中提取出感興趣及更高層次的信息，出現(xiàn)

2、了復(fù)雜事件處理系統(tǒng)，用戶預(yù)先在系統(tǒng)中定義需要檢測(cè)的復(fù)雜事件模式，復(fù)雜事件處理系統(tǒng)實(shí)時(shí)對(duì)數(shù)據(jù)流進(jìn)行檢測(cè)，當(dāng)檢測(cè)到用戶自定義的復(fù)雜事件模式的時(shí)候，通知用戶或者做出響應(yīng)。
　　目前已經(jīng)存在著很多復(fù)雜事件處理系統(tǒng)，各個(gè)系統(tǒng)適用于不同的場(chǎng)景之中，也針對(duì)不同問(wèn)題進(jìn)行了改進(jìn)，但這些系統(tǒng)普遍采用集中式的架構(gòu)，隨著目前事件產(chǎn)生的速率不斷增加，事件的復(fù)雜度不斷的增加，傳統(tǒng)的運(yùn)行在單節(jié)點(diǎn)上的復(fù)雜事件處理系統(tǒng)的處理能力已經(jīng)遇到了瓶頸。
　　針對(duì)上述

3、問(wèn)題，在本文中，我們?cè)O(shè)計(jì)實(shí)現(xiàn)了一個(gè)分布式的復(fù)雜事件處理系統(tǒng)，該系統(tǒng)通過(guò)查詢重寫方法和分布式處理，提高復(fù)雜事件處理系統(tǒng)的處理能力，本文的貢獻(xiàn)主要包括以下幾個(gè)方面:
　　(1)一種新的事件模型和事件模式語(yǔ)言，其更適用于查詢重寫和分布式實(shí)現(xiàn)。
　　(2)對(duì)基于有向圖的復(fù)雜事件模式檢測(cè)方法進(jìn)行改進(jìn)，并提出一種查詢重寫算法，使得復(fù)雜事件模式查詢更加高效。
　　(3)設(shè)計(jì)分布式復(fù)雜事件處理框架，并使用分布式流處理框架Storm對(duì)其