InfoSphere StreamS中圖處理中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、眾多實(shí)際的問題可以抽象為圖的模型,如網(wǎng)絡(luò)拓?fù)?、社交網(wǎng)絡(luò)、網(wǎng)頁超鏈接等。針對(duì)這些應(yīng)用需求,業(yè)界和學(xué)術(shù)界開發(fā)了很多基于圖的算法、計(jì)算框架、開源軟件、函數(shù)庫,這在一段時(shí)間內(nèi)滿足了應(yīng)用的需求。這些方案的重點(diǎn)是提升離線計(jì)算的效率,不關(guān)注圖數(shù)據(jù)的實(shí)時(shí)處理、快速查詢,部分方案可處理數(shù)據(jù)的規(guī)模有限,但隨著當(dāng)前圖應(yīng)用規(guī)模的擴(kuò)大和新需求的產(chǎn)生以及分布式處理、流式處理的發(fā)展,舊的這些解決方案已經(jīng)不能適應(yīng)當(dāng)前應(yīng)用的要求,因此設(shè)計(jì)一個(gè)高效的圖處理框架或工具是有意

2、義的。
　　基于IBM的流處理系統(tǒng)(InfoSphere StreamS),設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)可以處理圖的中間件原型,運(yùn)行于StreamS的應(yīng)用可以直接調(diào)用它的接口來進(jìn)行與圖相關(guān)的處理。中間件在功能上,以圖的查詢?yōu)楹诵墓δ茏鲈O(shè)計(jì),綜合考慮圖的更新、計(jì)算、查詢和流式處理;在圖的表示上,以頂點(diǎn)為核心,并設(shè)計(jì)了附屬結(jié)構(gòu),加快圖的遍歷和查詢,采用內(nèi)存預(yù)分配和緩回收等技術(shù)來優(yōu)化圖的基本操作的性能;在圖的計(jì)算上,采用Google的圖處理框架Pr

3、egel;在數(shù)據(jù)傳輸和容錯(cuò)處理上,采用StreamS的內(nèi)部庫實(shí)現(xiàn)部分?jǐn)?shù)據(jù)傳輸和容錯(cuò)處理;在流處理方面,通過在緩存、通信、并行處理、在線計(jì)算方面做優(yōu)化來滿足流處理應(yīng)用的特點(diǎn);在接口方面,根據(jù)StreamS的規(guī)范編寫交互接口,內(nèi)部實(shí)現(xiàn)對(duì)應(yīng)用透明。
　　通過實(shí)驗(yàn),驗(yàn)證了原型系統(tǒng)在圖的存儲(chǔ)、計(jì)算和查詢方面的功能,并對(duì)系統(tǒng)進(jìn)行了測試。在核心功能查詢性能上,中間件(三個(gè)工作結(jié)點(diǎn))相對(duì)于采用通用函數(shù)庫實(shí)現(xiàn)的單機(jī)傳統(tǒng)的圖處理框架,性能提高130％