分布式BI數(shù)據(jù)分析引擎的設(shè)計與實現(xiàn).pdf

1、隨著時代的發(fā)展和技術(shù)的進步，互聯(lián)網(wǎng)上的商業(yè)信息和企業(yè)內(nèi)部數(shù)據(jù)都呈現(xiàn)幾何級數(shù)般地快速擴容。所以，傳統(tǒng)的商業(yè)智能數(shù)據(jù)分析已經(jīng)演進到大數(shù)據(jù)處理時代。而在精細處理這些海量數(shù)據(jù)的應(yīng)用實現(xiàn)方面，還存在很多技術(shù)難點。因此，利用社會化網(wǎng)絡(luò)特性，在任務(wù)層面進行分布式網(wǎng)絡(luò)計算；并結(jié)合傳統(tǒng)搜索引擎系統(tǒng)的分詞、倒排索引等成熟關(guān)鍵技術(shù)；設(shè)計與實現(xiàn)一個面向商業(yè)智能大數(shù)據(jù)應(yīng)用，能提供垂直搜索、輿情和商情排行等互聯(lián)網(wǎng)web服務(wù)的技術(shù)解決方案，就具有了十分重要的意義。<

2、br>　　在設(shè)計方面：針對原始數(shù)據(jù)的龐大性，復(fù)雜性，將其整體處理的大任務(wù)分成許多按專業(yè)屬性細化的小任務(wù)，引入“招標”競爭機制，遵循“馬太效應(yīng)”，將每一個細化的任務(wù)片，最合理地分派到給：利用“物以類聚，人以群分”的社會化網(wǎng)絡(luò)基本特性組建起來的，由專業(yè)領(lǐng)域人類智能掌控的分布式網(wǎng)絡(luò)節(jié)點。并將節(jié)點返回的數(shù)據(jù)，進行績效考核打分，作為下次任務(wù)分配的依據(jù)。這些論述體現(xiàn)了標題中關(guān)于分布式的創(chuàng)新思想。同時，面向傳統(tǒng)的商業(yè)智能應(yīng)用，構(gòu)建了數(shù)據(jù)采集，原始數(shù)據(jù)

3、結(jié)構(gòu)化處理，建立索引和查詢支持四個核心模塊的架構(gòu)，并明確了其最基本的功能輸出。這些論述體現(xiàn)了標題中軟件系統(tǒng)必須為商業(yè)智能應(yīng)用提供特殊優(yōu)化的工程實踐思想。
　　在實現(xiàn)方面：闡述了分布式處理的三個核心軟件包的技術(shù)細節(jié)，完成了基礎(chǔ)（祖先）類圖，并依此舉例闡述了重點核心算法、流程和核心代碼。并對其進行了一定深度和廣度的測試。并根據(jù)實驗結(jié)果，驗證了該平臺在現(xiàn)有技術(shù)條件下的可行性。
　　最后依照測試結(jié)果得出若干結(jié)論，證實系統(tǒng)達到預(yù)期目標