流數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf

1、流數(shù)據(jù)挖掘是對到達(dá)的數(shù)據(jù)流按照一定的序列進(jìn)行挖掘，它和靜態(tài)數(shù)據(jù)關(guān)聯(lián)規(guī)則的挖掘的不同在于流數(shù)據(jù)具有高速、連續(xù)和無邊界等特性。流數(shù)據(jù)具有的獨(dú)特特性給數(shù)據(jù)挖掘和分析帶來一系列問題，比如如何快速高效的識別挖掘周期內(nèi)的有效模式，模式以何種方式呈現(xiàn)能使使用者容易理解，高速數(shù)據(jù)挖掘中采用何種數(shù)據(jù)結(jié)構(gòu)能有效的對數(shù)據(jù)模式進(jìn)行維護(hù)、保存和刪除，如何選擇合適的挖掘周期，對于連續(xù)的流數(shù)據(jù)采用何種方式進(jìn)行噪音處理等。
　　 論文在對以上問題研究的基礎(chǔ)上，

2、進(jìn)一步對流數(shù)據(jù)指標(biāo)的聚合在網(wǎng)絡(luò)中的應(yīng)用進(jìn)行了研究，多個(gè)指標(biāo)如何反映到一個(gè)指標(biāo)從而有利于業(yè)務(wù)管理者對業(yè)務(wù)進(jìn)行有效的監(jiān)控和管理。同時(shí)，通過對流數(shù)據(jù)指標(biāo)的動(dòng)態(tài)學(xué)習(xí)，深度挖掘流數(shù)據(jù)的特性，使得業(yè)務(wù)提供者可以在更高層次上評估用戶使用業(yè)務(wù)的體驗(yàn)。
　　 論文的主要工作和創(chuàng)新點(diǎn)簡要?dú)w納如下：
　　 1）針對如何高效快速的識別挖掘周期內(nèi)的有效模式，論文提出了一種大規(guī)模網(wǎng)絡(luò)中流數(shù)據(jù)事件關(guān)聯(lián)分析的算法EARA（Events Associat

3、ion Rules Analysis），通過EARA可以發(fā)現(xiàn)未知結(jié)構(gòu)大規(guī)模網(wǎng)絡(luò)中的異常事件，并且可以使得用戶選擇置信度門限值以達(dá)到僅僅提取有效模式的目的。同時(shí)提出了一種可視化模式壓縮算法VPC（Visual Pattern Compress），解決了流數(shù)據(jù)挖掘中模式以何種方式呈現(xiàn)能使用戶容易理解的問題。實(shí)驗(yàn)結(jié)果顯示EARA算法可以發(fā)現(xiàn)重要事件之間的關(guān)聯(lián)關(guān)系，而VPC算法進(jìn)一步壓縮事件，使得使用者可以很容易從數(shù)以千計(jì)的關(guān)聯(lián)事件中發(fā)現(xiàn)有用的

4、模式。
　　 2）針對高速數(shù)據(jù)挖掘中采用何種數(shù)據(jù)結(jié)構(gòu)能有效的對數(shù)據(jù)模式進(jìn)行維護(hù)、保存和刪除問題，論文提出了一種在智能建筑中對于傳感網(wǎng)絡(luò)中的流數(shù)據(jù)進(jìn)行增量知識挖掘的算法IKMM（Incremental Knowledge Mining Model），IKMM算法采用樹狀結(jié)構(gòu)來提高挖掘效率，通過滑動(dòng)窗口時(shí)間參數(shù)來控制樹狀結(jié)構(gòu)的變化速度。另外，通過啟發(fā)式規(guī)則提高關(guān)聯(lián)規(guī)則的提取效率。通過同傳統(tǒng)的FUP2（Fast Update Patt

5、erns2）和AFPIM（Adjusting FP-Tree forIncremental Mining）算法進(jìn)行對比，在高維情況下，IKMM算法是其他兩種算法效率的10倍以上。
　　 3）數(shù)據(jù)挖掘時(shí)機(jī)的確定是目前流數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘算法的研究熱點(diǎn)之一，就是在什么條件下需要重新運(yùn)行挖掘算法提取關(guān)聯(lián)規(guī)則，并且在有限的系統(tǒng)資源下盡可能提高挖掘效率和減少挖掘成本。論文提出了一種在流數(shù)據(jù)挖掘算法中關(guān)聯(lián)規(guī)則提取時(shí)機(jī)的確定算法KRPB（Key

6、 Runtime Point Boundary），KRPB只對原始數(shù)據(jù)集進(jìn)行一次掃描，在后續(xù)周期掃描中利用前次掃描的保存結(jié)果進(jìn)行增量更新即可，在相鄰兩次原始數(shù)據(jù)集上取得支撐度附近的頻繁項(xiàng)集參與兩次數(shù)據(jù)集的變化差異程度的估計(jì)計(jì)算，從而確定是否需要運(yùn)行挖掘算法進(jìn)行數(shù)據(jù)模式的提取。
　　 4）為了對流數(shù)據(jù)特性進(jìn)行有效監(jiān)控，即如何可視化流數(shù)據(jù)指標(biāo)之間的內(nèi)在本質(zhì)聯(lián)系，論文對流數(shù)據(jù)的可視化數(shù)據(jù)挖掘進(jìn)行了研究，即如何用可視化的方式來動(dòng)態(tài)展示流

7、數(shù)據(jù)之間的內(nèi)在關(guān)系，在這個(gè)基礎(chǔ)上提出了一種流數(shù)據(jù)增量式多維可擴(kuò)展可視化挖掘算法IMDS（Incremental Multi-dimension Scaling）。IMDS通過數(shù)據(jù)表現(xiàn)的特征形狀進(jìn)行聚類，并且聚類結(jié)果會隨著時(shí)間的推移用動(dòng)態(tài)可視化的方式實(shí)時(shí)展現(xiàn)。通過仿真實(shí)驗(yàn)表明，IMDS算法相比傳統(tǒng)的MDS（Multi-dimension Scaling）算法和簡易型SIMPLEX優(yōu)化算法在流數(shù)據(jù)挖掘中可以明顯地提高可視化挖掘效率和可視化效

8、果。
　　 5）針對流數(shù)據(jù)指標(biāo)的聚合在網(wǎng)絡(luò)中的應(yīng)用，論文對網(wǎng)絡(luò)底層數(shù)據(jù)流如何映射到業(yè)務(wù)層進(jìn)行了研究，通過研究發(fā)現(xiàn)，如果能對底層數(shù)據(jù)流進(jìn)行實(shí)時(shí)的聚合和分析，就能使得業(yè)務(wù)提供者實(shí)時(shí)觀察當(dāng)前網(wǎng)絡(luò)和系統(tǒng)的健康狀況，進(jìn)一步能覺察到用戶對當(dāng)前業(yè)務(wù)的體驗(yàn)狀況。論文參考TMF（Telecommunication Management Forum）規(guī)范的基礎(chǔ)上，提出了K2K（KPI toKQI）算法，使得不同量綱的流數(shù)據(jù)指標(biāo)可以平滑聚合到同一指標(biāo)

9、。但是在以上的聚合中存在如何分配流數(shù)據(jù)指標(biāo)權(quán)重關(guān)系的問題，對此論文進(jìn)一步提出了一種針對SLA（ServiceLevel Agreement）數(shù)據(jù)特性的模式提取算法SLAEP（SLA Extract Patterns）。本算法主要抽取出網(wǎng)絡(luò)數(shù)據(jù)流中關(guān)鍵性能指標(biāo)和關(guān)鍵質(zhì)量指標(biāo)，根據(jù)用戶的體驗(yàn)進(jìn)行機(jī)器學(xué)習(xí)發(fā)現(xiàn)模式，利用將多維數(shù)據(jù)轉(zhuǎn)化成多維空間的映射點(diǎn)，有效的避免了求多個(gè)指標(biāo)之間關(guān)聯(lián)度的問題，制定出一種實(shí)際運(yùn)行中可以自動(dòng)歸納總結(jié)滿足業(yè)務(wù)SLA策