云環(huán)境下頻繁項集挖掘與調(diào)度策略的研究.pdf

1、云計算提供了安全、快速、便捷的數(shù)據(jù)存儲以及多元化的網(wǎng)絡(luò)服務(wù)，人們可以利用各種數(shù)據(jù)終端通過網(wǎng)絡(luò)獲得大規(guī)模的數(shù)據(jù)計算以及各種定制服務(wù)。云計算技術(shù)已經(jīng)越來越受到人們的重視與廣泛研究。
　　從大規(guī)模數(shù)據(jù)中挖掘出用戶感興趣的信息是云計算技術(shù)的重要應(yīng)用領(lǐng)域，而云環(huán)境下各節(jié)點之間的數(shù)據(jù)傳輸已成為大規(guī)模數(shù)據(jù)計算的性能瓶頸之一，如何減少乃至避免數(shù)據(jù)的傳輸而又挖掘出具有確定性的有效信息是本文首先所做的研究。在大規(guī)模數(shù)據(jù)背景下，如何有效的管理系統(tǒng)資源，

2、是衡量一個系統(tǒng)性能好壞的重要指標。帶有截止期限的提前預(yù)定任務(wù)調(diào)度機制雖然增加了對系統(tǒng)資源的可預(yù)測性，但隨著任務(wù)規(guī)模的增加，產(chǎn)生的大量資源碎片將導(dǎo)致系統(tǒng)整體性能以及任務(wù)命中率的顯著下降，本文針對系統(tǒng)產(chǎn)生的資源碎片做了相關(guān)的細致的研究，大大降低了資源碎片對系統(tǒng)性能的影響程度。云計算的商業(yè)化特性必須使用戶感受到較高的服務(wù)質(zhì)量。在云環(huán)境下執(zhí)行數(shù)據(jù)密集型工作流時由于存在大量的共享數(shù)據(jù)而使得用戶在享受云計算所帶來的高性能計算能力的同時也增加了成本開

3、銷。如何使用戶的成本收益最大化，享受到最優(yōu)的服務(wù)質(zhì)量，本文做了較為深入的研究。本文所做的主要研究內(nèi)容如下:
　　1)為了避免在云環(huán)境下并行進行頻繁項集挖掘時各個節(jié)點間的依賴數(shù)據(jù)傳輸，本文提出了一種基于二進制編碼聚類的并行頻繁項集挖掘算法，不僅通過編碼聚類降低了節(jié)點間的依賴關(guān)系，并且利用一種共享多頭表的方式完全避免了節(jié)點間的數(shù)據(jù)傳輸，大大增加了并行頻繁挖掘的執(zhí)行效率。雖然會產(chǎn)生一些少量的膨脹頻繁項，但是實驗證明對于多種類型的事物數(shù)據(jù)

4、集都獲得了比現(xiàn)有的并行頻繁項集挖掘算法更高的執(zhí)行性能。
　　2)為了充分利用由帶有截止期限的提前預(yù)定任務(wù)產(chǎn)生的資源碎片，本文用計算幾何的相關(guān)知識將系統(tǒng)資源進行平面映射，通過對平面水平分割的形式構(gòu)建多棵具有特殊結(jié)構(gòu)的改進的平衡搜索樹，與單樹結(jié)構(gòu)相比大大降低了信息更新所帶來的時間開銷，并通過本文提出的碎片影響度評價指標，綜合考慮碎片長度和碎片時間對系統(tǒng)性能所造成的影響，選取最優(yōu)的碎片進行資源調(diào)度，獲得了比現(xiàn)存資源調(diào)度策略更高的系統(tǒng)利用