數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)挖掘網(wǎng)格是一種專用網(wǎng)格，它是數(shù)據(jù)挖掘技術(shù)與網(wǎng)格技術(shù)的有機結(jié)合，主要用來解決面向海量數(shù)據(jù)的、高計算能力要求的數(shù)據(jù)挖掘問題，它能夠在動態(tài)變化的多個網(wǎng)格節(jié)點間共享資源和協(xié)同解決面向各領(lǐng)域的智能分析問題。 由于數(shù)據(jù)挖掘應(yīng)用本身的復(fù)雜性和網(wǎng)格的異構(gòu)性、動態(tài)性，使得數(shù)據(jù)挖掘網(wǎng)格具有自己的特點，它的很多關(guān)鍵技術(shù)還有待進一步研究，作業(yè)分配與調(diào)度技術(shù)便是其一．作業(yè)分配與調(diào)度的核心功能是識別作業(yè)的資源需求，查詢、分配、調(diào)度和監(jiān)視資源，以盡可能高

2、效地利用資源，提高整個網(wǎng)格系統(tǒng)的性能，保證資源使用者和提供者的利益。作業(yè)的分配與調(diào)度分為三個階段：資源發(fā)現(xiàn)、資源分配和任務(wù)調(diào)度，這是一個完整的過程，本文圍繞該過程所涉及到的關(guān)鍵技術(shù)，對分配與調(diào)度架構(gòu)、作業(yè)與調(diào)度建模、資源發(fā)現(xiàn)、資源分配和定價策略等方面進行了系統(tǒng)而深入的研究。 論文的主要工作和貢獻歸納如下： 1、提出一種基于可變結(jié)構(gòu)Petri網(wǎng)的作業(yè)模型作業(yè)分配、調(diào)度和運行過程的形式化描述有助于過程的正確性檢驗、性能評價和

3、優(yōu)化。根據(jù)數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度的需求和特點，論文中提出了一種基于可變結(jié)構(gòu)Petri網(wǎng)的作業(yè)模型和相應(yīng)的作業(yè)調(diào)度模型。它們不僅能夠?qū)ψ鳂I(yè)分配與調(diào)度的過程和作業(yè)運行過程進行精確定義，還能對整個過程進行各種正確性和性能分析，以處理作業(yè)在使用數(shù)據(jù)挖掘網(wǎng)格中的動態(tài)、分布式資源時所產(chǎn)生的沖突、異常等問題。論文對各粒度作業(yè)之間的分解規(guī)則進行了詳細定義，并通過設(shè)計變遷樹來分析作業(yè)網(wǎng)的性能和優(yōu)化作業(yè)的分配過程。 2、提出了一種基于興趣組的

4、分布式信息服務(wù)資源發(fā)現(xiàn)是作業(yè)分配與調(diào)度中必不可少的階段。論文中提出了一種基于興趣組的信息服務(wù)，它為作業(yè)分配與調(diào)度提供可靠、高效的資源信息管理與發(fā)現(xiàn)服務(wù)。該信息服務(wù)采用了信息備份和鄰居分類機制來有效地縮短查詢距離，提高查詢的成功率和保證系統(tǒng)的連通性。實驗結(jié)果表明，基于興趣組的信息服務(wù)適合于大規(guī)模的、可靠性要求高的網(wǎng)格系統(tǒng)。 3、提出了一種基于性價比的資源分配機制資源分配從可用資源集中為各個任務(wù)選擇最合適的資源或資源集，并為它們分配

5、具體的工作量，它是作業(yè)分配與調(diào)度的重要組成部分。論文中提出了一種基于性價比的資源分配機制，該分配機制在滿足任務(wù)時限和預(yù)算的前提下，使資源使用者在使用資源時達到個體的效用最大化。實驗分析表明基于性價比的分配在實現(xiàn)了用戶使用資源效用最大化的同時，在分配成功率、時間和費用優(yōu)化方面也取得了不錯的效果。 4、提出了一種基于資源負載預(yù)測和任務(wù)分類的動態(tài)價格機制在作業(yè)分配與調(diào)度過程中，除了要保證資源使用者的利益外，還要保證資源提供者的利益，并