云計(jì)算環(huán)境下構(gòu)件資源聚類技術(shù)研究.pdf

1、隨著軟件復(fù)用及應(yīng)用的深入研究，可復(fù)用軟件構(gòu)件庫(kù)作為軟件復(fù)用的一項(xiàng)重要基礎(chǔ)設(shè)施已經(jīng)越來(lái)越得到產(chǎn)業(yè)界與學(xué)術(shù)界的重視。構(gòu)件的查詢是構(gòu)件庫(kù)的基本功能，利用聚類技術(shù)對(duì)構(gòu)件進(jìn)行聚類，可以實(shí)現(xiàn)構(gòu)件的自動(dòng)分類，有效地提高構(gòu)件的查詢效率。目前，Internet上出現(xiàn)了很多專門的構(gòu)件庫(kù)，但是各個(gè)專用的構(gòu)件庫(kù)由于對(duì)構(gòu)件的表示以及組織形式上各不相同，使用不夠靈活?，F(xiàn)在對(duì)分布式構(gòu)件庫(kù)方面的研究，提高了構(gòu)件的管理和訪問(wèn)效率，并且采用XML技術(shù)有效地解決了異質(zhì)構(gòu)件庫(kù)

2、的檢索問(wèn)題，但構(gòu)件資源的規(guī)模隨著應(yīng)用的推廣會(huì)不斷擴(kuò)大，負(fù)責(zé)存儲(chǔ)構(gòu)件的中心服務(wù)器的存儲(chǔ)能力是有限的。此外，提供服務(wù)的增長(zhǎng)給計(jì)算資源帶來(lái)相當(dāng)大的壓力，當(dāng)負(fù)載過(guò)重時(shí)，查詢構(gòu)件的效率會(huì)降低，并且傳統(tǒng)模式中聚類方法在處理海量、高維和稀疏的數(shù)據(jù)上存在不足，這已成為當(dāng)前研究的熱點(diǎn)也是一個(gè)待解決的難點(diǎn)。
　　 針對(duì)分布式模式的構(gòu)件庫(kù)所存在的問(wèn)題，由于云計(jì)算所具有的可擴(kuò)展和高性能計(jì)算特性，將云計(jì)算技術(shù)運(yùn)用到構(gòu)件技術(shù)研究中，探討利用云存儲(chǔ)將網(wǎng)絡(luò)中的

3、構(gòu)件資源組織起來(lái)，設(shè)計(jì)在云計(jì)算環(huán)境下的構(gòu)件資源的檢索架構(gòu)，著重研究這種架構(gòu)中的構(gòu)件聚類技術(shù)。針對(duì)傳統(tǒng)聚類方法在處理大規(guī)模數(shù)據(jù)上的不足，對(duì)聚類算法性能產(chǎn)生了很大的負(fù)面影響，結(jié)合MapReduce并行計(jì)算的研究，在云計(jì)算平臺(tái)Hadoop上設(shè)計(jì)并實(shí)現(xiàn)了基于MapReduce的聚類模型。為了減少I/O操作和CPU的性能瓶頸，通過(guò)調(diào)整算法輸入?yún)?shù)和集群數(shù)量對(duì)設(shè)計(jì)的算法進(jìn)行了優(yōu)化。這在很大程序上改善了數(shù)據(jù)處理和聚類算法的可擴(kuò)展性和性能要求。

4、　　 分別從數(shù)據(jù)規(guī)模、節(jié)點(diǎn)數(shù)量和不同任務(wù)粒度對(duì)系統(tǒng)性能的影響，以及對(duì)聚類中兩種相似性計(jì)算方法的性能進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明MapReduce框架提高了大型數(shù)據(jù)集的吞吐效率，可以有效減少計(jì)算時(shí)間，基于Hadoop實(shí)現(xiàn)聚類算法具有較高的擴(kuò)放性和靈活性，能有效解決聚類處理中數(shù)據(jù)規(guī)模問(wèn)題和實(shí)時(shí)性問(wèn)題;通過(guò)調(diào)整Hadoop的實(shí)現(xiàn)來(lái)確定數(shù)據(jù)大小閾值和每個(gè)節(jié)點(diǎn)需要的計(jì)算任務(wù)，實(shí)驗(yàn)結(jié)果表明每一項(xiàng)任務(wù)都有其最佳節(jié)點(diǎn)規(guī)模，過(guò)多的任務(wù)粒度同樣會(huì)對(duì)性能造成負(fù)