基于粗糙集屬性約減算法的Hadoop框架優(yōu)化.pdf

1、基于粗糙集的屬性約簡(jiǎn)算法,作為數(shù)據(jù)挖掘最重要的子集被廣泛應(yīng)用于計(jì)算機(jī)、生物、化學(xué)等多個(gè)領(lǐng)域，近年來(lái)隨著數(shù)據(jù)的爆炸式增長(zhǎng)，傳統(tǒng)的單機(jī)運(yùn)算已無(wú)法滿足多元化應(yīng)用。云計(jì)算通過(guò)建立計(jì)算資源共享池，解決單臺(tái)設(shè)備計(jì)算能力不足的問(wèn)題，消除應(yīng)用瓶頸，分布式計(jì)算作為其重要技術(shù)之一，能夠使用普通PC代替大型計(jì)算設(shè)備，具備低成本、高可靠、易擴(kuò)展等特性，非常易于傳統(tǒng)算法移植。然而，在實(shí)際的算法分布化過(guò)程中，復(fù)雜的流程劃分與順序調(diào)度會(huì)引起中間結(jié)果與磁盤(pán)的頻繁交互，

2、引起大量的時(shí)間與空間資源消耗，因此，本文設(shè)計(jì)并實(shí)現(xiàn)一個(gè)讀寫(xiě)分離的數(shù)據(jù)緩存中心，通過(guò)重定向分布式框架中的數(shù)據(jù)讀寫(xiě)、封裝及傳輸流程，加速數(shù)據(jù)流轉(zhuǎn)，減少額外消耗。
　　首先，實(shí)現(xiàn)傳統(tǒng)屬性約簡(jiǎn)算法在集群內(nèi)的分布式化。根據(jù)分布式計(jì)算特性改寫(xiě)傳統(tǒng)算法的數(shù)據(jù)處理與讀寫(xiě)模式，并通過(guò)實(shí)驗(yàn)比對(duì)驗(yàn)證，隨著輸入數(shù)據(jù)集增長(zhǎng)，兩種算法的耗時(shí)收斂性，進(jìn)而分析由于算法步驟劃分導(dǎo)致的計(jì)算框架重復(fù)啟動(dòng)、中間結(jié)果頻繁交互磁盤(pán)等問(wèn)題，提出解決問(wèn)題的構(gòu)想。
　　隨后

3、，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于閃存、讀寫(xiě)分離的數(shù)據(jù)中心，運(yùn)算的中間結(jié)果均可通過(guò)該中心進(jìn)行傳遞和銜接。該種架構(gòu)能夠避免大量的慢讀寫(xiě)，合理利用有限資源，發(fā)揮普通PC與小型服務(wù)器應(yīng)有的作用。同時(shí)，為了給集群運(yùn)算提供更加穩(wěn)定、高效的中間緩存機(jī)制，數(shù)據(jù)中心使用單例模式、鎖機(jī)制、共享內(nèi)存、多線程、流傳輸、邏輯分離等多項(xiàng)技術(shù)優(yōu)化架構(gòu)，重定向框架底層的通信以及數(shù)據(jù)封裝機(jī)制，并使用Socket機(jī)制初始化流通道，在模塊內(nèi)嵌入相應(yīng)的拆裝箱及數(shù)據(jù)處理方法，整合輸入信息以

4、便快速讀取，使得數(shù)據(jù)處理與數(shù)據(jù)傳輸完全分離，提供更加友好靈活的緩存機(jī)制。優(yōu)化后的框架，不僅能夠良好地支持傳統(tǒng)算法在分布式集群內(nèi)的高效運(yùn)行，還降低了額外的磁盤(pán)讀寫(xiě)開(kāi)銷，更以集群和數(shù)據(jù)中心為依托，提升了算法在任務(wù)并發(fā)、數(shù)據(jù)規(guī)模兩方面的延展性，為海量數(shù)據(jù)應(yīng)用提供堅(jiān)實(shí)的基礎(chǔ)。
　　最后，通過(guò)實(shí)驗(yàn)驗(yàn)證優(yōu)化的有效性。采用小規(guī)模集群對(duì)威斯康星數(shù)據(jù)庫(kù)內(nèi)多個(gè)數(shù)據(jù)集進(jìn)行驗(yàn)證，通過(guò)對(duì)比本地串行、分布式計(jì)算及框架優(yōu)化前后的分布式計(jì)算耗時(shí)，考察框架的實(shí)際運(yùn)