基于Hadoop的并行化存儲和處理方法及應(yīng)用研究.pdf

1、在軟件管理系統(tǒng)中，數(shù)據(jù)大部分存儲在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中，但當(dāng)業(yè)務(wù)復(fù)雜度的提高和數(shù)據(jù)量的不斷增加，簡單的通過單一節(jié)點(diǎn)的數(shù)據(jù)庫處理方式已經(jīng)無法滿足用戶對于希望快速獲取反饋的需求，從而影響系統(tǒng)的工作效率。因此，采用分布式來來存儲和處理海量數(shù)據(jù)為本文的主要研究課題。
　　 本文以《教育部學(xué)位與研究生教育評估工作平臺》的專家遴選模塊的專家評分環(huán)節(jié)為研究基礎(chǔ)，針對用戶需要多次進(jìn)行遴選才能確定方案，導(dǎo)致隨著數(shù)據(jù)庫中專家信息數(shù)據(jù)的不斷增加，在有

2、限的硬件資源下用戶需要大量的時(shí)間等待結(jié)果。其中專家評分環(huán)節(jié)占據(jù)專家遴選大部分時(shí)間，因此本文提出了采用Hadoop平臺的分布式存儲和并行計(jì)算功能來提高專家評分環(huán)節(jié)效率的解決方案。
　　 本文的主要研究思路為構(gòu)建Hadoop平臺，將Oracle數(shù)據(jù)庫中的專家信息數(shù)據(jù)存儲到Hadoop的HDFS分布式文件系統(tǒng)中，通過Hadoop提供的MapReduce框架的map和reduce接口，實(shí)現(xiàn)分布式專家評分程序，并以專家分?jǐn)?shù)為鍵對專家記錄進(jìn)