企業(yè)級(jí)數(shù)據(jù)分布式拓展系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn).pdf

1、數(shù)據(jù)存儲(chǔ)技術(shù)及應(yīng)用是互聯(lián)網(wǎng)領(lǐng)域的重點(diǎn)課題之一，是互聯(lián)網(wǎng)企業(yè)發(fā)展的基礎(chǔ)保證，具備重要的理論研究意義和應(yīng)用價(jià)值。隨著互聯(lián)網(wǎng)+時(shí)代的到來，初涉互聯(lián)網(wǎng)的傳統(tǒng)行業(yè)與中小型互聯(lián)網(wǎng)企業(yè)都在發(fā)展中遇到了數(shù)據(jù)飛速增長的問題，基于關(guān)系型數(shù)據(jù)庫和單機(jī)單點(diǎn)文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)架構(gòu)在數(shù)據(jù)安全性、存取高效性、系統(tǒng)擴(kuò)展性等方面都暴露出了問題，限制了企業(yè)的發(fā)展。因此如何在基本不改變企業(yè)現(xiàn)有互聯(lián)網(wǎng)應(yīng)用系統(tǒng)架構(gòu)的前提下，最大化利用開源資源對現(xiàn)有數(shù)據(jù)存儲(chǔ)架構(gòu)進(jìn)行分布式遷移，為

2、企業(yè)級(jí)應(yīng)用系統(tǒng)提供一套投入成本低、配適簡單、使用方便、安全高效、易于拓展的數(shù)據(jù)遷移方案及其實(shí)現(xiàn)有很大的理論與應(yīng)用價(jià)值。
　　本文針對以上問題，并結(jié)合中小型互聯(lián)網(wǎng)企業(yè)當(dāng)下普遍應(yīng)用的數(shù)據(jù)存儲(chǔ)解決方案，設(shè)計(jì)并實(shí)現(xiàn)了企業(yè)級(jí)數(shù)據(jù)分布式拓展系統(tǒng)。本文將系統(tǒng)分為數(shù)據(jù)庫分布式拓展和文件分布式拓展兩個(gè)子系統(tǒng)進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。數(shù)據(jù)庫方面，系統(tǒng)致力于不改變企業(yè)原有基于關(guān)系型數(shù)據(jù)庫的軟件架構(gòu)，設(shè)計(jì)了應(yīng)用層基于數(shù)據(jù)源動(dòng)態(tài)切換技術(shù)的橫向切分配合中間層 Mycat

3、進(jìn)行水平切分的組合切分模式完成對原有數(shù)據(jù)庫的分布式拓展。文件分布式拓展系統(tǒng)提出了一種“單用戶請求串行處理、多用戶請求并行處理”的多線程分配管理策略解決了單一用戶短時(shí)間大量請求造成的系統(tǒng)延時(shí)問題并運(yùn)用Solr搭建文件標(biāo)識(shí)索引實(shí)現(xiàn)了文件的語義化標(biāo)識(shí)；通過分析原系統(tǒng)的應(yīng)用特點(diǎn)，設(shè)計(jì)實(shí)現(xiàn)了支持 HTTP協(xié)議的讀寫分離模塊，搭配反向代理引入負(fù)載均衡和緩存控制等特性給系統(tǒng)提供了高效、快速、多樣化的文件獲取能力。最后，本文基于以上的設(shè)計(jì)使用Java進(jìn)

4、行了整體系統(tǒng)的開發(fā)實(shí)現(xiàn)，完成了企業(yè)數(shù)據(jù)儲(chǔ)存的分布式拓展工作，實(shí)現(xiàn)了安全存儲(chǔ)、高效存取、易于拓展等數(shù)據(jù)儲(chǔ)存架構(gòu)的相關(guān)需求。
　　本文在原軟件系統(tǒng)處理的數(shù)據(jù)集（數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)和文件數(shù)據(jù)）上進(jìn)行功能和性能測試，并與原系統(tǒng)進(jìn)行比較，設(shè)計(jì)和實(shí)現(xiàn)的系統(tǒng)不僅有數(shù)據(jù)安全性好、存取效率高、系統(tǒng)易于拓展等特點(diǎn)，而且提供了良好的功能擴(kuò)展性、交互友好性和發(fā)展伸縮性，進(jìn)一步提高了系統(tǒng)的使用價(jià)值。本文研發(fā)的系統(tǒng)在“產(chǎn)品質(zhì)量追溯技術(shù)”聯(lián)合實(shí)驗(yàn)室的產(chǎn)業(yè)化基地上