大數(shù)據(jù)分類存儲及檢索方法研究.pdf

1、物聯(lián)網(wǎng)，社交網(wǎng)絡(luò)、電子商務(wù)等導(dǎo)致數(shù)據(jù)規(guī)模呈指數(shù)級增長。大數(shù)據(jù)應(yīng)具有存儲效率高、檢索速度快的基本要求。數(shù)量眾多的小文件以及文件類型的多樣性使得大數(shù)據(jù)存儲和檢索面臨著嚴(yán)峻的挑戰(zhàn)。
　　針對數(shù)據(jù)規(guī)模巨大，種類繁多，大小不一等特點(diǎn)，在分布式集群思想的基礎(chǔ)上，提出一種文件分類存儲及檢索的管理架構(gòu)。該架構(gòu)能夠動態(tài)擴(kuò)展存儲容量以應(yīng)對數(shù)據(jù)的增長需求、基于多標(biāo)簽數(shù)據(jù)庫設(shè)計(jì)機(jī)制，標(biāo)記數(shù)據(jù)種類特征加快數(shù)據(jù)檢索效率，實(shí)現(xiàn)數(shù)據(jù)靈活劃分。
　　該架構(gòu)集

2、成了傳統(tǒng)磁盤存儲，分布式存儲，分布式數(shù)據(jù)庫存儲等存儲方式，能夠根據(jù)數(shù)據(jù)大小，類型屬性動態(tài)選擇存儲路徑，解決了海量小文件在分布式系統(tǒng)中占用過多數(shù)據(jù)塊和內(nèi)存問題，對于不需要備份的大文件選擇傳統(tǒng)磁盤存儲，避免分布式系統(tǒng)中盲目備份帶來的存儲空間浪費(fèi)問題。提出面向列式的“Z”型數(shù)據(jù)檢索方法，支持同種類型數(shù)據(jù)的批量管理，提高數(shù)據(jù)層級目錄檢索效率。
　　基于以上架構(gòu)和方法，設(shè)計(jì)和實(shí)現(xiàn)了大數(shù)據(jù)分類存儲和檢索系統(tǒng)。系統(tǒng)由混合存儲子系統(tǒng)，數(shù)據(jù)分類判斷