基于MongoDB的數(shù)據(jù)存儲(chǔ)與查詢(xún)優(yōu)化技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)數(shù)據(jù)量呈現(xiàn)爆炸性增長(zhǎng)，海量數(shù)據(jù)的存儲(chǔ)和查詢(xún)給數(shù)據(jù)中心帶來(lái)了極大的挑戰(zhàn)。MongoDB作為一種新型的非關(guān)系數(shù)據(jù)庫(kù)，其靈活的數(shù)據(jù)存儲(chǔ)格式和高查詢(xún)性能使其得到廣泛應(yīng)用，但是MongoDB的存儲(chǔ)空間消耗較大，并且沒(méi)有重復(fù)數(shù)據(jù)的檢測(cè)和刪除機(jī)制，有可能浪費(fèi)大量的存儲(chǔ)空間，降低數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)的性能。
　　重復(fù)數(shù)據(jù)檢測(cè)是通過(guò)比較數(shù)據(jù)指紋，判斷數(shù)據(jù)之間是否存在重復(fù)；在基于MongoDB實(shí)現(xiàn)海量數(shù)據(jù)的重復(fù)數(shù)據(jù)檢測(cè)和刪除技術(shù)時(shí)，數(shù)據(jù)指紋的查詢(xún)

2、可能成為性能瓶頸。對(duì)于海量數(shù)據(jù)的重復(fù)數(shù)據(jù)檢測(cè)場(chǎng)景，分析了樹(shù)型和哈希兩類(lèi)主要的數(shù)據(jù)指紋查詢(xún)算法的特點(diǎn)，并對(duì)哈希算法中的一種高性能查詢(xún)算法布隆過(guò)濾器進(jìn)行了研究；針對(duì)已有布隆過(guò)濾器擴(kuò)展性差的問(wèn)題，提出一種增長(zhǎng)型布隆過(guò)濾器查詢(xún)算法，并應(yīng)用于海量數(shù)據(jù)的重復(fù)數(shù)據(jù)檢測(cè)技術(shù)中。對(duì)MongoDB現(xiàn)有的文件存儲(chǔ)系統(tǒng)GridFS的存儲(chǔ)機(jī)制進(jìn)行改進(jìn)，增加數(shù)據(jù)塊指紋映射表，使用增長(zhǎng)型布隆過(guò)濾器快速判斷數(shù)據(jù)塊指紋是否存在，實(shí)現(xiàn)數(shù)據(jù)塊的重復(fù)文件刪除技術(shù)。