非關(guān)系海量URL存儲系統(tǒng)的研究.pdf

1、近年來隨著Web2.0的發(fā)展,各種創(chuàng)新的應(yīng)用和產(chǎn)品不斷在互聯(lián)網(wǎng)中出現(xiàn)使我的工作生活越來越離不開網(wǎng)絡(luò)應(yīng)用。而由此產(chǎn)生的大規(guī)模甚至超大規(guī)模數(shù)據(jù)存儲和運算需求僅僅依靠傳統(tǒng)的關(guān)系數(shù)據(jù)庫存儲手段已經(jīng)很難滿足當(dāng)前各種互聯(lián)網(wǎng)應(yīng)用大規(guī)模和時效性的應(yīng)用要求。為了處理當(dāng)前網(wǎng)絡(luò)應(yīng)用高要求以及硬件資源貧乏之間的矛盾,一種針對特定應(yīng)用設(shè)計特定存儲系統(tǒng)的運動在近年來逐漸發(fā)展起來,它不以傳統(tǒng)的關(guān)系數(shù)據(jù)庫作為基本的存儲處理手段,而是根據(jù)自身應(yīng)用的實際需要選擇以及設(shè)計存

2、儲系統(tǒng),以此用有限的資源來實現(xiàn)更高效更快速的存儲運算任務(wù)。
　　本文將以高性能網(wǎng)絡(luò)爬蟲的URL存儲系統(tǒng)為切入點,研究與存儲系統(tǒng)相關(guān)的影響爬蟲性能的幾個關(guān)鍵因素,然后應(yīng)用非關(guān)系數(shù)據(jù)庫的一些理論基礎(chǔ)和設(shè)計思想針對網(wǎng)絡(luò)爬蟲設(shè)計和研究專門的海量URL存儲系統(tǒng),從而滿足爬蟲對快速進行大規(guī)模URL數(shù)據(jù)的插入、去重、修改、查詢的需求。在此基礎(chǔ)上最終完成存儲系統(tǒng)的實現(xiàn),滿足我們現(xiàn)有爬蟲系統(tǒng)的各項要求,并使爬蟲系統(tǒng)得到較大的性能改善。
　　本

3、文主要的成果有以下幾個方面:
　　首先,針對爬蟲URL存儲的特點內(nèi)部系統(tǒng)實現(xiàn)的要求,使用鍵值存儲方式,縮減了不必要的結(jié)構(gòu)化查詢功能并改為自定義增減存取功能。同時在鍵值存儲的基礎(chǔ)上設(shè)計了3級結(jié)構(gòu)的物理存儲方式,使存儲系統(tǒng)能夠自動實現(xiàn)水平分區(qū)。
　　其次,采用了URL進行分級哈希的方式得到多級鍵來生成主鍵的方式,用于快速查找定位數(shù)據(jù)路徑,以及快速進行數(shù)據(jù)存儲更新。同時能夠?qū)⑾嗤蛎臄?shù)據(jù)集中到同一個存儲單元中,有利于針對爬蟲按域