面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)與處理已成為智慧城市，智慧交通應(yīng)用中的關(guān)鍵問(wèn)題。現(xiàn)有的視頻監(jiān)控存儲(chǔ)體系架構(gòu)在應(yīng)付數(shù)量越來(lái)越多的高清攝像頭上已顯得力不從心。在多達(dá)上千路高碼率視頻流的長(zhǎng)時(shí)間并發(fā)寫(xiě)入的場(chǎng)景下，現(xiàn)有的存儲(chǔ)系統(tǒng)中磁盤(pán) I/O吞吐率已稱(chēng)為嚴(yán)重的瓶頸，隨之而來(lái)的還有巨大的能源開(kāi)銷(xiāo)和磁盤(pán)損耗。這些都是現(xiàn)有的監(jiān)控視頻存儲(chǔ)方案中亟待解決的問(wèn)題。
　　針對(duì)這些問(wèn)題，本文結(jié)合當(dāng)前國(guó)內(nèi)外在海量數(shù)據(jù)存儲(chǔ)方面的研究現(xiàn)狀和發(fā)展方

2、向，通過(guò)分析視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)特點(diǎn)和結(jié)合現(xiàn)有存儲(chǔ)系統(tǒng)架構(gòu)資源調(diào)度方式，設(shè)計(jì)并實(shí)現(xiàn)了面向海量高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng) SSTORE，并以此為背景對(duì)其內(nèi)部專(zhuān)門(mén)針對(duì)監(jiān)控視頻流數(shù)據(jù)存儲(chǔ)所設(shè)計(jì)的分布式文件系統(tǒng) SFS進(jìn)行了充分闡述。本文主要工作與創(chuàng)新點(diǎn)有以下幾點(diǎn)：
　　1.設(shè)計(jì)了磁盤(pán)分區(qū)連續(xù)存儲(chǔ)模型 CSM。該存儲(chǔ)模型通過(guò)多流并發(fā)隨機(jī)寫(xiě)入調(diào)制和分塊內(nèi)存緩沖技術(shù)，將磁盤(pán)上的并發(fā)隨機(jī)寫(xiě)轉(zhuǎn)換為順序?qū)?，飽和利用磁盤(pán)I/O吞吐率。
　　2.通過(guò)采

3、用epoll異步事件驅(qū)動(dòng)模型來(lái)處理網(wǎng)絡(luò)IO請(qǐng)求，極大提升了系統(tǒng)網(wǎng)絡(luò)IO性能。同時(shí)設(shè)計(jì)了線程池結(jié)構(gòu)來(lái)實(shí)現(xiàn)系統(tǒng)任務(wù)調(diào)度和網(wǎng)絡(luò)數(shù)據(jù)寫(xiě)入與磁盤(pán)數(shù)據(jù)寫(xiě)入的異步操作，增加系統(tǒng)并發(fā)處理能力。
　　3.設(shè)計(jì)并實(shí)現(xiàn)了一種基于CSM分區(qū)的離線復(fù)制機(jī)制和磁盤(pán)工作調(diào)度機(jī)制，提升系統(tǒng)運(yùn)行過(guò)程中休眠磁盤(pán)所占比率，延長(zhǎng)磁盤(pán)使用壽命并降低能源開(kāi)銷(xiāo)。
　　4.設(shè)計(jì)了靈活的副本冗余機(jī)制，針對(duì)同一塊磁盤(pán)不同分區(qū)速率的差異，讓這些分區(qū)上的數(shù)據(jù)備份具有不同的保存周期