流數(shù)據(jù)降載機(jī)制研究.pdf

1、信息技術(shù)的發(fā)展促進(jìn)了很多新型應(yīng)用的出現(xiàn),這些應(yīng)用包括網(wǎng)絡(luò)監(jiān)控、通信服務(wù)、傳感網(wǎng)絡(luò)等應(yīng)用。它們需要對(duì)海量的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理,及時(shí)的將結(jié)果反饋給用戶。這些應(yīng)用產(chǎn)生數(shù)據(jù)流時(shí)的速率經(jīng)常呈現(xiàn)突發(fā)性和波動(dòng)性。當(dāng)數(shù)據(jù)流的輸入速度超過(guò)系統(tǒng)的處理速度時(shí),系統(tǒng)將不能有效地處理所有的數(shù)據(jù),也即系統(tǒng)此時(shí)過(guò)載。此時(shí)必須采用相應(yīng)的降載措施,保證系統(tǒng)具有自適應(yīng)能力,從而改善系統(tǒng)的整體的服務(wù)性能。
　　 首先,降載時(shí)機(jī)的選擇是降載機(jī)制的重點(diǎn)之一。本文通過(guò)研究,

2、發(fā)現(xiàn)現(xiàn)有的降載機(jī)制在降載時(shí)機(jī)的確定上存在欠缺之處。故而本文綜合考慮了以延遲時(shí)間和系統(tǒng)的處理能力做為降載的標(biāo)準(zhǔn),提出一種基于延遲時(shí)間的降載策略。對(duì)于實(shí)時(shí)性要求高的應(yīng)用,此策略可以有效地降低數(shù)據(jù)處理過(guò)程中所產(chǎn)生的延遲時(shí)間。
　　 其次,為了有效地提高流數(shù)據(jù)處理的效率,同時(shí),降低系統(tǒng)對(duì)后續(xù)查詢所造成的精度損失,本文考慮了一種基于聚類的數(shù)據(jù)摘要技術(shù),使得系統(tǒng)在克服過(guò)載的同時(shí),最小化原始結(jié)果與降載結(jié)果之間的差,保證了查詢的精度。
　

3、　 再次,傳統(tǒng)的串行處理受制于單處理器的最大物理處理速度,而利用并行所提供的硬件支持可以再一定程度上克服這種速度瓶頸。為了有效地提高算法處理的效率與速度,本文考慮了并行環(huán)境下算法的實(shí)施問(wèn)題。
　　 最后,為了驗(yàn)證降載機(jī)制在實(shí)際應(yīng)用場(chǎng)景下的表現(xiàn),本文將整個(gè)機(jī)制運(yùn)用于一個(gè)實(shí)際的在線事務(wù)日志處理,利用實(shí)際的事例來(lái)檢驗(yàn)降載機(jī)制的有效性和實(shí)用性。
　　 綜上所述,本文對(duì)數(shù)據(jù)流降載機(jī)制的主要技術(shù),包括數(shù)據(jù)丟棄技術(shù)(Load She