基于Hadoop的在線聚集查詢處理方法研究.pdf

1、自從進(jìn)入信息時(shí)代以來，信息呈爆發(fā)式增長，隨之而來的是數(shù)據(jù)量的劇增。處理海量數(shù)據(jù)，從海量數(shù)據(jù)中獲得有效信息，成為了當(dāng)務(wù)之急。很長一段時(shí)間以來，存儲和處理數(shù)據(jù)的主要工具是關(guān)系數(shù)據(jù)庫，而關(guān)系數(shù)據(jù)庫中的聚集查詢是進(jìn)行統(tǒng)計(jì)分析的重要操作。隨著需要處理的數(shù)據(jù)量急劇增長，傳統(tǒng)關(guān)系數(shù)據(jù)庫進(jìn)行聚集查詢的批處理模式使得用戶進(jìn)行聚集查詢時(shí)需經(jīng)過長時(shí)間的等待之后才能得到最終的準(zhǔn)確結(jié)果。
　　在線聚集查詢可以在查詢處理的過程中不斷獲取數(shù)據(jù)，給出當(dāng)前近似結(jié)果

2、，直到處理完全部數(shù)據(jù)才能得到最終的精確結(jié)果，當(dāng)達(dá)到用戶所需的精確度時(shí)，用戶可以終止查詢，以節(jié)約用戶時(shí)間和系統(tǒng)資源。
　　隨著新的數(shù)據(jù)處理平臺Hadoop的發(fā)展，處理海量數(shù)據(jù)變得更高效，但是數(shù)據(jù)是“無限”的，而計(jì)算和存儲資源卻是有限的。雖然目前很難從根本上解決這一問題，但是對于特定應(yīng)用，仍然可以提出一些特定的解決方案。
　　本文結(jié)合 Hadoop處理海量數(shù)據(jù)的優(yōu)勢和在線聚集查詢處理方式，提出了基于Hadoop的迭代抽樣近似聚集

3、查詢處理方法，通過兩次迭代抽樣得到滿足用戶所需精確度的近似聚集查詢處理結(jié)果。根據(jù)第一次抽樣得到的樣本數(shù)據(jù)以及用戶給定的精確度，估計(jì)出第二次迭代所需的樣本大小，通過兩次得到的樣本數(shù)據(jù)，返回近似聚集查詢結(jié)果給用戶。為了避免數(shù)據(jù)偏差的影響，特別是對于分組數(shù)據(jù)量相差懸殊或低選擇度的Group by聚集查詢，本文提出了在Hadoop環(huán)境下的“分層”抽樣方法，從而保證基于統(tǒng)計(jì)的近似聚集結(jié)果有意義。最后在實(shí)驗(yàn)中，通過各種抽樣方法對聚集查詢結(jié)果的影響進(jìn)