基于副本選擇的大數(shù)據(jù)實時查詢處理并行調(diào)度.pdf

1、Cloudera Impala是一個開源的大數(shù)據(jù)實時查詢系統(tǒng)。Impala使用HDFS作為底層存儲管理器。HDFS會對文件進行分塊，并為每個塊創(chuàng)建多個副本。數(shù)據(jù)多副本可提高系統(tǒng)的容錯性能，并能提供負載均衡。然而，數(shù)據(jù)多副本條件下的查詢處理并行調(diào)度將變得更加復(fù)雜。Impala的并行調(diào)度包括兩步:副本選擇和執(zhí)行節(jié)點選擇。在副本選擇的過程中，Impala未考慮通信代價和集群負載，可能延長響應(yīng)時間。針對現(xiàn)有的查詢處理并行調(diào)度方法存在未考慮數(shù)據(jù)多

2、副本的問題，本文提出了基于副本選擇的大數(shù)據(jù)實時查詢處理并行調(diào)度方法。該方法將所有查詢分為單表查詢和多表查詢兩類:若是單表查詢，則首先根據(jù)數(shù)據(jù)分布構(gòu)造流網(wǎng)絡(luò)，然后使用SRPushRelabelBinary算法選擇副本，最后選擇執(zhí)行節(jié)點;若是多表查詢，則結(jié)合代價模型搜索近似最優(yōu)調(diào)度策略。本文定義查詢處理的代價為從查詢開始處理時刻到預(yù)估所有連接操作完成時刻的時間間隔。其包括讀磁盤操作的執(zhí)行時間、選擇操作的執(zhí)行時間、網(wǎng)絡(luò)傳輸?shù)臅r間和連接操作的執(zhí)