面向海量異構(gòu)歷史數(shù)據(jù)查詢的索引管理系統(tǒng).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái),海量數(shù)據(jù)每時(shí)每刻都在涌現(xiàn)并快速增長(zhǎng),并且數(shù)據(jù)種類極為豐富。隨著時(shí)間的流逝,這樣的海量異構(gòu)數(shù)據(jù)在頃刻間便會(huì)成為歷史數(shù)據(jù)而積累。在眾多行業(yè)中,對(duì)于歷史數(shù)據(jù)的查詢業(yè)務(wù)量正在日趨增長(zhǎng),因此海量異構(gòu)歷史數(shù)據(jù)查詢平臺(tái)的開(kāi)發(fā)已成為各大軟件公司的新興開(kāi)發(fā)目標(biāo)。在該混合查詢平臺(tái)之上,本索引管理系統(tǒng)的開(kāi)發(fā)可有效地對(duì)該查詢平臺(tái)中各類索引進(jìn)行管理和維護(hù),從而提升海量異構(gòu)歷史數(shù)據(jù)的查詢效率。
　　本項(xiàng)目來(lái)源于本人在實(shí)習(xí)期間參與的混合數(shù)

2、據(jù)查詢平臺(tái)的開(kāi)發(fā)項(xiàng)目,該項(xiàng)目目標(biāo)是對(duì)公司數(shù)據(jù)庫(kù)產(chǎn)品進(jìn)行功能擴(kuò)展,以支持海量異構(gòu)數(shù)據(jù)的查詢。期間本人借助索引機(jī)制提出了對(duì)海量異構(gòu)歷史數(shù)據(jù)查詢的效率提升方案,即索引管理系統(tǒng),本項(xiàng)目主要包括以下四部分內(nèi)容。
　　索引管理系統(tǒng)的原理分析。對(duì)索引技術(shù)、DB2和MongoDB數(shù)據(jù)庫(kù)中的索引類型及用法、Hybrid架構(gòu)等技術(shù)進(jìn)行了原理介紹與分析,并對(duì)JSONVal()這一混合查詢函數(shù)進(jìn)行了說(shuō)明,并對(duì)索引建立與維護(hù)相關(guān)技術(shù)進(jìn)行了整體分析。

3、　　索引管理系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)。本文首先對(duì)混合索引的建立過(guò)程進(jìn)行設(shè)計(jì),然后逐一對(duì)五大功能模塊進(jìn)行設(shè)計(jì),其包括:SQL解析模塊、索引分析模塊、索引建立模塊、Queryset管理模塊及索引維護(hù)模塊。通過(guò)模塊間的交互與合作,實(shí)現(xiàn)了對(duì)用戶查詢語(yǔ)句的解析、對(duì)索引類型的分析、對(duì)不同數(shù)據(jù)庫(kù)中不同種類索引的建立、對(duì)Queryset的管理,以及對(duì)當(dāng)前系統(tǒng)索引的維護(hù)等功能。本系統(tǒng)采用Java編程語(yǔ)言進(jìn)行系統(tǒng)實(shí)現(xiàn),并選取DB2和MongoDB數(shù)據(jù)庫(kù)實(shí)現(xiàn)異構(gòu)數(shù)據(jù)

4、的持久化。此外,用戶還可通過(guò)控制臺(tái)界面對(duì)系統(tǒng)的各個(gè)功能進(jìn)行操控。
　　索引管理系統(tǒng)的應(yīng)用場(chǎng)景設(shè)計(jì)與開(kāi)發(fā)。醫(yī)生工作站是將本系統(tǒng)結(jié)合了醫(yī)療場(chǎng)景的應(yīng)用開(kāi)發(fā)。在該場(chǎng)景中,可采用含有業(yè)務(wù)意義的查詢語(yǔ)句,通過(guò)SQL及SQL-like的方式進(jìn)行混合查詢,并管理和維護(hù)該場(chǎng)景下的索引。
　　索引管理系統(tǒng)的性能測(cè)試。在醫(yī)療場(chǎng)景下,借助于場(chǎng)景中的具體查詢業(yè)務(wù)及相關(guān)數(shù)據(jù),對(duì)索引系統(tǒng)進(jìn)行性能測(cè)試,測(cè)試結(jié)果表明索引管理系統(tǒng)可大幅提高數(shù)據(jù)查詢效率,從而驗(yàn)