并行數(shù)據(jù)處理中間件體系結(jié)構(gòu)的研究和應(yīng)用.pdf

1、隨著數(shù)據(jù)庫(kù)技術(shù)及網(wǎng)絡(luò)技術(shù)的發(fā)展，信息量越來(lái)越龐大，從數(shù)據(jù)庫(kù)管理系統(tǒng)的應(yīng)用而言，數(shù)據(jù)量達(dá)到TB乃至PB級(jí)，即使運(yùn)行在高性能的大型主機(jī)上，在處理大量并發(fā)用戶及大量數(shù)據(jù)時(shí)，也難以滿足應(yīng)用對(duì)CPU和I/O的性能要求。因此，采用并行技術(shù)拓展數(shù)據(jù)處理應(yīng)用成為一種迫切的需要。為了解決海量數(shù)據(jù)和異構(gòu)數(shù)據(jù)的管理和計(jì)算問(wèn)題，人們提出了數(shù)據(jù)處理中間件的概念，利用中間件使相關(guān)的數(shù)據(jù)庫(kù)協(xié)同工作，實(shí)現(xiàn)互操作。并行數(shù)據(jù)處理中間件系統(tǒng)的開(kāi)發(fā)，能夠以較小的代價(jià)實(shí)現(xiàn)數(shù)據(jù)庫(kù)

2、并行操作，執(zhí)行簡(jiǎn)單、結(jié)構(gòu)靈活。本課題主要研究并行數(shù)據(jù)處理中間件系統(tǒng)的體系結(jié)構(gòu)及主要涉及的工作部件。 本文利用現(xiàn)有PC機(jī)、成熟的網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)群集技術(shù)，研究了并行數(shù)據(jù)處理中間件的層次結(jié)構(gòu)、硬件結(jié)構(gòu)、接口通信技術(shù)、功能結(jié)構(gòu)及各功能所涉及的關(guān)鍵技術(shù)。涉及內(nèi)容包括：基于SN結(jié)構(gòu)的群集管理系統(tǒng)模型，系統(tǒng)組件模型，群集工作狀態(tài)模型；對(duì)中間件系統(tǒng)的元數(shù)據(jù)進(jìn)行分析，研究并設(shè)計(jì)了中間件系統(tǒng)元數(shù)據(jù)的管理；查詢執(zhí)行控制系統(tǒng)的工作原理及結(jié)果綜合過(guò)程：

3、提出了采用數(shù)據(jù)放置和緩存系統(tǒng)提高系統(tǒng)性能的思想，包括數(shù)據(jù)放置的主要方法和策略；緩存系統(tǒng)的內(nèi)容、組織及管理。根據(jù)實(shí)際應(yīng)用環(huán)境，實(shí)現(xiàn)了并行數(shù)據(jù)處理中間件系統(tǒng)建立模塊和運(yùn)行模塊的功能。對(duì)所研究及設(shè)計(jì)的系統(tǒng)進(jìn)行了系統(tǒng)實(shí)驗(yàn)和現(xiàn)場(chǎng)測(cè)試，根據(jù)結(jié)果對(duì)并行數(shù)據(jù)處理中間件系統(tǒng)的性能進(jìn)行了評(píng)價(jià)。 目前，該并行數(shù)據(jù)處理中間件系統(tǒng)，已經(jīng)在大型應(yīng)用工程中得到實(shí)際應(yīng)用。并行數(shù)據(jù)處理中間件系統(tǒng)的研究和實(shí)現(xiàn)，為用戶提供了統(tǒng)一的服務(wù)接口和管理平臺(tái)，提高了系統(tǒng)的性能