基于XML索引和緩存的查詢優(yōu)化.pdf

1、XML隨著互聯(lián)網(wǎng)的飛速發(fā)展應運而生,已經(jīng)成為網(wǎng)絡(luò)上數(shù)據(jù)表示和交換的基礎(chǔ)。XML在各個領(lǐng)域得到廣泛應用,研究人員在XML的存儲模式、查詢處理、以及文檔索引等方面都進行了深入的研究,并獲得了豐碩的成果。然而,現(xiàn)有XML查詢引擎存在自適應性能低,缺乏對多查詢的批量處理以及低效的查詢復用性等問題,影響了查詢引擎的查詢性能和可擴展性。
　　 本文首先對現(xiàn)有的XML索引的不同方法進行了綜述,介紹了XML索引中的相關(guān)概念,闡述了典型的XML索

2、引的構(gòu)建方法和主要技術(shù),分析了現(xiàn)有索引的特點和存在的問題,概括了文本索引、元素索引、路徑索引、序列索引等不同類型索引的研究內(nèi)容,梳理了各類索引的發(fā)展脈絡(luò)和思想來源,并對不同的方法實現(xiàn)進行了總結(jié),結(jié)合現(xiàn)有的應用和研究成果,展望了XML索引未來的發(fā)展方向及其面臨的挑戰(zhàn)。同時,本文剖析了XML緩存設(shè)計中涉及的相關(guān)問題,總結(jié)了現(xiàn)有XML緩存系統(tǒng)的方法,并分析了各種緩存系統(tǒng)的優(yōu)缺點和應用環(huán)境。根據(jù)現(xiàn)有索引和緩存技術(shù)中存在的問題,本文在XML自適應

3、索引,支持多查詢處理的XML索引以及XML緩存等方面進行了深入的研究和探討,提出了高效的算法和相關(guān)技術(shù),并通過大量的實驗與現(xiàn)有方法進行了對比,從實驗角度證明了本文所提出的算法的有效性,以及算法在不同查詢類型和數(shù)據(jù)集上的可擴展性。本文的研究成果不僅在理論上具有指導意義,而且在實際應用中也具有實用價值。本文的具體工作包括:
　　 1)設(shè)計了具有高效調(diào)整性能和查詢性能的自適應索引AS-Index。自適應索引具有根據(jù)用戶查詢動態(tài)調(diào)整索引

4、結(jié)構(gòu)的特點。調(diào)整后的索引能夠高效的回答頻繁查詢,從而提高索引的整體性能。在本文中,我們設(shè)計了新穎的自適應索引。與以往的自適應索引不同,我們的自適應索引具有以下特點。首先,我們的自適應索引具有高效的調(diào)整性能。通過增加調(diào)整粒度,可以以一組結(jié)點為單位進行分裂或者聚合操作,而不同于以往的以單個結(jié)點為單位的調(diào)整操作。其次,通過探索查詢之間的包含關(guān)系,我們的自適應索引可以實現(xiàn)局部的調(diào)整過程,縮小了調(diào)整范圍,避免調(diào)整過程對整個索引的影響。最后,我們設(shè)

5、計高效的查詢過程,特別是針對非頻繁查詢,能夠充分利用索引結(jié)構(gòu)中的頻繁查詢來回答非頻繁的查詢,使得查詢過程在一個局部中進行,有效的提高了查詢性能。
　　 2)設(shè)計了能夠支持多查詢批量處理的結(jié)構(gòu)索引SIMP。現(xiàn)有的索引都是依次執(zhí)行查詢,考慮多客戶端.服務器端環(huán)境,多個客戶端傳輸查詢到服務器端執(zhí)行,所傳輸?shù)牟樵兛赡馨ê芏嘀貜筒樵?而且不同的查詢之間也會包含很多共享的部分。重復執(zhí)行這些相同的查詢或查詢部分會引起不必要的開銷,增加服務器

6、端的負擔。另一方面,現(xiàn)有索引在查詢操作中依賴導航匹配。很多前期匹配的結(jié)點可能無法導致最終的匹配結(jié)果,這些無結(jié)果導航同樣會增加服務器端的開銷。在本文中,我們探索回答多查詢的索引方法。首先,我們?yōu)閄ML文檔建立索引,聚合文檔中的相同路徑,并且能夠增加文檔索引的過濾能力,盡可能過濾無結(jié)果的查詢。
　　 其次,為一組查詢建立合適的索引,聚合相同查詢及其查詢中的共享部分.在以上兩種索引的基礎(chǔ)上,我們設(shè)計了新穎的查詢方法,能夠同時處理一組查

7、詢。查詢過程使用基于哈希連接的方法代替導航匹配,能夠盡量過濾無結(jié)果查詢,避免不必要的冗余操作。我們進一步提出了一系列的優(yōu)化措施,用于擴展索引支持的查詢類型,提高一組查詢中的共享部分,提高頻繁查詢的查詢性能。
　　 3)設(shè)計了具有較高性能的XML緩存系統(tǒng)UD-Cache。緩存技術(shù)是加速查詢的重要方法之一。在本文中,我們設(shè)計了新穎的XML緩存系統(tǒng)。我們首先設(shè)計了更加寬松的可回答標準,能夠比現(xiàn)有的緩存系統(tǒng)具有更好的命中率。在此可回答標

8、準的基礎(chǔ)上,我們提出了高效的視圖選擇和視圖回答方法,只要使用一遍掃描就能在含有上百萬的視圖中確定是否含有合適的視圖,避免了現(xiàn)有緩存中的多次掃描過程。并且設(shè)計了緊縮的XML文檔總結(jié),用于輔助執(zhí)行視圖回答過程。現(xiàn)有緩存系統(tǒng)的視圖回答過程是向下的查詢過程,本文中緩存系統(tǒng)的視圖回答過程包括向上的驗證過程和向下的查詢過程。最后,通過一系列的優(yōu)化方法,本文進一步優(yōu)化了提出的緩存系統(tǒng)。
　　 總之,本文對現(xiàn)有的XML索引和緩存技術(shù)進行了深入的

9、分析和比較,根據(jù)現(xiàn)有技術(shù)的缺陷和不足,提出了針對用戶查詢的自適應索引、支持多查詢的索引以及高效的XML緩存技術(shù),并使用不同類型的查詢和數(shù)據(jù)集對本文提出的方法進行了驗證。實驗證明,本文提出的方法在不同類型的數(shù)據(jù)集上具有高效的查詢性能,并可以擴展到不同的文檔大小和查詢類型。本文中提出的技術(shù)可以應用于原生XML數(shù)據(jù)庫,用來加速查詢處理。也可用于關(guān)系數(shù)據(jù)庫中XML文檔或片斷的查詢處理,結(jié)合原生文檔查詢和關(guān)系數(shù)據(jù)庫的查詢引擎特點,具備良好的靈活性