基于分布式哈希表的對等網(wǎng)絡數(shù)據(jù)檢索研究.pdf

1、P2P(peer-to-peer）系統(tǒng)是一個迅速發(fā)展的研究領域。P2P系統(tǒng)的應用已從傳統(tǒng)的文件共享領域逐步擴展到更廣泛的廣域分布計算領域，因而需要P2P系統(tǒng)提供確定性定位與低查詢開銷等關鍵特性?；诜植际焦１?DistributedHashTable，簡稱DHT)的P2P系統(tǒng)在廣域網(wǎng)支持巨量集的數(shù)據(jù)一致性分布，并提供低跳步的路由精確定位，以及具有低查詢開銷和高容錯自組織等優(yōu)良性能，已經(jīng)成為學術界研究的熱點。 然而，分布式哈希表

2、技術的引入在帶來其先進性的變革影響的同時，也帶來了新的挑戰(zhàn)性問題。第一，由于拓撲是一種結(jié)構化的拓撲，相對比非結(jié)構化的拓撲，其維護開銷顯著加大。特別是在大規(guī)模和動蕩的網(wǎng)絡環(huán)境下，維護開銷相當可觀。第二，由于DHT采用哈希技術僅提供精確查詢匹配，使用查詢受到極大的約束。如何突破精確查詢匹配的限制，增強P2P查詢能力是當前P2P系統(tǒng)的急需解決的問題。本文針對上述問題，主要主要研究貢獻如下： 1．結(jié)構化DHT系統(tǒng)能夠提供高效、可靠的服務

3、，有著巨大的潛在應用前景。然而在典型的動態(tài)環(huán)境下的結(jié)構化對等網(wǎng)絡存在的維護開銷過大問題，尤其是在高度動態(tài)的環(huán)境下。在本篇論文中，我們通過P2P網(wǎng)絡中的節(jié)點會話特性，提出了一個基于DHI拓撲的超級節(jié)點對等網(wǎng)絡SPChord來控制維護開銷。該系統(tǒng)使用了一個簡單但是有效的聚簇技術生成超級節(jié)點對等網(wǎng)絡。主要的技術優(yōu)點有：(1)簇的管理方式是自然演化的，管理開銷很小。由于它不依賴于任何附加的前提條件，所以它可以直接應用于現(xiàn)有的DHT算法的改進。(

4、2)即使簇的大小很小，它也能大大改善系統(tǒng)的維護開銷和性能，這就意味著相比于現(xiàn)有的普通DHT對等網(wǎng)絡系統(tǒng)來說，它有著更好的可擴展性，使得DHT系統(tǒng)能夠更好地適應動態(tài)網(wǎng)絡。仿真結(jié)果表明維護開銷得到了極大的減少，而查找失敗率也有很大程度的減小，同時查找性能也大大提高。 2．針對當前對等網(wǎng)絡信息檢索系統(tǒng)存在的無法適應高維文本空間以及檢索代價過高的問題，提出了基于索引匯聚的對等網(wǎng)絡信息檢索系統(tǒng)IRSPC，該系統(tǒng)構建在SPChord疊加網(wǎng)之

5、上，主要的創(chuàng)新點有：(1)IRSPC綜合了結(jié)構化對等網(wǎng)絡和非結(jié)構化對等網(wǎng)絡的查詢方式，并引入了信息檢索領域的評價機制，保證和查詢相關程度高的文檔能以較小的代價優(yōu)先被查詢到。(2)關鍵詞權重的計算完全是分布式的，不依賴于集中式的統(tǒng)計數(shù)據(jù)(如TFIDF的計算)。(3)IRSPC能適應高維大文本集的全文檢索，并且具有良好的可擴展性和查詢精度。 3．針對當前DHT系統(tǒng)多關鍵詞檢索效率低下、網(wǎng)絡帶寬開銷過大的問題，我們采用了TFIDF關鍵

6、詞賦權技術和關鍵詞關聯(lián)關系挖掘以改進對等網(wǎng)絡關鍵詞檢索效率，提出了基于關聯(lián)關鍵詞集檢索的DHT對等網(wǎng)絡關鍵詞檢索系統(tǒng)pKSS。pKSS的主要的創(chuàng)新點有：(1)通過WWW或FTP搜索站點的查詢?nèi)罩就诰蜿P鍵詞之間的關聯(lián)關系，并根據(jù)關鍵詞之間的關聯(lián)關系對文檔索引詞和查詢語句中的查詢詞分組以支持基于關聯(lián)關鍵詞集的對等網(wǎng)絡檢索。(2)通過采用TFIDF技術，選出文檔最重要的L個索引詞并連同關聯(lián)關鍵詞集發(fā)布到對等網(wǎng)絡。當用戶發(fā)布查詢時，查詢中的關鍵

7、詞按照其IDF值和相互之間的關聯(lián)關系進行分組，因而使pKSS的關鍵詞檢索效率在關聯(lián)關鍵詞集劃分的基礎上得到大大提高。實驗結(jié)果清楚地表明：pKSS在索引的插入和存儲開銷上要遠遠低于KSS，在查詢的帶寬開銷上也明顯比標準的分布式倒排索引低。 4．針對當前元數(shù)據(jù)描述規(guī)范廣泛采用XML的現(xiàn)狀，提出了基于DHT對等網(wǎng)絡的XML元數(shù)據(jù)索引和查詢系統(tǒng)PXIQ。PXIQ系統(tǒng)為XML數(shù)據(jù)查詢提供了良好的可擴展性和豐富的表達能力。除DHT內(nèi)在的固有

8、特性之外，PXIQ還有幾個獨特的優(yōu)特點：首先，PXIQ能針對XML實施語義查詢，查詢語言采用XPath;其次，PXIQ能支持DHT對等網(wǎng)絡中的范圍查詢；第三，PXIQ能支持DHT對等網(wǎng)絡中的關鍵字檢索和語義結(jié)構查詢。從實驗結(jié)果可以看到，PXIQ能夠適應具有大量主機節(jié)點的對等網(wǎng)絡環(huán)境。 5.針對當前DHT對等網(wǎng)絡數(shù)據(jù)檢索中存在的“熱點”(負載不均衡)問題，本章提出了基于負載重定向的RLBA負載均衡算法以提高數(shù)據(jù)檢索的性能和效率。R