面向搜索引擎的并行文件系統(tǒng)負載均衡機制設計與實現(xiàn).pdf

1、搜索引擎的出現(xiàn)，為人們從互聯(lián)網中查找信息提供了便利，而搜索引擎的關鍵技術之一，就是對海量網頁數據的存儲和管理。利用并行文件系統(tǒng)為搜索引擎提供支持則較好的解決了該問題。近年來網絡存儲技術的不斷發(fā)展，也使得并行文件系統(tǒng)的研究受到越來越多的關注。如何提高并行文件系統(tǒng)的性能和穩(wěn)定性，一直是研究者的研究重點，負載均衡理論就是其中極其重要的方面。合理的負載均衡機制可以使并行文件系統(tǒng)的資源得到充分利用，應用到搜索引擎中則可以為其提供更高效的支持。

2、r>　　本課題所涉及的搜索引擎采用并行文件系統(tǒng)PVFS2提供數據訪問的支持，但PVFS2并沒有相應的負載均衡機制。本文根據PVFS2的數據存儲方式和負載均衡理論，設計并實現(xiàn)了并行文件系統(tǒng)的負載均衡機制。本文的研究內容主要包括以下幾個方面：
　　(1)深入理解PVFS2的系統(tǒng)結構和數據存儲管理方式，詳細分析了MPI-IO對并行文件系統(tǒng)的數據訪問方式；研究了負載均衡機制的相關內容，對不同的任務調度算法進行了比較。
　　(2)針對

3、搜索引擎對并行文件系統(tǒng)的數據訪問方式，選擇以集群存儲節(jié)點的負載狀況作為數據訪問調度的衡量標準，實現(xiàn)了動態(tài)的負載均衡機制，同時建立了一個節(jié)點負載的估計模型，對負載均衡機制加以改進。
　　(3)對負載均衡機制下文件系統(tǒng)的性能作大量的測試實驗，驗證本文實現(xiàn)的負載均衡機制的有效性。
　　論文在算法研究的基礎上實現(xiàn)了并行文件系統(tǒng)的負載均衡機制。實驗評測結果證明該負載均衡機制的設計達到了要求，文件系統(tǒng)的負載能力得到了提高，能夠為搜索引擎