大數據環(huán)境下農業(yè)信息資源的存取研究.pdf

1、隨著我國農業(yè)的迅速發(fā)展，農業(yè)研究領域積累了大量的數據，如何高效存儲、處理及最大限度利用現有農業(yè)數據，成為當今時代面臨的重要課題。另外，Hadoop已經在大數據領域廣泛使用，并被應用于多種領域。因此，本文結合農業(yè)數據及Hadoop平臺的特征，提出將該平臺應用于農業(yè)領域，在該平臺上存儲及處理現有農業(yè)信息資源數據。本文主要研究內容如下：
　　(1)農業(yè)大數據的分析。本文中分析了當前國內外農業(yè)數據的組織與管理現狀，總結概括了我國農業(yè)大數據

2、的特征和存儲現狀。
　　(2)農業(yè)大數據存儲與索引結構的設計。根據我國農業(yè)大數據的特征，設計了一種基于不同類型農業(yè)數據特征的數據存儲結構并對不同類型的數據設計了相應的數據緩存策略。為了有效提高對數據的查詢、處理效率，對數據的索引機制進行了改進，提出了一種二級索引機制，優(yōu)化了數據存儲空間到數據分區(qū)、數據分區(qū)到真正數據存儲節(jié)點的數據索引方式，為對當前多種不同結構的農業(yè)數據的管理提供了一個統(tǒng)一的數據存儲平臺。
　　(3)k-Nea

3、rest Neighbor查詢算法的區(qū)域劃分方法的改進及該算法的并行化設計。為了實現對已存儲在上述數據庫中的農業(yè)數據進行高效查詢，對廣泛使用的k-Nearest Neighbor查詢算法中的區(qū)域劃分方法進行了改進，不再采用以往的規(guī)則區(qū)域劃分方法，提出了一種基于不規(guī)則區(qū)域劃分方法的k-Nearest Neighbor查詢算法，并根據大數據處理框架MapReduce的運行機制對其進行了并行化處理，然后將該優(yōu)化后的算法應用在MapReduce