基于大數(shù)據(jù)處理的農(nóng)業(yè)氣象災(zāi)害評估模型研究.pdf

1、隨著氣候環(huán)境對農(nóng)業(yè)生產(chǎn)的影響日益密切，如何高效處理海量增長的氣象數(shù)據(jù)，提高農(nóng)業(yè)氣象災(zāi)害預(yù)警的科學(xué)性成為農(nóng)業(yè)氣象災(zāi)害研究的熱門。由于氣象數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多、冗余度高、價(jià)值密度低等特點(diǎn)，所以傳統(tǒng)的數(shù)據(jù)分析方法往往達(dá)不到很高的處理效率。本文的主要工作就是針對氣象大數(shù)據(jù)的特點(diǎn)，結(jié)合數(shù)據(jù)分析的研究成果，進(jìn)一步研究了更加高效的大數(shù)據(jù)處理技術(shù)并應(yīng)用于農(nóng)業(yè)氣象災(zāi)害預(yù)警。
　　本文介紹了氣象大數(shù)據(jù)的處理架構(gòu)，概述了大數(shù)據(jù)處理技術(shù)，分析了現(xiàn)有

2、大數(shù)據(jù)預(yù)處理技術(shù)、分類技術(shù)及各自性能。概述了自適應(yīng)增強(qiáng)技術(shù)和分布式處理架構(gòu)，分析了組合分類器和并行化技術(shù)在大數(shù)據(jù)處理中的作用，為進(jìn)一步研究農(nóng)業(yè)氣象災(zāi)害預(yù)警提供準(zhǔn)備工作。
　　針對氣象數(shù)據(jù)類型復(fù)雜、屬性繁多的特點(diǎn)，結(jié)合粗糙集理論和并行化處理技術(shù)，本文首先提出一種基于信息熵的并行化屬性約簡算法。通過信息熵屬性約簡算法消除重復(fù)、冗余的氣象數(shù)據(jù)，實(shí)現(xiàn)對知識的壓縮和再提煉，并利用MapReduce架構(gòu)將任務(wù)進(jìn)行劃分，實(shí)現(xiàn)算法的分布式處理。仿

3、真結(jié)果表明，該并行化算法能夠有效的運(yùn)用于氣象大數(shù)據(jù)約簡，且具有更快的處理速度。
　　針對農(nóng)業(yè)氣象災(zāi)害分類預(yù)測效率低下的問題，本文提出了基于MapReduce的K最近鄰組合分類預(yù)測模型。該模型在自適應(yīng)增強(qiáng)思想的基礎(chǔ)上，將K最近鄰(k-Nearest Neighbor，KNN)分類算法進(jìn)行融合，通過尋找最優(yōu)的KNN基分類器個(gè)數(shù)，構(gòu)造KNN組合分類器，并利用MapReduce并行化架構(gòu)，實(shí)現(xiàn)算法的分布式處理。仿真結(jié)果表明，該并行化組合分