基于物聯(lián)網(wǎng)的農(nóng)業(yè)大數(shù)據(jù)處理方法研究.pdf

1、物聯(lián)網(wǎng)在農(nóng)業(yè)信息化中的推廣，龐大的傳感器和RFID節(jié)點(diǎn)，能夠更好地對生產(chǎn)環(huán)境中的信息進(jìn)行監(jiān)控，但是，它們采集的數(shù)據(jù)量規(guī)模會越來越大，數(shù)據(jù)會出現(xiàn)海量冗余，會對我們后續(xù)的業(yè)務(wù)處理任務(wù)造成了一些影響，不僅有性能瓶頸等問題，還會導(dǎo)致輸出結(jié)果不可信。如此巨大規(guī)模的數(shù)據(jù)，是傳統(tǒng)的數(shù)據(jù)處理方法遇到的難題，而隨著大數(shù)據(jù)時(shí)代的步伐，出現(xiàn)了很多大數(shù)據(jù)計(jì)算框架，如Hadoop、Storm、Spark，很多企業(yè)選擇它們，并做出了成功的案例，它們也相繼被應(yīng)用在農(nóng)

2、業(yè)大數(shù)據(jù)領(lǐng)域。根據(jù)數(shù)據(jù)的特點(diǎn)和使用場景，選擇合適的處理工具，是進(jìn)行數(shù)據(jù)處理必須要考慮的因素。對高度冗余的數(shù)據(jù)如何做預(yù)處理，對大數(shù)據(jù)做處理分析的系統(tǒng)如何做到健壯高效，都是不可忽視的細(xì)節(jié)。本文依據(jù)實(shí)踐經(jīng)驗(yàn)，基于農(nóng)業(yè)系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)流向和數(shù)據(jù)特征，根據(jù)Spark處理分析數(shù)據(jù)時(shí)的機(jī)制，從減少數(shù)據(jù)冗余，并從做大表關(guān)聯(lián)優(yōu)化的問題入手，提出了基于BloomFilter的數(shù)據(jù)過中間件，提出了Spark大表關(guān)聯(lián)優(yōu)化方法。本文的主要研究工作如下:
　

3、　(1)基于物聯(lián)網(wǎng)的農(nóng)業(yè)數(shù)據(jù)采集端，采集的數(shù)據(jù)往往海量冗余，給后面的分析處理帶來了一定問題，本文根據(jù)BloomFilter過濾數(shù)據(jù)的優(yōu)點(diǎn)，在基于BloomFilter的基礎(chǔ)上提出了對冗余數(shù)據(jù)進(jìn)行過濾的優(yōu)化方法。
　　(2)針對Spark這個(gè)大數(shù)據(jù)計(jì)算框架能夠進(jìn)行流式數(shù)據(jù)處理，能夠處理基于物聯(lián)網(wǎng)的農(nóng)業(yè)數(shù)據(jù)流并且符合實(shí)時(shí)性要求，但是面對很大的兩表進(jìn)行連接操作時(shí)通常表現(xiàn)的效率不高和面對數(shù)據(jù)傾斜時(shí)造成的問題，給出了一個(gè)優(yōu)化方法。