油氣物聯(lián)網(wǎng)實時數(shù)據(jù)管理的研究.pdf

1、隨著物聯(lián)網(wǎng)技術在油氣生產中的應用不斷深入，安裝于井場的儀表通過檢查、測量、分析、計算所得到的現(xiàn)場數(shù)據(jù)由 RTU上傳至井控 SCADA系統(tǒng)，以便對油氣生產過程進行數(shù)據(jù)展示、遠程監(jiān)控與管理。這些實時數(shù)據(jù)被存放在實時數(shù)據(jù)庫中和歷史數(shù)據(jù)庫中，為了便于管理和組織這些實時數(shù)據(jù)，需要將這些基于標簽存儲的工業(yè)實時數(shù)據(jù)轉換為適合分析的業(yè)務數(shù)據(jù)，利用這些分析型業(yè)務數(shù)據(jù)實現(xiàn)告警和預警等決策，便于查詢和二次決策。本文針對實時數(shù)據(jù)的分類處理和管理過程設計了應用服

2、務層和生產數(shù)據(jù)采集層之間的開放式結構——實時數(shù)據(jù)處理系統(tǒng)。
　　首先，以油氣物聯(lián)網(wǎng)項目中實時數(shù)據(jù)的組織、發(fā)布、生產單元分類處理為需求，在深入考慮實時數(shù)據(jù)在油氣物聯(lián)網(wǎng)生產中的數(shù)據(jù)采集、傳輸、存儲及存儲標準的基礎上，研究了實時數(shù)據(jù)的業(yè)務功能以及如何劃分系統(tǒng)模塊，同時分析了實時數(shù)據(jù)處理過程中的不足，包括存儲過程中數(shù)據(jù)量敏感、存儲成本高，數(shù)據(jù)采集與應用的頻度相對固定、不易調整，數(shù)據(jù)丟失后，難以恢復等問題。
　　其次，對目前基于多線程

3、的實時數(shù)據(jù)處理系統(tǒng)進行了性能測試，性能測試包括基準測試，負載測試和持續(xù)性測試。重點分析了負載測試中實時數(shù)據(jù)的主要功能區(qū)單井檢測頁的健康度、最大響應時間、最小響應時間、平均響應時間以及響應錯誤碼。由實驗結果可知，由于采集及處理環(huán)節(jié)的復雜性，傳統(tǒng)的多線程處理實時數(shù)據(jù)的方式導致了系統(tǒng)的響應速度會隨著用戶數(shù)的增加而變的很慢，為了加速數(shù)據(jù)處理和響應的實時速度，本文設計了一套基于Hadoop平臺的實時數(shù)據(jù)處理及轉換系統(tǒng)。
　　最后，對比目前常