制造物聯(lián)海量數(shù)據(jù)流處理方法研究.pdf

1、制造物聯(lián)技術是當代制造業(yè)中出現(xiàn)的一種新型的制造和服務模式，它可以極大提高我國制造業(yè)信息服務化水平，提升我國制造企業(yè)的市場競爭力和影響力。在制造物聯(lián)環(huán)境中，由于制造過程復雜，大量的感知設備被部署到制造現(xiàn)場去監(jiān)測生產(chǎn)情況，產(chǎn)生海量制造數(shù)據(jù)流。然而由于這些產(chǎn)生海量制造數(shù)據(jù)流存在如下特征:巨大的數(shù)據(jù)容量，多源的數(shù)據(jù)內容、復雜的數(shù)據(jù)結構、大的數(shù)據(jù)亂序排列、強的不確定數(shù)據(jù)值、多樣化的數(shù)據(jù)表現(xiàn)形式、小價值數(shù)據(jù)信息值、高的響應需求等，使得現(xiàn)有的海量數(shù)據(jù)

2、流處理方法難于直接支撐上述海量制造數(shù)據(jù)流的完全處理，導致現(xiàn)有的制造企業(yè)難于直接從上述產(chǎn)生海量信息流中去獲取自己所需信息，從而嚴重影響企業(yè)的生產(chǎn)管理與控制水平。
　　本論文在分析制造物聯(lián)海量數(shù)據(jù)流存在的數(shù)據(jù)特征，當前處理面臨挑戰(zhàn)和現(xiàn)有研究成果基礎上，對制造物聯(lián)環(huán)境下海量數(shù)據(jù)流處理關鍵技術進行了深入研究，提出并設計出一系列面向制造物聯(lián)這個特定環(huán)境下海量數(shù)據(jù)流高效檢測和處理方法?？偨Y本文開展相關工作并取得主要成果有如下:
　　1)

3、針對制造物聯(lián)海量數(shù)據(jù)流因具有大的海量數(shù)據(jù)量而難于及時處理問題，提出并設計了一種面向制造物聯(lián)海量多源數(shù)據(jù)流哈希結構復雜事件檢測方法。解決了當前復雜事件檢測方法在檢測海量多源數(shù)據(jù)流時因存在大量的回溯操作和重復查找操作而導致的難于及時處理問題，為解決制造物聯(lián)海量多源數(shù)據(jù)流高效檢測問題提供了新方法。仿真結果表明，相比現(xiàn)有的檢測方法，在檢測相同海量數(shù)據(jù)流條件本文所提方法在檢測時間，內存消耗和吞吐量方面有著顯著提高。
　　2)針對制造物聯(lián)海量

4、數(shù)據(jù)流因具有高的亂序性而難于及時判定的問題，提出并設計了一種面向制造物聯(lián)海量亂序數(shù)據(jù)流改進自動機與哈希結構的復雜事件檢測方法。解決了當前的復雜事件檢測方法在檢測亂序數(shù)據(jù)流時因存在亂序事件間內在關聯(lián)關系難于確定和內在組成結構難于構成而導致的難于及時判定的問題，為解決制造物聯(lián)海量亂序數(shù)據(jù)流高效檢測問題提供了新途徑。仿真結果表明，所提方法能夠比較高效地在制造物聯(lián)海量亂序數(shù)據(jù)流上完成事件的檢測。
　　3)針對制造物聯(lián)海量數(shù)據(jù)流因具有強不確

5、定性難于及時檢測問題，發(fā)明了一種面向制造物聯(lián)海量不確定性數(shù)據(jù)流有向無環(huán)圖結構復雜事件檢測方法?？梢杂行Ц纳飘斍皬碗s事件檢測方在檢測不確定數(shù)據(jù)流時因組合數(shù)量太大而難于及時檢測問題，為解決制造物聯(lián)海量不確定性數(shù)據(jù)流高效檢測問題提供了新思路。仿真結果表明，所提方法在減少海量不確定性數(shù)據(jù)流時檢測時間，降低消耗內存和提高事件吞吐量方面比現(xiàn)有方法有效。
　　4)針對現(xiàn)有方法在解碼制造物聯(lián)中大容量和小價值密度海量視頻數(shù)據(jù)流過程中由于需要頻繁地查

6、找可變長碼表而導致視頻解碼性能不高問題，首次提出并設計了一種面向制造物聯(lián)海量視頻數(shù)據(jù)哈希表和索引查找處理方法。通過在視頻解碼CAVLC查表中引進哈希表和索引查找技術，利用哈希表和索引查找技術減少CAVLC碼表查找過程中碼長，碼字后綴長度和碼字的查找和判斷次數(shù)，進而減少訪問查找可變長碼表次數(shù)，從而提高海量視流整體解碼性能。實驗結果表明，我們建議的基于哈希表和索引查找方法由于減少訪問查找可變長碼表次數(shù)可以分別可以節(jié)約25％、35％查表內存消

7、耗，約20％、40％查找時間和1056、923節(jié)字碼字存儲空間，可以極大提高了制造物聯(lián)海量視頻數(shù)據(jù)流解碼性能。
　　5)針對上一章改進的基于哈希表和索引查找方法由于仍舊采用有碼表查找方式而占用一定的內存，查表時間和碼表存儲空間，從而限制了CAVLC解碼性能完全提高問題，首次提出并設計了一種基于程序代碼執(zhí)行CAVLC無碼表查找處理方法。通過采用程序代碼執(zhí)行代替了改進的基于哈希表和索引查找中查表方式，實現(xiàn)了CAVLC無碼表高效查找處理