基于Spark的直播視頻場景分類系統(tǒng)的分析與實現.pdf

1、網絡直播是繼傳統(tǒng)廣播電視后的新視頻文化，至今共經歷了三個發(fā)展階段。從優(yōu)酷等網站上傳個人視頻，到YY等網頁端的“秀場”直播，再到如今的“隨走、隨看、隨播”的移動視頻直播時代，共經歷六年，而二、三階段僅經歷三年不到卻占據現今直播的主流市場。據不完全統(tǒng)計，目前全國在線直播平臺數量超過200家，在方正證券的預測中，2020年網絡直播市場規(guī)模將達到600億元，直播將是微博、微信之后的第三波移動互聯網流量中心。
　　由于缺少高端設備和后期制作

2、的支持，畫面質量問題一直是網絡直播關注的重要問題之一。目前如百度云直播、阿里云直播等平臺都向用戶提供了針對不同錄制場景的畫質優(yōu)化方案，但是針對同一個視頻流，直播平臺一般都使用同一個優(yōu)化算法進行優(yōu)化，這也就意味著在直播過程中更換場景后對應使用的視頻流優(yōu)化算法并不是最合適的。因此，本項目提出了基于Spark的直播視頻場景分類系統(tǒng)對視頻流進行實時分類從而為實現畫質優(yōu)化方案的動態(tài)變化提供依據。
　　本項目結合任務消息隊列的思想在Spark

3、核心框架上使用Spark Streaming流式計算框架對多個視頻流進行并行實時處理與分類。視頻的處理包括視頻流數據轉圖像幀數據，對圖像幀進行轉灰度處理、直方圖均衡化處理、HOG特征提取處理以及光流特征提取處理。同時，本項目基于AlexNet模型改進并建立了接收多路輸入的深度卷積神經網絡分類模型，多路AlexNet(Multi-Stream AlexNet，MSAN)模型。本項目使用該模型對視頻的圖像數據進行場景分類，并且按照視頻推流的