絡(luò)流量大數(shù)據(jù)分析和管控項(xiàng)目需求資料.docx

1、公安網(wǎng)網(wǎng)絡(luò)流量大數(shù)據(jù)分析和管控項(xiàng)目需求書(shū)目錄1項(xiàng)目概述41.1項(xiàng)目背景41.2解決思路41.3項(xiàng)目目標(biāo)51.4建設(shè)原則71.4.1參考標(biāo)準(zhǔn)71.4.2可靠性及可用性71.4.3安全性81.4.4成熟性81.4.5先進(jìn)性81.4.6可擴(kuò)展性82架構(gòu)描述82.1整體架構(gòu)82.2功能架構(gòu)92.2.1應(yīng)用層112.2.2接口層112.2.3分析服務(wù)層112.2.4數(shù)據(jù)資源層112.2.5基礎(chǔ)設(shè)施層122.2.6數(shù)據(jù)可視化122.2.7數(shù)據(jù)交換1

2、22.2.8流量采集132.2.9運(yùn)維管理132.2.10安全管理133平臺(tái)建設(shè)需求133.1業(yè)務(wù)門戶功能需求143.1.1業(yè)務(wù)功能需求143.1.2門戶管理功能需求143.2業(yè)務(wù)功能需求163.2.1應(yīng)用識(shí)別163.2.2流量展示及異常流量識(shí)別173.2.3流量智能調(diào)度193.2.4用戶畫(huà)像213.2.5應(yīng)用關(guān)聯(lián)關(guān)系273.2.6應(yīng)用畫(huà)像293.2.7精準(zhǔn)推送333.2.8行為識(shí)別353.3數(shù)據(jù)可視化需求373.4大數(shù)據(jù)處理分析組件建

3、設(shè)需求383.4.1數(shù)據(jù)服務(wù)模塊建設(shè)要求393.4.2大數(shù)據(jù)分析算法庫(kù)建設(shè)要求393.4.3分布式存儲(chǔ)建設(shè)要求463.4.4分布式并行處理建設(shè)要求463.4.5實(shí)時(shí)內(nèi)存分析處理建設(shè)要求46和保障。通過(guò)定制的行為識(shí)別還可以為應(yīng)用提供更廣泛的服務(wù)和保障。1.3項(xiàng)目目標(biāo)本項(xiàng)目目標(biāo)包括兩個(gè)方面：業(yè)務(wù)目標(biāo)和建設(shè)目標(biāo)，其中業(yè)務(wù)目標(biāo)包括三個(gè)方面：智能化流量趨勢(shì)分析、全網(wǎng)流量智能調(diào)度和重點(diǎn)應(yīng)用智能化保障：項(xiàng)目業(yè)務(wù)目標(biāo)精準(zhǔn)的流量趨勢(shì)分析：1)能夠?qū)χ付ㄦ?/p>

4、路、指定某個(gè)應(yīng)用或某類應(yīng)用，通過(guò)數(shù)據(jù)挖掘算法，智能化進(jìn)行指定周期（例如五年后）的指定時(shí)段（例如全天時(shí)段、或者白天時(shí)段）的流量趨勢(shì)預(yù)測(cè)；2)能通過(guò)系統(tǒng)可視化能力，用戶可通過(guò)界面選擇操作(例如界面上選擇指定周期、指定時(shí)段)，進(jìn)行分析結(jié)果的圖形化展示。整個(gè)業(yè)務(wù)場(chǎng)景需要使用的業(yè)務(wù)模型：應(yīng)用畫(huà)像、流量預(yù)測(cè)。整個(gè)業(yè)務(wù)場(chǎng)景的實(shí)現(xiàn)中，使用的分析方法有：?簡(jiǎn)單統(tǒng)計(jì)類：鏈路指定時(shí)段的流量、指定應(yīng)用的指定時(shí)段的流量，用戶訪問(wèn)量，跨域訪問(wèn)量等?數(shù)據(jù)挖掘類：鏈路

5、的流向趨勢(shì)，鏈路的應(yīng)用分布應(yīng)用的用戶地域分布；?智能分析類：應(yīng)用畫(huà)像之分類流量預(yù)測(cè)。全網(wǎng)流量智能調(diào)度1)全網(wǎng)流量規(guī)劃：通過(guò)應(yīng)用畫(huà)像及流量的可視化能力，可以從整體分析全網(wǎng)絡(luò)流量的現(xiàn)狀，通過(guò)查看鏈路的流量流向信息，鏈路上具體的應(yīng)用分類情況，可以指定整個(gè)網(wǎng)絡(luò)整體的流量規(guī)劃。通過(guò)實(shí)時(shí)分析數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)進(jìn)行流量控制規(guī)則生成，分析方法中統(tǒng)計(jì)類的包括鏈路流量趨勢(shì)，鏈路的流向趨勢(shì)，鏈路的應(yīng)用分，智能分析類的包括全網(wǎng)流量趨勢(shì)預(yù)測(cè)，應(yīng)用分類。2)根據(jù)規(guī)劃生

6、成流量策略，檢測(cè)如果鏈路流量不符合流量規(guī)劃，則采用精準(zhǔn)推送方式提醒流量使用者。流量規(guī)劃策略可包括流量的分時(shí)段使用帶寬要求，應(yīng)用的分地域使用帶寬要求，鏈路帶寬閾值要求。3)緊急情況流量管控，當(dāng)網(wǎng)絡(luò)中發(fā)生擁塞，或預(yù)測(cè)網(wǎng)絡(luò)中發(fā)生擁塞，則通知用戶或直接對(duì)采集器下發(fā)流量控制策略，可以對(duì)低價(jià)值應(yīng)用進(jìn)行控制或疏導(dǎo)（CAR，打標(biāo)簽通過(guò)策略路由轉(zhuǎn)發(fā)），同時(shí)對(duì)高價(jià)值應(yīng)用進(jìn)行業(yè)務(wù)策略保證（配置Qos策略）4)整個(gè)業(yè)務(wù)需要使用的業(yè)務(wù)模型：流量趨勢(shì)分析、應(yīng)用畫(huà)像

7、、精準(zhǔn)推送、流量智能管控。重點(diǎn)應(yīng)用智能化保障1)通過(guò)對(duì)應(yīng)用系統(tǒng)的分析，對(duì)整個(gè)應(yīng)用系統(tǒng)使用的帶寬情況，支撐此應(yīng)用系統(tǒng)的帶寬使用情況進(jìn)行分析，對(duì)采集器下發(fā)QoE策略，對(duì)應(yīng)用系統(tǒng)對(duì)外提供服務(wù)的帶寬和支撐應(yīng)用系統(tǒng)使用的帶寬進(jìn)行保障。2)整個(gè)分析采用統(tǒng)計(jì)方法的是應(yīng)用的帶寬使用情況，支撐系統(tǒng)的帶寬情況。采用挖掘和智能分析方法的是應(yīng)用關(guān)系，流量趨勢(shì)預(yù)測(cè)。3)整個(gè)業(yè)務(wù)需要使用的業(yè)務(wù)模型：流量趨勢(shì)分析、應(yīng)用畫(huà)像、流量智能管控。項(xiàng)目建設(shè)目標(biāo)?構(gòu)建網(wǎng)絡(luò)大數(shù)據(jù)

8、分析平臺(tái)，基于領(lǐng)先的大數(shù)據(jù)處理技術(shù)，實(shí)現(xiàn)對(duì)海量網(wǎng)絡(luò)流量數(shù)據(jù)的存儲(chǔ)、統(tǒng)計(jì)分析和深度學(xué)習(xí)；實(shí)現(xiàn)針對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)的數(shù)據(jù)挖掘和深度分析模型和算法庫(kù)；?建立模型庫(kù)：通過(guò)大數(shù)據(jù)分析的方法，設(shè)計(jì)符合內(nèi)網(wǎng)趨勢(shì)和研究方向的網(wǎng)絡(luò)流量數(shù)據(jù)分析模型，并通過(guò)通過(guò)大數(shù)據(jù)分析算法庫(kù)，將業(yè)務(wù)模型固化實(shí)現(xiàn)，支撐網(wǎng)絡(luò)運(yùn)維工作發(fā)展。?構(gòu)建基于全網(wǎng)的易于部署的高性能數(shù)據(jù)采集器，采集器需要支持海量的數(shù)據(jù)提取及預(yù)處理能力，支持完善的包檢測(cè)及豐富的自定義能力，滿足大數(shù)據(jù)平臺(tái)的數(shù)據(jù)采

9、集要求。?通過(guò)系統(tǒng)建設(shè)提供豐富的功能，系統(tǒng)提供大數(shù)據(jù)分析，用戶畫(huà)像，應(yīng)用畫(huà)像，關(guān)聯(lián)關(guān)系分析等功能，提供內(nèi)網(wǎng)檢測(cè)，信息推送，流量管理等主動(dòng)控制功能。通過(guò)關(guān)鍵項(xiàng)進(jìn)行綜合評(píng)分，提供全面的信息化程度展現(xiàn)。相關(guān)工作需要對(duì)全量的網(wǎng)絡(luò)數(shù)據(jù)和應(yīng)用信息進(jìn)行相應(yīng)的梳理、歸類，采用大數(shù)據(jù)的技術(shù)和理念進(jìn)行深度分析，可以獲得新的有價(jià)值的信息，發(fā)現(xiàn)其中的規(guī)律和趨勢(shì)，挖掘數(shù)據(jù)中內(nèi)在的價(jià)值，將網(wǎng)絡(luò)運(yùn)維工作帶入一個(gè)新的領(lǐng)域。一方面在運(yùn)維思路上，將從關(guān)注“網(wǎng)絡(luò)通斷”的傳統(tǒng)