解決方案_智慧城市_47_水務大腦大數(shù)據(jù)和數(shù)字孿生平臺項目方案

1、水 務 大 腦 大數(shù)據(jù)和數(shù)字孿生平臺 大數(shù)據(jù)和數(shù)字孿生平臺項目 項目 （第一部分） 第一部分） 項目背景 項目背景 XXX 公司作為 YYY 市水務集團發(fā)展新興戰(zhàn)略性產(chǎn)業(yè)的重要載體，承擔著面向 水務行業(yè)智慧化發(fā)展的重任。 水務大腦的研發(fā)和應用推廣是 XXX 公司實現(xiàn)戰(zhàn)略目 標的關鍵舉措。XXX 公司以自身能力為基礎，適當引入人工智能、大數(shù)據(jù)行業(yè)先進技術組件，構建面向水務行業(yè)的智慧大腦。水務大腦的研發(fā)建設是以云計算、大數(shù)據(jù)、人

2、工智能、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和 5G 等新一代信息技術為支撐，參照YYY 市市和行業(yè)信息化建設的要求，形成以經(jīng)營服務領域、生產(chǎn)運營領域、設計施工領域、 管理管控領域為應用基礎的水務大腦產(chǎn)品框架體系， 推動水務行業(yè)的生產(chǎn)數(shù)字化、管理系統(tǒng)化、決策科學化和服務個性化。 項目目標 項目目標 本期建設核心目標是構建水務大腦產(chǎn)品體系的基礎技術平臺和重要智能模型，并基于技術平臺開發(fā)水務行業(yè)制水、供水領域的專用智能模型，滿足水務行業(yè)智能調(diào)度、安全管理等核

3、心需求。實現(xiàn)集團型企業(yè)信息系統(tǒng)數(shù)據(jù)、下屬公司信息系統(tǒng)數(shù)據(jù)匯聚、梳理需求，基于統(tǒng)一數(shù)據(jù)實現(xiàn)智慧應用開發(fā)。 根據(jù)水務大腦建設的總體規(guī)劃，按照分批實施分步上線的思路建設，本期項目為基礎建設階段，主要包括如下內(nèi)容： 1、 建設水務大腦大數(shù)據(jù)平臺 2、 建設水務大腦數(shù)字孿生平臺 3、 基于兩個平臺的智慧應用群部分內(nèi)容 功能需求 功能需求 水務大腦大數(shù)據(jù)平臺建設 水務大腦大數(shù)據(jù)平臺建設 統(tǒng)一大數(shù)據(jù)平臺基于數(shù)據(jù)集成、分布式數(shù)據(jù)存儲與管理、批&

4、;流數(shù)據(jù)開發(fā)、 實時多維分析、 跨源交互式分析、 數(shù)據(jù)可視化等技術為業(yè)主搭建完整的大數(shù)據(jù)技術體系，滿足針對水務領域的包括數(shù)據(jù)匯聚、多維數(shù)據(jù)分析、分布式高可用實時 分析等多種復雜應用場景的應用要求，需支持一站式數(shù)據(jù)集成、數(shù)據(jù)治理、可視k,Hue,Mahout,Sqoop 等。 平臺支持無成本接入業(yè)主現(xiàn)有的存儲、計算系統(tǒng)（對象存儲、HDFS 分布式 集群、Spark 集群等） ，平臺支持彈性擴縮容、靈活擴展存儲、計算集群，支持 靈活擴展計

5、算引擎。 任務調(diào)度管理 任務調(diào)度管理 針對統(tǒng)一大數(shù)據(jù)平臺中大量的數(shù)據(jù)計算任務， 平臺應提供可視化作業(yè)調(diào)度和 管理功能，統(tǒng)一進行工作流程的安排、調(diào)度及跨項目的作業(yè)觸發(fā)執(zhí)行，滿足不同 條件的順序、 依賴等調(diào)度邏輯以完成各種復雜的業(yè)務計算， 提高作業(yè)運行的效率。平臺應支持可視化作業(yè)編排，可視化拖拽將作業(yè)形成 DAG，按照圖的順序依 次調(diào)用，支持多任務類型，支持自定義任務類型，支持自定義程序包，支持周期 性調(diào)度，支持跳過、失敗重試等執(zhí)行策略設置

6、。 可視化開發(fā) 可視化開發(fā) Studio Studio 平臺應通過可視化開發(fā)、拖拽式插件式開發(fā)、流水線作業(yè)、作業(yè)組編排等實 現(xiàn)數(shù)據(jù)開發(fā)的可視化。支持離線開發(fā)、實時流開發(fā)，在線 SQL、自定義 Jar 程序等開發(fā)模式，高吞吐低延遲的實時計算，全方位多角度的監(jiān)控告警機制等。平臺支持可視化數(shù)據(jù)處理開發(fā)，具備 10 種以上常用可視化數(shù)據(jù)處理開發(fā)組件。 資源監(jiān)控 資源監(jiān)控 對于開源大數(shù)據(jù)生態(tài)中各種復雜的組件，平臺需提供統(tǒng)一的一鍵式集群組件部署功能

7、，并且提供集群、主機、服務等多維度、詳細的監(jiān)控報警功能。 （3）元數(shù)據(jù)管理組件 ）元數(shù)據(jù)管理組件 元數(shù)據(jù)組件需包括內(nèi)容: 支持靈活定義主題、庫、表層級關系 基于技術元數(shù)據(jù)的數(shù)據(jù)權限管理（庫、表、行、列級別） 基于技術元數(shù)據(jù)的批、流、SQL 查詢、數(shù)據(jù)湖分析、聯(lián)邦查詢分析. （4）ETL ETL 組件 組件 ETL 組件負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等 抽取到臨時中間層后進行清洗、 轉換、 集成， 最后加載到數(shù)據(jù)

8、倉庫或數(shù)據(jù)集市中， 成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。 （5）大數(shù)據(jù)資源管理平臺 ）大數(shù)據(jù)資源管理平臺 1. 開源大數(shù)據(jù)組件 提供 Hadoop 生態(tài)大數(shù)據(jù)組件，包括：HDFS,Spark,FlinkHBase,MapReduce,Hive,YARN,Tez,Pig,Oozie,ZooKeeper,Storm,Flume,Kafka,Ranger,Zeppeli n Notebook,Hue,Mahout,Sqoop 等。 2. 需支持