數(shù)據(jù)治理專(zhuān)題交流

1、數(shù)據(jù)治理專(zhuān)題交流,熊琳成都 2014年6月20日,Agenda,數(shù)據(jù)管控方法論,數(shù)據(jù)管控工作內(nèi)容,同業(yè)數(shù)據(jù)管控參考,討論和反饋,數(shù)據(jù)管控體系框架,,,,,,,,,,,,,,,,,,,,,戰(zhàn)略,規(guī)劃,機(jī)制,領(lǐng)域,實(shí)現(xiàn),組織架構(gòu),工作流程,管理制度,數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量,數(shù)據(jù)架構(gòu),元數(shù)據(jù),數(shù)據(jù)安全,系統(tǒng)：源系統(tǒng)/數(shù)據(jù)基礎(chǔ)平臺(tái)/應(yīng)用集市,工具：數(shù)據(jù)標(biāo)準(zhǔn)/數(shù)據(jù)質(zhì)量/元數(shù)據(jù) 管理系統(tǒng),企業(yè)戰(zhàn)略決定了企業(yè)架構(gòu)，企業(yè)架構(gòu)是從全局的角度審視與信息化相關(guān)

2、的業(yè)務(wù)、數(shù)據(jù)、技術(shù)和應(yīng)用間的相互作用關(guān)系。企業(yè)架構(gòu)有業(yè)務(wù)架構(gòu)、數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)和技術(shù)架構(gòu)共同組成。,為實(shí)現(xiàn)全行數(shù)據(jù)管控配套的組織架構(gòu)，崗位職責(zé)和人員技能要求與組織架構(gòu)配套的工作流程，包括管理辦法、工作模板。管理制度是為有效做到數(shù)據(jù)管控配套的績(jī)效考核方法。,數(shù)據(jù)標(biāo)準(zhǔn)需要在源系統(tǒng)、數(shù)據(jù)基礎(chǔ)平臺(tái)、應(yīng)用集市落地。數(shù)據(jù)質(zhì)量管理是貫穿源系統(tǒng)、數(shù)據(jù)基礎(chǔ)平臺(tái)和應(yīng)用集市的。數(shù)據(jù)基礎(chǔ)平臺(tái)可以作為基礎(chǔ)數(shù)據(jù)質(zhì)量核檢的集中地。元數(shù)據(jù)管理系統(tǒng)保存所有

3、系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)除發(fā)布標(biāo)準(zhǔn)外，還保存標(biāo)準(zhǔn)和系統(tǒng)的映射。數(shù)據(jù)質(zhì)量管理平臺(tái)部署數(shù)據(jù)核檢規(guī)則和展示質(zhì)量平衡記分卡。,數(shù)據(jù)管控領(lǐng)域分類(lèi)方法很多，標(biāo)準(zhǔn)、質(zhì)量是公認(rèn)需要重點(diǎn)關(guān)注的。數(shù)據(jù)架構(gòu)、元數(shù)據(jù)、數(shù)據(jù)安全都是偏技術(shù)方面的管理。數(shù)據(jù)標(biāo)準(zhǔn)是偏業(yè)務(wù)方面，數(shù)據(jù)質(zhì)量是介于業(yè)務(wù)和科技之間的。,架構(gòu)規(guī)劃遞進(jìn)關(guān)系,企業(yè)戰(zhàn)略,業(yè)務(wù)架構(gòu),數(shù)據(jù)架構(gòu),應(yīng)用架構(gòu),技術(shù)架構(gòu),實(shí)時(shí)數(shù)據(jù)交換批量數(shù)據(jù)交換主數(shù)據(jù)上游業(yè)務(wù)系統(tǒng)/數(shù)據(jù)基礎(chǔ)平臺(tái)/下游應(yīng)用系統(tǒng)

4、,應(yīng)用需求功能/流程信息角色/場(chǎng)景,渠道交互類(lèi)客戶(hù)營(yíng)銷(xiāo)類(lèi)產(chǎn)品服務(wù)類(lèi)管理決策類(lèi)風(fēng)險(xiǎn)合規(guī)類(lèi)基礎(chǔ)支持類(lèi),硬件平臺(tái)軟件：操作系統(tǒng)/中間件/數(shù)據(jù)庫(kù)…網(wǎng)絡(luò)軟硬件相關(guān)監(jiān)控系統(tǒng),企業(yè)IT架構(gòu)是指導(dǎo)IT投資和設(shè)計(jì)決策的框架，是建立企業(yè)信息系統(tǒng)的綜合藍(lán)圖，對(duì)企業(yè)不同的信息視圖進(jìn)行架構(gòu)描述的綜合。,企業(yè)架構(gòu)是一個(gè)多視圖的體系結(jié)構(gòu)，它是從戰(zhàn)略目標(biāo)出發(fā)，從企業(yè)全局的角度審視與信息化相關(guān)的業(yè)務(wù)、數(shù)據(jù)、技術(shù)和應(yīng)用間的相互作用關(guān)系以及這種關(guān)系對(duì)企

5、業(yè)業(yè)務(wù)流程和功能的影響。,數(shù)據(jù)管控機(jī)制,,管理制度,組織機(jī)構(gòu)崗位職能人員技能,管理辦法工作模板,數(shù)據(jù)管控領(lǐng)域,管控,數(shù)據(jù)質(zhì)量是指數(shù)據(jù)滿(mǎn)足業(yè)務(wù)運(yùn)營(yíng)、管理與決策的程度。數(shù)據(jù)質(zhì)量包括完整性、唯一性、有效性、一致性、準(zhǔn)確性和及時(shí)性。數(shù)據(jù)質(zhì)量管理范圍包括數(shù)據(jù)質(zhì)量問(wèn)題管理、數(shù)據(jù)質(zhì)量規(guī)則管理以及數(shù)據(jù)質(zhì)量管理系統(tǒng)的建設(shè)與維護(hù)。,元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù)，是數(shù)據(jù)的業(yè)務(wù)涵義、技術(shù)涵義和加工處理過(guò)程的定義，是數(shù)據(jù)管控的基本手段。元數(shù)據(jù)管理是指開(kāi)發(fā)環(huán)境元數(shù)

6、據(jù)管理、測(cè)試環(huán)境元數(shù)據(jù)管理、生產(chǎn)環(huán)境元數(shù)據(jù)管理以及元數(shù)據(jù)管理平臺(tái)建設(shè)和維護(hù)等相關(guān)工作。,數(shù)據(jù)架構(gòu)是指從遵從業(yè)務(wù)架構(gòu)，支持應(yīng)用架構(gòu)的層面出發(fā)，著力于銀行的數(shù)據(jù)資源，定義數(shù)據(jù)的分布、存儲(chǔ)、移動(dòng)和檢索。數(shù)據(jù)架構(gòu)管理包括主數(shù)據(jù)分布管理、數(shù)據(jù)存儲(chǔ)架構(gòu)管理、數(shù)據(jù)交換方式管理、數(shù)據(jù)模型策略管理、數(shù)據(jù)應(yīng)用模式管理及相關(guān)的流程、制度和規(guī)范。,數(shù)據(jù)是指以電子形式存儲(chǔ)的銀行業(yè)務(wù)數(shù)據(jù)、辦公信息、系統(tǒng)運(yùn)行日志、故障維護(hù)日志以及其他內(nèi)部資料。數(shù)據(jù)安全管理是明確

7、數(shù)據(jù)的保密范圍與保密要求，有效防范信息安全風(fēng)險(xiǎn)，規(guī)范信息科技定密管理、保密載體管理、科技信息傳送范圍和調(diào)用審批管理。,數(shù)據(jù)管控實(shí)現(xiàn),,,,,,,,,沙盤(pán)演練應(yīng)用,實(shí)時(shí)分析應(yīng)用,企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),核心,信貸,國(guó)結(jié),村鎮(zhèn)銀行,數(shù)據(jù)采集,數(shù)據(jù)傳輸,數(shù)據(jù)處理,統(tǒng)一調(diào)度,統(tǒng)一監(jiān)控,核心數(shù)據(jù),信貸數(shù)據(jù),國(guó)結(jié)數(shù)據(jù),網(wǎng)銀數(shù)據(jù),實(shí)時(shí)決策區(qū),技術(shù)緩沖層,偏源模型層,整合模型層,共性加工層,數(shù)據(jù)補(bǔ)錄層,應(yīng)用集市層,分行應(yīng)用層,沙盤(pán)演練層,

8、集成數(shù)據(jù)區(qū),社交媒體信息,用戶(hù)評(píng)價(jià)信息,移動(dòng)互聯(lián)信息,用戶(hù)位置信息,大數(shù)據(jù)處理區(qū),業(yè)務(wù)數(shù)據(jù)歸檔,分析數(shù)據(jù)歸檔,集市數(shù)據(jù)歸檔,其他數(shù)據(jù)歸檔,歷史數(shù)據(jù)區(qū)(HODS),固定報(bào)表,多維分析,靈活查詢(xún),數(shù)據(jù)挖掘,儀表盤(pán),EOD數(shù)據(jù)總線(xiàn),,客戶(hù)管理,風(fēng)險(xiǎn)管理,財(cái)務(wù)管理,運(yùn)營(yíng)管理,分析數(shù)據(jù)區(qū),監(jiān)管合規(guī),ESB,數(shù)據(jù)管控平臺(tái),Agenda,數(shù)據(jù)管控方法論,數(shù)據(jù)管控工作內(nèi)容,同業(yè)數(shù)據(jù)管控參考,討論和反饋,數(shù)據(jù)管控組織架構(gòu),數(shù)據(jù)管控業(yè)務(wù)組,數(shù)據(jù)管控技術(shù)組,

9、數(shù)據(jù)管控委員會(huì),專(zhuān)職標(biāo)準(zhǔn)管理專(zhuān) 員2人-3人，按 主題劃分。,專(zhuān)職數(shù)據(jù)質(zhì)量管 理專(zhuān)員2人-3人， 按系統(tǒng)跟進(jìn)。,數(shù)據(jù)標(biāo)準(zhǔn)管理,數(shù)據(jù)質(zhì)量管理,在信息技術(shù)部需 要配置專(zhuān)職3-4 人負(fù)責(zé)數(shù)據(jù)字典 管理。 對(duì)應(yīng)系統(tǒng)開(kāi)發(fā)組要配備兼職的專(zhuān)員。,元數(shù)據(jù)管理,,,,業(yè)務(wù)部門(mén),數(shù)據(jù)標(biāo)準(zhǔn)專(zhuān)員 （兼職）,數(shù)據(jù)質(zhì)量專(zhuān)員 （兼職）,,數(shù)據(jù)管控辦公室,管控委員會(huì)及管控辦公室工作職能,對(duì)全行數(shù)據(jù)管控

10、工作進(jìn)行集中統(tǒng)一領(lǐng)導(dǎo)，協(xié)調(diào)相關(guān)職能部門(mén)的運(yùn)作；審議全行數(shù)據(jù)管控建設(shè)狀況，研究確定全行數(shù)據(jù)管控的戰(zhàn)略、方針和政策；審定全行數(shù)據(jù)管控方案與實(shí)施計(jì)劃；監(jiān)督檢查全行數(shù)據(jù)管控措施的執(zhí)行情況；不定期審議數(shù)據(jù)管控重大變更事項(xiàng)；針對(duì)數(shù)據(jù)檢查報(bào)告中提出的嚴(yán)重違規(guī)及重大問(wèn)題，在全行范圍內(nèi)協(xié)調(diào)整改、處理及處罰；定期聽(tīng)取數(shù)據(jù)管控辦公室對(duì)數(shù)據(jù)管控工作的匯報(bào)；審議其他需提交委員會(huì)研究的數(shù)據(jù)管控事項(xiàng)。,數(shù)據(jù)管控委員會(huì)職責(zé),定期向管控委員會(huì)匯報(bào)數(shù)據(jù)管控工作情

11、況，并落地執(zhí)行管控委員會(huì)的決議；溝通和協(xié)調(diào)數(shù)據(jù)管控日常管理工作，組織數(shù)據(jù)管控日常會(huì)議，并跟進(jìn)會(huì)議事項(xiàng)；制定數(shù)據(jù)管控每年及階段性的工作計(jì)劃；協(xié)調(diào)相關(guān)各部門(mén)推動(dòng)數(shù)據(jù)管控執(zhí)行策略和執(zhí)行方案；承擔(dān)數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理工作；組織制定數(shù)據(jù)管控考核辦法，并承擔(dān)全行數(shù)據(jù)管控的考核工作。,數(shù)據(jù)管控辦公室職責(zé),數(shù)據(jù)管控中業(yè)務(wù)部門(mén)角色分類(lèi),,,,,,業(yè)務(wù)屬主部門(mén),,系統(tǒng)屬主部門(mén),,數(shù)據(jù)操作部門(mén),,數(shù)據(jù)應(yīng)用部門(mén),,,,,制定本部門(mén)負(fù)責(zé)的數(shù)據(jù)主題

12、的數(shù)據(jù)標(biāo)準(zhǔn)。配合與本部門(mén)業(yè)務(wù)相關(guān)的數(shù)據(jù)治理工作。提出本部門(mén)業(yè)務(wù)需求。,整合本部門(mén)的系統(tǒng)所有業(yè)務(wù)需求，并必須遵循數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。牽頭負(fù)責(zé)本部門(mén)的系統(tǒng)的數(shù)據(jù)治理工作。配合本部門(mén)系統(tǒng)所涉及的標(biāo)準(zhǔn)評(píng)審工作。,按業(yè)務(wù)操作流程完成本部門(mén)數(shù)據(jù)錄入工作，并制定數(shù)據(jù)質(zhì)量保證措施。結(jié)合數(shù)據(jù)質(zhì)量要求，制定本部門(mén)錄入崗位的數(shù)據(jù)質(zhì)量考核指標(biāo)。向系統(tǒng)屬主部門(mén)提出改善數(shù)據(jù)質(zhì)量的相關(guān)建議。,參與本部門(mén)使用到的數(shù)據(jù)的標(biāo)準(zhǔn)評(píng)審工作。從使用數(shù)據(jù)的角度制定數(shù)據(jù)質(zhì)量

13、核檢規(guī)則并部署。發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題需及時(shí)上報(bào)數(shù)據(jù)管控辦公室。,1,2,3,4,業(yè)務(wù)部門(mén)角色,2,業(yè)務(wù)屬主部門(mén),系統(tǒng)屬主部門(mén),數(shù)據(jù)操作部門(mén),2,1,3,2,2,2,3,2,1,2,1,3,1,2,3,1,1,1,1,1,1,3,1,3,1,3,1,3,1,3,1,3,1,3,1,3,1,3,1,3,2,3,1,2,3,1,2,3,1,2,3,1,2,3,1,2,3,1,2,3,1,備注：由于數(shù)據(jù)使用部門(mén)很多，所以沒(méi)有標(biāo)注在上面。,數(shù)據(jù)標(biāo)準(zhǔn)

14、制定流程,數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用流程,數(shù)據(jù)標(biāo)準(zhǔn)落地流程：指標(biāo)準(zhǔn)制定后階段性往上游業(yè)務(wù)系統(tǒng)、數(shù)據(jù)基礎(chǔ)平臺(tái)和下游應(yīng)用系統(tǒng)落地的流程,數(shù)據(jù)標(biāo)準(zhǔn)檢核流程：指在信息科技部日常的開(kāi)發(fā)評(píng)審環(huán)節(jié)中增加數(shù)據(jù)標(biāo)準(zhǔn)檢查的流程。,數(shù)據(jù)質(zhì)量問(wèn)題解決流程,數(shù)據(jù)質(zhì)量規(guī)則制定流程,17,管理制度-數(shù)據(jù)質(zhì)量平衡計(jì)分卡,如何在考核中體現(xiàn)數(shù)據(jù)質(zhì)量的考核？,各部門(mén)問(wèn)卷評(píng)分,評(píng)分規(guī)則完整性，滿(mǎn)分5分，得分=5*（分?jǐn)?shù)總和/19）及時(shí)性，滿(mǎn)分2分,得分取值為1.5（稍延后）或2（很及

15、時(shí)）準(zhǔn)確度，滿(mǎn)分3分，得分=3*（分?jǐn)?shù)總和/回答問(wèn)題數(shù)）綜合分，滿(mǎn)分10分，為完整性，及時(shí)性，準(zhǔn)確度之和。規(guī)則說(shuō)明完整性，看19個(gè)問(wèn)題是否都進(jìn)行答復(fù)，體現(xiàn)態(tài)度及時(shí)性，是否按要求的時(shí)間點(diǎn)完成，體現(xiàn)態(tài)度準(zhǔn)確度，由專(zhuān)業(yè)人士分析部門(mén)反饋內(nèi)容，體現(xiàn)能力綜合分，在數(shù)據(jù)治理初期態(tài)度比重大，隨著企業(yè)治理文化形成，能力分的比重加大。結(jié)果點(diǎn)評(píng)用數(shù)的部門(mén)對(duì)于數(shù)據(jù)治理較為重視，本身的能力也具備，比如風(fēng)管部、計(jì)財(cái)部、稽核審計(jì)部。電子銀行部

16、表現(xiàn)不錯(cuò)，從回答的問(wèn)卷來(lái)看，對(duì)數(shù)據(jù)的理解比較到位，未來(lái)通過(guò)數(shù)據(jù)分析大力發(fā)展業(yè)務(wù)的能力具備。資金部由于系統(tǒng)較少，而且業(yè)務(wù)規(guī)模不大，所以對(duì)數(shù)據(jù)不是太重視。信審部重操作不重分析，未來(lái)可以結(jié)合數(shù)據(jù)對(duì)員工能力進(jìn)行量化考核。中小部需要重視數(shù)據(jù)價(jià)值。評(píng)分目的希望在銀行形成數(shù)據(jù)治理、數(shù)據(jù)運(yùn)用的文化。通過(guò)量化的指標(biāo)讓領(lǐng)導(dǎo)對(duì)于各部門(mén)的配合有直觀(guān)的認(rèn)識(shí)。,,數(shù)據(jù)管控業(yè)務(wù)組,,數(shù)據(jù)管控組,數(shù)據(jù)平臺(tái)需求組,,,業(yè)務(wù)的理解對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的制定、推行數(shù)據(jù)質(zhì)量治

17、理很重要,籌備每月或每?jī)稍聰?shù)據(jù)管控委員會(huì)會(huì)議。全行數(shù)據(jù)管理工作考核。承擔(dān)數(shù)據(jù)標(biāo)準(zhǔn)管理職能。承擔(dān)數(shù)據(jù)質(zhì)量管理職能。,,作為全行數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)需求部門(mén)。作為需要整合全行數(shù)據(jù)的數(shù)據(jù)集市的業(yè)務(wù)方。參與評(píng)審數(shù)據(jù)倉(cāng)庫(kù)模型的準(zhǔn)入原則。組織協(xié)調(diào)數(shù)據(jù)倉(cāng)庫(kù)的UAT。,數(shù)據(jù)管控技術(shù)組,,數(shù)據(jù)管控組,數(shù)據(jù)平臺(tái)開(kāi)發(fā)團(tuán)隊(duì),,,技術(shù)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的落地、數(shù)據(jù)質(zhì)量分析的支撐很重要,配合數(shù)據(jù)標(biāo)準(zhǔn)的制定工作。數(shù)據(jù)質(zhì)量管理中與業(yè)務(wù)組一起分析、討論治理方案，并在科技內(nèi)

18、部協(xié)調(diào)相關(guān)資源參與。主導(dǎo)并承擔(dān)元數(shù)據(jù)管理職責(zé)。,,負(fù)責(zé)全行數(shù)據(jù)基礎(chǔ)平臺(tái)的開(kāi)發(fā)。負(fù)責(zé)全行應(yīng)用集市的建設(shè)和開(kāi)發(fā)。負(fù)責(zé)全行統(tǒng)一調(diào)度、統(tǒng)一報(bào)表平臺(tái)的建設(shè)。負(fù)責(zé)大數(shù)據(jù)技術(shù)的研發(fā)。,,信息技術(shù)部數(shù)據(jù)團(tuán)隊(duì)– 數(shù)據(jù)開(kāi)發(fā)職責(zé),銀行A（規(guī)模略小）：數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)人員10人，目前無(wú)大數(shù)據(jù)組。銀行B（規(guī)模較大的城商行）： 數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)23人，不包括大數(shù)據(jù)組。,Agenda,數(shù)據(jù)管控方法論,數(shù)據(jù)管控工作內(nèi)容,同業(yè)數(shù)據(jù)管控參考,討論和反饋,國(guó)有銀行A –

19、一級(jí)部 管理信息部,,股份制銀行B – 二級(jí)部 管理信息中心,2012年6月20日，總行批準(zhǔn)設(shè)立管理信息中心，為總行計(jì)劃財(cái)務(wù)部下屬二級(jí)部門(mén)，內(nèi)設(shè)信息管理處、信息服務(wù)處和管理會(huì)計(jì)處3個(gè)處；,城商行C – 準(zhǔn)備采用的數(shù)據(jù)管控組織架構(gòu),成立二級(jí)中心，建議在財(cái)務(wù)部、資產(chǎn)負(fù)債部、風(fēng)險(xiǎn)管理部、科技部門(mén)選擇成立二級(jí)中心。該二級(jí)中心必須有專(zhuān)職人員從事以下工作，并且有考核的職責(zé)。組織數(shù)據(jù)管控委員會(huì)日常會(huì)議，預(yù)先準(zhǔn)備會(huì)議討論事項(xiàng)，并且跟進(jìn)數(shù)據(jù)管控委員會(huì)

20、決議之后的工作推動(dòng)。數(shù)據(jù)標(biāo)準(zhǔn)管理工作數(shù)據(jù)質(zhì)量管理工作ODS及數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的業(yè)務(wù)歸屬部門(mén)，統(tǒng)籌全行基礎(chǔ)數(shù)據(jù)平臺(tái)的需求。 目前財(cái)務(wù)部的監(jiān)管報(bào)送任務(wù)（參考目前的人員配置）二級(jí)中心放在科技部門(mén)：對(duì)系統(tǒng)架構(gòu)比較熟悉，容易推動(dòng)標(biāo)準(zhǔn)落地和質(zhì)量檢核，但是在全行層面推動(dòng)相關(guān)部門(mén)的配合需要強(qiáng)有力的抓手，否則管控力度不夠。二級(jí)中心放在業(yè)務(wù)部門(mén)：熟悉業(yè)務(wù)知識(shí)，從根源上解決系統(tǒng)需求不合理導(dǎo)致質(zhì)量問(wèn)題，并且在制定標(biāo)準(zhǔn)和推動(dòng)數(shù)據(jù)質(zhì)量整改上有較強(qiáng)的力度和推