數(shù)據(jù)倉庫系統(tǒng)運(yùn)維操作手冊

1、數(shù)據(jù)倉庫生產(chǎn)環(huán)境操作手冊數(shù)據(jù)倉庫生產(chǎn)環(huán)境操作手冊一運(yùn)維概述一運(yùn)維概述“數(shù)據(jù)倉庫生產(chǎn)系統(tǒng)”的運(yùn)行維護(hù)責(zé)任在于保障系統(tǒng)運(yùn)行，運(yùn)維方式主要是操作員通過工作機(jī)遠(yuǎn)程登陸到系統(tǒng)中的相關(guān)主機(jī)，對主機(jī)進(jìn)行操作，包括automation調(diào)度系統(tǒng)、數(shù)據(jù)庫、磁盤、軟件環(huán)境、數(shù)據(jù)情況等，查看批出理的運(yùn)行情況，一旦運(yùn)行出現(xiàn)問題作相應(yīng)的記錄并通知相關(guān)的技術(shù)人員，作出相應(yīng)的處理。所有運(yùn)維項(xiàng)目成員嚴(yán)格按照《數(shù)據(jù)倉庫系統(tǒng)運(yùn)維守則.doc》文檔來進(jìn)行運(yùn)維檢查工作，否則出現(xiàn)

2、事故由值班人員和當(dāng)日值班負(fù)責(zé)人承擔(dān)事故責(zé)任。二運(yùn)維內(nèi)容二運(yùn)維內(nèi)容1每日維護(hù)每日維護(hù)1.1數(shù)據(jù)檢查數(shù)據(jù)檢查每日批處理運(yùn)行前運(yùn)行完成后都需要對源頭的數(shù)據(jù)和生產(chǎn)出的數(shù)據(jù)進(jìn)行檢查，確保當(dāng)日批處理程序正常從事生產(chǎn)。檢查工作在每日9：009：30之間完成，且必須在啟動程序（批處理程序）前執(zhí)行。具體規(guī)定如下：1.1.1轉(zhuǎn)定長數(shù)據(jù)的檢查轉(zhuǎn)定長數(shù)據(jù)的檢查每天上午9:009：45之間，運(yùn)維值班人員進(jìn)行這項(xiàng)工作具體執(zhí)行步驟如下:1.在本地工作機(jī)上使用tel遠(yuǎn)

3、程登錄工具登錄到168.7.6.163服務(wù)器上，輸入用戶名sjtq密碼:cib2009edw2.輸入命令cdEDWshlog3.輸入命令meyyyymmdd當(dāng)天的日志，是否有錯誤信息，最后數(shù)據(jù)是否都上傳結(jié)束。4.以下錯誤屬于正常情況：03:00:03:1.檢查20091031標(biāo)志文件失敗～～～～～～～～～03:00:03:1.數(shù)據(jù)標(biāo)志檢查失敗，等待5分鐘(06001dta_varied)正常等待情況5.檢查點(diǎn)如下：1）每個(gè)大任務(wù)開始的初

4、始化操作沒有該數(shù)據(jù)文件miss’，就可以看到數(shù)據(jù)交換平臺上哪些文件（包括數(shù)據(jù)文件和標(biāo)志文件）未到3.哪些接口文件未到達(dá)可能性二：FTP下載時(shí)發(fā)生錯誤方法一：查看ftpall0100.pl腳本的日志，例如：ETLLOGCTL20060530ftpall_etl10100.pl.29.log，可以看到每個(gè)源系統(tǒng)數(shù)據(jù)的實(shí)時(shí)到達(dá)情況；方法二：登陸興業(yè)銀行數(shù)據(jù)倉庫DQC管理系統(tǒng)，點(diǎn)擊左邊的源數(shù)據(jù)文件接口定義維護(hù)源數(shù)據(jù)文件接口定義維護(hù)主題。輸入源表

5、系統(tǒng)名或表名進(jìn)行模糊查詢；處理方法:如果超過這個(gè)時(shí)間檢查順延，如果超過10：30源數(shù)據(jù)還沒到etl服務(wù)器上則通知值班負(fù)責(zé)人和客戶，聯(lián)系方式見《客戶和值班負(fù)責(zé)人聯(lián)系清單.doc》，并記錄異常到《異常情況登記及處理單_YYYYMMDD.doc》中。1.1.3下游系統(tǒng)數(shù)據(jù)是否全部給出下游系統(tǒng)數(shù)據(jù)是否全部給出每天上午9：00－9：30，檢查給下游系統(tǒng)的數(shù)據(jù)是否全部給出，這項(xiàng)工作非常重要，倉庫目前有很多應(yīng)用，而導(dǎo)數(shù)及上傳腳本并非都有時(shí)時(shí)報(bào)錯機(jī)制，

6、特別是上傳腳本，本項(xiàng)工作為檢查上一日給下游供數(shù)情況。具體操作如下：1執(zhí)行以下SQL如果返回結(jié)果為0，表示所有下游腳本運(yùn)行正常fromfrometlauto.etl_jobwherewhereetl_systeminin(SUBARMAMLTSREBMRPACS3ICRPMS)Last_JobStatusDONEenable=1Last_txDate=數(shù)據(jù)日期2.查詢所有給下游的數(shù)據(jù)個(gè)數(shù)，表示所有下游腳本運(yùn)行正常count()fromet

7、lauto.etl_jobwhereetl_systemin(SUBARMAMLTSREBMRPACS3ICRPMS)Last_JobStatus=DONEenable=1runninglike%0110%Last_txDate=200911053.到168.7.6.94服務(wù)器E:zhangliang每日值班下游數(shù)據(jù)統(tǒng)計(jì)軟件目錄下運(yùn)行程序，將運(yùn)行結(jié)果和步驟2的結(jié)果進(jìn)行比對。4如果發(fā)現(xiàn)有未給出的數(shù)據(jù)，則查找原因，找到原因后通知值班負(fù)責(zé)人和