數(shù)據(jù)集成方案中的元數(shù)據(jù)管理系統(tǒng)研究.pdf

1、在數(shù)據(jù)集成過(guò)程中，元數(shù)據(jù)為整個(gè)系統(tǒng)中的數(shù)據(jù)提供一張完整的數(shù)據(jù)地圖。通過(guò)元數(shù)據(jù)，我們可以了解到系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)來(lái)源、數(shù)據(jù)去向以及系統(tǒng)中的一些業(yè)務(wù)處理規(guī)則等。 在現(xiàn)有的元數(shù)據(jù)管理工具中，往往僅僅關(guān)注數(shù)據(jù)集成過(guò)程中的一部分，如ETL過(guò)程的元數(shù)據(jù)或數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù)。然而，在數(shù)據(jù)集成越來(lái)越復(fù)雜，數(shù)據(jù)越來(lái)越多的今天，如果僅僅對(duì)這些元數(shù)據(jù)進(jìn)行管理是不能夠滿(mǎn)足當(dāng)前對(duì)元數(shù)據(jù)管理的需求的。因此，我們有必要提出一種元數(shù)據(jù)管理框架。通過(guò)該框架，

2、我們能夠了解在整個(gè)數(shù)據(jù)集成過(guò)程中涉及到的數(shù)據(jù)源、ETL過(guò)程、數(shù)據(jù)目標(biāo)的元數(shù)據(jù)，并且能夠使這些元數(shù)據(jù)之間進(jìn)行一定的交互。基于這種需求，本文提出了一種覆蓋整個(gè)數(shù)據(jù)集成過(guò)程的元數(shù)據(jù)管理框架。它是一個(gè)以聯(lián)邦式元數(shù)據(jù)庫(kù)為基本思想，參考CWM元數(shù)據(jù)標(biāo)準(zhǔn)并結(jié)合高校數(shù)據(jù)集成中的共享數(shù)據(jù)庫(kù)平臺(tái)實(shí)際情況的元數(shù)據(jù)管理框架原型。 可擴(kuò)展性是元數(shù)據(jù)管理工具開(kāi)發(fā)的重要需求之一。隨著時(shí)間的推移，業(yè)務(wù)系統(tǒng)中的業(yè)務(wù)處理規(guī)則可能發(fā)生變化，對(duì)元數(shù)據(jù)查詢(xún)的需求可能會(huì)增

3、加。如何通過(guò)最簡(jiǎn)單的方式實(shí)現(xiàn)工具對(duì)這種變化需求的滿(mǎn)足是工具開(kāi)發(fā)中的難點(diǎn)之一。本文提出了一種動(dòng)態(tài)關(guān)鍵字標(biāo)識(shí)的方式來(lái)滿(mǎn)足這種可擴(kuò)展性。工具通過(guò)維護(hù)關(guān)鍵字和動(dòng)態(tài)鏈接庫(kù)的路徑表來(lái)實(shí)現(xiàn)對(duì)元數(shù)據(jù)的動(dòng)態(tài)需求。動(dòng)態(tài)鏈接庫(kù)與關(guān)鍵字相對(duì)應(yīng)用以實(shí)現(xiàn)關(guān)鍵字所描述的功能。 ETL過(guò)程是數(shù)據(jù)集成中的重要步驟之一，是一個(gè)以元數(shù)據(jù)為驅(qū)動(dòng)實(shí)現(xiàn)數(shù)據(jù)的集成的過(guò)程。因此如何描述、存儲(chǔ)和管理其中的元數(shù)據(jù)極為重要。本文將從邏輯上描述一個(gè)ETL過(guò)程，并給出一個(gè)簡(jiǎn)化的ETL元