Big Data Transformation Testing Based on Data Reverse Engineering.pdf

1、數(shù)據(jù)是廣泛分布于組織，公司，政府部門等單位的實際信息，并且知識是來源于信息的抽象概念。但數(shù)據(jù)被局限在應(yīng)用程序，數(shù)據(jù)庫，企業(yè)內(nèi)部網(wǎng)，外聯(lián)網(wǎng)，(可擴(kuò)展標(biāo)示語言)XML，甚至在平面文件或Excel表等中。目前，由于當(dāng)今大量的數(shù)據(jù)在各種各樣的系統(tǒng)間產(chǎn)生和處理，并且這些數(shù)據(jù)對決策和預(yù)測分析具有至關(guān)重要的作用，因此為了商業(yè)分析的用途，需要將數(shù)據(jù)轉(zhuǎn)換和恢復(fù)成有意義的和有價值的信息。大多數(shù)處理大數(shù)據(jù)的公司擁有轉(zhuǎn)換軟件，來將供應(yīng)商的數(shù)據(jù)建立到自己的組織結(jié)

2、構(gòu)中，或建立商業(yè)智能架構(gòu)。
　　事實上，有些信息技術(shù)(IT)機(jī)構(gòu)期待創(chuàng)造更高水平的技術(shù)改造下。對任何組織機(jī)構(gòu)來說，數(shù)據(jù)最重要的一個部分，他們也正在努力學(xué)會操作容易的數(shù)據(jù)。因為無論是當(dāng)前的數(shù)據(jù)還是歷史數(shù)據(jù)，它都以任何形式的報表作為支撐，并且報表是做出所有重要管理決策的依據(jù)。
　　大多數(shù)公司都開始構(gòu)建自己的數(shù)據(jù)庫來存儲、監(jiān)測實時數(shù)據(jù)和歷史數(shù)據(jù)。創(chuàng)建一個高效的數(shù)據(jù)庫不是一件容易的事情。許多組織機(jī)構(gòu)根據(jù)在分布式技術(shù)上的不同的應(yīng)用程序

3、被分成不同的部門。為了使來自不同部門的不同數(shù)據(jù)源之間完美融合，ETL（提取，轉(zhuǎn)換和加載）工具被使用到。ETL工具作為一個集成器，首先從不同的源中提取數(shù)據(jù)；然后基于業(yè)務(wù)轉(zhuǎn)換規(guī)則的首選格式將它轉(zhuǎn)換，最后把它加載到銜接數(shù)據(jù)庫或數(shù)據(jù)庫中。
　　這些公司面臨的具有挑戰(zhàn)性的事情是：他們怎么能保證轉(zhuǎn)換軟件從每一個輸入數(shù)據(jù)入口到正確輸出的轉(zhuǎn)換，并且對所需的記錄的加載。很顯然，在大型數(shù)據(jù)轉(zhuǎn)換過程中，由于可能存在數(shù)據(jù)不匹配、誤算或有用數(shù)據(jù)丟失，這會導(dǎo)

4、致數(shù)據(jù)轉(zhuǎn)換的失敗，因此，保證正確轉(zhuǎn)換是非常重要的。有幾個資料對降低任務(wù)的風(fēng)險進(jìn)行了非常簡單的討論，其中強(qiáng)調(diào)的是，在大多數(shù)情況下，一個數(shù)據(jù)轉(zhuǎn)換項目的失敗會導(dǎo)致一個不成功的目標(biāo)應(yīng)用程序替換。盡管實際上這些企業(yè)贏得了較高的業(yè)務(wù)優(yōu)勢，例如，減少費用，提高了利潤，強(qiáng)大的信息管理功能，但由于大量基礎(chǔ)信息的遷移，他們在危險狀態(tài)異常下依然承擔(dān)著很大的風(fēng)險。為了降低風(fēng)險，檢測出可能出現(xiàn)的錯誤以及證明數(shù)據(jù)已被正確地移動和轉(zhuǎn)換，關(guān)鍵在于使用一個詳盡的質(zhì)量確定

5、計劃是。很顯然這可以保證在工業(yè)中任務(wù)的順利轉(zhuǎn)換。
　　現(xiàn)有的質(zhì)量檢測方法都是是不可靠的，返回的結(jié)果有偏差，或不能提供數(shù)據(jù)差異的原因，或其他的局限性，如不能測試數(shù)據(jù)轉(zhuǎn)換的每一個入口。由于現(xiàn)有方法的局限性，我們提出了一種大數(shù)據(jù)轉(zhuǎn)換測試的新方式，其不需要采樣或大量輸入數(shù)據(jù)。這是一個基于數(shù)據(jù)的逆向工程概念的大數(shù)據(jù)轉(zhuǎn)換的測試方法。數(shù)據(jù)逆向工程（DRE）是一個眾所周知的方法，主要用于傳統(tǒng)組件，包括分析遺留數(shù)據(jù)環(huán)境，從推導(dǎo)的邏輯模式中來提取現(xiàn)有

6、的數(shù)據(jù)結(jié)構(gòu)。因此，我們所提出的是一個綜合的方法，反轉(zhuǎn)了整個轉(zhuǎn)換過程，并且ETL過程一旦成功，原始源數(shù)據(jù)體系可以從目標(biāo)數(shù)據(jù)系統(tǒng)進(jìn)行構(gòu)建，并對每一個入口的字符串值進(jìn)行比較。當(dāng)且僅當(dāng)數(shù)據(jù)可以轉(zhuǎn)換回其原始狀態(tài)時，數(shù)據(jù)轉(zhuǎn)換測試才宣告成功。
　　由于數(shù)據(jù)逆向工程可以有助于獲取可能的規(guī)范去實現(xiàn)和發(fā)現(xiàn)如何由此時的狀態(tài)實現(xiàn)未來狀態(tài),我們提出的的框架實現(xiàn)了以下幾點：
　　1.通過來自不同源數(shù)據(jù)系統(tǒng)的ETL過程構(gòu)建自己的理想目標(biāo)數(shù)據(jù)系統(tǒng)。

7、　　2.一旦目標(biāo)數(shù)據(jù)系統(tǒng)構(gòu)建成功,我們逆向工程從新的構(gòu)造目標(biāo)數(shù)據(jù)系統(tǒng)來檢索原始源數(shù)據(jù)系統(tǒng)(稱為逆轉(zhuǎn)源數(shù)據(jù)系統(tǒng))來完成ETL過程。
　　3.通過最初ETL過程的逆向工程成功檢索逆轉(zhuǎn)源數(shù)據(jù)系統(tǒng)后,針對原始源數(shù)據(jù)系統(tǒng)的任何違規(guī)行為,誤算、數(shù)據(jù)類型不匹配等進(jìn)行比較測試。
　　原始源數(shù)據(jù)系統(tǒng)可以追溯到目標(biāo)數(shù)據(jù)系統(tǒng)來構(gòu)建，在這個條件下，對每個字符串的值都進(jìn)行比較測試。提出這種反轉(zhuǎn) ETL過程的方法有兩個主要的原因：第一，提取階段造成數(shù)據(jù)

8、丟失；第二，成功執(zhí)行預(yù)定義轉(zhuǎn)換過程時產(chǎn)生附加的數(shù)據(jù)。由于所有的數(shù)據(jù)對于重現(xiàn)原始源數(shù)據(jù)庫意義重大，因此，我們所提出的系統(tǒng)充分考慮通過在一個單獨的數(shù)據(jù)系統(tǒng)中保存原始數(shù)據(jù)庫來處理所有的數(shù)據(jù)。
　　所有過程都成功實現(xiàn)了,我們提出了系統(tǒng)有以下功能：
　　1.驗證源數(shù)據(jù)庫的每一個入口的正確轉(zhuǎn)換，并且根據(jù)指定的業(yè)務(wù)需求和規(guī)則成功加載到正確的目標(biāo)數(shù)據(jù)系統(tǒng)中。
　　2.確保了所有數(shù)據(jù)加載到數(shù)據(jù)庫中，并沒有出現(xiàn)數(shù)據(jù)丟失和截斷。
　　

9、3.確保了ETL申請被適當(dāng)?shù)伛g回，并用默認(rèn)值替換無效的數(shù)據(jù)報表。
　　4.確保了在規(guī)定和預(yù)期的時間內(nèi)，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中,來確認(rèn)在性能上的改進(jìn)和可擴(kuò)展性。
　　基于在轉(zhuǎn)換/映射文件中定義的規(guī)則和模式，從原始源數(shù)據(jù)庫到預(yù)定義目標(biāo)數(shù)據(jù)庫執(zhí)行全球金融數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換過程，并且將整個過程的反轉(zhuǎn)工程回溯構(gòu)建源表，我們通過比較每一個原始源數(shù)據(jù)表和反轉(zhuǎn)的源表的入口進(jìn)行了測試。最終的測試結(jié)果表明，數(shù)據(jù)轉(zhuǎn)換過程是成功的，并且出現(xiàn)沒有任何缺陷