數據挖掘技術在軟件知識庫中的應用研究.pdf

1、隨著信息化的快速發(fā)展,計算機數據庫系統(tǒng)已經進入社會的各個領域,由此帶來了行業(yè)數據的爆炸性增長。面對海量的數據,使得存儲能力有限的計算機不得不拋棄一些過時的數據。然而,這些數據里面包含了大量的有價值信息卻無法獲取,面對這一難題,數據挖掘技術應運而生,數據挖掘技術一開始就是面向應用的,它是一門交叉學科,融合了數據庫、人工智能、機器學習、統(tǒng)計學等多個領域的學科,基本功能有關聯分析、分類分析、聚類分析、例外分析等,與之相關各種數據挖掘工具的應用

2、也逐漸成熟。軟件需求的日益增長和開發(fā)技術的快速更新,軟件系統(tǒng)的規(guī)模和復雜性急劇增長,其開發(fā)活動和管理難以控制。在軟件工程領域中,傳統(tǒng)的方法和簡單的數理統(tǒng)計方法難以解決數據及信息爆炸式增長所帶來的困擾。因此從程序源代碼、設計文檔以及收集的相關軟件數據集中發(fā)現有價值的信息并指導軟件工程的開發(fā)和維護顯得尤為重要。所以,一些專家學者想到利用這些成熟的數據挖掘技術研究軟件工程項目中產生的大量數據(通常稱為軟件知識庫),進一步發(fā)掘隱藏在軟件數據背后

3、的潛在的、有價值的信息。數據挖掘技術已經成為軟件工程領域軟件數據研究的一個熱點問題,在軟件生命周期中產生許多數據(如文檔、程序源代碼文件、Bug報告、軟件版本更新歷史等)中隱藏著許多有價值的信息,利用這些信息可以協(xié)助軟件開發(fā)人員理解系統(tǒng)架構、函數調用依賴等,幫助維護人員了解當前系統(tǒng)中出現的Bug和潛在Bug,進一步增加系統(tǒng)的穩(wěn)定性、健壯性和可靠性等。軟件知識庫的挖掘在近幾年發(fā)展尤為迅速,研究人員已經提出了許多優(yōu)秀的數據挖掘算法應用在軟件

4、工程的生命周期的各個階段,并且得到了較好的實驗結果。本論文的工作主要研究軟件知識庫中的軟件開發(fā)、測試和維護過程中的2類數據：軟件修改歷史數據(存儲在SVN)和Bug報告數據(存儲在Bugzilla),并依此為切入點挖掘兩類數據集來協(xié)助開發(fā)人員和維護人員。論文主要由以下幾個部分展開：(1)數據挖掘和軟件工程綜述：對數據挖掘技術的由來、經典算法及應用方向進行概述。然后介紹了軟件工程學。從大型軟件工程項目出發(fā),對龐大的軟件工程知識庫進行數據挖

5、掘技術的應用。尤其對軟件開發(fā)和維護方面做了闡述,以及將來比較有挑戰(zhàn)性的問題等。(2)軟件知識庫數據抽取。目前最常用的版本控制工具是SVN或CVS,在軟件系統(tǒng)的整個生命周期中,它會產生大量的源代碼文件、文檔或交流記錄等演化歷史數據。如果沒有足夠的經驗,龐大的軟件系統(tǒng)會讓開發(fā)人員和維護人員無從下手。為了方便開發(fā)人員和維護人員我們需要抽取出軟件系統(tǒng)演化歷史數據中有價值的信息轉化為可挖掘的數據集,然后利用數據挖掘技術分析這些數據,從中找到有意義

6、和價值的知識。我們在這部分主要討論如何建立抽取器(Java-RESC)從SVN版本控制庫中抽取出適合挖掘的XML格式數據集。(3)知識庫挖掘在軟件開發(fā)中的應用。隨著軟件工程學發(fā)展,軟件系統(tǒng)越來越龐大,代碼文件呈螺旋狀上升,從而程序中錯綜復雜的調用關系是不可以避免的,軟件開發(fā)的成本不斷增加,同時消耗大量的人力、物力。軟件開發(fā)人員對軟件架構不熟悉的話,會嚴重影響軟件的開發(fā)周期,同時也會影響到軟件系統(tǒng)的質量和穩(wěn)定性。軟件開發(fā)過程中往往會出現這

7、樣的情況：添加或修改源代碼的一個文件,通常都需要添加或修改軟件架構中關聯的源代碼文件,這是因為大型軟件系統(tǒng)的各模塊之間存在相互依賴性,這種依賴關系很難用傳統(tǒng)的靜態(tài)或動態(tài)分析技術進行檢測。本文通過數據挖掘技術來研究軟件系統(tǒng)各模塊源代碼文件關聯依賴,通過了解各模塊之間的調用相互關聯來幫助軟件開發(fā)人員快速理解軟件體系結構,并且當開發(fā)人員添加、修改或刪除某個文件或源代碼時,我們的方法可以有效的為其提供修改路徑建議。(4)知識庫挖掘在軟件維護中的

8、應用。軟件系統(tǒng)維護是軟件生命周期中最重要的一個階段,也是花費時間最長的階段。要使軟件系統(tǒng)能在實際和不斷變化的計算機復雜環(huán)境中正常運行,維護人員就必須要及時的修正錯誤和不斷完善系統(tǒng),只有這樣才能保證軟件系統(tǒng)的正常運作,軟件維護工作已成為延長軟件生命周期的主要途徑。但是隨著操作系統(tǒng)程序的不斷龐大、硬件和軟件環(huán)境變化越來越頻繁,加之各種項目文檔的缺乏,軟件系統(tǒng)維護變得越來越困難。尤其軟件開發(fā)人員與維護人員不是同一個人的時候,難度是可想而知。為

9、了減輕維護人員了解系統(tǒng)Bug缺陷和防止?jié)撛谌毕菪薷牡确矫娴墓ぷ髁?本文就軟件工程項目開發(fā)過程中的版本控制系統(tǒng)SVN與缺陷跟蹤系統(tǒng)Bugzilla中大量的Bug修復源代碼更新數據和Bug缺陷報告關聯分析,力圖通過數據挖掘技術對Bug缺陷報告分類：缺陷變更和潛在缺陷變更。并把潛在缺陷變更列為重點維護對象,及時地動態(tài)發(fā)現引入缺陷的源代碼變更文件歷史版本予以改正,避免系統(tǒng)后期的維護成本的增加。(5)最后對本文所做的工作進行總結,包括本文的創(chuàng)新點