軟件倉庫的主題挖掘及其在軟件維護中的應(yīng)用研究.pdf

1、在軟件的演化過程中，會產(chǎn)生大量的軟件開發(fā)與維護數(shù)據(jù)，最典型的數(shù)據(jù)類型即是文本型數(shù)據(jù)，如源代碼、代碼變更日志(Commit log)、Bug報告(Bug report)、軟件文檔及郵件記錄等。這些數(shù)據(jù)廣泛的存在于軟件的各種倉庫中，其中蘊含了豐富的軟件開發(fā)經(jīng)驗與知識，可應(yīng)用于不同的軟件工程活動。主題模型技術(shù)，最早源于自然語言處理和信息檢索領(lǐng)域，以其從文本中挖掘出語義特征的能力在軟件工程研究中也得到了廣泛應(yīng)用。如何利用主題模型從上述軟件倉庫中

2、挖掘出蘊含的軟件開發(fā)經(jīng)驗和知識在近年來一直廣受軟件工程研究者們的關(guān)注。
　　隨著軟件開發(fā)技術(shù)、開發(fā)模式的不斷變化，軟件需求和業(yè)務(wù)復(fù)雜度不斷提升，軟件維護在軟件開發(fā)與演化過程中的重要性日益凸顯。本文關(guān)注與軟件維護聯(lián)系最緊密的三類軟件文本型數(shù)據(jù)：源代碼、變更日志和 Bug報告，從如何更好的利用主題模型技術(shù)挖掘出語義特征入手，著重解決軟件維護過程中的三大研究問題：軟件變更分類、軟件Bug分派和軟件可維護性評估。
　　論文的主要研究

3、工作和創(chuàng)新點如下：
　　①在現(xiàn)有軟件倉庫中的文本挖掘工作中，最常用的是主題模型技術(shù)，本文針對現(xiàn)有主題模型的主題個數(shù)的難于選取、主題難于解釋及無法引入文檔類別標(biāo)簽問題的缺點，在原始概率潛在語義分析模型（PLSA）的基礎(chǔ)上，提出了判別概率潛在語義分析模型（DPSLA），具體來講，本部分工作設(shè)計了一種有監(jiān)督的模型初始化方法取代原始PLSA中的隨機初始化方法，由此，使得所生成的主題更具有判別性，該模型彌補了原始主題模型在軟件倉庫挖掘問題中

4、的不足，能更好的挖掘出文本的語義特征。本部分工作給出了該算法的詳細過程和理論推導(dǎo)。
　?、卺槍浖兏诸悊栴}，本文利用工作(1)中所提出的DPLSA模型，以軟件變更日志為研究對象，提出一個基于DPSLA的軟件變更分類方法，通過模型訓(xùn)練能自動化學(xué)習(xí)出語義顯著型單詞與軟件變更類別之間的概率關(guān)系，從而取代傳統(tǒng)方法需要依靠經(jīng)驗值來賦予單詞權(quán)重的方式，此外，該方法區(qū)別于現(xiàn)有分類方法在于其能分類多類軟件變更及跨項目分類的能力。本部分工作詳細

5、闡述了該分類模型的建模過程，并在五個開源項目(Bugzilla, Wireshark, Boost, Firebird和Python)上展開了實證研究，并詳細介紹了實證研究的設(shè)計、研究問題及評價方法；最后給出了實驗結(jié)果與分析。結(jié)果表明，該方法較現(xiàn)有工作中的四種方法sLDA, First key, Na?ve bayes和L-LDA均有一定的提升。
　?、坩槍浖?Bug組件分派問題，本文以 Bug報告為研究對象，利用工作(1)中所

6、提出的DPLSA模型，結(jié)合Jensen-Shannon divergence，提出了一種名為DPLSA-JS的Bug組件分派模型，該模型區(qū)別于現(xiàn)有基于 LDA的分派方法在于其在主題建模步驟引入了 Bug的組件類別標(biāo)簽，使得所生成的主題更具有判別能力，從而達到更準(zhǔn)確分派的結(jié)果。本文詳細闡述了該分派模型的構(gòu)建過程并在五個項目上(Platform, Bugzilla, Mylyn, Gcc和Firefox)展開了實證研究，并詳細介紹了實證研究

7、的數(shù)據(jù)集與預(yù)處理，實驗設(shè)計、研究問題及評價方法；最后給出了實驗結(jié)果與分析。結(jié)果表明，該方法較現(xiàn)有LDA-KL和LDA-SVM方法均有較明顯的提升。
　?、茚槍浖删S護性評估問題，本文以軟件源代碼為研究對象，利用工作(1)中所提出的DPLSA方法，提出了一種概率化的軟件可維護性評估模型，該模型區(qū)別于現(xiàn)有基于加權(quán)求和的方法在于其能自動化的從 Benchmark中學(xué)習(xí)出軟件源代碼、度量元與質(zhì)量特征之間的概率關(guān)系。本部分工作詳細闡述了該

8、模型的的構(gòu)建過程，并在10個開源項目上展開了實證研究，詳細介紹了實證研究的數(shù)據(jù)集與預(yù)處理，實驗設(shè)計、研究問題及評價方法；最后給出了實驗結(jié)果與分析。結(jié)果表明，該方法較現(xiàn)有AWLE方法能更準(zhǔn)確的評估軟件的可維護性。
　　本論文的工作面向軟件倉庫中的文本型數(shù)據(jù)，基于主題模型技術(shù)，針對軟件維護中的三大研究問題：軟件變更分類，軟件 Bug分派和軟件可維護性評估。從現(xiàn)有方法的局限性出發(fā)，提出了新的模型，達到了提高模型準(zhǔn)確程度的目的，為軟件的維