基于機(jī)器學(xué)習(xí)的軟件缺陷預(yù)測(cè)研究.pdf

1、為開(kāi)發(fā)高質(zhì)量的軟件并保障其可靠性，軟件測(cè)試是軟件開(kāi)發(fā)過(guò)程中非常重要且不可缺少的階段。然而隨著當(dāng)前軟件在規(guī)模和復(fù)雜度上不斷的提高，對(duì)軟件進(jìn)行全面的測(cè)試，以發(fā)現(xiàn)和修復(fù)隱藏的缺陷所耗費(fèi)的成本也在迅速的增加。軟件缺陷預(yù)測(cè)技術(shù)可以為測(cè)試人員提前定位軟件中可能產(chǎn)生缺陷的模塊，以指導(dǎo)決策人員分配有限的測(cè)試資源優(yōu)先用于有缺陷模塊的檢測(cè)，在提高軟件質(zhì)量同時(shí)也節(jié)約了大量的時(shí)間和成本。
　　本文主要針對(duì)基于機(jī)器學(xué)習(xí)的缺陷預(yù)測(cè)方法進(jìn)行了討論和研究，雖然先

2、前的研究利用各種機(jī)器學(xué)習(xí)算法提出了許多有效的預(yù)測(cè)模型，但現(xiàn)有的方法在實(shí)際應(yīng)用中仍存在著一些問(wèn)題：（1）早期缺陷預(yù)測(cè)中缺乏足量的訓(xùn)練樣本，可能導(dǎo)致傳統(tǒng)的預(yù)測(cè)模型無(wú)法進(jìn)行有效的訓(xùn)練，同時(shí)對(duì)于缺陷樣本進(jìn)行標(biāo)注的工作本身也需要耗費(fèi)一定的代價(jià)。（2）缺陷數(shù)據(jù)集存在著類不平衡的特性，常常使得預(yù)測(cè)模型產(chǎn)生偏向于無(wú)缺陷類別的結(jié)果。而且不平衡數(shù)據(jù)集中往往還存在著類重疊現(xiàn)象，使得少數(shù)類的有缺陷樣本更加容易被分類器所忽視，從而加劇了類不平衡的影響。（3）在對(duì)

3、一些極不平衡的缺陷數(shù)據(jù)集進(jìn)行缺陷預(yù)測(cè)時(shí)，軟件中含有的有缺陷模塊絕對(duì)數(shù)量過(guò)少，導(dǎo)致缺乏有缺陷類別的訓(xùn)練數(shù)據(jù)來(lái)建立有效的預(yù)測(cè)模型。
　　通過(guò)對(duì)以上的問(wèn)題的分析和研究，本文提出了一系列新的軟件缺陷預(yù)測(cè)模型，并獲得了以下創(chuàng)新性成果：
　?。?）針對(duì)測(cè)試初期缺乏有標(biāo)記的訓(xùn)練樣本問(wèn)題，提出了基于遷移Boosting的預(yù)測(cè)算法，利用其它公司已標(biāo)記的數(shù)據(jù)來(lái)建立跨公司的缺陷預(yù)測(cè)（CCDP）模型。首先，利用數(shù)據(jù)引力算法對(duì)跨公司的樣本按照與公司內(nèi)

4、部樣本的屬性分布相似度賦予相應(yīng)的權(quán)重。其次利用遷移 Boosting算法結(jié)合少量有標(biāo)記的公司內(nèi)部數(shù)據(jù)對(duì)不符合 CCDP的跨公司樣本進(jìn)行了消除，并在此基礎(chǔ)上建立了預(yù)測(cè)模型。提出的模型在15個(gè)公開(kāi)軟件數(shù)據(jù)集上進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果和統(tǒng)計(jì)分析顯示：提出的算法不僅在測(cè)試的 CCDP模型中獲得了最優(yōu)的總體性能，并且與傳統(tǒng)的僅利用公司內(nèi)部數(shù)據(jù)進(jìn)行缺陷預(yù)測(cè)（WCDP）的模型相比，明顯優(yōu)于僅有少量樣本訓(xùn)練時(shí)的WCDP模型，并與使用大量樣本進(jìn)行充分訓(xùn)練的W

5、CDP模型性能相當(dāng)。
　?。?）針對(duì)軟件缺陷數(shù)據(jù)集中廣泛存在的類不平衡問(wèn)題，本文提出了基于類重疊和不平衡學(xué)習(xí)的缺陷預(yù)測(cè)模型。首先針對(duì)不平衡數(shù)據(jù)集中的類間分布重疊問(wèn)題，提出了基于領(lǐng)域清除規(guī)則的方法清除了造成重疊的非缺陷樣本，從而更利于分類器對(duì)有缺陷樣本的學(xué)習(xí)；其次針對(duì)類間樣本數(shù)量不平衡的情況，通過(guò)對(duì)不平衡數(shù)據(jù)集進(jìn)行多次隨機(jī)下采樣來(lái)建立多個(gè)平衡的子集，并在各個(gè)子集上進(jìn)行子分類器訓(xùn)練，最后采用集成學(xué)習(xí)的方式建立了預(yù)測(cè)模型。本文在公開(kāi)數(shù)據(jù)

6、庫(kù)中9個(gè)不平衡的數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示：對(duì)比現(xiàn)有的傳統(tǒng)缺陷預(yù)測(cè)方法和不平衡學(xué)習(xí)算法，提出的模型不僅具有更高的缺陷檢出率，且在綜合性能上均獲得了總體最優(yōu)的性能。
　　（3）針對(duì)極不平衡數(shù)據(jù)中有缺陷樣本絕對(duì)數(shù)量太少不足以訓(xùn)練的情況，本文首先基于單類SVM提出了僅利用非缺陷樣本進(jìn)行訓(xùn)練的單類預(yù)測(cè)模型，并在6個(gè)極不平衡的數(shù)據(jù)集上進(jìn)行了實(shí)證研究。結(jié)果顯示單類模型僅利用部分的非缺陷樣本就能達(dá)到較高的缺陷檢出率以及綜合識(shí)別率，且在

7、大部分測(cè)試數(shù)據(jù)集上優(yōu)于對(duì)比的傳統(tǒng)缺陷預(yù)測(cè)模型以及不平衡的學(xué)習(xí)算法。其次，本文提出了動(dòng)態(tài)選擇集成的方法對(duì)單類SVM進(jìn)行了改進(jìn)，實(shí)驗(yàn)結(jié)果表明提出的方法在綜合識(shí)別率相當(dāng)?shù)那闆r下，有效的提高了單類模型的缺陷檢出率，從而進(jìn)一步增加了單類模型在缺陷預(yù)測(cè)中的實(shí)用性。
　　本文為基于機(jī)器學(xué)習(xí)的軟件缺陷預(yù)測(cè)技術(shù)提供了新的思路，提高了缺陷預(yù)測(cè)模型在不同的軟件數(shù)據(jù)集上的效果和可用性，為軟件工程人員將缺陷預(yù)測(cè)技術(shù)應(yīng)用于實(shí)際軟件測(cè)試中提供了可行的解決方案。