軟件測試方法和技術(shù) - ch11軟件測試自動(dòng)化

1、軟件測試方法和技術(shù) - Ch.11軟件測試自動(dòng)化,朱少民Kerry Zhu,第十一章 軟件測試自動(dòng)化,11.1測試自動(dòng)化的內(nèi)涵11.2 測試工具的分類和選擇11.3 測試工具的主流產(chǎn)品介紹 11.4 IBM-Rational產(chǎn)品的整體解決方案11.5 Mercury Interactive產(chǎn)品的整體解決方案11.6 Compuware產(chǎn)品的整體解決方案,11.1測試自動(dòng)化的內(nèi)涵,11.1.1 為什么要軟件測試自動(dòng)化1

2、1.1.2 自動(dòng)化測試的引入和應(yīng)用11.1.3 測試自動(dòng)化的基本結(jié)構(gòu)11.1.4 測試自動(dòng)化的原理和方法 11.1.5 測試自動(dòng)化普遍存在的問題,手工測試的局限性,通過手工測試無法做到覆蓋所有代碼路徑; 許多與時(shí)序、死鎖、資源沖突、多線程等有關(guān)的錯(cuò)誤通過手工測試很難捕捉到 在系統(tǒng)負(fù)載、性能測試時(shí)，需要模擬大量數(shù)據(jù)、或大量并發(fā)用戶等各種應(yīng)用場合時(shí)，也很難通過手工測試來進(jìn)行 在進(jìn)行系統(tǒng)可靠性時(shí)，需要模擬系統(tǒng)運(yùn)行十年、幾十年

3、，以驗(yàn)證系統(tǒng)能否穩(wěn)定運(yùn)行，也是手工測試無法模擬的。 如果有大量（幾千）的測試用例，需要在短時(shí)間內(nèi)完成，手工測試又怎么辦呢？ 測試可以發(fā)現(xiàn)錯(cuò)誤，并不能表明程序的正確性。,自動(dòng)測試定義軟件系統(tǒng)功能規(guī)格書(Spec)只是從書面上的一套軟件產(chǎn)品是由一套完整的可運(yùn)行的測試來定義的測試所有可能情況將遭遇“組合爆炸”問題Win98, WinME, WinNT, Win2k, WinXP, WinXP TablePC Ed, WinXP M

4、ediaCenter Ed, Longhorn, etcEnglish, German, Japanese, Chinese, Arabic, Thai…Office 97, Office2000, Office XP, Office 2003…X86 32-bit, Intel 64-bit, AMD 64-bit, Alpha, MIPS…SQL Server 6.5, SQL Server 7.0, SQL Server

5、 2000… Visual Studio 6, VS .NET, VS .NET 2003, Whidbey…,手工測試的局限性 （2）,代碼全部Code Path測試覆蓋也幾乎不可能每一個(gè)if…else…或switch語句就會(huì)把情況增加一倍許多異常處理代碼在正常使用中不會(huì)碰到許多與時(shí)序，死鎖，資源沖突，多線程有關(guān)的錯(cuò)誤很難捕捉到每一個(gè)產(chǎn)品都會(huì)有不同的版本外加各自的SP與QFE (Quick Fix Engineering,

6、又稱Hot fix)NT4, VS6 SP1~SP5, Windows 2000 SP1-SP4VS .NET, SQL Server SP1 – SP3可重復(fù)使用的自動(dòng)測試對產(chǎn)品未來版本與Service Pack的測試將有事半功倍的效果,手工測試的局限性 （2）,自動(dòng)化測試帶來的好處,1. 縮短周期 Testing cycle - Regression Testing2. Attributes of TA,Speed 速度

7、Efficiency 效率Accuracy and Precise 準(zhǔn)確、精確 Relentlessness 無情3. 容易實(shí)施、結(jié)果可靠4. 做手工不能做,手工測試,耗費(fèi)時(shí)間低可靠性人力資源不一致性僅對于一次性的測試有益,速度 可重復(fù) 覆蓋率 可靠 可以再度使用 重復(fù)測試節(jié)省時(shí)間,手工測試 vs.自動(dòng)測試,,正確認(rèn)識測試自動(dòng)化,不現(xiàn)實(shí)的期望注定測試自動(dòng)化的失敗測試自動(dòng)化能：顯著降低重復(fù)手工測試的時(shí)間建

8、立可靠、重復(fù)的測試，減少認(rèn)為錯(cuò)誤增強(qiáng)測試質(zhì)量和覆蓋率測試自動(dòng)化不能：完全替代手工測試和手工測試工程師保證100%的測試覆蓋率彌補(bǔ)測試實(shí)踐的不足,各自特點(diǎn),軟件測試自動(dòng)化(TA)雖然具有很多優(yōu)點(diǎn)，但只是對手工測試的一種補(bǔ)充，TA絕不能代替手工測試，有各自的特點(diǎn)： 在系統(tǒng)功能邏輯測試、驗(yàn)收測試、適用性測試、涉及物理交互性測試時(shí)，多采用黑盒測試的手工測試方法； 單元測試、集成測試、系統(tǒng)負(fù)載或性能、穩(wěn)定性、可靠性測試等比較適合采用

9、TA； 對那種不穩(wěn)定軟件的測試、開發(fā)周期很短的軟件、一次性的軟件等不適合測試自動(dòng)化 工具本身并沒有想象力和靈活性，根據(jù)經(jīng)驗(yàn)報(bào)道，自動(dòng)測試只能發(fā)現(xiàn)15%的缺陷，而手工測試可以發(fā)現(xiàn)85%的缺陷；TA工具在進(jìn)行功能測試時(shí)，其準(zhǔn)確的含義是回歸測試工具，因?yàn)楣ぞ卟荒馨l(fā)現(xiàn)更多的新問題，但可以保證對已經(jīng)測試過部分進(jìn)行測試的準(zhǔn)確性和客觀性,測試自動(dòng)化項(xiàng)目的本質(zhì),定義：利用GUI自動(dòng)化測試工具來開發(fā)和執(zhí)行測試腳本，從而驗(yàn)證是否滿足需求本質(zhì)：測試自動(dòng)

10、化項(xiàng)目本質(zhì)上是軟件開發(fā)項(xiàng)目一個(gè)測試自動(dòng)化項(xiàng)目必須具有：清晰定義并嚴(yán)格實(shí)施的過程來自組織各級的支持周密的計(jì)劃具體的設(shè)計(jì)和架構(gòu),測試自動(dòng)化成本/收益分析,自動(dòng)化測試的引入和應(yīng)用,找準(zhǔn)測試自動(dòng)化的切入點(diǎn) 把測試開發(fā)納入整個(gè)軟件開發(fā)體系 測試自動(dòng)化依賴測試流程和測試用例 軟件測試自動(dòng)化的投入較大 進(jìn)行資源的合理調(diào)度,自動(dòng)化測試工作流程,,收集測試信息,測試需求是什么？那里能得到用到的數(shù)據(jù)？,,建立基本測試,紀(jì)錄用戶的操作核

11、實(shí)成功回放,,提高基本測試,插入測試點(diǎn)驅(qū)動(dòng)測試數(shù)據(jù),,整體測試,關(guān)聯(lián)數(shù)據(jù)建立綜合的測試場景,測試自動(dòng)化的基本結(jié)構(gòu),拷貝測試文件,拷貝測試結(jié)果,分派工作,分派工作,查詢結(jié)果,Build系統(tǒng)編譯,獲取測試任務(wù)、數(shù)據(jù),,更新顯示,軟件包,發(fā)布指令,測試自動(dòng)化的原理和方法,代碼分析: 類似于高級編譯系統(tǒng)，在工具中定義類/對象/函數(shù)/變量等定義規(guī)則、語法規(guī)則等，在分析時(shí)對代碼進(jìn)行語法掃描，找出不符合編碼規(guī)范的地方?！　?捕獲和回放: 代

12、碼分析是一種白盒測試的自動(dòng)化方法，捕獲和回放則是一種黑盒測試的自動(dòng)化方法。,對象識別,編輯框,下拉框,按鈕,QuickTest 在支持應(yīng)用中識別、確定每一個(gè)對象是什么類型,復(fù)選框,選擇框,對象識別 － 2,邏輯名稱是對象屬性之一的值數(shù)值 用于識別對象名稱,對象識別 － 3,,對象庫 是本地在測試結(jié)構(gòu)范圍內(nèi) 存儲(chǔ)對像信息.,,對象庫,,例如對象 (屬性) 包含登陸窗口在記錄過程中捕獲的:- Agent Name field- Pas

13、sword field- OK button- Cancel button- Help button,腳本技術(shù),線性腳本，是錄制手工執(zhí)行的測試用例得到的腳本，這種腳本包含所有的擊鍵、移動(dòng)、輸入數(shù)據(jù)等，所有錄制的測試用例都可以得到完整的回放。 結(jié)構(gòu)化腳本，類似于結(jié)構(gòu)化程序設(shè)計(jì)，具有各種邏輯結(jié)構(gòu)、函數(shù)調(diào)用功能。 共享腳本，是指某個(gè)腳本可以被多個(gè)測試用例使用。 數(shù)據(jù)驅(qū)動(dòng)腳本，將測試輸入存儲(chǔ)在獨(dú)立的（數(shù)據(jù)）文件中，而不是存儲(chǔ)在腳本中

14、。 關(guān)鍵字驅(qū)動(dòng)腳本，是數(shù)據(jù)驅(qū)動(dòng)腳本的邏輯擴(kuò)張,Example -1,GUI Script (.rec)Low-Level scriptVU Script (.S)GUI Shell Script (.rec)Project Header File (.sbh)SQABasic File (.sbl),Script example -2,GUI Scripts types,TS-scriptIt include the s

15、cript which can not be re-used, we often use it to generate test log.B-scriptTA Building block, it include the script which can be re-used.U-scriptUsed to make sure all code in a function can work normally.,Sampl

16、e script,'====Section Two - header file, public variables and constants declaration area================ '$include "rtpCMCSanity0225_BB_X.sbh"'$Include &quo

17、t;rtpCMC5_BB.sbh"'$include "rtpReportLog.sbh"'====Section Three - Unit test scripting area for this subroutine or function Sub Main CallScript "rtpCMCSanity0225_init" Dim Result As

18、 Integer Dim meetingTopic As String 'If there already a meeting meeting, didn't start again SQASuspendLogOutput Result = WindowVP (Exists, "Caption={*" +MEETING_CLIENT_CAPTION+ "*}&q

19、uot;, "VP=Window Existence;Wait=1,3") SQAResumeLogOutput If Result = 0 ThenResult = func_MiscScheduleStartMeetingSimple (PAGE_CAPTION,

20、 meetingTopic, MEETING_PASSWD)Else…End If,SQAGetProperty Result = SQAGetProperty (ObjectRec, "State", CheckState)SQAGetPropertyAsString Result = SQAG

21、etPropertyAsString("\;Caption=Notepad - (Untitled)", "WindowState", StateString)SQASetProperty SQASetProperty "Name=FirstName", "Text", "Michael“SQAWaitForObject Result

22、= SQAWaitForObject("Type=PushButton;Text=OK", 120000),Object Scripting commands,CheckBox CheckBox Click, "Name=Overdraft"ComboBox, ComboListBoxEditBoxHTMLDocument , HTMLImage , HTMLLink InputKe

23、ysInputKeys "This is Robot.{Enter}",User Action commands,自動(dòng)比較,靜態(tài)比較和動(dòng)態(tài)比較， 簡單比較和復(fù)雜比較， 敏感性測試比較和健壯性測試比較，。 比較過濾器,ComboBoxVPEditBoxVPFileVPHTMLLinkVP HTMLDocumentVP ListViewVPWindowVPJavaListViewVP,

24、Syntax of WindowVP function: Result = WindowVP (action%, recMethod$, parameters$) [action can be one of following values] CompareImage CompareMenu CompareProperties Exists/DoesNotExist … WindowVP (Compar

25、eImage, "Caption=Paint", "VP=PICT1A") This function returns 1 if the action performed passes Return 0 if the action performed fails.,Verification Point commands,測試自動(dòng)化普遍存在的問題,不正確的觀念或不現(xiàn)實(shí)的期望 缺乏具有良好素

26、質(zhì)、經(jīng)驗(yàn)的測試人才 測試工具本身的問題影響測試的質(zhì)量 沒有進(jìn)行有效的、充分的培訓(xùn) 沒有考慮到公司的實(shí)際情況，盲目引入測試工具 沒有形成一個(gè)良好的使用測試工具的環(huán)境 其它技術(shù)問題和組織問題,11.2 測試工具的分類和選擇,11.2.1 測試工具的分類11.2.2 測試工具的選擇,測試工具是測試自動(dòng)化的表現(xiàn),測試工具的研究,軟件測試的過程是一項(xiàng)很復(fù)雜而費(fèi)時(shí)的工作，它不僅執(zhí)行每一個(gè)測試用例，還要設(shè)置運(yùn)行環(huán)境、記錄輸出、運(yùn)行后清理

27、并記錄失敗信息。僅僅依靠測試人員手工完成是很困難的。所以必須研究測試工具以幫助測試人員自動(dòng)或半自動(dòng)的完成測試。在資金和人力、時(shí)間的供給一定的條件下面，擁有好的測試工具能夠提高測試效率從而降低測試成本，則能夠選擇更高的測試充分性標(biāo)準(zhǔn)進(jìn)行測試，從而提高軟件質(zhì)量。,測試工具的例子,測試工具的分類,Code analysis Tools- Static analysis- Dynamic analysisTest Exe

28、cution Tool- Capture and Replay ( Record & Playback)- Monitor Tool- Stubs and Drivers- Automated Testing EnvironmentTest case generators,測試工具的選擇,11.3 測試工具的主流產(chǎn)品介紹,11.3.1 面向開發(fā)的單元測試工具11.3.2 負(fù)載和性能測試工具11.

29、3.3 GUI功能測試工具11.3.4 基于Web應(yīng)用的測試工具11.3.5 軟件測試管理和其他工具,面向開發(fā)的單元測試工具,根據(jù)不同的語言進(jìn)行分類:C/C++單元級測試工具Panorama C++，C++Test， Numega JUnit是一個(gè)開發(fā)源代碼的Java測試框架根據(jù)工具的功能特點(diǎn)進(jìn)行分類： 內(nèi)存資源泄漏檢查工具：Numega中的BounceChecker, Rational的Purify等 代碼覆蓋率檢查

30、工具：Numega的TrueCoverage, Rational的PureCoverage，TeleLogic公司的Logiscope 代碼性能檢查工具：Logiscope和 Macabe等。 軟件糾錯(cuò)工具Rational Purl等。,負(fù)載和性能測試工具,GUI功能測試工具,將操作應(yīng)用程序的各種動(dòng)作和輸入記錄下來，包括鍵盤操作、鼠標(biāo)點(diǎn)擊等捕捉(Record)下來，生成一個(gè)腳本文件，這個(gè)腳本以后可以被“回放（ playback）”

31、。在實(shí)際測試過程中，要根據(jù)測試需求對錄制的腳本進(jìn)行一些必要的修改或加入一些參數(shù)，如選擇不同的測試數(shù)據(jù)、腳本中插入檢查點(diǎn)（Check Point）進(jìn)行跟蹤調(diào)試等?；贕UI功能測試工具主要適合回歸測試階段。當(dāng)一個(gè)應(yīng)用開發(fā)基本完成后，程序界面基本定型，雖然業(yè)務(wù)的需求會(huì)很頻繁變化，但測試腳本結(jié)構(gòu)基本不需要改動(dòng)，只需要做些小調(diào)整，就可以自動(dòng)運(yùn)行，則可大大提高了測試的效率和測試的準(zhǔn)確性。目前主要產(chǎn)品有MI公司的 WinRunner， Comp

32、uware的QARun， Rational的 SQA Robot，MS Visual Test Suite等,GUI自動(dòng)化測試,設(shè)計(jì)測試用例，并手工進(jìn)行測試。 如果測試未通過，則先改正缺陷，再次執(zhí)行測試。 如果測試通過，利用測試工具運(yùn)行該測試過程，捕獲運(yùn)行過程需要檢測的屏幕對象，并保存。 在進(jìn)行回歸測試測試，自動(dòng)利用測試工具運(yùn)行測試，并比較運(yùn)行過程的屏幕對象與保存的屏幕對象比較，從而判斷測試用例是否通過。,基于Web應(yīng)用的測試工具

33、,基于Web應(yīng)用的測試工具主要進(jìn)行鏈接檢查、HTML檢查、Web功能和Web站點(diǎn)安全性等各個(gè)方面的測試。主要Web測試工具有MI公司的Astra 系列（如Astra QuickTest ）、RSW公司的 E-Test Suite等；Web系統(tǒng)測試工具: WorkBench、Web Application Stress Tool（WAS）、頁面鏈接測試Link Sleuth等。,Website性能

34、測試測什么？,各種操作的響應(yīng)速度最大并發(fā)用戶數(shù)最大數(shù)據(jù)容量,ACT (Application Center Test),ACT測試中的常見術(shù)語,RPS (Request Per Second)并發(fā)連接數(shù) (Simultaneous Browser Connections)思考時(shí)間 (Thinking Time)RPS + SBC + Thinking Time = Concurrent users?,ACT測試的步驟,創(chuàng)

35、建測試腳本手工編寫VBScript錄音并修改運(yùn)行測試腳本設(shè)定并發(fā)用戶數(shù)設(shè)定用戶身份運(yùn)行、觀察、獲取主觀體驗(yàn)理解結(jié)果報(bào)告圖表各項(xiàng)性能統(tǒng)計(jì)數(shù)字日志文件,解讀ACT測試結(jié)果,TTFB, TTLBHTTP錯(cuò)誤的含義401403404500,常見的ACT結(jié)果圖線,其他Web負(fù)載發(fā)生工具,Microsoft's Web Application Stress Tool Cyrano's OpenSTA

36、 Quest Software's Benchmark Factory Empirix's E-Test Suite 6.0 RadView's WebLoad 5.0 Rational Software's Rational Robot Mercury Interctive's Astra LoadRunner 7.5 Compuware's QA Load 4.7 Segu

37、e Software's SilePerformer 5.0,11.4 Rational產(chǎn)品的整體解決方案,11.4.1 Rational測試產(chǎn)品結(jié)構(gòu)11.4.2 Rational 全套測試解決方案的特點(diǎn),TestManager： 集中、可伸縮的測試管理平臺(tái)Robot：傳統(tǒng)應(yīng)用自動(dòng)化測試工具RobotJ：Web/Java自動(dòng)測試工具ClearQuest：缺陷跟蹤工具,Rational系統(tǒng)測試方案,TestManager:

38、 控制中心,,,,,,TestManager和ClearQuest集成,,,TestManager: 跨越整個(gè)測試周期,ü,自動(dòng)實(shí)現(xiàn)缺陷與需求之間的關(guān)聯(lián),,測試度量: 覆蓋, 趨勢等,,,Robot GUI的自動(dòng)功能測試,2. 執(zhí)行測試腳本,,,,,和白盒工具集成,RobotJ：測試Java和Web應(yīng)用,Script Assure,,,技術(shù)保證了即使對象名稱發(fā)生改變，測試腳本也能正?；胤?驗(yàn)證動(dòng)態(tài)內(nèi)容,利用Eclipse這一

39、標(biāo)準(zhǔn)的IDE環(huán)境，同時(shí)提供與版本控制工具的集成,ProfessionalLanguageand IDE,NEWTechnology forJava and Web BasedApplications,ScriptAssure: 降低了測試腳本的維護(hù)成本,Version 1.0,Version 2.0,動(dòng)態(tài)數(shù)據(jù)驗(yàn)證：可伸縮的測試腳本,Order ID changes with each order placed,Test Fa

40、ils when comparing static baseline to dynamic data,Test Passes when comparing pattern baseline to dynamic data,動(dòng)態(tài)內(nèi)容匹配利用模式匹配技術(shù)來驗(yàn)證數(shù)據(jù),如不是驗(yàn)證 “Order ID 230”, 而是 “Order ID ###” 當(dāng)驗(yàn)證應(yīng)用的行為時(shí)，考慮了各種不同的合法響應(yīng),業(yè)界標(biāo)準(zhǔn)的IDE和測試腳本語言,Eclipse集

41、成環(huán)境調(diào)試器、代碼編輯器使用標(biāo)準(zhǔn)的Java語言作為測試腳本語言,11.5.1 MI產(chǎn)品結(jié)構(gòu)11.5.2 MI三個(gè)重量級產(chǎn)品的介紹,11.5 MI產(chǎn)品的整體解決方案,MI產(chǎn)品結(jié)構(gòu),測試,監(jiān)控,軟件,MSP,,,,,61,LoadRunner 的解決方案,Web服務(wù)器,數(shù)據(jù)庫服務(wù)器,,利用圖表工具分析測試結(jié)果,利用錄制的腳本進(jìn)行回歸測試,運(yùn)行大量的“Virtual Users”在不同的機(jī)器上,利用 “Virtual Users”代

42、替實(shí)際測試人員,通過“Controller”管理“ Vusers”,62,LoadRunner 的解決方案,支持多種協(xié)議和API,63,LoadRunner 的解決方案,能夠?qū)Χ喾NServer和資源進(jìn)行監(jiān)控Web服務(wù)器Web應(yīng)用服務(wù)器數(shù)據(jù)庫服務(wù)器系統(tǒng)資源,64,LoadRunner 的解決方案,產(chǎn)生壓力和搜集測試結(jié)果,生成用于“Controller”部署的“ Vusers”,通過圖表分析工具來編譯和顯示測試結(jié)果,系統(tǒng)性能調(diào)優(yōu),

43、LoadRunner 工作流程,,,NOTE: 這是LR的一個(gè)典型工作流程。為便于理解這個(gè)流程，在本教程中有些步驟將按照 不同的順序來介紹。,11.6 Compuware產(chǎn)品的整體解決方案,11.6.1 Compuware產(chǎn)品結(jié)構(gòu)11.6.2 Compuware分階段解決方案,Compuware產(chǎn)品結(jié)構(gòu),1．黑盒測試工具 QACenter　2．白盒測試工具—Numega系列產(chǎn)品　3．Vantage 應(yīng)用級網(wǎng)絡(luò)性能監(jiān)控管理軟件

44、,編碼實(shí)現(xiàn)階段,運(yùn)行期錯(cuò)誤檢測和診斷工具Error Detection、代碼覆蓋率分析工具Coverage Analysis、性能分析和優(yōu)化工具Performance Analysis、設(shè)備驅(qū)動(dòng)開發(fā)套件NuMega DriverStudio、JAVA可視線程和事件分析工具JCheck、交互式的存儲(chǔ)過程調(diào)試和優(yōu)化工具DBPartner DebuggerVB源代碼分析、錯(cuò)誤診斷、處理和恢復(fù)工具（CodeReview，SmartCh

45、eck，F(xiàn)ailSafe等）。,測試階段,自動(dòng)捕獲和回放工具QARun應(yīng)用性能加載工具QALoad Web站點(diǎn)質(zhì)量分析工具WebCheckweb應(yīng)用功能測試工具TestPartner測試管理和設(shè)計(jì)系統(tǒng)QADirector缺陷跟蹤系統(tǒng)TrackRecord。,網(wǎng)絡(luò)性能測試,網(wǎng)絡(luò)應(yīng)用性能分析工具Application Expert網(wǎng)絡(luò)應(yīng)用性能監(jiān)控工具Network Vantage服務(wù)器數(shù)據(jù)庫性能監(jiān)控工具Server Van