版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、計(jì)劃建設(shè)部2010/5,移動(dòng)通信計(jì)算機(jī)應(yīng)用軟件開(kāi)發(fā)工作量評(píng)估方法研究課題匯報(bào)材料,項(xiàng)目目標(biāo)和項(xiàng)目概述現(xiàn)狀分析及關(guān)鍵發(fā)現(xiàn)估算建議方案估算方法論及理論基礎(chǔ)估算工具的設(shè)計(jì)方案估算流程的改進(jìn)估算工具驗(yàn)證和歷史項(xiàng)目驗(yàn)證估算工具的驗(yàn)證歷史項(xiàng)目驗(yàn)證結(jié)論實(shí)施建議、總結(jié)及決策,議題,,項(xiàng)目范圍,,,,近期:在立項(xiàng)申請(qǐng)過(guò)程中,引入一套科學(xué)的估算方法,輔助IT支撐及新業(yè)務(wù)項(xiàng)目中應(yīng)用開(kāi)發(fā)工作量的估算,提高北京移動(dòng)項(xiàng)目技術(shù)人員和管理人
2、員對(duì)項(xiàng)目的把控能力在項(xiàng)目立項(xiàng)前期交流中,北京移動(dòng)與合作廠商之間,通過(guò)規(guī)范項(xiàng)目技術(shù)交流的內(nèi)容,加強(qiáng)雙方技術(shù)交流和項(xiàng)目前期技術(shù)準(zhǔn)備,達(dá)成項(xiàng)目目標(biāo)共識(shí)在立項(xiàng)評(píng)估過(guò)程中,在北京移動(dòng)申請(qǐng)與審批部門之間,對(duì)軟件開(kāi)發(fā)工作量建立一套合理、有效的評(píng)估和制約機(jī)制遠(yuǎn)期:隨著估算工具準(zhǔn)確率的提高,作為北京移動(dòng)立項(xiàng)審批的重要依據(jù)通過(guò)估算工具在項(xiàng)目中的大量應(yīng)用,廣泛提高北京移動(dòng)項(xiàng)目技術(shù)人員和管理人員在軟件架構(gòu)和設(shè)計(jì)能力,規(guī)范廠商軟件工程管理質(zhì)量通過(guò)大量
3、項(xiàng)目數(shù)據(jù)積累,提高北京移動(dòng)項(xiàng)目管理和投資管理的精細(xì)化程度,結(jié)合業(yè)界成熟的估算理論,建立符合北京移動(dòng)IT支撐和新業(yè)務(wù)項(xiàng)目軟件開(kāi)發(fā)工作量的合理的估算方法和模型,并提供可靈活配置參數(shù)、易操作、易維護(hù)、適用廣泛的估算工具結(jié)合北京移動(dòng)管理現(xiàn)狀,提出相應(yīng)的軟件開(kāi)發(fā)工作量估算職責(zé)和流程改進(jìn)建議結(jié)合北京移動(dòng)歷史典型項(xiàng)目,驗(yàn)證和完善估算模型,提高工具可用性,項(xiàng)目目標(biāo),,本次咨詢課題的項(xiàng)目目標(biāo)和項(xiàng)目范圍,工作量估算咨詢項(xiàng)目的實(shí)施過(guò)程回顧,,,,行業(yè)估算
4、技術(shù)識(shí)別與分析,估算目標(biāo)理解,立項(xiàng)流程分析,角色識(shí)別,估算數(shù)據(jù)來(lái)源,關(guān)鍵問(wèn)題總結(jié),業(yè)界技術(shù),估算技術(shù)能力,項(xiàng)目經(jīng)理問(wèn)卷調(diào)研,組織廠商項(xiàng)目調(diào)研,項(xiàng)目背景,業(yè)務(wù)框架梳理,估算方案規(guī)劃和工具開(kāi)發(fā),估算工具應(yīng)用,內(nèi)外部調(diào)研,分析與聚焦,估算方案研究與設(shè)計(jì),持續(xù)改善,估算流程設(shè)計(jì)及融合,估算技術(shù)識(shí)別及裁減,估算工具設(shè)計(jì),估算數(shù)據(jù)庫(kù)設(shè)計(jì),步驟細(xì)化,估算因子設(shè)計(jì)和調(diào)研,項(xiàng)目活動(dòng)標(biāo)準(zhǔn)化,估算數(shù)據(jù)管理,計(jì)劃部及業(yè)務(wù)經(jīng)理確認(rèn),本課題從09年9月中旬
5、啟動(dòng),目前已工作了6個(gè)月,基本完成項(xiàng)目規(guī)劃中的三大階段和四個(gè)小階段的全部工作。,2009.09,2009.11,2010.02,2009.04,估算方案的總體框架,,,估算工具,,,,估算方法,估算工具,估算流程,估算流程 將估算活動(dòng)納入現(xiàn)有項(xiàng)目立項(xiàng)全過(guò)程的流程中 建立項(xiàng)目工作量收集機(jī)制,逐步實(shí)現(xiàn)歷史數(shù)據(jù)的積累,估算方法選擇業(yè)界廣泛采用的估算方法,針對(duì)北京移動(dòng)項(xiàng)目特點(diǎn)進(jìn)行裁剪和整合,同時(shí)具備適應(yīng)性和靈活性,定制通用的估算工具 各
6、廠商按模板輸入原始數(shù)據(jù), 計(jì)劃部根據(jù)項(xiàng)目特,選擇適用估算參數(shù),作為立項(xiàng)評(píng)估/立項(xiàng)論證階段工作量評(píng)估參考依據(jù),估算咨詢的建議方案概述,估算方案采用的理論和模型,,,WBS (引用)基于WBS的估計(jì)方法是自底向上的方法,對(duì)項(xiàng)目按照工作任務(wù)結(jié)構(gòu)進(jìn)行分解,WBS的每個(gè)最低層的工作項(xiàng)的工作量、進(jìn)度、資源都可以準(zhǔn)確定義,以此逐步向上確定整體項(xiàng)目的各主要部分的工作量類比法 (引用) 基于實(shí)例推理的一種形式,通過(guò)對(duì)一個(gè)或多個(gè)已完成的項(xiàng)目與新
7、的類似項(xiàng)目的對(duì)比來(lái)預(yù)測(cè)當(dāng)前項(xiàng)目的工作量與進(jìn)度。DELPHI/專家法 (引用) 估算工作由被認(rèn)為是該項(xiàng)目專家的人員來(lái)控制,并且估算過(guò)程的很大一部分是基于不清晰、不可重復(fù)的推理過(guò)程,其中寬帶Delphi結(jié)合三點(diǎn)法,使估算更精確三點(diǎn)法 (引用) 通過(guò)樂(lè)觀、悲觀和最有可能三個(gè)方面估算來(lái)實(shí)現(xiàn)工在量估算的準(zhǔn)確度,需要具有經(jīng)驗(yàn)的估算人員,用例點(diǎn) (引用) 用例(Use Case)是一種描述系統(tǒng)需求的方法,用例的估算方法多應(yīng)用在面向?qū)?/p>
8、象開(kāi)發(fā)項(xiàng)目中,在需求分析后進(jìn)行。功能點(diǎn) (引用) 根據(jù)系統(tǒng)所要實(shí)現(xiàn)功能的功能點(diǎn), 即系統(tǒng)規(guī)模,主要應(yīng)用在需求分析后,能識(shí)別出程序的事物功能復(fù)雜度和數(shù)據(jù)功能復(fù)雜度,不適合邏輯復(fù)雜的實(shí)時(shí)系統(tǒng)。對(duì)象點(diǎn) 要計(jì)算對(duì)象點(diǎn),分析人員要計(jì)算應(yīng)用中屏幕(Screen)、報(bào)表(Report)和第三代語(yǔ)言組件(3GL Component)數(shù)量的最可能值?;貧w法 充分利用歷史數(shù)據(jù),建立模型對(duì)預(yù)測(cè)與估算未來(lái)狀況,包括CART-分類回歸樹(shù);O
9、SR-最優(yōu)子集回ANOVA-逐步方差分析等.,,,自上而下,自下而上,軟件開(kāi)發(fā)具備知識(shí)密集型的特點(diǎn),其過(guò)程不透明性,但隨著軟件開(kāi)發(fā)逐步從不規(guī)范到規(guī)范的演進(jìn)過(guò)程,估算技術(shù)也逐步成熟。,,項(xiàng)目估算工具設(shè)計(jì)的原則,適用性廣,簡(jiǎn)單易用,客觀穩(wěn)定,可維護(hù)/可擴(kuò)展,,通過(guò)項(xiàng)目生命周期裁剪和工作包分解,實(shí)現(xiàn)不同項(xiàng)目的可定制化,通過(guò)工具化和估算因子實(shí)例化,最大限度降低使用人員的工作量,采用業(yè)界標(biāo)準(zhǔn)和BMCC具體項(xiàng)目數(shù)據(jù)相結(jié)合的辦法,后評(píng)估流程進(jìn)
10、行項(xiàng)目實(shí)際數(shù)據(jù)的收集定期維護(hù)項(xiàng)目參數(shù)配置數(shù)據(jù),估算流程的設(shè)計(jì)原則,估算流程制定原則,服務(wù)于立項(xiàng)申請(qǐng),與立項(xiàng)管理流程相互融合,在立項(xiàng)申請(qǐng)及立項(xiàng)論證階段引入估算流程和估算工具利用立項(xiàng)流程中各活動(dòng)與角色的原有職責(zé),在立項(xiàng)建議書(shū)中規(guī)定需求描述的模板估算工具的參數(shù)化設(shè)置,為估算工具的易用性做保障提供工具使用指南,提高評(píng)估決策效率,參考估算結(jié)果,結(jié)合廠家反饋,加快前期交流效果,避免交流不充分無(wú)法確定立項(xiàng)信息獲取更全面的決策信息,估算咨詢課
11、題的提交物,項(xiàng)目目標(biāo)和項(xiàng)目概述現(xiàn)狀分析及關(guān)鍵發(fā)現(xiàn)估算建議方案估算方法論及理論基礎(chǔ)估算工具的設(shè)計(jì)方案估算流程的改進(jìn)估算工具驗(yàn)證和歷史項(xiàng)目驗(yàn)證估算工具的驗(yàn)證歷史項(xiàng)目驗(yàn)證結(jié)論實(shí)施建議和總結(jié),議題,北京移動(dòng)軟件開(kāi)發(fā)項(xiàng)目分類,項(xiàng)目覆蓋范圍業(yè)務(wù)支撐管理支撐數(shù)據(jù)業(yè)務(wù)網(wǎng)絡(luò)支撐項(xiàng)目類型新建系統(tǒng)系統(tǒng)擴(kuò)容需求類型開(kāi)發(fā)類配置類系統(tǒng)更新類,,,,管理支撐域MSS,網(wǎng)絡(luò)支撐域OSS,業(yè)務(wù)支撐域BSS,網(wǎng)絡(luò)運(yùn)營(yíng)支
12、撐,產(chǎn)品與客戶運(yùn)營(yíng)支撐,企業(yè)管理支撐,,,數(shù)據(jù)業(yè)務(wù)服務(wù)提供,數(shù)據(jù)業(yè)務(wù),,,開(kāi)發(fā)類,業(yè)務(wù)需求分析,配置類,系統(tǒng)更新類,業(yè)務(wù)需求實(shí)現(xiàn),識(shí)別項(xiàng)目的類型及業(yè)務(wù)特征,用于估算方法的裁減及分析,新技術(shù)新業(yè)務(wù)類項(xiàng)目調(diào)研分析,請(qǐng)按上頁(yè)方式說(shuō)明框圖及調(diào)研范圍,③面對(duì)客戶的商用產(chǎn)品,產(chǎn)品可靠性要求高,①項(xiàng)目類型較新缺乏同類型項(xiàng)目參考數(shù)據(jù),,② 新技術(shù)新系統(tǒng)平臺(tái)的搭建要考慮到后期可擴(kuò)展性/可重用性接口定義,,,,帳詳單展示,BI,BOSS,綜合結(jié)算,
13、CRM,BOMC基礎(chǔ)管理,帳詳單查詢,CRM,業(yè)務(wù)集成網(wǎng)關(guān),①北京移動(dòng)核心系統(tǒng)/行業(yè)特征明顯,專業(yè)性強(qiáng),② 頻繁部署/開(kāi)發(fā)進(jìn)度要求嚴(yán)格,③ 使用套裝軟件,配置類開(kāi)發(fā)占比大,BSS業(yè)務(wù)支撐類項(xiàng)目調(diào)研分析,④系統(tǒng)可靠性/安全性要求極高,如果發(fā)生故障會(huì)造成收入損失,?數(shù)據(jù)庫(kù)規(guī)模/部署及維護(hù)復(fù)雜程度高,①?gòu)?fù)雜程度偏低,系統(tǒng)出現(xiàn)問(wèn)題僅造成用戶使用的不方便,不影響收入損失,②需求比較明確,可批量部署系統(tǒng)功能,③行業(yè)專有特征不強(qiáng)來(lái)自于本地化
14、需求進(jìn)行定制開(kāi)發(fā),MSS管理支撐類項(xiàng)目調(diào)研分析,OSS網(wǎng)絡(luò)支撐類項(xiàng)目調(diào)研分析,,,①系統(tǒng)建設(shè)按照集團(tuán)規(guī)范建設(shè),需求相對(duì)明確,②信息處理量大,數(shù)據(jù)處理相對(duì)復(fù)雜,③系統(tǒng)維護(hù)標(biāo)準(zhǔn)高,7*24連續(xù)性,CAPEX項(xiàng)目立項(xiàng)過(guò)程估算活動(dòng)分析,OPEX類項(xiàng)目估算活動(dòng)分析,06-09年隨機(jī)抽取的98個(gè)項(xiàng)目表明,軟件投資在項(xiàng)目總投資中占重要比例。目前北京移動(dòng)軟件開(kāi)發(fā)成本主要是依據(jù)開(kāi)發(fā)商提供的軟件開(kāi)發(fā)工作量進(jìn)行推算。擴(kuò)容類項(xiàng)目占各類項(xiàng)目總數(shù)的72%,北
15、京移動(dòng)估算現(xiàn)狀分析及關(guān)鍵問(wèn)題,軟件工作量估算的現(xiàn)狀分析,在立項(xiàng)論證過(guò)程中,缺乏統(tǒng)一的標(biāo)準(zhǔn)來(lái)判斷軟件項(xiàng)目的工作量的合理性;缺乏可用的項(xiàng)目歷史參考數(shù)據(jù),部分項(xiàng)目?jī)H依靠個(gè)人經(jīng)驗(yàn)估計(jì)工作量;缺乏規(guī)范合理的估算、評(píng)估、審核方法;,軟件開(kāi)發(fā)工作量成本的分析,關(guān)鍵問(wèn)題影響,立項(xiàng)論證過(guò)程比較長(zhǎng),投入大量人力成本進(jìn)行估算工作量的澄清預(yù)計(jì)工期與實(shí)際工期偏差大,造成浪費(fèi)資源或資源投入不符合預(yù)期項(xiàng)目過(guò)程中出現(xiàn)變更,不能按計(jì)劃順利實(shí)施,項(xiàng)目組陷入被動(dòng),純
16、軟件項(xiàng)目,軟件投資超>80%,軟件投資超>50%,軟件投資超>30%,業(yè)界估算成熟度現(xiàn)狀,軟件估算的含義對(duì)項(xiàng)目持續(xù)時(shí)間及成本的預(yù)測(cè),是嘗試性的或初步的計(jì)算結(jié)果。與合同承諾的差別 合同承諾是許諾在特定日期之前以特定質(zhì)量水平交付規(guī)定的功能,承諾可以與估算相同,可能比估算更激進(jìn),也可能比估算更保守。與項(xiàng)目控制的關(guān)系 項(xiàng)目能夠按時(shí)和在預(yù)期要求內(nèi)交付,不僅僅通過(guò)估算實(shí)踐本身獲得準(zhǔn)確的估算結(jié)果,還需要通過(guò)有效
17、的項(xiàng)目控制來(lái)提供支持 ---Putnam and Myers 2003估算工作最重要的收益是,提供了足夠清晰的、真實(shí)的項(xiàng)目全局視圖,從而使項(xiàng)目經(jīng)理可以為達(dá)成項(xiàng)目目標(biāo)做出正確的決策。,Standish Group報(bào)告中的項(xiàng)目結(jié)果每年有所波動(dòng)。大約3/4的項(xiàng)目會(huì)延期交付或者完全失敗。,承諾結(jié)果15人月,項(xiàng)目目標(biāo)和項(xiàng)目概述現(xiàn)狀分析及關(guān)鍵發(fā)現(xiàn)估算咨詢建議方案估算方法論及理論基礎(chǔ)估算工具的設(shè)計(jì)方案估算流程的改進(jìn)估算工具驗(yàn)證和歷
18、史項(xiàng)目驗(yàn)證結(jié)論估算工具的驗(yàn)證歷史項(xiàng)目驗(yàn)證結(jié)論實(shí)施建議和總結(jié),議題,軟件規(guī)模不經(jīng)濟(jì)理論中指出的軟件生產(chǎn)率特性,數(shù)據(jù)來(lái)自Five Core Metrics (Putnam and Meyers 2003), Industrial strength software (Putnam and Meyers 1997) Measures for excellence (Putnam and Meyers 1992),,從表中可以看出: 2
19、50k,100k的開(kāi)發(fā)效率遠(yuǎn)低于10k規(guī)模的效率。這說(shuō)明當(dāng)軟件項(xiàng)目規(guī)模增長(zhǎng)時(shí),軟件生產(chǎn)率會(huì)逐步下降。 開(kāi)發(fā)內(nèi)部使用的管理系統(tǒng)的團(tuán)隊(duì)生產(chǎn)率會(huì)比航空電子、實(shí)時(shí)系統(tǒng),嵌入式系統(tǒng)的生產(chǎn)率高快10-20倍,這說(shuō)明軟件系統(tǒng)的復(fù)雜度、穩(wěn)定性和質(zhì)量要求會(huì)加大項(xiàng)目投入成本,降低生產(chǎn)率; 結(jié)論:通過(guò)COCOCMOⅡ 模型的估算參數(shù)調(diào)整來(lái)匹配項(xiàng)目類型和生產(chǎn)率的變化,,,,軟件規(guī)模不經(jīng)濟(jì)理論發(fā)現(xiàn):當(dāng)規(guī)模出現(xiàn)培增的情況下,工作量會(huì)以指數(shù)級(jí)方式增長(zhǎng),這是普遍存
20、在的客觀現(xiàn)象。而經(jīng)過(guò)多個(gè)項(xiàng)目的數(shù)據(jù)收集和分析,可以觀測(cè)并提煉出主要的關(guān)鍵影響因素,這就是COCOMO模型的理論基礎(chǔ),其是基于項(xiàng)目工程實(shí)踐總結(jié)出的估算模型。,成熟組織的生產(chǎn)率曲線,普遍現(xiàn)象下生產(chǎn)率曲線,短期效益的生產(chǎn)率曲線,,本項(xiàng)目推薦使用COCOMOII估算模型,本項(xiàng)目的估算模型基于構(gòu)造性成本模型(constructive cost model, COCOMO) ,進(jìn)行了定制化設(shè)計(jì)和開(kāi)發(fā):,COCOMOⅡ包括兩個(gè)底層信息模型:過(guò)
21、程模型:文化、干系人、方法、工具、開(kāi)發(fā)團(tuán)隊(duì)以及軟件產(chǎn)品的規(guī)?;驈?fù)雜性;經(jīng)驗(yàn)庫(kù):可以從歷史案例估算出項(xiàng)目可能需要的相關(guān)資源(工作量與時(shí)間)。,COCOMO的發(fā)展史:,由 Boehm(USC)在1981年提出;成為最廣泛應(yīng)用的成本模型之一;數(shù)學(xué)模型的建立基于 63個(gè)歷史項(xiàng)目該模型定義了軟件解決方案中的成本和進(jìn)度的隱含關(guān)系。,,2005年,在COCOMO81的基礎(chǔ)上,USC軟件工程協(xié)會(huì)提出了COCOMOⅡ 模型,該模型提供了更大、更恰
22、當(dāng)?shù)默F(xiàn)代案例數(shù)據(jù)庫(kù),并改進(jìn)了模型的適用性,從而可以在更多的領(lǐng)域及其項(xiàng)目環(huán)境中進(jìn)行優(yōu)化。,估算方法與估算因子相集成,,數(shù)據(jù)來(lái)自software cost estimation with COCOMOⅡ,COCOMO構(gòu)造性成本模型(constructive cost model) ,是從項(xiàng)目規(guī)模到工作量估算的技術(shù)模型,它融合了功能點(diǎn)法、用例法的估算因子中的共性因素,集成到Cocomo方法中,目前是軟件行業(yè)應(yīng)用最普遍的工作量估算方法。,EM:
23、工作量參數(shù)(來(lái)自于16個(gè)環(huán)境因子) A: COCOMO模型中的常系數(shù)(2.94) Size:項(xiàng)目規(guī)模 B: 生產(chǎn)率參數(shù),COCOMOⅡ=公式,示例,2024/4/2,中國(guó)軟件企業(yè)估算偏差的實(shí)際情況,截至2007年5月8日CSBSG數(shù)據(jù)庫(kù)中78個(gè)高可信度項(xiàng)目 CSBSG的估計(jì)偏差計(jì)算公式為:ABS(實(shí)際-計(jì)劃)/計(jì)劃×100%工作量估計(jì)偏差分布為,根據(jù)國(guó)家軟件項(xiàng)目數(shù)據(jù)庫(kù)的分析,電信行業(yè)的估算偏
24、差較小,占行業(yè)排名第二位,估算方法各行業(yè)普遍性及估算投入工作量分析,電信行業(yè)中項(xiàng)目估算及管控的成熟度較高,項(xiàng)目目標(biāo)和項(xiàng)目概述現(xiàn)狀分析及關(guān)鍵發(fā)現(xiàn)估算建議方案估算方法論及理論基礎(chǔ)估算工具的設(shè)計(jì)方案估算流程的改進(jìn)估算工具驗(yàn)證和歷史項(xiàng)目驗(yàn)證結(jié)論估算工具的驗(yàn)證歷史項(xiàng)目驗(yàn)證結(jié)論實(shí)施建議和總結(jié),議題,估算模型的設(shè)計(jì)方案,估算過(guò)程,估算工具的主頁(yè)面,,,估算模型設(shè)計(jì)-- F():估算函數(shù),各種估算方法的輸入條件及輸出結(jié)果,估算模型設(shè)
25、計(jì)-- X:任務(wù)分解及估算數(shù)據(jù),E=F(X,Y)F(), Y: 通過(guò)估算工具來(lái)控制和定制化設(shè)定X: 準(zhǔn)確度由可獲取的信息詳細(xì)和豐富程度確定,初始,方案建議書(shū),概要設(shè)計(jì),用戶接口設(shè)計(jì),詳細(xì)設(shè)計(jì),項(xiàng)目結(jié)束,不確定性錐 software estimation with COCOMO, Boehm et al. 2000,估算的不確定性椎圖表明估算結(jié)果的準(zhǔn)確度主要與估算輸入信息的豐富程度相關(guān),時(shí)間,估算偏差,估算模型設(shè)計(jì)– Y:估算因子,總
26、體工作量,,項(xiàng)目特征,目標(biāo)系統(tǒng)特征,項(xiàng)目團(tuán)隊(duì)特征,產(chǎn)品復(fù)雜度生產(chǎn)運(yùn)行時(shí)間與可用時(shí)間占比要求的軟件可靠性文檔的完整性平臺(tái)易變性數(shù)據(jù)庫(kù)規(guī)??蓮?fù)用組件額外開(kāi)發(fā)量,需求分析師的能力程序員能力(總體)人員持續(xù)性(流動(dòng))應(yīng)用(業(yè)務(wù)領(lǐng)域)經(jīng)驗(yàn)使用編程語(yǔ)言和開(kāi)發(fā)工具的經(jīng)驗(yàn)平臺(tái)經(jīng)驗(yàn),14.多場(chǎng)所開(kāi)發(fā)15.工具的使用16.進(jìn)度壓縮比,,,影響項(xiàng)目工作量的主要因子:目標(biāo)系統(tǒng)特征,重點(diǎn)是復(fù)雜度和系統(tǒng)高可用穩(wěn)定要求團(tuán)隊(duì)特征,重點(diǎn)在
27、關(guān)鍵人員能力和團(tuán)隊(duì)穩(wěn)定性,通過(guò)對(duì)估算方法和北京移動(dòng)項(xiàng)目特征點(diǎn)的分析,結(jié)合調(diào)研結(jié)果,將估算因子歸為三類:,Y:估算因子—目標(biāo)系統(tǒng)特征的詳細(xì)分析,廠商反饋結(jié)果分布匯總,目標(biāo)系統(tǒng)特征的綜合估算因子的控制區(qū)間取值方法:使用統(tǒng)計(jì)學(xué)的正態(tài)分布原理,將廠商反饋的估算因子進(jìn)行分析,得到北京移動(dòng)現(xiàn)有項(xiàng)目的建議控制區(qū)間為(1.01,3.14)。,Y:估算因子—項(xiàng)目團(tuán)隊(duì)特征的詳細(xì)分析,廠商反饋結(jié)果分布匯總,項(xiàng)目團(tuán)隊(duì)特征的綜合估算因子的控制區(qū)間取值方法:使用統(tǒng)
28、計(jì)學(xué)的正態(tài)分布原理,將廠商反饋的估算因子進(jìn)行分析,得到北京移動(dòng)現(xiàn)有項(xiàng)目的建議控制區(qū)間為(0.30, 0.67)。,北京移動(dòng)軟件開(kāi)發(fā)廠商的估算因子的調(diào)研分析,以擴(kuò)容項(xiàng)目為主,項(xiàng)目規(guī)模均為中/大型項(xiàng)目項(xiàng)目類型覆蓋廣泛,包括BSS/MSS/OSSS/數(shù)據(jù)業(yè)務(wù)高成熟度的項(xiàng)目實(shí)施團(tuán)隊(duì)占75%廠商判斷估算因子的可識(shí)別性95%以上,,,廠商調(diào)研,調(diào)研范圍,,14家廠商30個(gè)項(xiàng)目,關(guān)鍵辨識(shí),各廠商成本分布情況,組織北京移動(dòng)各廠商參與估算方法
29、及估算參數(shù)調(diào)研,了解并分析各廠商的估算能力,Improvement in estimation at the Boeing Company. As with the U.S. Air Force projects, CMM levels,CMMI成熟度與估算偏差的比較,北京移動(dòng)軟件開(kāi)發(fā)項(xiàng)目特點(diǎn)與估算模型的對(duì)應(yīng)關(guān)系,估算工具的設(shè)計(jì)(1)-廠商提供估算工作量的信息,目標(biāo):廠商功能技術(shù)建議書(shū),完成估算相關(guān)數(shù)據(jù)的錄入提交物:《廠商功能技術(shù)建議
30、書(shū)》,第一步: 由項(xiàng)目經(jīng)理識(shí)別項(xiàng)目特征,選擇本項(xiàng)目覆蓋的軟件生命周期,第二步: 根據(jù)項(xiàng)目范圍進(jìn)行項(xiàng)目工作任務(wù)包的識(shí)別和分解。,第三步: 系統(tǒng)按工作包自動(dòng)產(chǎn)生各生命周期活動(dòng)條目,項(xiàng)目經(jīng)理完成每個(gè)工作包內(nèi)的詳細(xì)工作分解和工作量估算。,第四步: 填寫(xiě)項(xiàng)目基本信息和項(xiàng)目屬性:估算方法考慮因素 估算參數(shù)調(diào)整 項(xiàng)目公共工作量估算估算使用資料,第五步: 對(duì)于特定的功能點(diǎn)/用例點(diǎn)估算方法使用時(shí),需
31、要進(jìn)一步補(bǔ)充針對(duì)性的詳細(xì)信息。,,,,,估算工具設(shè)計(jì)(2)-北京移動(dòng)項(xiàng)目人員使用工具進(jìn)行工作量估算,項(xiàng)目信息導(dǎo)入,內(nèi)容分解及估算,內(nèi)容分解及估算,目標(biāo):根據(jù)標(biāo)準(zhǔn)化的廠商功能技術(shù)建議書(shū)的建設(shè)方案,使用估算工具完成軟件項(xiàng)目工作量估算提交物:《軟件工作量估算表》,從廠商功能技術(shù)建議書(shū)中自動(dòng)導(dǎo)入項(xiàng)目信息。 審核并確認(rèn)廠商填寫(xiě)的項(xiàng)目各類特征是否準(zhǔn)確。,審核確認(rèn)廠商填寫(xiě)的各工作包的估算相關(guān)信息是否完整。 審核確認(rèn)廠商填寫(xiě)各工作包估算工作
32、量是否合理。,按照生命周期的各階段,使用估算工具計(jì)算工作量估算結(jié)果。,根據(jù)估算數(shù)據(jù)情況,給出估算結(jié)果的合理區(qū)間。 根據(jù)人員單價(jià)計(jì)算項(xiàng)目總成本 工作量估算結(jié)果按項(xiàng)目各階段的分析和展示,,,,工作量匯總,估算報(bào)告,估算工具設(shè)計(jì)(3)-估算因子固化情況及原因,結(jié)合北京移動(dòng)的項(xiàng)目實(shí)際情況,提高估算因子的易用性;同時(shí)減少或固化憑廠商主觀判斷的估算因子的參數(shù)設(shè)置,使得工具更加合理和簡(jiǎn)單。,北京移動(dòng)工作量估算工具的結(jié)果示例,示例,導(dǎo)入廠商技術(shù)建議
33、書(shū)的信息,包括了生命周期裁剪,工作包分解,估算參數(shù)調(diào)整;北京移動(dòng)項(xiàng)目負(fù)責(zé)人和計(jì)劃部可判斷廠商輸入信息的合理性及準(zhǔn)確性。,示例,估算結(jié)果報(bào)告中提供內(nèi)容包含了:項(xiàng)目整體估算工作量、各階段工作量、估算準(zhǔn)確程度分析、可參考的估算工作量區(qū)間值。,估算工具基本特點(diǎn):適用性廣/簡(jiǎn)單易用/可維護(hù)和擴(kuò)展/客觀穩(wěn)定,項(xiàng)目目標(biāo)和項(xiàng)目概述現(xiàn)狀分析及關(guān)鍵發(fā)現(xiàn)估算建議方案估算方法論及理論基礎(chǔ)估算工具的設(shè)計(jì)方案估算流程的改進(jìn)建議估算工具驗(yàn)證和歷史項(xiàng)目驗(yàn)
34、證結(jié)論估算工具的驗(yàn)證歷史項(xiàng)目驗(yàn)證結(jié)論實(shí)施建議和總結(jié),議題,估算流程改進(jìn)建議-立項(xiàng)論證前的估算準(zhǔn)備活動(dòng),新增:《廠商功能技術(shù)建議書(shū)》 完成估算相關(guān)數(shù)據(jù)的錄入《軟件工作量估算表》 完成基于建議書(shū)的估算,已定義模板由廠商提供估算相關(guān)信息,避免交流不充分無(wú)法獲取更全面的決策信息,估算流程的改進(jìn)建議-立項(xiàng)管理流程的修訂,,與立項(xiàng)管理流程相互融合,利用立項(xiàng)流程中各活動(dòng)與角色的原有職責(zé),在立項(xiàng)申請(qǐng)及立項(xiàng)論證階段引入估算活動(dòng)和估
35、算工具,估算活動(dòng)中的各部門人員職責(zé)定義,明確估算活動(dòng)中各角色及部門的職責(zé)及主要活動(dòng),項(xiàng)目目標(biāo)和項(xiàng)目概述現(xiàn)狀分析及關(guān)鍵發(fā)現(xiàn)估算建議方案估算方法論及理論基礎(chǔ)估算工具的設(shè)計(jì)方案估算流程的改進(jìn)建議估算工具驗(yàn)證和歷史項(xiàng)目驗(yàn)證結(jié)論估算工具的驗(yàn)證歷史項(xiàng)目驗(yàn)證結(jié)論實(shí)施建議和總結(jié),議題,,估算工具驗(yàn)證工作的總體概況,,,,本次工具驗(yàn)證共選取24個(gè)典型軟件開(kāi)發(fā)項(xiàng)目,覆蓋4個(gè)IT支撐領(lǐng)域、不同項(xiàng)目規(guī)模、新建/擴(kuò)容類型、以及不同的成熟度團(tuán)隊(duì)
36、。 本次驗(yàn)證過(guò)程也是一次完整的工具可用性驗(yàn)證,由廠家配合按工具要求填寫(xiě)項(xiàng)目基本數(shù)據(jù),估算項(xiàng)目團(tuán)隊(duì)使用工具完成工作量估算,和初步差異分析。,驗(yàn)證結(jié)果的分析(1): 排除異常項(xiàng)目的影響,估算工具驗(yàn)證的平均偏差率為15%左右。,,使用功能點(diǎn)估算方法,引起估算偏差較大,廠商反饋工作量數(shù)據(jù)中,開(kāi)發(fā)與測(cè)試工作量分解不夠細(xì)致,引起偏差,項(xiàng)目生命周期較特殊,其部署工作量占比較大,引起估算結(jié)果偏差,驗(yàn)證結(jié)果的分析(2): 主要估算因子分析和對(duì)工作量偏差
37、的影響,現(xiàn)象1:廠商成熟度等級(jí)越高、估算的偏差越小原因:成熟度等級(jí)高的企業(yè)對(duì)項(xiàng)目的管控能力越強(qiáng),所以估算的準(zhǔn)確程度越高。,現(xiàn)象2:環(huán)境因子越高項(xiàng)目復(fù)雜程度相對(duì)較高,偏差較大。原因:項(xiàng)目復(fù)雜程度越高,項(xiàng)目的控制難度越大,造成估算的偏差較大。,現(xiàn)象4:生產(chǎn)率調(diào)整因子波動(dòng)小、對(duì)偏差影響小。原因:北京移動(dòng)的開(kāi)發(fā)廠商比較穩(wěn)定,與廠商建立了長(zhǎng)期合作關(guān)系,廠商團(tuán)隊(duì)穩(wěn)定且成熟度較高,生產(chǎn)率因子波動(dòng)小,基本處于0.95~1.02范圍。,現(xiàn)象5:任務(wù)
38、分解的足夠詳細(xì),對(duì)偏差的影響小。原因:目前各廠商提供的任務(wù)分解粒度已滿足工具模板定義的”單個(gè)任務(wù)分解工作量<20人日”要求,有利于對(duì)分解任務(wù)工作量的合理性判斷,提升估算結(jié)果的精確程度。,現(xiàn)象3:項(xiàng)目規(guī)模大于1500人天的項(xiàng)目,偏差率較低原因:小項(xiàng)目開(kāi)發(fā)過(guò)程中,受外界的干擾因素會(huì)造成工作量的偏差難以控制,現(xiàn)象:擴(kuò)容類項(xiàng)目比新建類項(xiàng)目的偏差控制更好,偏差率較低原因:擴(kuò)容類項(xiàng)目的需求更清晰,有利于控制估算偏差,對(duì)IT支撐與新業(yè)務(wù)項(xiàng)
39、目估算偏差的分析 網(wǎng)絡(luò)支撐類統(tǒng)計(jì)的項(xiàng)目數(shù)據(jù)有限,由于網(wǎng)管系統(tǒng),集團(tuán)統(tǒng)建項(xiàng)目較多,應(yīng)考慮廠商的生產(chǎn)效率較高因素,可加大控制復(fù)用工作量 管理支撐類 估算偏差正負(fù)值均有,不是很穩(wěn)定。結(jié)合現(xiàn)狀分析,在立項(xiàng)階段需求的信息的詳細(xì)程度不同,同時(shí)在項(xiàng)目建設(shè)過(guò)程中需求部門出現(xiàn)需求變更,這種情況一般會(huì)對(duì)廠商的實(shí)際工作量有不同增減。? 建議今后加強(qiáng)需求管理,細(xì)化項(xiàng)目需求、有效控制變更。 其中大型項(xiàng)目容易出現(xiàn)估算值小于合同工作量的現(xiàn)象,結(jié)合
40、實(shí)際分析,項(xiàng)目整體規(guī)模較大,而其中類似可復(fù)用功能甲方難以識(shí)別,會(huì)引起合同中重復(fù)計(jì)算工作量的情況;另外,工期長(zhǎng),非熟練的技術(shù)人員可能變成熟練的技術(shù)人員,減少大量的協(xié)調(diào)管理的工作,從而縮短了廠商的實(shí)際開(kāi)發(fā)量。? 建議在立項(xiàng)階段加強(qiáng)管控,重點(diǎn)對(duì)估算工具的復(fù)用因子、項(xiàng)目團(tuán)隊(duì)特征因子進(jìn)行評(píng)估。 數(shù)據(jù)業(yè)務(wù)類 大部分項(xiàng)目估算工作量大于合同工作量。結(jié)合數(shù)據(jù)業(yè)務(wù)項(xiàng)目特征分析,此類項(xiàng)目需求較明確,同時(shí)擴(kuò)容項(xiàng)目大部分為新增功能模塊,對(duì)原有項(xiàng)目的功能修改
41、較少,立項(xiàng)后較少出現(xiàn)產(chǎn)品功能性設(shè)計(jì)隨意性增減的情況。但一方面由于最初設(shè)計(jì)不十分細(xì)致,同時(shí)部分新建類項(xiàng)目,會(huì)更多的受招投標(biāo)等外界因素影響。? 建議:前期進(jìn)一步加強(qiáng)產(chǎn)品功能設(shè)計(jì)和完善,避免廠商由于資源分配不足對(duì)業(yè)務(wù)系統(tǒng)質(zhì)量的影響業(yè)務(wù)支撐類 大部分項(xiàng)目估算工作量略高于合同工作量。結(jié)合現(xiàn)狀分析,支撐平臺(tái)軟件架構(gòu)較復(fù)雜,核心系統(tǒng)穩(wěn)定可靠和安全性要求高,且支撐類項(xiàng)目周期較長(zhǎng),實(shí)施過(guò)程中變更較頻繁,項(xiàng)目管理要求高,多個(gè)廠商團(tuán)隊(duì)協(xié)調(diào)。? 建議:
42、降低軟件平臺(tái)的復(fù)雜度,提升廠商團(tuán)隊(duì)管理能力和團(tuán)隊(duì)穩(wěn)定性,提升廠商的需求的全流程質(zhì)量管控能力,提高廠商團(tuán)隊(duì)的生產(chǎn)效率。,驗(yàn)證結(jié)果的分析(3): 項(xiàng)目特征對(duì)工作量偏差的影響,通過(guò)第一批26個(gè)項(xiàng)目的試用,廠商和局方相關(guān)負(fù)責(zé)人認(rèn)可估算工具的可用性,所有調(diào)研項(xiàng)目的均全部反饋,且填寫(xiě)信息較完整。部分廠商夸大了其團(tuán)隊(duì)技術(shù)能力,影響關(guān)鍵估算因子的合理取值,造成偏差較大,通過(guò)設(shè)置估算因子的默認(rèn)值,加強(qiáng)項(xiàng)目經(jīng)理對(duì)因子的判斷能力,進(jìn)行有效控制。各支撐領(lǐng)域
43、偏差擺動(dòng)范圍較小,且有一定的相關(guān)性,可通過(guò)項(xiàng)目數(shù)據(jù)積累不斷的總結(jié),分析共性原因,從而進(jìn)一步優(yōu)化估算工具,改進(jìn)估算效果。從項(xiàng)目數(shù)據(jù)分析發(fā)現(xiàn),北京移動(dòng)目前合作廠商都處于比較穩(wěn)定的長(zhǎng)期合作團(tuán)隊(duì)、并且以擴(kuò)容項(xiàng)目實(shí)施為主,估算偏差在可接受范圍內(nèi),且有利于未來(lái)對(duì)廠商的持續(xù)估算因子和系統(tǒng)工作量的把控。,估算工具驗(yàn)證的初步總結(jié),項(xiàng)目目標(biāo)和項(xiàng)目概述現(xiàn)狀分析及關(guān)鍵發(fā)現(xiàn)估算建議方案估算方法論及理論基礎(chǔ)估算工具的設(shè)計(jì)方案估算流程的改進(jìn)建議估算工
44、具驗(yàn)證和歷史項(xiàng)目驗(yàn)證結(jié)論估算工具的驗(yàn)證歷史項(xiàng)目驗(yàn)證結(jié)論實(shí)施建議和總結(jié),議題,持續(xù)改進(jìn)建議:估算工作不是一蹴而就的,需要經(jīng)過(guò)持續(xù)的實(shí)際數(shù)據(jù)積累,并在實(shí)際數(shù)據(jù)分析基礎(chǔ)上、逐步修正估算模型,實(shí)現(xiàn)更科學(xué)化的估算管理的效果。,1. 立項(xiàng)估算:使用估算工具,規(guī)范化估算管理。,,,,,1,2,4,估算模型的持續(xù)改進(jìn),2. 估算數(shù)據(jù)搜集:收集項(xiàng)目實(shí)際工作量,分析偏差,積累類比數(shù)據(jù)。,4. 估算方法、參數(shù)修訂:豐富、完善估算方法發(fā)布新模板、
45、新流程。,3. 差異分析:工作量偏差分析,識(shí)別主要因素。,3,,估算管理平臺(tái)的建議:建立估算項(xiàng)目數(shù)據(jù)庫(kù)、用于長(zhǎng)期的各類廠商/項(xiàng)目數(shù)據(jù)的積累和分析,并基于積累數(shù)據(jù)搭建估算管理平臺(tái),實(shí)現(xiàn)估算準(zhǔn)確性和估算效率的全面提升。,估算數(shù)據(jù)庫(kù)價(jià)值 可提供廠商數(shù)據(jù)的持續(xù)跟蹤,為廠商成熟度和生產(chǎn)率提升提供依據(jù)。 可提供同一系統(tǒng)在擴(kuò)容階段的項(xiàng)目數(shù)據(jù)參考。 可提供同一系統(tǒng)特征下的不同項(xiàng)目間的橫向比較。 評(píng)估估算模型持續(xù)改進(jìn)后的效果。,確保項(xiàng)目
46、按照統(tǒng)一的估算流程規(guī)范推行簡(jiǎn)單易用的估算方法WBS-新建類項(xiàng)目功能點(diǎn)-擴(kuò)容類項(xiàng)目估算方法的培訓(xùn)及項(xiàng)目管理投入,,,實(shí)現(xiàn)項(xiàng)目可預(yù)測(cè)提升項(xiàng)目管理規(guī)范,,估算工具推進(jìn)思路,估算方法的適應(yīng)及項(xiàng)目特征識(shí)別能力提升估算歷史項(xiàng)目數(shù)據(jù)積累類比及用例估算方法的啟用,初期,收益,估算方法適應(yīng)及數(shù)據(jù)積累,估算方法優(yōu)化改進(jìn),,歷史數(shù)據(jù)分析及電信項(xiàng)目特征識(shí)別優(yōu)化COCOMO參數(shù)的適用性估算數(shù)據(jù)庫(kù)數(shù)據(jù)分析及改進(jìn)估算方法及工具改進(jìn),,估算方案定義
47、及工具開(kāi)發(fā),估算方案驗(yàn)證及試點(diǎn),估算方案改善,估算方案全面推廣,HP和北京移動(dòng)計(jì)劃部合作完成估算方案的設(shè)計(jì)及開(kāi)發(fā)(4~5個(gè)月)識(shí)別并建立估算流程裁決并定義估算方法設(shè)計(jì)及開(kāi)發(fā)估算工具定義北京移動(dòng)公司級(jí)估算數(shù)據(jù)庫(kù)設(shè)計(jì)方案組織估算技術(shù)交流組織廠商項(xiàng)目試用,估算方案的總體三步走的實(shí)施建議,北京移動(dòng)計(jì)劃部啟動(dòng)估算工具的試用及驗(yàn)證(6~8個(gè)月)組織廠商按估算模板編寫(xiě)項(xiàng)目信息導(dǎo)入廠商的估算項(xiàng)目信息,進(jìn)行估算工具的試用分析估算
48、數(shù)據(jù)及廠商提交工作量的差異提出估算流程及估算工具的修改意見(jiàn)收集并維護(hù)估算項(xiàng)目數(shù)據(jù),HP提供技術(shù)支持解決北京移動(dòng)計(jì)劃部估算工具改善(3~4個(gè)月)收集估算工具使用的各種問(wèn)題及改進(jìn)意見(jiàn)估算項(xiàng)目分析估算流程優(yōu)化估算工具優(yōu)化估算項(xiàng)目數(shù)據(jù)庫(kù)優(yōu)化方案,北京移動(dòng)計(jì)劃部全面推廣/項(xiàng)目經(jīng)理全面實(shí)施估算方案及工具估算流程及工具的培訓(xùn)和指導(dǎo)廠商標(biāo)準(zhǔn)化軟件項(xiàng)目建議書(shū)格式項(xiàng)目經(jīng)理使用估算模板估算項(xiàng)目的數(shù)據(jù)的收集及分析反饋并評(píng)價(jià)估算
49、工具使用效果,速贏,積累和持續(xù)改進(jìn),可預(yù)測(cè),下一步工具試點(diǎn)推廣期的各部門和廠商配合建議,,北京移動(dòng)各部門配合,研究成果只是一個(gè)工具,鑒于軟件開(kāi)發(fā)情況的復(fù)雜性,初期可以作為估算的參考,同時(shí)要結(jié)合談判使用通過(guò)工具的使用提高管理人員水平,同時(shí)在前期立項(xiàng)、技術(shù)交流、論證過(guò)程中提高與廠家的交流效果,提高對(duì)軟件開(kāi)發(fā)工作認(rèn)識(shí)的維度、深度各部門在使用過(guò)程中注意發(fā)現(xiàn)問(wèn)題及進(jìn)行數(shù)據(jù)積累,以完善工具設(shè)計(jì)、參數(shù),使工具更準(zhǔn)確、使用效果更好通過(guò)工具的使
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 計(jì)算機(jī)支持的協(xié)同工作應(yīng)用軟件開(kāi)發(fā).pdf
- 軟件開(kāi)發(fā)工作量評(píng)估報(bào)價(jià)表
- 淺談?dòng)?jì)算機(jī)應(yīng)用與軟件開(kāi)發(fā)
- 軟件開(kāi)發(fā)工作量估算和報(bào)價(jià)
- 軟件項(xiàng)目工作量評(píng)估方法
- 土石壩狀態(tài)評(píng)估方法研究及其應(yīng)用軟件開(kāi)發(fā).pdf
- 計(jì)算機(jī)應(yīng)用軟件的開(kāi)發(fā)和維護(hù)探析
- 基于Linux的可穿戴計(jì)算機(jī)應(yīng)用軟件開(kāi)發(fā)平臺(tái)的研究.pdf
- 計(jì)算機(jī)軟件開(kāi)發(fā)合同
- 計(jì)算機(jī)軟件開(kāi)發(fā)項(xiàng)目管理方法研究
- [教育]移動(dòng)互聯(lián)網(wǎng)應(yīng)用軟件開(kāi)發(fā)
- 計(jì)算機(jī)軟件開(kāi)發(fā)與用戶實(shí)踐應(yīng)用
- 計(jì)算機(jī)應(yīng)用軟件畢業(yè)論文
- 諧波檢測(cè)方法研究及應(yīng)用軟件開(kāi)發(fā).pdf
- 關(guān)于計(jì)算機(jī)軟件開(kāi)發(fā)應(yīng)用的相關(guān)探討
- 2018最新軟件開(kāi)發(fā)項(xiàng)目工作量及報(bào)價(jià)模板
- 應(yīng)用軟件開(kāi)發(fā)、管理工作規(guī)范
- 計(jì)算機(jī)軟件開(kāi)發(fā)合同書(shū)
- 計(jì)算機(jī)輔助審計(jì)軟件開(kāi)發(fā)初探.pdf
評(píng)論
0/150
提交評(píng)論