本發(fā)明涉及軟件測(cè)試評(píng)估技術(shù)，尤其涉及一種軟件測(cè)試有效性度量和評(píng)估方法。
背景技術(shù)：
軟件測(cè)試作為一種發(fā)現(xiàn)軟件系統(tǒng)錯(cuò)誤、缺陷，確保軟件產(chǎn)品質(zhì)量的有效手段，正在受到越來(lái)越高的重視。在軟件項(xiàng)目中實(shí)施缺乏實(shí)際有效性的軟件測(cè)試工作的危害性甚至要高于完全沒有測(cè)試工作的項(xiàng)目。因?yàn)橛行缘拖碌臏y(cè)試工作不僅不能很好的對(duì)開發(fā)工作產(chǎn)出進(jìn)行驗(yàn)證，無(wú)法及時(shí)的、有效性的排除軟件缺陷，同時(shí)還浪費(fèi)了大量用于測(cè)試的人力物力。更為值得警惕的是，缺乏有效性的軟件測(cè)試工作通常會(huì)比有效的測(cè)試發(fā)現(xiàn)更少的缺陷，這會(huì)使整個(gè)項(xiàng)目團(tuán)隊(duì)盲目的錯(cuò)誤的建立對(duì)于產(chǎn)品的信心。這種隱患對(duì)于軟件項(xiàng)目團(tuán)隊(duì)造成的損失無(wú)法估量。因此，在軟件項(xiàng)目當(dāng)中，及時(shí)、準(zhǔn)確、客觀的了解當(dāng)前軟件測(cè)試工作的有效性顯得尤為必要。
技術(shù)實(shí)現(xiàn)要素：
為了解決以上技術(shù)問(wèn)題，本發(fā)明提出了一種軟件測(cè)試有效性度量和評(píng)估方法。對(duì)測(cè)試工作的效果優(yōu)劣做出判斷，對(duì)低有效性的測(cè)試工作做到及時(shí)發(fā)現(xiàn)、及時(shí)處理，加強(qiáng)測(cè)試流程管理，降低測(cè)試成本，提高測(cè)試質(zhì)量及效率。
本發(fā)明的技術(shù)方案是
一種軟件測(cè)試有效性度量和評(píng)估方法，
通過(guò)階段評(píng)估與驗(yàn)收評(píng)估，將評(píng)估過(guò)程與測(cè)試工作同步展開，貫穿整個(gè)測(cè)試過(guò)程，利用在測(cè)試階段過(guò)程中采集和計(jì)算得到的評(píng)估因素，明確評(píng)估指標(biāo)，與基準(zhǔn)庫(kù)中的基準(zhǔn)值進(jìn)行比對(duì)，得到各個(gè)階段的軟件測(cè)試有效性度量，通過(guò)驗(yàn)收評(píng)估，得到整個(gè)軟件測(cè)試過(guò)程的有效性度量。
1、將軟件測(cè)試有效性評(píng)估貫穿整個(gè)測(cè)試過(guò)程。評(píng)估過(guò)程分為階段評(píng)估及驗(yàn)收評(píng)估，其中階段評(píng)估即單元測(cè)試評(píng)估、集成測(cè)試評(píng)估、系統(tǒng)測(cè)試評(píng)估，驗(yàn)收評(píng)估在整個(gè)測(cè)試過(guò)程及各個(gè)測(cè)試階段對(duì)應(yīng)的階段評(píng)估子過(guò)程全部完成后啟動(dòng)，目的是針對(duì)已完成的階段性評(píng)估進(jìn)行驗(yàn)收性的綜合總體評(píng)估
2、階段評(píng)估分為指標(biāo)采集、評(píng)估判定、迭代改進(jìn)三個(gè)步驟。其中指標(biāo)采集即采集測(cè)試過(guò)程中的測(cè)試指標(biāo)；評(píng)估判定即將測(cè)試指標(biāo)與基準(zhǔn)庫(kù)中的基準(zhǔn)值進(jìn)行比對(duì)，并依據(jù)比對(duì)結(jié)果進(jìn)行分析，判斷能否通過(guò)有效性度量，如果通過(guò)則進(jìn)入下一階段的測(cè)試，未通過(guò)的話，則進(jìn)入迭代改進(jìn)過(guò)程。
3、測(cè)試指標(biāo)包括一級(jí)指標(biāo)覆蓋率指標(biāo)（需求覆蓋率、用例覆蓋率），二級(jí)指標(biāo)準(zhǔn)確性指標(biāo)（缺陷發(fā)現(xiàn)率、缺陷密度），三級(jí)指標(biāo)效率指標(biāo)（測(cè)試用例設(shè)計(jì)效率、測(cè)試用例執(zhí)行效率、自動(dòng)化測(cè)試比例），
4、基準(zhǔn)庫(kù)即將從事測(cè)試活動(dòng)同行業(yè)的最佳者的各項(xiàng)測(cè)試指標(biāo)進(jìn)行收集并保存，作為階段評(píng)估和驗(yàn)收評(píng)估的參考
5、驗(yàn)收評(píng)估分指標(biāo)采集、評(píng)估判定兩個(gè)步驟。驗(yàn)收評(píng)估的指標(biāo)包括測(cè)試的總體效率、階段評(píng)估的迭代次數(shù)。
測(cè)試的總體效率=被測(cè)試代碼行數(shù)/測(cè)試人員數(shù)*測(cè)試工作時(shí)長(zhǎng)；
階段評(píng)估迭代次數(shù)=單元測(cè)試階段有效性評(píng)估迭代次數(shù)+集成測(cè)試階段有效性評(píng)估迭代次數(shù)+系統(tǒng)測(cè)試階段有效性評(píng)估迭代次數(shù)。
本發(fā)明的有益效果是
對(duì)測(cè)試過(guò)程進(jìn)行評(píng)估，確保測(cè)試有效性；評(píng)估過(guò)程貫穿測(cè)試始終，盡早發(fā)現(xiàn)測(cè)試問(wèn)題，盡早改進(jìn)，降低改進(jìn)成本；創(chuàng)建基準(zhǔn)庫(kù)，督促測(cè)試質(zhì)量改進(jìn)和提升。
附圖說(shuō)明
圖1是軟件測(cè)試有效性度量和評(píng)估方法示意圖。
具體實(shí)施方式
下面對(duì)本發(fā)明的內(nèi)容進(jìn)行更加詳細(xì)的闡述：
1、本評(píng)估方法與測(cè)試過(guò)程同步進(jìn)行，即測(cè)試工作開始就是評(píng)估方法的起點(diǎn)。在開始評(píng)估之前，評(píng)估人員需要搜集同行業(yè)的優(yōu)秀的測(cè)試指標(biāo)數(shù)據(jù)，建立基準(zhǔn)庫(kù)。
2、進(jìn)入階段評(píng)估后，按照單元測(cè)試評(píng)估、集成測(cè)試評(píng)估、系統(tǒng)測(cè)試評(píng)估的順序進(jìn)行各個(gè)測(cè)試階段有效性的評(píng)估，在每個(gè)評(píng)估階段都有三個(gè)步驟：指標(biāo)采集、評(píng)估判定、迭代改進(jìn)。
3、指標(biāo)采集包括但不限于以下指標(biāo)（根據(jù)項(xiàng)目需要定制）：
需求覆蓋率=被測(cè)試的需求/需求總數(shù)
用例覆蓋率=被執(zhí)行的用例/總用例
缺陷發(fā)現(xiàn)率=發(fā)現(xiàn)的缺陷數(shù)/測(cè)試時(shí)間
缺陷密度=發(fā)現(xiàn)的缺陷數(shù)/代碼行數(shù)
測(cè)試用例執(zhí)行效率=測(cè)試用例執(zhí)行數(shù)/測(cè)試人員數(shù)*測(cè)試工作時(shí)長(zhǎng)
自動(dòng)化率=自動(dòng)化執(zhí)行的用例數(shù)/總用例數(shù)
4、評(píng)估判定指將采集的評(píng)估指標(biāo)與基準(zhǔn)庫(kù)進(jìn)行比對(duì)?；鶞?zhǔn)庫(kù)中提供對(duì)應(yīng)評(píng)估指標(biāo)的參考范圍。當(dāng)評(píng)估指標(biāo)在范圍內(nèi)時(shí)，記為符合標(biāo)準(zhǔn)；超出范圍時(shí)記為不達(dá)標(biāo)。例如基準(zhǔn)庫(kù)中需求覆蓋率的范圍為40%~70%，如果采集需求覆蓋率指標(biāo)為50%，則該指標(biāo)符合標(biāo)準(zhǔn)
5、當(dāng)三類指標(biāo)都符合標(biāo)準(zhǔn)時(shí)，當(dāng)前版本的測(cè)試有效性為通過(guò)，可以進(jìn)入下個(gè)測(cè)試階段的有效性評(píng)估。否則進(jìn)入迭代改進(jìn)階段
6、迭代改進(jìn)階段根據(jù)不達(dá)標(biāo)的測(cè)試指標(biāo)進(jìn)行改進(jìn)。例如當(dāng)需求覆蓋率不達(dá)標(biāo)時(shí)，測(cè)試人員需要考慮增多測(cè)試用例數(shù)量，覆蓋更多的需求
7、當(dāng)單元測(cè)試有效性評(píng)估、集成測(cè)試有效性評(píng)估、系統(tǒng)測(cè)試有效性評(píng)估都通過(guò)后，進(jìn)入驗(yàn)收有效性評(píng)估，即綜合三個(gè)階段的評(píng)估結(jié)果，給出整個(gè)軟件測(cè)試有效性的評(píng)估數(shù)據(jù)
8、驗(yàn)收評(píng)估分指標(biāo)采集、評(píng)估判定兩個(gè)步驟。驗(yàn)收評(píng)估的指標(biāo)包括測(cè)試的總體效率、階段評(píng)估的迭代次數(shù)。
測(cè)試的總體效率=被測(cè)試代碼行數(shù)/測(cè)試人員數(shù)*測(cè)試工作時(shí)長(zhǎng)
階段評(píng)估迭代次數(shù)=單元測(cè)試階段有效性評(píng)估迭代次數(shù)+集成測(cè)試階段有效性評(píng)估迭代次數(shù)+系統(tǒng)測(cè)試階段有效性評(píng)估迭代次數(shù)
9、由此完成了對(duì)于軟件測(cè)試有效性的評(píng)估。