測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的測試用例的方式，本發(fā)明 實施例不作具體限定。具體實施時，可以提供提交按鈕或提交選項。當測試人員在測試實 現(xiàn)框架中編寫完測試用例后，可以通過選中該提交按鈕或提交選項來提交編寫好的測試用 例。因此，可以通過檢測該提交按鈕或提交選項是否選中來獲取通過測試實現(xiàn)框架編寫的 每個測試方法對應(yīng)的測試用例。如果檢測到該提交按鈕或提交選項被選中，則確定獲取到 通過測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的測試用例；如果未檢測到該提交按鈕或提交 選項被選中，則確定未獲取到通過測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的測試用例。
[0097] 其中，根據(jù)測試實現(xiàn)框架的完成情況生成待測功能點的測試實現(xiàn)質(zhì)量報告時，包 括但不限于通過如下步驟來實現(xiàn)：
[0098] 第一步：統(tǒng)計通過測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的實際用例數(shù)，并統(tǒng)計 對待測功能點進行測試實現(xiàn)時使用的實際測試方法數(shù)。
[0099] 由于在通過測試實現(xiàn)框架編寫測試用例時，可能出現(xiàn)對于某一種測試方法并沒有 設(shè)計出步驟203中確定的對應(yīng)規(guī)模特征的最少測試用例數(shù)的情況，或者針對于某一種測試 方法完全沒有設(shè)計出測試用例的情況。因此，在根據(jù)測試實現(xiàn)框架的完成情況生成待測功 能點的測試實現(xiàn)質(zhì)量報告時，需要統(tǒng)計通過測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的實際 用例數(shù)，并統(tǒng)計對待測功能點進行測試實現(xiàn)時使用的實際測試方法數(shù)。
[0100] 關(guān)于統(tǒng)計通過測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的實際用例數(shù)的方式，以及 統(tǒng)計對待測功能點進行測試實現(xiàn)時使用的實際測試方法數(shù)的方式，本發(fā)明實施例均不作具 體限定。具體實施時，可以結(jié)合測試實現(xiàn)框架的具體結(jié)構(gòu)實現(xiàn)。
[0101] 例如，如果測試實現(xiàn)框架如表三所示，則在通過測試實現(xiàn)框架編寫測試用例時，應(yīng) 該保證每個測試方法對應(yīng)的"用例名稱"和"操作步驟"不能為空。如果某一測試方法對應(yīng) 的"用例名稱"和"操作步驟"這兩個項中的任一項為空，則確定未編寫該測試方法對應(yīng)的 一個測試用例。因此，在統(tǒng)計通過測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的實際用例數(shù)時， 可以通過統(tǒng)計測試實現(xiàn)框架中每個測試方法對應(yīng)的"用例名稱"和"操作步驟"均不為空的 測試用例數(shù)來實現(xiàn)。其中，在統(tǒng)計測試實現(xiàn)框架中每個測試方法對應(yīng)的"用例名稱"和"操 作步驟"均不為空的測試用例數(shù)之前，需要檢測測試實現(xiàn)框架中每個測試方法對應(yīng)的"用例 名稱"和"操作步驟"是否為空。關(guān)于檢測測試實現(xiàn)框架中每個測試方法對應(yīng)的"用例名稱" 和"操作步驟"是否為空的方式，本發(fā)明實施例不作具體限定。
[0102] 另外，在統(tǒng)計對待測功能點進行測試實現(xiàn)時使用的實際測試方法數(shù)時，也可以與 統(tǒng)計通過測試實現(xiàn)框架編寫的每個測試方法對應(yīng)的實際用例數(shù)的原理一致。例如，仍以表 三所示的測試實現(xiàn)框架為例，可以通過統(tǒng)計測試實現(xiàn)框架中每個測試方法對應(yīng)的"用例名 稱"和"操作步驟"是否全為空或是否不全為空來實現(xiàn)。例如，如果表三中"邊界值測試法" 對應(yīng)的四行中每行中的"用例名稱"和"操作步驟"均為空，則確定未獲取到使用"邊界值測 試法"編寫的測試用例，則在統(tǒng)計使用的實際測試方法數(shù)不算該"邊界值測試法"。另外，如 果表三種所示的其它測試方法對應(yīng)的四行中至少有一行中的"用例名稱"和"操作步驟"不 為空，則確定獲取到使用通過其它三種測試方法編寫的測試用例，則在統(tǒng)計使用的實際測 試方法數(shù)時，將這三種方法計算在內(nèi)。
[0103] 第二步：根據(jù)實際用例數(shù)、實際測試方法數(shù)及測試實現(xiàn)框架包括的測試方法數(shù)及 每個測試方法對應(yīng)規(guī)模特征的最少測試用例數(shù)確定待測功能點的測試實現(xiàn)充分度指標和 測試實現(xiàn)多樣性指標。
[0104] 關(guān)于根據(jù)實際用例數(shù)、實際測試方法數(shù)及測試實現(xiàn)框架包括的測試方法數(shù)及每個 測試方法對應(yīng)規(guī)模特征的最少測試用例數(shù)確定待測功能點的測試實現(xiàn)充分度指標和測試 實現(xiàn)多樣性指標的方式，本發(fā)明實施例不作具體限定。
[0105] 其中，在確定測試實現(xiàn)充分度指標時，包括但不限于通過將每個測試方法的實際 用例數(shù)與步驟203中確定的每個測試方法對應(yīng)待測功能點的規(guī)模特征的最少用例數(shù)作除 法運算實現(xiàn)。例如，如果統(tǒng)計得到某一測試方法的實際用例數(shù)為3,而通過步驟203確定的 該測試方法對應(yīng)待測功能點的規(guī)模特征的最少用例數(shù)為5,則該測試方法的測試實現(xiàn)充分 度指標為60%。
[0106] 同理，在確定測試實現(xiàn)多樣性指標時，包括但不限于通過將為待測功能點設(shè)計的 實際測試方法數(shù)與測試實現(xiàn)框架包括的測試方法數(shù)作除法運算實現(xiàn)。例如，如果統(tǒng)計得到 測試實現(xiàn)框架中編寫的待測功能點的實際測試方法數(shù)為8,而測試實現(xiàn)框架包括的測試方 法數(shù)為10,則該測試方法的測試實現(xiàn)多樣性指標為80%。
[0107] 第三步：根據(jù)測試實現(xiàn)充分度指標和測試實現(xiàn)多樣性指標生成待測功能點的測試 實現(xiàn)質(zhì)量報告。
[0108] 關(guān)于根據(jù)測試實現(xiàn)充分度指標和測試實現(xiàn)多樣性指標生成待測功能點的測試實 現(xiàn)質(zhì)量報告的方式，本發(fā)明實施例不作具體限定。
[0109] 如表四所示，其示出了一種測試實現(xiàn)質(zhì)量報告的形式表格。其中，表四所示的測試 質(zhì)量報告為根據(jù)表三所示的測試實現(xiàn)框架的編寫情況確定的測試實現(xiàn)質(zhì)量報告。
[0113] 其中，如表四所示，待測功能點為"發(fā)牌優(yōu)化算法"，與"發(fā)牌優(yōu)化算法"的軟件對象 類型關(guān)聯(lián)的測試方法有"常規(guī)測試法"、"測一送一法"、"極限測試法"及"邊界值測試法"。 其中，"常規(guī)測試法"對應(yīng)的實際用例數(shù)為2,由于通過表三確定的"常規(guī)測試法"對應(yīng)的測 試用例數(shù)應(yīng)該為2,因此，"常規(guī)測試法"對應(yīng)的測試充分度指標為100%。同理，"測一送一 法"對應(yīng)的測試充分度指標為50% 極限測試法"對應(yīng)的設(shè)計充分度指標為100% 邊界 值測試法"對應(yīng)的設(shè)計充分度指標為〇 %。另外，由于針對"邊界值測試法"未編寫測試用 例，其它幾種測試方法均編寫了至少一個測試用例，且通過表三確定的測試方法數(shù)為3,因 此，計算得到的測試實現(xiàn)多樣性指標為75%。
[0114] 205:根據(jù)測試實現(xiàn)質(zhì)量報告過濾測試實現(xiàn)框架中不滿足待測功能點的預(yù)設(shè)測試 實現(xiàn)條件的測試方法。
[0115] 由于測試實現(xiàn)質(zhì)量報告中包括了與待測功能點的軟件對象類型關(guān)聯(lián)的所有測試 方法的測試充分度指標以及待測功能點的測試實現(xiàn)多樣性指標，因此，可以根據(jù)測試質(zhì)量 報告確定待測功能點的哪些測試方法不滿足待測功能點的測試實現(xiàn)條件，從而根據(jù)測試實 現(xiàn)質(zhì)量報告過濾測試實現(xiàn)框架中不滿足待測功能點的預(yù)設(shè)測試實現(xiàn)條件的測試方法。關(guān)于 待測功能點的測試實現(xiàn)條件的具體內(nèi)容，本發(fā)明實施例不作具體限定。例如，可以將測試充 分度指標以及測試實現(xiàn)多樣性指標不滿足100%的均確定為不滿足待測功能點的預(yù)設(shè)測試 實現(xiàn)條件的測試方法。
[0116] 關(guān)于根據(jù)測試實現(xiàn)質(zhì)量報告過濾測試實現(xiàn)框架中不滿足待測功能點的預(yù)設(shè)測試 實現(xiàn)條件的測試方法的方式，本發(fā)明實施例不作具體限定。具體實施時，可以分別設(shè)置每 個測試方法的測試實現(xiàn)充分度指標和待測功能點的測試實現(xiàn)多樣性指標的第一預(yù)設(shè)閾值 和第二預(yù)設(shè)閾值，當測試質(zhì)量報告中某一測試方法的測試實現(xiàn)充分度指標低于第一預(yù)設(shè)閾 值，則確定該測試方法為不滿足待測功能點的預(yù)設(shè)測試實現(xiàn)條件的測試方法，從而可以將 該測試方法過濾出來。針對于某一待測功能點來講，如果測試質(zhì)量報告確定其測試多樣性 指標低于第二預(yù)設(shè)閾值，則確定其為低實現(xiàn)質(zhì)量的功能點。
[0117] 進一步地，在根據(jù)測試實現(xiàn)質(zhì)量報告過濾出測試實現(xiàn)框架中不滿足待測功能點的 預(yù)設(shè)測試實現(xiàn)條件的測試方法后，可以顯示過濾出的不滿足待測功能點的預(yù)設(shè)測試實現(xiàn)條 件的測試方法，從而將過濾出的測試方法作為篩選出的不滿足待測功能點的測試實現(xiàn)方式 的測試方法，使得后續(xù)在對待測功能點的測試實現(xiàn)方式進行評審時，可以將評審重點放在 不滿足待測功能點的預(yù)設(shè)測試實現(xiàn)條件的測試方法上，從而減少評審工作量，進而提高評 審效率甚至提高軟件測試的效率。
[0118] 可選地，隨著功能點測試的不斷積累，可能會根據(jù)測試人員的經(jīng)驗或者某些軟件 版本發(fā)布之后存在的問題總結(jié)出很多新的軟件對象類型，因此，得到測試模型經(jīng)驗庫之后， 還可以：確定測試模型經(jīng)驗庫包括的軟件對象類型是否有缺失；如果確定測試模型經(jīng)驗庫 包括的軟件對象類型有缺失，則添加缺失的軟件對象類型至測試模型經(jīng)驗庫。進一步地，由 于針對于每一種軟件對象類型，總會有與其關(guān)聯(lián)的測試方法以及每種測試方法在進行測試 實現(xiàn)時基于不同規(guī)模特征的測試用例數(shù)，因此，還可以確定與缺失的軟件對象類型關(guān)聯(lián)的 所有測試方法及每個測試方法對應(yīng)不同規(guī)模特征的最少測試用例數(shù)，并將與缺失的軟件對 象類型關(guān)聯(lián)的所有測試方法及每個測試方法對應(yīng)不同規(guī)模特征的最少測試用例數(shù)添加至 測試模型經(jīng)驗庫。
[0119] 關(guān)于確定測試模型經(jīng)驗庫包括的軟件對象類型是否有缺失的方式，包括但不限 于：設(shè)置漏測數(shù)據(jù)庫，并將實時發(fā)現(xiàn)的軟件對象類型、與每種軟件對象類型關(guān)聯(lián)的測試方 法、及每個測試方法基于不同規(guī)模特征的測試用例數(shù)存儲至該漏測數(shù)據(jù)。因此，包括但不限 于通過確定漏測數(shù)據(jù)庫中存儲的軟件對象類型是否有更新，且如果漏測數(shù)據(jù)庫中存儲有軟 件對象類型有更新，則確定測試模型經(jīng)驗庫包括的軟件對象類型有缺失。
[0120] 關(guān)于添加缺失的軟件對象類型至測試模型經(jīng)驗庫的方式，以及確定與缺失的軟件 對象類型關(guān)聯(lián)的所有測試方法及每個測試方法對應(yīng)不同規(guī)模特征的最少測試用例數(shù)，并將 與缺失的軟件對象類型關(guān)聯(lián)的所有測試方法及每個測試方法對應(yīng)不同規(guī)模特征的最少測 試用例數(shù)添加至測試模型經(jīng)驗庫的方式，本發(fā)明實施例均不作具體限定。
[0121] 具體地，在將缺失的軟件對象類型、與軟件對象類型關(guān)聯(lián)的所有測試方法、以及每 個測試方法基于不同規(guī)模特征的測試用例數(shù)添加至測試模型經(jīng)驗庫時，也需要形成軟件對 象類型、與軟件對象類型關(guān)聯(lián)的所有測試方法、以及每個測試方法基于不同規(guī)模特征的測 試用例數(shù)的映射關(guān)系。
[0122] 可選地，由于針對于每個軟件對象類型，與其關(guān)聯(lián)的測試方法也可能是實時更新 的，因此，在得到測試模型經(jīng)驗庫之后，還可以確定測試模型經(jīng)驗庫包括的與每個軟件對象 類型關(guān)聯(lián)的測試方法是否有缺失；如果測試模型經(jīng)驗庫包括的與任一軟件對象類型關(guān)聯(lián)的 測試方法有缺失，則添加任一軟件對象缺失的測試方法至與任一軟件對象類型關(guān)聯(lián)的測試 方法中；確定為任一軟件對象類型缺失的測試方法對應(yīng)不同規(guī)模特征的最少測試用例數(shù)； 將任一軟件對象類型缺失的測試方法對應(yīng)不同規(guī)模特征的最少測試用例數(shù)添加至測試模 型經(jīng)驗庫。
[0123] 關(guān)于確定測試模型經(jīng)驗庫包括的與每個軟件對象類型關(guān)聯(lián)的測試方法是否有缺 失的方式，本發(fā)明實施例不作具體限定。具體實施時，可以與上述確定測試模型經(jīng)驗庫包括 的軟件對象類型是否有缺失的方式的原理一致，具體可參見上述確定測試模型經(jīng)驗庫包括 的軟件對象類型是否有缺失的方式的內(nèi)容，在此不再贅述。
[0124] 關(guān)于添加任一軟件對象缺失的測試方法至與任一軟件對象類型關(guān)聯(lián)的測試方法 中的方式，包括但不限于在在該任一軟件對象缺失的測試方法中新增一項與任一軟件對象 類型關(guān)聯(lián)的測試方法。
[0125] 另外，本發(fā)明實施例不對確定為任一軟件對象類型缺失的測試方法對應(yīng)不同規(guī)模 特征的最少測試用例數(shù)的方式進行限定，具體實施時，可以將任一軟件對象類型缺失的測 試方法對應(yīng)不同規(guī)模特征的最少測試用例數(shù)確定為預(yù)先設(shè)置的默認數(shù)量的某一預(yù)設(shè)比例。 例如，如果針對于大規(guī)模、中規(guī)模和小規(guī)模的預(yù)先設(shè)置的測試用例數(shù)的默認數(shù)量分別為30、 20和10,且預(yù)設(shè)比例為50%，則可以將任一軟件對象類型缺失的測試方法對應(yīng)不同規(guī)模特 征的最少測試用例數(shù)分別確定為15