優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字芯片驗(yàn)證領(lǐng)域，涉及一種根據(jù)實(shí)時(shí)覆蓋率收集情況來(lái)優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法。
【背景技術(shù)】
[0002]目前數(shù)字專(zhuān)用集成芯片(Applicat1n Specific Integrated Circuit, ASIC)的集成度和主頻速度呈摩爾定理每?jī)赡攴槐兜馗咚侔l(fā)展，但這也導(dǎo)致了設(shè)計(jì)周期加長(zhǎng)和成片后邏輯功能錯(cuò)誤率上升等問(wèn)題。解決這些問(wèn)題的關(guān)鍵在于驗(yàn)證，因?yàn)樵谀壳暗拇笠?guī)模數(shù)字ASIC芯片前端設(shè)計(jì)流程中，驗(yàn)證，主要是對(duì)寄存器傳輸級(jí)(Register TransferLevel, RTL)代碼的驗(yàn)證，工作量已經(jīng)占到60%?70% (邏輯電路設(shè)計(jì)只占30%左右)，同時(shí)，驗(yàn)證質(zhì)量是決定成片后邏輯功能正確率的最主要因素。
[0003]對(duì)于大規(guī)模ASIC來(lái)說(shuō)，受約束的隨機(jī)激勵(lì)覆蓋率驅(qū)動(dòng)驗(yàn)證(ConstraintRandomized Coverage Drive Verificat1n, CRCDV)是一種有效驗(yàn)證流程，一般用于驗(yàn)證features的驗(yàn)證測(cè)試用例回歸次數(shù)為固定數(shù)目。理想情況下，每條/次用例對(duì)整體覆蓋率的提升都有一定貢獻(xiàn)，從而使得整體覆蓋率快速有效達(dá)到預(yù)定標(biāo)準(zhǔn)(驗(yàn)證完成出口，一般為95%以上)，而實(shí)際情況未必如此理想，可能某次回歸其中的一些用例再次提交對(duì)于覆蓋率的提升貢獻(xiàn)為零，那么這些用例的提交對(duì)于有限的工作站資源就是浪費(fèi)，而且對(duì)整體覆蓋率的收集用時(shí)也比理想情況有增大的影響。
[0004]如圖1所示，常規(guī)驗(yàn)證回歸流程描述如下:
[0005](1)將待回歸的批量用例放入等待隊(duì)列。
[0006](2)用例提交控制器根據(jù)當(dāng)前狀態(tài)控制量控制待回歸用例的出隊(duì)、運(yùn)行；
[0007](3)全部回歸用例提交到服務(wù)器上執(zhí)行完成之后，使用分析腳本統(tǒng)計(jì)用例運(yùn)行結(jié)果，包括用例成功運(yùn)行比率、代碼覆蓋率、功能覆蓋率、用例完成時(shí)間等；
[0008](4)分析上述得到的統(tǒng)計(jì)數(shù)據(jù)，輸出驗(yàn)證報(bào)告。
[0009]上述常規(guī)驗(yàn)證回歸流程對(duì)服務(wù)器資源的利用有限，假設(shè)在回歸隊(duì)列中某條隨機(jī)用例的數(shù)量是10，該用例在第8次執(zhí)行之后對(duì)覆蓋率(代碼覆蓋率和功能覆蓋率)的貢獻(xiàn)值是0，那么說(shuō)明該條用例在第8次執(zhí)行之后對(duì)于bug的發(fā)現(xiàn)已經(jīng)沒(méi)有貢獻(xiàn)(沒(méi)有新的代碼/功能觸發(fā))，繼續(xù)運(yùn)行則占用了有限的服務(wù)器資源，也推遲了整體回歸完成時(shí)間點(diǎn)。
[0010]一般的解決方法是用人工方法來(lái)逐一確認(rèn)各個(gè)用例的覆蓋率貢獻(xiàn)情況，修改用例回歸條目數(shù)量再進(jìn)行提交，但是這樣操作對(duì)用例變動(dòng)的實(shí)時(shí)性以及覆蓋率貢獻(xiàn)的準(zhǔn)確性有很大縮減，因?yàn)樵俅翁峤换貧w用例時(shí)，用例的隨機(jī)種子會(huì)有變化，基于隨機(jī)激勵(lì)的用例，該回歸用例對(duì)于總體覆蓋率的提升貢獻(xiàn)率不能符合之前人工確認(rèn)的結(jié)果。因此有必要尋找一種測(cè)試用例回歸提交方法，充分利用服務(wù)器的有限資源，不造成資源浪費(fèi)又能有效提高收集覆蓋率收集速度。

【發(fā)明內(nèi)容】

[0011](—)發(fā)明目的
[0012]本發(fā)明的目的是提供一種優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法，在每條回歸用例完成后對(duì)該條用例對(duì)于總體覆蓋率的貢獻(xiàn)情況進(jìn)行計(jì)算，不符合預(yù)期貢獻(xiàn)值的則終止該條用例的再次回歸，充分利用服務(wù)器的有限資源，提高收集覆蓋率收集速度。
[0013](二)技術(shù)方案
[0014]為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法，其包括以下步驟:
[0015]步驟一:將待回歸的批量用例放入等待隊(duì)列；
[0016]步驟二:用例提交控制器根據(jù)當(dāng)前狀態(tài)控制量控制待回歸用例的出隊(duì)、運(yùn)行；所述狀態(tài)控制量包括用例對(duì)功能覆蓋貢獻(xiàn)率；
[0017]步驟三:全部回歸用例提交到服務(wù)器上執(zhí)行完成之后，使用分析腳本統(tǒng)計(jì)用例運(yùn)行結(jié)果，包括用例成功運(yùn)行比率、代碼覆蓋率、功能覆蓋率、用例完成時(shí)間；
[0018]步驟四:分析步驟三得到的統(tǒng)計(jì)數(shù)據(jù)，輸出驗(yàn)證報(bào)告。
[0019]其中，所述步驟三中，用例在服務(wù)器上的執(zhí)行過(guò)程為:設(shè)定每個(gè)用例的回歸次數(shù)上限Νη，η是不同用例的編號(hào)，η = 123...，設(shè)定回歸用例的回歸期望貢獻(xiàn)率a。，每條用例執(zhí)行完成的覆蓋貢獻(xiàn)率an—?，!!!是同一用例回歸多次的編號(hào)，m= 123...;在回歸用例控制器中加入^—?控制量，an—Ja。時(shí)則停止該用例的再次回歸，否則直至該用例回歸次數(shù)到達(dá)該用例的回歸次數(shù)上限義停止該用例的再次回歸，直到全部用例執(zhí)行完成。
[0020]其中，所述狀態(tài)控制量還包括:
[0021]當(dāng)前回歸提交到服務(wù)器上同時(shí)執(zhí)行的用例數(shù)量:當(dāng)此值大于預(yù)設(shè)值時(shí)，停止待回歸用例的出隊(duì)調(diào)用，待提交用例完成使得此值減小到提交數(shù)量上限，允許調(diào)用回歸隊(duì)列內(nèi)的用例；
[0022]已完成回歸的用例執(zhí)行結(jié)果:如果用例回歸仿真出現(xiàn)錯(cuò)誤，則該用例進(jìn)入再回歸隊(duì)列等待再次回歸。
[0023](三)有益效果
[0024]上述技術(shù)方案所提供的優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法，通過(guò)用例執(zhí)行結(jié)果和覆蓋率分析模塊向用例提交控制器提交一個(gè)單條用例覆蓋貢獻(xiàn)率實(shí)時(shí)反饋，實(shí)現(xiàn)對(duì)每個(gè)用例覆蓋貢獻(xiàn)率的實(shí)施控制，及時(shí)結(jié)束覆蓋貢獻(xiàn)率低的用例執(zhí)行過(guò)程，使得回歸占用服務(wù)器的時(shí)間就會(huì)縮短，從而達(dá)到充分利用服務(wù)器的有限資源、提高收集覆蓋率的收集速度的目的。
【附圖說(shuō)明】
[0025]圖1是傳統(tǒng)ASIC驗(yàn)證用例回歸流程示意圖。
[0026]圖2是本實(shí)施例中加以改進(jìn)后的ASIC驗(yàn)證用例回歸流程不意圖。
【具體實(shí)施方式】
[0027]為使本發(fā)明的目的、內(nèi)容和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步詳細(xì)描述。
[0028]基于現(xiàn)有技術(shù)中驗(yàn)證回歸所存在的問(wèn)題，本實(shí)施例提供的優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法在現(xiàn)有回歸流程中，在用例提交控制器的控制量上引入了一個(gè)反饋，如圖2所示，該反饋是已完成用例對(duì)于功能覆蓋的貢獻(xiàn)率a(仿真運(yùn)行到的代碼覆蓋率/功能覆蓋率增加百分比，即新代碼/功能覆蓋貢獻(xiàn)率)，當(dāng)某個(gè)用例某次貢獻(xiàn)率不滿(mǎn)足設(shè)定要求，則停止該用例后面的再次執(zhí)行。
[0029]具體地，本實(shí)施例方法包括以下步驟:
[0030]步驟一:將待回歸的批量用例放入等待隊(duì)列。
[0031]步驟二:用例提交控制器根據(jù)當(dāng)前狀態(tài)控制量控制待回歸用例的出隊(duì)、運(yùn)行。
[0032]狀態(tài)控制量一般包括:(1)當(dāng)前回歸提交到服務(wù)器上同時(shí)執(zhí)行的用例數(shù)量。當(dāng)此值大于預(yù)設(shè)值(通常一個(gè)項(xiàng)目允許某個(gè)模塊回歸用例的提交數(shù)量是有上限的，需要均衡項(xiàng)目各個(gè)模塊回歸的資源申請(qǐng)量)時(shí)，停止待回歸用例的出隊(duì)調(diào)用，待提交用例完成使得此值減小到提交數(shù)量上限，允許調(diào)用回歸隊(duì)列內(nèi)的用例；(2)已完成回歸的用例執(zhí)行結(jié)果。如果用例回歸仿真出現(xiàn)錯(cuò)誤，則該用例進(jìn)入再回歸隊(duì)列等待再次回歸(通常再回歸時(shí)輸出更為詳細(xì)的log和波形文件以便定位解決相應(yīng)代碼bug) ;(3)用例對(duì)功能覆蓋貢獻(xiàn)率，其作為一個(gè)控制量，是本實(shí)施例的關(guān)鍵點(diǎn)，用例對(duì)功能覆蓋貢獻(xiàn)率由用例執(zhí)行結(jié)果分析和覆蓋率分析模塊向用例提交控制器反饋單條用例覆蓋率實(shí)時(shí)反饋來(lái)實(shí)現(xiàn)。
[0033]步驟三:全部回歸用例提交到服務(wù)器上執(zhí)行完成之后，使用分析腳本統(tǒng)計(jì)用例運(yùn)行結(jié)果，包括用例成功運(yùn)行比率、代碼覆蓋率、功能覆蓋率、用例完成時(shí)間等。
[0034]具體做法:設(shè)定每個(gè)用例的回歸次數(shù)上限義(11是不同用例的編號(hào)，η = 123…)，設(shè)定回歸用例的回歸期望貢獻(xiàn)率a。，每條用例執(zhí)行完成的覆蓋貢獻(xiàn)率an—Jn是不同用例的編號(hào)，η = 123...仰是同一用例回歸多次的編號(hào)，m= 123...)。在回歸用例控制器中加入an—?控制量，an_m〈a。時(shí)則停止該用例的再次回歸，否則直至該用例回歸次數(shù)到達(dá)該用例的回歸次數(shù)上限Nn停止該用例的再次回歸。
[0035]步驟四:分析步驟三得到的統(tǒng)計(jì)數(shù)據(jù)，輸出驗(yàn)證報(bào)告。
[0036]由本改進(jìn)方法的步驟二可以看到本算法提高了傳統(tǒng)用例回歸流程的執(zhí)行效率。假設(shè)傳統(tǒng)方法完成一次回歸提交到服務(wù)器上運(yùn)行的用例總數(shù)是N，根據(jù)步驟二，改進(jìn)后的方法完成一次回歸提交到服務(wù)器上運(yùn)行的用例總數(shù)<N，這樣回歸占用服務(wù)器的時(shí)間就會(huì)縮短，從而達(dá)到充分利用服務(wù)器的有限資源、提高收集覆蓋率的收集速度的目的。
[0037]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變形，這些改進(jìn)和變形也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法，其特征在于，包括以下步驟: 步驟一:將待回歸的批量用例放入等待隊(duì)列； 步驟二:用例提交控制器根據(jù)當(dāng)前狀態(tài)控制量控制待回歸用例的出隊(duì)、運(yùn)行；所述狀態(tài)控制量包括用例對(duì)功能覆蓋貢獻(xiàn)率； 步驟三:全部回歸用例提交到服務(wù)器上執(zhí)行完成之后，使用分析腳本統(tǒng)計(jì)用例運(yùn)行結(jié)果，包括用例成功運(yùn)行比率、代碼覆蓋率、功能覆蓋率、用例完成時(shí)間； 步驟四:分析步驟三得到的統(tǒng)計(jì)數(shù)據(jù)，輸出驗(yàn)證報(bào)告。2.如權(quán)利要求1所述的優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法，所述步驟三中，用例在服務(wù)器上的執(zhí)行過(guò)程為:設(shè)定每個(gè)用例的回歸次數(shù)上限Nn，n是不同用例的編號(hào)，η = 123...，設(shè)定回歸用例的回歸期望貢獻(xiàn)率a。，每條用例執(zhí)行完成的覆蓋貢獻(xiàn)率an ni，m是同一用例回歸多次的編號(hào)，m = 123...;在回歸用例控制器中加入an—?控制量，an—Ja。時(shí)則停止該用例的再次回歸，否則直至該用例回歸次數(shù)到達(dá)該用例的回歸次數(shù)上限Nn停止該用例的再次回歸，直到全部用例執(zhí)行完成。3.如權(quán)利要求1所述的優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法，所述狀態(tài)控制量還包括: 當(dāng)前回歸提交到服務(wù)器上同時(shí)執(zhí)行的用例數(shù)量:當(dāng)此值大于預(yù)設(shè)值時(shí)，停止待回歸用例的出隊(duì)調(diào)用，待提交用例完成使得此值減小到提交數(shù)量上限，允許調(diào)用回歸隊(duì)列內(nèi)的用例； 已完成回歸的用例執(zhí)行結(jié)果:如果用例回歸仿真出現(xiàn)錯(cuò)誤，則該用例進(jìn)入再回歸隊(duì)列等待再次回歸。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種優(yōu)化數(shù)字芯片驗(yàn)證平臺(tái)測(cè)試用例回歸次數(shù)的方法，包括以下步驟：將待回歸的批量用例放入等待隊(duì)列；用例提交控制器根據(jù)當(dāng)前狀態(tài)控制量控制待回歸用例的出隊(duì)、運(yùn)行；所述狀態(tài)控制量包括用例對(duì)功能覆蓋貢獻(xiàn)率；全部回歸用例提交到服務(wù)器上執(zhí)行完成之后，使用分析腳本統(tǒng)計(jì)用例運(yùn)行結(jié)果，包括用例成功運(yùn)行比率、代碼覆蓋率、功能覆蓋率；分析統(tǒng)計(jì)數(shù)據(jù)，輸出驗(yàn)證報(bào)告。本發(fā)明通過(guò)對(duì)每個(gè)用例覆蓋貢獻(xiàn)率的實(shí)施控制，及時(shí)結(jié)束覆蓋貢獻(xiàn)率低的用例執(zhí)行過(guò)程，使得回歸占用服務(wù)器的時(shí)間就會(huì)縮短，從而達(dá)到充分利用服務(wù)器的有限資源、提高收集覆蓋率的收集速度的目的。
【IPC分類(lèi)】G06F11/263
【公開(kāi)號(hào)】CN105426282
【申請(qǐng)?zhí)枴緾N201510744147
【發(fā)明人】何全, 付彥淇
【申請(qǐng)人】天津津航計(jì)算技術(shù)研究所
【公開(kāi)日】2016年3月23日
【申請(qǐng)日】2015年11月5日