一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法和設(shè)備的制作方法
【專利摘要】本申請(qǐng)公開了一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法和設(shè)備，內(nèi)容包括：掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，以及根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)，將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較，并對(duì)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性進(jìn)行測(cè)試，這樣在掃描測(cè)試頁面時(shí)，不用考慮顯示屏的大小和分辨率，將查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域與掃描得到的圖像區(qū)域進(jìn)行相似度比較，就能快速地找到待測(cè)試控件的位置區(qū)域，對(duì)找到的位置區(qū)域進(jìn)行測(cè)試，既保證了確定待測(cè)試控件位置的準(zhǔn)確性，還提高了控件的測(cè)試效率。
【專利說明】一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法和設(shè)備

【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及互聯(lián)網(wǎng)信息處理領(lǐng)域，尤其涉及一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法和設(shè)備。

【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)中各個(gè)網(wǎng)站的內(nèi)容豐富多彩，每個(gè)網(wǎng)站的內(nèi)容在加載顯示時(shí)，需要大量的后臺(tái)腳本支撐，但是腳本在運(yùn)行時(shí)，由于硬件或者軟件等方面的情況，可能導(dǎo)致網(wǎng)站的網(wǎng)頁在顯示時(shí)出現(xiàn)錯(cuò)誤，因此，網(wǎng)站運(yùn)營(yíng)商需要實(shí)時(shí)對(duì)發(fā)布的網(wǎng)站進(jìn)行測(cè)試，以確保運(yùn)行的網(wǎng)站正常運(yùn)行。
[0003]目前主流的網(wǎng)站自動(dòng)化測(cè)試方法主要包括兩類:
[0004]第一類方法是:通過被測(cè)對(duì)象在屏幕中的位置坐標(biāo)進(jìn)行自動(dòng)化檢測(cè)。例如:代表方法為:autoit方法。
[0005]具體地，以網(wǎng)站中的登錄控件為例進(jìn)行說明。在網(wǎng)頁顯示時(shí)，記錄登錄控件在網(wǎng)頁顯示屏幕上的坐標(biāo)位置，通過控制鼠標(biāo)到記錄的坐標(biāo)位置處執(zhí)行操作來進(jìn)行測(cè)試。
[0006]但是，這種方式記錄的坐標(biāo)位置受到顯示屏大小以及顯示分辨率的限制，一旦網(wǎng)頁顯示屏發(fā)生改變，將導(dǎo)致無法通過控制鼠標(biāo)到記錄的坐標(biāo)位置處執(zhí)行操作。例如:當(dāng)網(wǎng)頁全屏顯示在顯示屏中，此時(shí)記錄登錄控件的坐標(biāo)位置(X，y);針對(duì)同樣的網(wǎng)頁，當(dāng)網(wǎng)頁的顯示方式變更為二分之一顯示在顯示屏中，那么登錄控件的坐標(biāo)位置因?yàn)轱@示方式的不同而發(fā)生改變，再通過控制鼠標(biāo)到記錄的坐標(biāo)位置(x，y)處將無法找到登錄控件，也將不能執(zhí)行測(cè)試操作，這樣降低了網(wǎng)頁測(cè)試效率。
[0007]第二種方法是:通過腳本信息對(duì)網(wǎng)頁進(jìn)行測(cè)試。例如:通過DOM tree方式對(duì)網(wǎng)頁中的控件進(jìn)行測(cè)試。
[0008]具體地，仍以網(wǎng)站中的登錄控件為例進(jìn)行說明。當(dāng)在對(duì)網(wǎng)頁進(jìn)行測(cè)試時(shí)，遍歷網(wǎng)頁的運(yùn)行程序信息，測(cè)試網(wǎng)頁中控件是否顯示正常。例如:web driver對(duì)登錄控件的測(cè)試是通過類似text_box (:1d, “l(fā)ogin”)的語句進(jìn)行的。
[0009]但是，這種方式雖然避免了第一種方法受到顯示屏限制的問題，但是需要依賴大量的程序信息,并且依賴程序的內(nèi)部實(shí)現(xiàn)，當(dāng)程序內(nèi)部實(shí)現(xiàn)發(fā)生改變時(shí),相應(yīng)的自動(dòng)化腳本也需要進(jìn)行改變，這樣在進(jìn)行腳本測(cè)試時(shí)，將增加大量的工作量，使得測(cè)試效率降低。
[0010]由此可見，在對(duì)網(wǎng)頁顯示的控件進(jìn)行測(cè)試時(shí)存在測(cè)試效率低的問題。


【發(fā)明內(nèi)容】

[0011]本申請(qǐng)實(shí)施例提供了一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法和設(shè)備，用于解決在對(duì)網(wǎng)頁顯示的控件進(jìn)行測(cè)試時(shí)存在測(cè)試效率低的問題。
[0012]一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法，包括:
[0013]掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件；
[0014]以及根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)；
[0015]將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較；
[0016]在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試。
[0017]一種對(duì)頁面中的控件進(jìn)行測(cè)試的設(shè)備，包括:
[0018]掃描模塊，用于掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件；
[0019]查找模塊，用于根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)；
[0020]比較模塊，用于將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較；
[0021]測(cè)試模塊，用于在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試。
[0022]本申請(qǐng)有益效果如下:
[0023]本申請(qǐng)實(shí)施例通過掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件，以及根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)，將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較，在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試，這樣在掃描測(cè)試頁面時(shí)，不用考慮顯示屏的大小和分辨率，只需要得到每一個(gè)控件或者控件的組件對(duì)應(yīng)的圖像區(qū)域即可，之后利用訓(xùn)練得到的控件屬性和圖像標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，得到與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)，并將得到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域與掃描得到的圖像區(qū)域進(jìn)行相似度比較，就能快速地找到待測(cè)試控件的位置區(qū)域，對(duì)找到的位置區(qū)域進(jìn)行測(cè)試，既保證了確定待測(cè)試控件位置的準(zhǔn)確性，還提高了控件的測(cè)試效率。

【專利附圖】

【附圖說明】
[0024]圖1為本申請(qǐng)實(shí)施例一的一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法的流程示意圖；
[0025]圖2為掃描測(cè)試頁面得到的圖像區(qū)域的結(jié)構(gòu)示意圖；
[0026]圖3為本申請(qǐng)實(shí)施例二的一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法的流程示意圖；
[0027]圖4為本申請(qǐng)實(shí)施例三的一種對(duì)頁面中的控件進(jìn)行測(cè)試的設(shè)備的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0028]為了實(shí)現(xiàn)本申請(qǐng)的目的，本申請(qǐng)實(shí)施例提供了一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法和設(shè)備，通過在掃描測(cè)試頁面時(shí)，不用考慮顯示屏的大小和分辨率，只需要得到每一個(gè)控件或者控件的組件對(duì)應(yīng)的圖像區(qū)域即可，之后利用訓(xùn)練得到的控件屬性和圖像標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，得到與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)，并將得到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域與掃描得到的圖像區(qū)域進(jìn)行相似度比較，就能快速地找到待測(cè)試控件的位置區(qū)域，對(duì)找到的位置區(qū)域進(jìn)行測(cè)試，既保證了確定待測(cè)試控件位置的準(zhǔn)確性，還提高了控件的測(cè)試效率。
[0029]下面結(jié)合說明書附圖對(duì)本申請(qǐng)各個(gè)實(shí)施例進(jìn)行詳細(xì)描述。
[0030]實(shí)施例一:
[0031]如圖1所示，為本申請(qǐng)實(shí)施例一的一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法的流程示意圖。所述方法包括:
[0032]步驟101:掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域。
[0033]其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件。
[0034]具體地，在步驟101中，首先，獲取測(cè)試頁面。
[0035]在任一顯示屏中顯示待測(cè)試頁面。此時(shí)對(duì)顯示屏沒有要求，可以是知道顯示屏大小和顯示分辨率的，還可以是不知道顯示屏大小和顯示分辨率的。
[0036]需要說明的是，待測(cè)試頁面在顯示屏中顯示的方式也不限定，可以是全屏顯示，最大化顯不，最小化顯不等等。
[0037]需要說明的是，在顯示屏中顯示待測(cè)試頁面的全部?jī)?nèi)容即可。
[0038]其次，對(duì)顯示屏中的測(cè)試頁面進(jìn)行掃描。
[0039]其中，掃描的方式也不限定，可以是遍歷式掃描，即從測(cè)試頁面的開始部分掃描至結(jié)束部分，還可以是部分式掃描，即將測(cè)試頁面劃分成為不同區(qū)域，分別對(duì)不同區(qū)域進(jìn)行掃描，這比較適合于測(cè)試頁面內(nèi)容較多的時(shí)候。
[0040]第三，記錄掃描過程中掃描到的所述測(cè)試頁面中的多個(gè)圖像區(qū)域。
[0041]其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件，和/或每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件以及控件組件。
[0042]具體地，在掃描測(cè)試頁面過程中，每掃描到一個(gè)控件，判斷該控件是否還存在組件，若沒有，則生成該控件的一個(gè)圖像區(qū)域；當(dāng)確定該控件還存在組件時(shí)，將該控件以及組件所在區(qū)域生成一個(gè)圖像區(qū)域。
[0043]例如:在掃描測(cè)試頁面過程中，掃描到一個(gè)控件“Sign In”，屬于單一的文字標(biāo)識(shí)的控件，則在“Sign In”所在區(qū)域生成一個(gè)圖像區(qū)域；掃描到一個(gè)控件“登錄”，包含了組件“用戶名輸入框”和“密碼輸入框”，則控件“登錄”屬于包含組件的控件，在“登錄”、用戶名輸入框”和“密碼輸入框”聯(lián)合所在區(qū)域生成一個(gè)圖像區(qū)域，如圖2所示，為掃描測(cè)試頁面得到的圖像區(qū)域的結(jié)構(gòu)示意圖。
[0044]具體地，由于待測(cè)試頁面中包含文字、圖像、聲音、控件等信息。其中，所述文字分為靜態(tài)顯示文字和動(dòng)態(tài)可操作的文字，所謂靜態(tài)顯示文字是指在測(cè)試頁面中只是用來顯示，供其他人查閱的文字，例如:新聞網(wǎng)頁中，一篇新聞的內(nèi)容；所謂動(dòng)態(tài)可操作的文字是指在測(cè)試頁面中該文字部分的功能類似按鈕，除了顯示內(nèi)容之外，通過對(duì)動(dòng)態(tài)可操作的文字進(jìn)行操作，例如:新聞網(wǎng)頁首頁中，一篇新聞的標(biāo)題，它不僅顯示內(nèi)容，對(duì)其進(jìn)行點(diǎn)擊操作后，還可以啟動(dòng)進(jìn)入下一頁，查看標(biāo)題對(duì)應(yīng)的內(nèi)容。
[0045]所述控件是用來對(duì)所述測(cè)試頁面進(jìn)行操作的“開關(guān)”?？丶男螤钣泻芏?例如:長(zhǎng)形框、圓形框、具有下拉功能的框等等；控件的功能也不同，例如:有些控件的功能是用于鏈接下一層頁面的，有些控件的功能是用于單擊登陸其他頁面的，有些控件的功能是用于輸入信息的，還有些控件的功能是用于選擇需要的信息的，等等；控件的功能不同，則為控件設(shè)置的屬性也不同。
[0046]因此，在對(duì)測(cè)試頁面進(jìn)行掃描時(shí)，需要判斷出掃描到的區(qū)域中哪些是靜態(tài)的文字信息或者圖像信息或者聲音信息，哪些是控件信息，并且對(duì)判斷出的控件信息所在區(qū)域進(jìn)行定位，截取控件所在區(qū)域，形成所述控件的圖像區(qū)域。
[0047]需要說明的是，在截取控件所在區(qū)域時(shí)，盡可能排除不是控件的區(qū)域，也就是說，截取的區(qū)域要適合控件，不能過大，也不能過小。
[0048]例如:在對(duì)測(cè)試頁面進(jìn)行掃描時(shí)，掃描到一句話“需要提供法律援助的，請(qǐng)到m來”，在這句話中“mr再被掃描時(shí)顯示其他顏色，一般網(wǎng)頁中出現(xiàn)這種情況，視為可被操作的文字，屬于鏈接控件，因此，在截取鏈接控件所在區(qū)域時(shí)，不是將“需要提供法律援助的，請(qǐng)到m來”全部截取作為鏈接控件的圖像區(qū)域，而是僅僅截取“m”，生成鏈接控件的圖像區(qū)域。
[0049]步驟102:根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)。
[0050]具體地，在步驟102中，針對(duì)待測(cè)試頁面，需要測(cè)試控件的屬性比較多，因此，首先，確定待測(cè)試控件的屬性，即選擇一種控件，例如:對(duì)控件的鏈接屬性進(jìn)行測(cè)試。
[0051]其次，根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與確定的待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)。
[0052]具體地，存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系可以通過訓(xùn)練的方法獲取，具體包括:
[0053]第一,遍歷待測(cè)試頁面的Dom Tree,從所述Dom Tree中獲取不同控件的控件信息。
[0054]其中，所述控件信息包括控件類型以及控件的組件。
[0055]由于頁面中的控件通過不同的形式表現(xiàn)，人眼觀察很容易對(duì)控件進(jìn)行區(qū)分，但是機(jī)器或者機(jī)器人對(duì)控件進(jìn)行識(shí)別，則需要經(jīng)過大量的訓(xùn)練。
[0056]例如:遍歷待測(cè)試頁面的Dom Tree,所述Dom Tree中包含了大量的控件信息,通過對(duì)所述Dom Tree的遍歷,不僅能夠確定測(cè)試頁面中包含的控件,還能確定每一個(gè)控件信息，例如:控件類型以及控件的組件等。
[0057]第二，針對(duì)每一控件，根據(jù)獲取的所述控件的組件，計(jì)算所述控件在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間，并利用計(jì)算得到的坐標(biāo)區(qū)間，在所述當(dāng)前顯示屏中截取所述控件的圖像標(biāo)識(shí)。
[0058]具體地,從所述Dom Tree中獲取的多個(gè)控件中，選擇一個(gè)控件,根據(jù)選擇的控件的組件，計(jì)算所述控件在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間。
[0059]例如:text_box(:1d, ” login”)表不登錄控件，“〃style=〃padding_right: ΙΟρχ;!^找化-丨一代^口義”表示形狀位置以及大小/‘作社^丨叾一:12px”表示登錄控件中字體大小，“color:Blue”表示登錄控件字體顏色，因此，可以通過“〃style=〃padding_right:1Opx;margin-left:5pX”的語句計(jì)算得到所述登錄控件在在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間。
[0060]并根據(jù)計(jì)算得到的坐標(biāo)區(qū)間，到當(dāng)前顯示屏中截取該坐標(biāo)區(qū)間內(nèi)的圖像，將截取到的圖像作為所述控件的圖像標(biāo)識(shí)。
[0061]第三，根據(jù)所述控件類型確定所述控件的屬性，建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系。
[0062]具體地,從所述Dom Tree中獲取的多個(gè)控件中，選擇一個(gè)控件,根據(jù)選擇的控件的類型，確定所述控件的屬性，由于控件類型不同，控件的功能也就不同，因此，根據(jù)控件類型，得到控件的功能；針對(duì)控件的不同功能，為控件設(shè)置不同的屬性。
[0063]例如:對(duì)于按鈕控件，其功能類似于“開關(guān)”，那么對(duì)應(yīng)的屬性就是單擊和/或雙擊啟動(dòng)新的頁面；對(duì)于鏈接控件，其功能類似于“引線”，那么對(duì)應(yīng)的屬性就是單擊和/或雙擊跳轉(zhuǎn)至鏈接地址對(duì)應(yīng)的頁面；對(duì)于輸入控件，其功能類似于“寫板”，那么對(duì)應(yīng)的屬性就是單擊和/或雙擊使光標(biāo)到達(dá)指定的輸入?yún)^(qū)域，利用輸入控件鍵入字符。
[0064]這樣，為獲取的多個(gè)控件進(jìn)行圖像標(biāo)識(shí)采集和屬性確定，并建立每一個(gè)控件的屬性與圖像標(biāo)識(shí)的對(duì)應(yīng)關(guān)系。
[0065]需要說明的是，控件的屬性只有一個(gè)，但是該空間的圖像標(biāo)識(shí)可以不止一個(gè)，例如:登錄控件可以是一個(gè)按鈕、可以是一個(gè)由至少一個(gè)輸入框和一個(gè)按鈕組成的組合體，還可以是Sign In字符組合，因此，建立每一個(gè)控件的屬性與圖像標(biāo)識(shí)的對(duì)應(yīng)關(guān)系不限于一對(duì)一的關(guān)系，還可以是一對(duì)多的關(guān)系。
[0066]較優(yōu)地，在建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系之后，所述方法還包括:
[0067]第一，利用文字識(shí)別算法，識(shí)別所述控件的圖像標(biāo)識(shí)中的文字信息。
[0068]具體地，為了保證控件的圖像標(biāo)識(shí)與控件屬性之間的準(zhǔn)確性，一些控件的圖像標(biāo)識(shí)中包含了一些文字信息，這些文字信息是開發(fā)者進(jìn)一步精確地表明了該控件的功能，因此，獲取控件的圖像標(biāo)識(shí)中的文字信息將提高確定控件功能的精度，為后續(xù)提高對(duì)控件進(jìn)行測(cè)試的效率是特別有益的。
[0069]利用文字識(shí)別算法，讀取所述控件的圖像標(biāo)識(shí)中的文字信息，例如:登錄控件中包含了“Sign In”的文字信息以及“Join free now ! ”的文字信息，說明了登錄控件是在注冊(cè)之后使用的，若沒有注冊(cè)，可以點(diǎn)擊“Join free now ! ”進(jìn)行注冊(cè)，注冊(cè)成功之后點(diǎn)擊“SignIn”進(jìn)行登錄。
[0070]第二，根據(jù)識(shí)別出的文字信息，確定所述控件的功能，建立所述控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系。
[0071 ] 具體地，根據(jù)識(shí)別出的文字信息，擴(kuò)展了建立所述控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的對(duì)應(yīng)關(guān)系，這樣既可以根據(jù)所述控件的屬性，確定所述控件的圖像標(biāo)識(shí)，還能知道控件的功能，也就是說，知道了屬性、圖像標(biāo)識(shí)或者功能其一，都可以獲取剩余兩者，增加了靈活性。
[0072]需要說明的是，步驟101和步驟102沒有執(zhí)行的先后順序，可以按照本發(fā)明實(shí)施例的步驟執(zhí)行，還可以步驟102再執(zhí)行步驟101，還可以是步驟101和步驟102同步執(zhí)行，這里不做限制。
[0073]步驟103:將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較。
[0074]具體地，在步驟103中，從步驟101中掃描得到的圖像區(qū)域中選擇一個(gè)圖像區(qū)域，利用圖像比對(duì)算法，計(jì)算選擇的一個(gè)圖像區(qū)域與步驟102查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域之間的相似度，進(jìn)一步判斷選擇的圖像區(qū)域是否是與待測(cè)控件的屬性相同的圖像區(qū)域。
[0075]當(dāng)選擇的圖像區(qū)域與步驟102查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域之間的相似度大于設(shè)定閾值時(shí)，確定該選擇的圖像區(qū)域是與待測(cè)控件的屬性相同的圖像區(qū)域。
[0076]當(dāng)選擇的圖像區(qū)域與步驟102查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域之間的相似度不大于設(shè)定閾值時(shí)，確定該選擇的圖像區(qū)域不是與待測(cè)控件的屬性相同的圖像區(qū)域。
[0077]需要說明的是，所述圖像比對(duì)算法可以是OCR圖片相似度比對(duì)算法，還可以是其他比對(duì)算法，這里不做限定。
[0078]較優(yōu)地，在確定該選擇的圖像區(qū)域是與待測(cè)控件的屬性相同的圖像區(qū)域之后，所述方法還包括:
[0079]第一，針對(duì)確定的與待測(cè)控件的屬性相同的選擇的圖像區(qū)域，讀取所述選擇的圖像區(qū)域內(nèi)記載的文字信息。
[0080]具體地，針對(duì)確定的與待測(cè)控件的屬性相同的選擇的圖像區(qū)域，利用文字識(shí)別算法，讀取所述選擇的圖像區(qū)域內(nèi)記載的文字信息。
[0081]第二，根據(jù)讀取的文字信息，得到所述選擇的圖像區(qū)域的屬性。
[0082]具體地，根據(jù)讀取的文字信息，確定所述選擇的圖像區(qū)域的功能，并根據(jù)建立的控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系，得到所述選擇的圖像區(qū)域的屬性。
[0083]第三，將得到的所述選擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性進(jìn)行比較，確定出與待測(cè)試控件的屬性一致的圖像區(qū)域。
[0084]具體地，將得到的所述選擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性進(jìn)行匹配，當(dāng)?shù)玫降乃鲞x擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性一致時(shí)，確定得到的所述選擇的圖像區(qū)域?qū)儆谂c待測(cè)試控件的屬性一致的圖像區(qū)域；當(dāng)?shù)玫降乃鲞x擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性不一致時(shí)，確定得到的所述選擇的圖像區(qū)域不屬于與待測(cè)試控件的屬性一致的圖像區(qū)域。
[0085]步驟104:在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試。
[0086]其中，所述屬性至少包括:鏈接操作、按鈕操作、輸入操作和下拉操作中的一種或者多種。
[0087]具體地，在步驟104中，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試，具體包括:
[0088]當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是鏈接操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域執(zhí)行鏈接操作；
[0089]當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是按鈕操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行單擊和/或雙擊操作；
[0090]當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是輸入操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行輸入操作；
[0091]當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是下拉操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行下拉操作。
[0092]較優(yōu)地，在步驟103中，進(jìn)一步確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域，因此在步驟104中，還可以對(duì)確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域進(jìn)行測(cè)試，具體測(cè)試方式與上述方式相同，這里不再贅述。
[0093]通過本發(fā)明實(shí)施例一的方案，掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件，以及根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)，將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較，在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試，這樣在掃描測(cè)試頁面時(shí)，不用考慮顯示屏的大小和分辨率，只需要得到每一個(gè)控件或者控件的組件對(duì)應(yīng)的圖像區(qū)域即可，之后利用訓(xùn)練得到的控件屬性和圖像標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，得到與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)，并將得到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域與掃描得到的圖像區(qū)域進(jìn)行相似度比較，就能快速地找到待測(cè)試控件的位置區(qū)域，對(duì)找到的位置區(qū)域進(jìn)行測(cè)試，既保證了確定待測(cè)試控件位置的準(zhǔn)確性，還提高了控件的測(cè)試效率。
[0094]實(shí)施例二:
[0095]如圖3所示，為本發(fā)明實(shí)施例二的一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法的流程示意圖，本發(fā)明實(shí)施例二是與本發(fā)明實(shí)施例一在同一發(fā)明構(gòu)思下的發(fā)明，本發(fā)明實(shí)施例二是以對(duì)登錄控件進(jìn)行測(cè)試為例進(jìn)行說明，所述方法包括:
[0096]步驟201:訓(xùn)練得到控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系。
[0097]具體地，在步驟201中，通過訓(xùn)練的方式建立頁面中控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，具體包括:
[0098]第一,遍歷測(cè)試頁面的Dom Tree,從所述Dom Tree中獲取不同控件的控件信息。
[0099]其中，所述控件信息包括控件類型以及控件的組件。
[0100]具體地，由于測(cè)試頁面中的控件通過不同的形式表現(xiàn)，人眼觀察很容易對(duì)控件進(jìn)行區(qū)分，但是機(jī)器或者機(jī)器人對(duì)控件進(jìn)行識(shí)別，則需要經(jīng)過大量的訓(xùn)練。
[0101]例如:遍歷待測(cè)試頁面的Dom Tree,所述Dom Tree中包含了大量的控件信息,通過對(duì)所述Dom Tree的遍歷,不僅能夠確定測(cè)試頁面中包含的控件,還能確定每一個(gè)控件信息，例如:控件類型(href鏈接，button按鈕等)以及控件的組件等。
[0102]第二，針對(duì)每一控件，根據(jù)獲取的所述控件的組件，計(jì)算所述控件在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間，并利用計(jì)算得到的坐標(biāo)區(qū)間，在所述當(dāng)前顯示屏中截取所述控件的圖像標(biāo)識(shí)。
[0103]具體地，從所述Dom Tree中獲取的多個(gè)控件中，選擇一個(gè)控件，根據(jù)選擇的控件的組件，計(jì)算所述控件在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間。
[0104]例如:通過程序語句中描述的信息，計(jì)算得到所述登錄控件在在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間。
[0105]并根據(jù)計(jì)算得到的坐標(biāo)區(qū)間，到當(dāng)前顯示屏中截取該坐標(biāo)區(qū)間內(nèi)的圖像區(qū)域，將截取到的圖像區(qū)域作為所述控件的圖像標(biāo)識(shí)。
[0106]第三，根據(jù)所述控件類型確定所述控件的屬性，建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系。
[0107]具體地,從所述Dom Tree中獲取的多個(gè)控件中，選擇一個(gè)控件,根據(jù)選擇的控件的類型，確定所述控件的屬性，由于控件類型不同，控件的功能也就不同，因此，根據(jù)控件類型，得到控件的功能；針對(duì)控件的不同功能，為控件設(shè)置不同的屬性。
[0108]需要說明的是，控件的屬性只有一個(gè)，但是該空間的圖像標(biāo)識(shí)可以不止一個(gè)，例如:登錄控件可以是一個(gè)按鈕、可以是一個(gè)由至少一個(gè)字符輸入框和一個(gè)按鈕組成的組合體，還可以是Sign In字符組合，因此，建立每一個(gè)控件的屬性與圖像標(biāo)識(shí)的對(duì)應(yīng)關(guān)系不限于一對(duì)一的關(guān)系，還可以是一對(duì)多的關(guān)系。
[0109]步驟202:利用文字識(shí)別算法，識(shí)別所述控件的圖像標(biāo)識(shí)中的文字信息，確定所述控件的功能，并建立所述控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系。
[0110]例如:利用文字識(shí)別算法，讀取所述控件的圖像標(biāo)識(shí)中的文字信息，例如:登錄控件中包含了 “Sign In”的文字信息以及“Join free now ! ”的文字信息，說明了登錄控件是在注冊(cè)之后使用的，若沒有注冊(cè)，可以點(diǎn)擊“Join free now ! ”進(jìn)行注冊(cè)，注冊(cè)成功之后點(diǎn)擊“Sign In”進(jìn)行登錄。
[0111]并根據(jù)識(shí)別出的文字信息，確定所述控件的功能，建立所述控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系。
[0112]例如:根據(jù)識(shí)別出的文字信息“Sign In”，確定該控件的功能是登錄下一個(gè)頁面，建立“Sign In”的登錄屬性、“Sign In”圖像標(biāo)識(shí)和登錄下一個(gè)頁面的功能至少兩者之間的關(guān)系；
[0113]根據(jù)識(shí)別出的文字信息“Join free now ! ”，確定該控件的功能是在網(wǎng)站中進(jìn)行注冊(cè)，建立“Join free now ! ”的注冊(cè)屬性、“Join free now ! ”圖像標(biāo)識(shí)和在網(wǎng)站中進(jìn)行注冊(cè)的功能至少兩者之間的關(guān)系。
[0114]步驟203:掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域。
[0115]其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件。
[0116]具體地，在步驟203中，首先，獲取測(cè)試頁面。
[0117]具體地，在任一顯示屏中顯示待測(cè)試頁面。
[0118]其次，對(duì)顯示屏中的測(cè)試頁面進(jìn)行掃描。
[0119]第三，記錄掃描過程中掃描到的所述測(cè)試頁面中的多個(gè)圖像區(qū)域。
[0120]其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件，和/或每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件以及控件組件。
[0121]步驟204:根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)。
[0122]具體地，在步驟204中，首先，選擇待測(cè)試控件的類型，確定待測(cè)試控件的屬性。
[0123]其次，根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與確定的待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)。
[0124]需要說明的是，步驟203和步驟204沒有執(zhí)行的先后順序，可以按照本發(fā)明實(shí)施例的步驟執(zhí)行，還可以步驟204再執(zhí)行步驟203，還可以是步驟203和步驟204同步執(zhí)行，這里不做限制。
[0125]步驟205:將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較。
[0126]具體地，在步驟205中，從步驟203中掃描得到的圖像區(qū)域中選擇一個(gè)圖像區(qū)域，利用圖像比對(duì)算法，計(jì)算選擇的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域之間的相似度，進(jìn)一步判斷選擇的圖像區(qū)域是否是與待測(cè)控件的屬性相同的圖像區(qū)域。
[0127]當(dāng)計(jì)算得到的選擇的圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域之間的相似度大于設(shè)定閾值時(shí)，確定所述選擇的圖像區(qū)域是與待測(cè)控件的屬性相同的圖像區(qū)域。
[0128]當(dāng)計(jì)算得到的選擇的圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域之間的相似度不大于設(shè)定閾值時(shí)，確定所述選擇的圖像區(qū)域不是與待測(cè)控件的屬性相同的圖像區(qū)域。
[0129]需要說明的是，所述圖像比對(duì)算法可以是OCR圖片相似度比對(duì)算法，還可以是其他比對(duì)算法，這里不做限定。
[0130]步驟206:讀取與待測(cè)控件的屬性相同的選擇的圖像區(qū)域內(nèi)記載的文字信息，并根據(jù)讀取的文字信息，得到所述選擇的圖像區(qū)域的屬性。
[0131]具體地，在步驟206中，根據(jù)讀取的文字信息，確定所述選擇的圖像區(qū)域的功能，并根據(jù)建立的控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系，得到所述選擇的圖像區(qū)域的屬性。
[0132]步驟207:將得到的所述選擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性進(jìn)行比較，判斷是否屬于與待測(cè)試控件的屬性一致的圖像區(qū)域。
[0133]具體地，在步驟207中，將得到的所述選擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性進(jìn)行匹配，當(dāng)?shù)玫降乃鲞x擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性一致時(shí)，確定得到的所述選擇的圖像區(qū)域?qū)儆谂c待測(cè)試控件的屬性一致的圖像區(qū)域；當(dāng)?shù)玫降乃鲞x擇的圖像區(qū)域的屬性與待測(cè)試控件的屬性不一致時(shí)，確定得到的所述選擇的圖像區(qū)域不屬于與待測(cè)試控件的屬性一致的圖像區(qū)域。
[0134]步驟208:對(duì)確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域進(jìn)行測(cè)試。
[0135]具體地，在步驟208中，所述屬性至少包括:鏈接操作、按鈕操作、輸入操作和下拉操作中的一種或者多種。
[0136]當(dāng)確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性是鏈接操作時(shí)，通過鼠標(biāo)或者鍵盤控制確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域執(zhí)行鏈接操作；
[0137]當(dāng)確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性是按鈕操作時(shí)，通過鼠標(biāo)或者鍵盤控制確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域進(jìn)行單擊和/或雙擊操作；
[0138]當(dāng)確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性是輸入操作時(shí)，通過鼠標(biāo)或者鍵盤控制確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域進(jìn)行輸入操作；
[0139]當(dāng)確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性是下拉操作時(shí)，通過鼠標(biāo)或者鍵盤控制確定出的與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域進(jìn)行下拉操作。
[0140]實(shí)施例三:
[0141]如圖4所示，為本發(fā)明實(shí)施例三的一種對(duì)頁面中的控件進(jìn)行測(cè)試的設(shè)備的結(jié)構(gòu)示意圖，本發(fā)明實(shí)施例三是與本發(fā)明實(shí)施例一和本發(fā)明實(shí)施例二在同一發(fā)明構(gòu)思下的設(shè)備，所述設(shè)備包括:掃描模塊11、查找模塊12、比較模塊13和測(cè)試模塊14，其中:
[0142]掃描模塊11，用于掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件。
[0143]查找模塊12，用于根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)。
[0144]比較模塊13，用于將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較。
[0145]測(cè)試模塊14，用于在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試。
[0146]較優(yōu)地，所述設(shè)備還包括:屬性檢測(cè)模塊15，其中:
[0147]屬性檢測(cè)模塊15，用于在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值之后，并對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試之前，針對(duì)每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域，讀取每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域內(nèi)記載的文字信息；根據(jù)讀取的文字信息，得到每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性；將得到的每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性與待測(cè)試控件的屬性進(jìn)行比較，確定出與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域。
[0148]所述測(cè)試模塊14，具體用于對(duì)確定出與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性進(jìn)行測(cè)試。
[0149]具體地，所述查找模塊12,具體用于遍歷待測(cè)試頁面的Dom Tree,從所述Dom Tree中獲取不同控件的控件信息，其中，所述控件信息包括控件類型以及控件的組件；針對(duì)每一控件，根據(jù)獲取的所述控件的組件，計(jì)算所述控件在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間，并利用計(jì)算得到的坐標(biāo)區(qū)間，在所述當(dāng)前顯示屏中截取所述控件的圖像標(biāo)識(shí)；根據(jù)所述控件類型確定所述控件的屬性，建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系O
[0150]具體地，所述設(shè)備還包括:關(guān)系建立模塊16，其中:
[0151]關(guān)系建立模塊16，用于在建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系之后，利用文字識(shí)別算法，識(shí)別所述控件的圖像標(biāo)識(shí)中的文字信息；根據(jù)識(shí)別出的文字信息，確定所述控件的功能，建立所述控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系。
[0152]所述查找模塊12，具體用于根據(jù)讀取的文字信息，確定每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的功能；并根據(jù)建立的功能與屬性的對(duì)應(yīng)關(guān)系，確定每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性。
[0153]具體地，所述屬性至少包括:鏈接操作、按鈕操作、輸入操作和下拉操作中的一種或者多種。
[0154]所述測(cè)試模塊14，具體用于當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是鏈接操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域執(zhí)行鏈接操作；
[0155]當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是按鈕操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行單擊和/或雙擊操作；
[0156]當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是輸入操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行輸入操作；
[0157]當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是下拉操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行下拉操作。
[0158]需要說明的是，本發(fā)明實(shí)施例三中所述的設(shè)備可以是硬件設(shè)備，還可以是集成在后臺(tái)服務(wù)器中的邏輯部件，這里不做具體限定。
[0159]本領(lǐng)域的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、裝置(設(shè)備)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0160]本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、裝置(設(shè)備)和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的
>J-U ρ?α裝直。
[0161]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
[0162]這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0163]盡管已描述了本申請(qǐng)的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請(qǐng)范圍的所有變更和修改。
[0164]顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本申請(qǐng)進(jìn)行各種改動(dòng)和變型而不脫離本申請(qǐng)的精神和范圍。這樣，倘若本申請(qǐng)的這些修改和變型屬于本申請(qǐng)權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請(qǐng)也意圖包含這些改動(dòng)和變型在內(nèi)。
【權(quán)利要求】
1.一種對(duì)頁面中的控件進(jìn)行測(cè)試的方法，其特征在于，包括: 掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件； 以及根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)； 將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較； 在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試。
2.如權(quán)利要求1所述的方法，其特征在于，在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值之后，并對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試之前，所述方法還包括: 針對(duì)每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域，讀取每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域內(nèi)記載的文字信息； 根據(jù)讀取的文字信息，得到每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性； 將得到的每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性與待測(cè)試控件的屬性進(jìn)行比較，確定出與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域； 對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試，具體包括: 對(duì)確定出與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性進(jìn)行測(cè)試。
3.如權(quán)利要求1所述的方法，其特征在于，所述存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，具體包括: 遍歷待測(cè)試頁面的Dom Tree,從所述Dom Tree中獲取不同控件的控件信息,其中，所述控件信息包括控件類型以及控件的組件； 針對(duì)每一控件，根據(jù)獲取的所述控件的組件，計(jì)算所述控件在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間，并利用計(jì)算得到的坐標(biāo)區(qū)間，在所述當(dāng)前顯示屏中截取所述控件的圖像標(biāo)識(shí)； 根據(jù)所述控件類型確定所述控件的屬性，建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系。
4.如權(quán)利要求3所述的方法，其特征在于，在建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系之后，所述方法還包括: 利用文字識(shí)別算法，識(shí)別所述控件的圖像標(biāo)識(shí)中的文字信息； 根據(jù)識(shí)別出的文字信息，確定所述控件的功能，建立所述控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系； 根據(jù)讀取的文字信息，得到每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性，具體包括: 根據(jù)讀取的文字信息，確定每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的功倉泛; 根據(jù)建立的功能與屬性的對(duì)應(yīng)關(guān)系，確定每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性。
5.如權(quán)利要求1所述的方法，其特征在于，所述屬性至少包括:鏈接操作、按鈕操作、輸入操作和下拉操作中的一種或者多種； 對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試，具體包括: 當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是鏈接操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域執(zhí)行鏈接操作； 當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是按鈕操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行單擊和/或雙擊操作； 當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是輸入操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行輸入操作； 當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是下拉操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行下拉操作。
6.一種對(duì)頁面中的控件進(jìn)行測(cè)試的設(shè)備，其特征在于，包括: 掃描模塊，用于掃描測(cè)試頁面，得到所述測(cè)試頁面的多個(gè)圖像區(qū)域，其中，每一個(gè)圖像區(qū)域?qū)?yīng)一個(gè)控件和/或該控件的組件； 查找模塊，用于根據(jù)存儲(chǔ)的控件的屬性與圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，查找與待測(cè)試控件的屬性相同的圖像標(biāo)識(shí)； 比較模塊，用于將掃描得到的每一個(gè)圖像區(qū)域分別與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域進(jìn)行相似度比較； 測(cè)試模塊，用于在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值時(shí)，對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試。
7.如權(quán)利要求6所述的設(shè)備，其特征在于，所述設(shè)備還包括: 屬性檢測(cè)模塊，用于在掃描得到的一個(gè)圖像區(qū)域與查找到的圖像標(biāo)識(shí)對(duì)應(yīng)的圖像區(qū)域的相似度大于設(shè)定閾值之后，并對(duì)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性進(jìn)行測(cè)試之前，針對(duì)每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域，讀取每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域內(nèi)記載的文字信息；根據(jù)讀取的文字信息，得到每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性；將得到的每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性與待測(cè)試控件的屬性進(jìn)行比較，確定出與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域； 所述測(cè)試模塊，具體用于對(duì)確定出與待測(cè)試控件的屬性一致的、且相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性進(jìn)行測(cè)試。
8.如權(quán)利要求6所述的設(shè)備，其特征在于， 所述查找模塊，具體用于遍歷待測(cè)試頁面的Dom Tree,從所述Dom Tree中獲取不同控件的控件信息，其中，所述控件信息包括控件類型以及控件的組件；針對(duì)每一控件，根據(jù)獲取的所述控件的組件，計(jì)算所述控件在待測(cè)試頁面當(dāng)前顯示屏中的坐標(biāo)區(qū)間，并利用計(jì)算得到的坐標(biāo)區(qū)間，在所述當(dāng)前顯示屏中截取所述控件的圖像標(biāo)識(shí)；根據(jù)所述控件類型確定所述控件的屬性，建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系。
9.如權(quán)利要求8所述的設(shè)備，其特征在于，所述設(shè)備還包括: 關(guān)系建立模塊，用于在建立所述控件的屬性與所述控件的圖像標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系之后，利用文字識(shí)別算法，識(shí)別所述控件的圖像標(biāo)識(shí)中的文字信息；根據(jù)識(shí)別出的文字信息，確定所述控件的功能，建立所述控件的屬性、圖像標(biāo)識(shí)和功能至少兩者之間的關(guān)系； 所述查找模塊，具體用于根據(jù)讀取的文字信息，確定每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的功能；并根據(jù)建立的功能與屬性的對(duì)應(yīng)關(guān)系，確定每一個(gè)相似度大于設(shè)定閾值的掃描得到的圖像區(qū)域的屬性。
10.如權(quán)利要求6所述的設(shè)備，其特征在于，所述屬性至少包括:鏈接操作、按鈕操作、輸入操作和下拉操作中的一種或者多種； 所述測(cè)試模塊，具體用于當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是鏈接操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域執(zhí)行鏈接操作； 當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是按鈕操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行單擊和/或雙擊操作； 當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是輸入操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行輸入操作； 當(dāng)相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域的屬性是下拉操作時(shí)，通過鼠標(biāo)或者鍵盤控制相似度大于設(shè)定閾值的掃描得到的該圖像區(qū)域進(jìn)行下拉操作。
【文檔編號(hào)】G06F17/30GK104252410SQ201310263484
【公開日】2014年12月31日 申請(qǐng)日期:2013年6月27日 優(yōu)先權(quán)日:2013年6月27日
【發(fā)明者】栗志果 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司