一種自動化測試步驟錄制及回放方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種自動化測試步驟錄制及回放方法和裝置，所述方法包括：獲取用戶的操作事件以及對應的坐標信息；對被測設備進行屏幕截圖，根據(jù)坐標信息，通過圖像邊緣檢測算法，確定出屏幕截圖中與該操作事件對應的圖像對象，將圖像對象和操作事件作為一個步驟信息進行保存；對所有步驟信息進行組裝，得到錄制文件；當回放錄制文件時，對錄制文件進行解析，得到各步驟信息，并分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。應用本發(fā)明所述方案，能夠降低使用門檻，提高測試效率。
【專利說明】
一種自動化測試步驟錄制及回放方法和裝置
【技術領域】
[0001]本發(fā)明涉及測試技術，特征涉及一種自動化測試步驟錄制及回放方法和裝置?！尽颈尘凹夹g】】
[0002]目前，移動設備的自動化測試主要依靠設備自身所搭載的操作系統(tǒng)支持的測試框架進行，比如，apple公司的1s系統(tǒng)使用基于uiautomat1n的測試框架，google公司的android系統(tǒng)使用基于instrument和uiautomator的測試框架，此外，基于這些基礎框架，還衍生出了 appium、robotium和selendroid等通過對上述測試框架進行二次開發(fā)而來的第三方測試框架。
[0003]每個測試框架都需要依賴于操作系統(tǒng)提供的接口，搭建復雜的開發(fā)環(huán)境，編寫測試腳本代碼，這些都需要專業(yè)的人員才能完成，即使用門檻很高，限制了非專業(yè)人員的使用。
【
【發(fā)明內(nèi)容】
】
[0004]本發(fā)明提供了一種自動化測試步驟錄制及回放方法和裝置，能夠降低使用門檻，提高測試效率。
[0005]具體技術方案如下:
[0006]—種自動化測試步驟錄制及回放方法，包括:
[0007]獲取用戶的操作事件以及所述操作事件對應的坐標信息；
[0008]對被測設備進行屏幕截圖，根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象，將所述圖像對象和所述操作事件作為一個步驟息進行保存；
[0009]對所有步驟信息進行組裝，得到錄制文件；
[0010]當回放所述錄制文件時，對所述錄制文件進行解析，得到各步驟信息，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0011]根據(jù)本發(fā)明一優(yōu)選實施例，所述對所有步驟信息進行組裝，得到錄制文件包括:
[0012]按照操作事件的發(fā)生時間由先到后的順序，對所有步驟信息進行組裝，得到所述錄制文件；
[0013]所述分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件包括:
[0014]按照操作事件的發(fā)生時間由先到后的順序，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0015]根據(jù)本發(fā)明一優(yōu)選實施例，所述操作事件包括:點擊、劃動。
[0016]根據(jù)本發(fā)明一優(yōu)選實施例，所述根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象包括:
[0017]通過圖像邊緣檢測算法，確定出所述屏幕截圖中包括的所有圖像對象；
[0018]統(tǒng)計所述所有圖像對象中滿足自身的坐標信息與所述操作事件對應的坐標信息存在交集這一條件的圖像對象個數(shù)；
[0019]若統(tǒng)計結果為一，則將存在交集的圖像對象作為與所述操作事件對應的圖像對象；
[0020]若統(tǒng)計結果大于一，則將從存在交集的各圖像對象中選定的一個圖像對象作為與所述操作事件對應的圖像對象。
[0021]根據(jù)本發(fā)明一優(yōu)選實施例，所述將所述圖像對象和所述操作事件作為一個步驟信息進行保存包括:
[0022]以圖片的形式對所述圖像對象進行保存。
[0023]根據(jù)本發(fā)明一優(yōu)選實施例，所述分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件包括:
[0024]針對任一步驟信息，對所述被測設備進行屏幕截圖；
[0025]通過圖像模板匹配算法，從所述屏幕截圖中確定出與所述步驟信息中的圖像對象相匹配的區(qū)域；
[0026]在所述相匹配的區(qū)域的坐標位置執(zhí)行所述步驟信息中的操作事件。
[0027]—種自動化測試步驟錄制及回放裝置，包括:錄制模塊和回放模塊；
[0028]所述錄制模塊，用于獲取用戶的操作事件以及所述操作事件對應的坐標信息，對被測設備進行屏幕截圖，根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象，將所述圖像對象和所述操作事件作為一個步驟信息進行保存;對所有步驟信息進行組裝，得到錄制文件，將所述錄制文件發(fā)送給所述回放模塊；
[0029]所述回放模塊，用于對所述錄制文件進行解析，得到各步驟信息，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0030]根據(jù)本發(fā)明一優(yōu)選實施例，所述錄制模塊中包括:用戶事件捕獲單元、圖像邊緣檢測單元以及錄制文件生成單元；
[0031]所述用戶事件捕獲單元，用于獲取用戶的操作事件以及所述操作事件對應的坐標信息，將所述操作事件和所述坐標信息發(fā)送給所述圖像邊緣檢測單元；
[0032]所述圖像邊緣檢測單元，用于對被測設備進行屏幕截圖，根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象，將所述圖像對象和所述操作事件作為一個步驟信息發(fā)送給所述錄制文件生成單元；
[0033]所述錄制文件生成單元，用于按照操作事件的發(fā)生時間由先到后的順序，對所有步驟信息進行組裝，得到所述錄制文件。
[0034]根據(jù)本發(fā)明一優(yōu)選實施例，所述圖像邊緣檢測單元通過圖像邊緣檢測算法，確定出所述屏幕截圖中包括的所有圖像對象，統(tǒng)計所述所有圖像對象中滿足自身的坐標信息與所述操作事件對應的坐標信息存在交集這一條件的圖像對象個數(shù)，若統(tǒng)計結果為一，則將存在交集的圖像對象作為與所述操作事件對應的圖像對象，若統(tǒng)計結果大于一，則將從存在交集的各圖像對象中選定的一個圖像對象作為與所述操作事件對應的圖像對象。
[0035]根據(jù)本發(fā)明一優(yōu)選實施例，所述錄制文件生成單元以圖片的形式對各步驟信息中的圖像對象進行保存。
[0036]根據(jù)本發(fā)明一優(yōu)選實施例，所述回放模塊中包括:錄制文件解析單元以及步驟信息回放單元；
[0037]所述錄制文件解析單元，用于對所述錄制文件進行解析，得到各步驟信息，將各步驟信息發(fā)送給所述步驟信息回放單元；
[0038]所述步驟信息回放單元，用于按照操作事件的發(fā)生時間由先到后的順序，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0039]根據(jù)本發(fā)明一優(yōu)選實施例，所述步驟信息回放單元進一步用于，針對任一步驟信息，對所述被測設備進行屏幕截圖，通過圖像模板匹配算法，從所述屏幕截圖中確定出與所述步驟信息中的圖像對象相匹配的區(qū)域，在所述相匹配的區(qū)域的坐標位置執(zhí)行所述步驟信息中的操作事件。
[0040]可見，采用本發(fā)明所述方案，在無需搭建復雜的開發(fā)環(huán)境、編寫測試腳本代碼的前提下，通過簡單的界面操作等即可實現(xiàn)自動化測試步驟的錄制及回放，從而相比于現(xiàn)有技術降低了使用門檻，提高了測試效率。
【【附圖說明】】
[0041]圖1為本發(fā)明所述自動化測試步驟錄制及回放方法實施例的流程圖。
[0042]圖2為本發(fā)明所述確定出屏幕截圖中與獲取到的操作事件對應的圖像對象的方法實施例的流程圖。
[0043]圖3為本發(fā)明所述屏幕截圖中的各圖像對象的位置分布方式示意圖。
[0044]圖4為本發(fā)明所述自動化測試步驟錄制及回放裝置實施例的組成結構示意圖。
【【具體實施方式】】
[0045]針對現(xiàn)有技術中存在的問題，本發(fā)明中提出一種自動化測試步驟錄制及回放方案，通過簡單的界面操作等即可實現(xiàn)自動化測試步驟的錄制及回放。
[0046]為了使本發(fā)明的技術方案更加清楚、明白，以下參照附圖并舉實施例，對本發(fā)明所述方案作進一步地詳細說明。
[0047]實施例一
[0048]圖1為本發(fā)明所述自動化測試步驟錄制及回放方法實施例的流程圖，如圖1所示，包括以下實現(xiàn)方式。
[0049]在11中，獲取用戶的操作事件以及該操作事件對應的坐標信息。
[0050]所述操作事件可包括:點擊、劃動等。
[0051]用戶可通過操控鼠標或觸摸屏幕，來實現(xiàn)對于被測設備的屏幕界面的點擊或劃動等操作。
[0052]所述被測設備通常為手機等移動設備。
[0053]當用戶作出點擊或劃動等操作之后，即在獲取到用戶的操作事件之后，可按照現(xiàn)有方式確定出該操作事件對應到被測設備的屏幕界面上的坐標信息。
[0054]另外，在實際應用中，對于每個操作事件，均需要反饋到被測設備上去執(zhí)行對應的操作，比如，用戶的操作事件為點擊操作，那么則需要在被測設備的屏幕界面上該操作事件對應的坐標位置執(zhí)行該點擊操作。
[0055]在12中，對被測設備進行屏幕截圖，根據(jù)獲取到的坐標信息，通過圖像邊緣檢測算法，確定出屏幕截圖中與獲取到的操作事件對應的圖像對象，將該圖像對象和獲取到的操作事件作為一個步驟信息進行保存。
[0056]在獲取到用戶的操作事件以及該操作事件對應的坐標信息之后，可首先對被測設備當前的屏幕界面進行屏幕截圖。
[0057]之后，可根據(jù)獲取到的坐標信息，通過圖像邊緣檢測算法，確定出屏幕截圖中與獲取到的操作事件對應的圖像對象。
[0058]圖2為本發(fā)明所述確定出屏幕截圖中與獲取到的操作事件對應的圖像對象的方法實施例的流程圖，如圖2所示，包括以下實現(xiàn)方式。
[0059]在21中，通過圖像邊緣檢測算法，確定出屏幕截圖中包括的所有圖像對象。
[0060]圖像邊緣檢測是圖像處理領域中的一項重要技術，顧名思義，其目的即在于識別出圖像中的邊緣點。
[0061]早期常用的圖像邊緣檢測算法包括:邊緣算子法、曲線擬合算法等，近年來又出現(xiàn)了很多新的算法，如:小波變換算法、基于數(shù)學形態(tài)學的算法、模糊理論算法、神經(jīng)網(wǎng)絡算法等。
[0062]本實施例中，可通過圖像邊緣檢測算法，確定出屏幕截圖中包括的所有圖像對象，所述圖像對象可包括:圖標、按鈕、文字等，同時可獲取到各圖像對象在屏幕界面上的坐標?目息O
[0063]本實施例中對于采用哪種圖像邊緣檢測算法不作限制，可根據(jù)實際需要而定。
[0064]在22中，統(tǒng)計所有圖像對象中滿足自身的坐標信息與獲取到的操作事件對應的坐標信息存在交集這一條件的圖像對象個數(shù)。
[0065]針對21中確定出的每個圖像對象，分別確定其坐標信息與獲取到的操作事件對應的坐標信息是否存在交集，并統(tǒng)計存在交集的圖像對象個數(shù)。
[0066]統(tǒng)計結果可能為一，也可能大于一，除非用戶操作失誤，如執(zhí)行點擊操作時未點擊到任何一個圖像對象上，否則一般不會出現(xiàn)統(tǒng)計結果為零的情況。
[0067]在23中，若統(tǒng)計結果為一，則將存在交集的圖像對象作為與獲取到的操作事件對應的圖像對象;若統(tǒng)計結果大于一，則將從存在交集的各圖像對象中選定的一個圖像對象作為與獲取到的操作事件對應的圖像對象。
[0068]當統(tǒng)計結果大于一時，可以讓用戶從各存在交集的圖像對象中進行選擇，選定其中的一個作為與獲取到的操作事件對應的圖像對象。
[0069]圖3為本發(fā)明所述屏幕截圖中的各圖像對象的位置分布方式示意圖，如圖3所示，假設屏幕截圖中共包括6個圖像對象，分別為圖像對象1-圖像對象6。
[0070]假設用戶對圖3中所示的圖像對象2執(zhí)行了點擊操作事件，那么只有圖像對象2的坐標信息與該操作事件對應的坐標信息存在交集，即統(tǒng)計結果為一，因此，將圖像對象2作為與該操作事件對應的圖像對象。
[0071]假設用戶執(zhí)行的劃動操作事件同時涉及到了兩個圖像對象，如圖3中所示的圖像對象5和圖像對象6，那么這兩個圖像對象的坐標信息與該操作事件對應的坐標信息均存在交集，即統(tǒng)計結果大于一，因此，可通過某種方式讓用戶對圖像對象5和圖像對象6進行選擇，將用戶選定的圖像對象作為與該操作事件對應的圖像對象，如何讓用戶進行選擇不作限制，可根據(jù)實際需要而定。
[0072]在確定出操作事件對應的圖像對象之后，可將操作事件和對應的圖像對象作為一個步驟信息進行保存。其中，圖像對象以圖片的形式進行保存。
[0073]在13中，對所有步驟信息進行組裝，得到錄制文件。
[0074]通過重復執(zhí)行11?12，可得到一系列步驟信息，當接收到用戶的完成或結束指令時，可按照操作事件的發(fā)生時間由先到后的順序，對獲取到的所有步驟信息進行組裝，從而得到所需的錄制文件，如何進行組裝不作限制，可根據(jù)實際需要而定。
[0075]在14中，當回放錄制文件時，對錄制文件進行解析，得到各步驟信息，并分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0076]在回放錄制文件時，首先對錄制文件進行解析，以得到各步驟信息，每個步驟信息中分別包括有圖像對象以及對應的操作事件信息。
[0077]之后，按照操作事件的發(fā)生時間由先到后的順序，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0078]具體地，針對任一步驟信息，可分別進行以下處理:對被測設備進行屏幕截圖，SP對被測設備當前的屏幕界面進行屏幕截圖，通過圖像模板匹配算法，從屏幕截圖中確定出與該步驟信息中的圖像對象相匹配的區(qū)域，在相匹配的區(qū)域的坐標位置執(zhí)行該步驟信息中的操作事件。
[0079]常用的圖像模板匹配算法包括:基于圖像灰度的匹配算法、基于圖像特征的匹配算法、基于模型的匹配算法、基于變換域的匹配算法等，本實施例中具體采用哪種算法不作限制，可根據(jù)實際需要而定。
[0080]針對任一步驟信息，通過圖像模板匹配算法確定出屏幕截圖中與該步驟信息中的圖像對象相匹配的區(qū)域之后，可進一步確定出相匹配的區(qū)域的坐標信息，進而在該坐標信息所標定的屏幕界面位置執(zhí)行該步驟信息中的操作事件，如點擊或劃動等。
[0081]假設錄制文件中共包括3個步驟信息，分別為步驟信息1、步驟信息2和步驟信息3，步驟信息I中的操作事件的發(fā)生時間先于步驟信息2中的操作事件的發(fā)生時間，步驟信息2中的操作事件的發(fā)生時間先于步驟信息3中的操作事件的發(fā)生時間，并假設在回放步驟信息2時出現(xiàn)問題，如未能在屏幕截圖中找到相匹配的區(qū)域，那么可停止回放，向用戶報錯，進而由用戶來確定具體的問題原因并施以解決措施等，如果3個步驟信息均順利回放完成，則表明測試成功。
[0082]實施例二
[0083]圖4為本發(fā)明所述自動化測試步驟錄制及回放裝置實施例的組成結構示意圖，如圖4所示，包括:錄制模塊41和回放模塊42。
[0084]錄制模塊41，用于獲取用戶的操作事件以及操作事件對應的坐標信息，對被測設備進行屏幕截圖，根據(jù)坐標信息，通過圖像邊緣檢測算法，確定出屏幕截圖中與操作事件對應的圖像對象，將圖像對象和操作事件作為一個步驟信息進行保存;對所有步驟信息進行組裝，得到錄制文件，將錄制文件發(fā)送給回放模塊42。
[0085]回放模塊42，用于對錄制文件進行解析，得到各步驟信息，并分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0086]如圖4所示，錄制模塊41中可具體包括:用戶事件捕獲單元411、圖像邊緣檢測單412元以及錄制文件生成單元413。
[0087]用戶事件捕獲單元411獲取用戶的操作事件以及操作事件對應的坐標信息，并將獲取到的操作事件和坐標信息發(fā)送給圖像邊緣檢測單元412。
[0088]所述操作事件可包括:點擊、劃動等。用戶事件捕獲單元411在獲取到用戶的操作事件之后，可按照現(xiàn)有方式確定出該操作事件對應到被測設備的屏幕界面上的坐標信息。
[0089]圖像邊緣檢測單元412對被測設備進行屏幕截圖，根據(jù)接收到的坐標信息，通過圖像邊緣檢測算法，確定出屏幕截圖中與接收到的操作事件對應的圖像對象，將圖像對象和接收到的操作事件作為一個步驟信息發(fā)送給錄制文件生成單元413。
[0090]圖像邊緣檢測單元412接收到用戶事件捕獲單元411發(fā)送來的操作事件和坐標信息之后，可首先對被測設備當前的屏幕界面進行屏幕截圖。
[0091]之后，圖像邊緣檢測單元412可通過圖像邊緣檢測算法，確定出屏幕截圖中包括的所有圖像對象，統(tǒng)計所有圖像對象中滿足自身的坐標信息與接收到的操作事件對應的坐標信息存在交集這一條件的圖像對象個數(shù)，若統(tǒng)計結果為一，則將存在交集的圖像對象作為與接收到的操作事件對應的圖像對象，若統(tǒng)計結果大于一，則將從存在交集的各圖像對象中選定的一個圖像對象作為與接收到的操作事件對應的圖像對象。
[0092]當統(tǒng)計結果大于一時，可以讓用戶從各存在交集的圖像對象中進行選擇，選定其中的一個作為與獲取到的操作事件對應的圖像對象。
[0093]早期常用的圖像邊緣檢測算法包括:邊緣算子法、曲線擬合算法等，近年來又出現(xiàn)了很多新的算法，如:小波變換算法、基于數(shù)學形態(tài)學的算法、模糊理論算法、神經(jīng)網(wǎng)絡算法等，本實施例中具體采用哪種算法不作限制，可根據(jù)實際需要而定。
[0094]在確定出操作事件對應的圖像對象之后，圖像邊緣檢測單元412可將操作事件和對應的圖像對象作為一個步驟信息發(fā)送給錄制文件生成單元413。
[0095]錄制文件生成單元413按照操作事件的發(fā)生時間由先到后的順序，對所有步驟信息進行組裝，得到錄制文件。
[0096]另外，錄制文件生成單元413會以圖片的形式對各步驟信息中的圖像對象進行保存。
[0097]如圖4所示，回放模塊42中可具體包括:錄制文件解析單元421以及步驟信息回放單元422。
[0098]錄制文件解析單元421對錄制文件進行解析，得到各步驟信息，將各步驟信息發(fā)送給步驟信息回放單元422。
[0099]每個步驟信息中分別包括有圖像對象以及對應的操作事件信息。
[0100]步驟信息回放單元422按照操作事件的發(fā)生時間由先到后的順序，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。
[0101]具體地，針對任一步驟信息，步驟信息回放單元422可對被測設備進行屏幕截圖，即對被測設備當前的屏幕界面進行屏幕截圖，并通過圖像模板匹配算法，從屏幕截圖中確定出與該步驟信息中的圖像對象相匹配的區(qū)域，在相匹配的區(qū)域的坐標位置執(zhí)行該步驟信息中的操作事件。
[0102]常用的圖像模板匹配算法包括:基于圖像灰度的匹配算法、基于圖像特征的匹配算法、基于模型的匹配算法、基于變換域的匹配算法等，本實施例中具體采用哪種算法不作限制，可根據(jù)實際需要而定。
[0103]針對任一步驟信息，步驟信息回放單元422通過圖像模板匹配算法確定出屏幕截圖中與該步驟信息中的圖像對象相匹配的區(qū)域之后，可進一步確定出相匹配的區(qū)域的坐標信息，進而在該坐標信息所標定的屏幕界面位置執(zhí)行該步驟信息中的操作事件，如點擊或劃動等。
[0104]通過上述各實施例可以看出，采用本發(fā)明所述方案，在無需搭建復雜的開發(fā)環(huán)境、編寫測試腳本代碼的前提下，通過簡單的界面操作等即可實現(xiàn)自動化測試步驟的錄制及回放，從而相比于現(xiàn)有技術降低了使用門檻，提高了測試效率。
[0105]在本發(fā)明所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式。
[0106]所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
[0107]另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。
[0108]上述以軟件功能單元的形式實現(xiàn)的集成的單元，可以存儲在一個計算機可讀取存儲介質中。上述軟件功能單元存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)或處理器(Processor)執(zhí)行本發(fā)明各個實施例所述方法的部分步驟。而前述的存儲介質包括:U盤、移動硬盤、只讀存儲器(R0M，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。
[0109]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明保護的范圍之內(nèi)。
【主權項】
1.一種自動化測試步驟錄制及回放方法，其特征在于，包括: 獲取用戶的操作事件以及所述操作事件對應的坐標信息； 對被測設備進行屏幕截圖，根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象，將所述圖像對象和所述操作事件作為一個步驟ig息進行保存； 對所有步驟信息進行組裝，得到錄制文件； 當回放所述錄制文件時，對所述錄制文件進行解析，得到各步驟信息，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。2.根據(jù)權利要求1所述的方法，其特征在于， 所述對所有步驟信息進行組裝，得到錄制文件包括: 按照操作事件的發(fā)生時間由先到后的順序，對所有步驟信息進行組裝，得到所述錄制文件； 所述分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件包括: 按照操作事件的發(fā)生時間由先到后的順序，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。3.根據(jù)權利要求1所述的方法，其特征在于， 所述操作事件包括:點擊、劃動。4.根據(jù)權利要求1所述的方法，其特征在于， 所述根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象包括: 通過圖像邊緣檢測算法，確定出所述屏幕截圖中包括的所有圖像對象； 統(tǒng)計所述所有圖像對象中滿足自身的坐標信息與所述操作事件對應的坐標信息存在交集這一條件的圖像對象個數(shù)； 若統(tǒng)計結果為一，則將存在交集的圖像對象作為與所述操作事件對應的圖像對象； 若統(tǒng)計結果大于一，則將從存在交集的各圖像對象中選定的一個圖像對象作為與所述操作事件對應的圖像對象。5.根據(jù)權利要求1、2、3或4所述的方法，其特征在于， 所述將所述圖像對象和所述操作事件作為一個步驟信息進行保存包括: 以圖片的形式對所述圖像對象進行保存。6.根據(jù)權利要求5所述的方法，其特征在于， 所述分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件包括: 針對任一步驟信息，對所述被測設備進行屏幕截圖； 通過圖像模板匹配算法，從所述屏幕截圖中確定出與所述步驟信息中的圖像對象相匹配的區(qū)域； 在所述相匹配的區(qū)域的坐標位置執(zhí)行所述步驟信息中的操作事件。7.—種自動化測試步驟錄制及回放裝置，其特征在于，包括:錄制模塊和回放模塊； 所述錄制模塊，用于獲取用戶的操作事件以及所述操作事件對應的坐標信息，對被測設備進行屏幕截圖，根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象，將所述圖像對象和所述操作事件作為一個步驟信息進行保存;對所有步驟信息進行組裝，得到錄制文件，將所述錄制文件發(fā)送給所述回放模塊； 所述回放模塊，用于對所述錄制文件進行解析，得到各步驟信息，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。8.根據(jù)權利要求7所述的裝置，其特征在于， 所述錄制模塊中包括:用戶事件捕獲單元、圖像邊緣檢測單元以及錄制文件生成單元； 所述用戶事件捕獲單元，用于獲取用戶的操作事件以及所述操作事件對應的坐標信息，將所述操作事件和所述坐標信息發(fā)送給所述圖像邊緣檢測單元； 所述圖像邊緣檢測單元，用于對被測設備進行屏幕截圖，根據(jù)所述坐標信息，通過圖像邊緣檢測算法，確定出所述屏幕截圖中與所述操作事件對應的圖像對象，將所述圖像對象和所述操作事件作為一個步驟信息發(fā)送給所述錄制文件生成單元； 所述錄制文件生成單元，用于按照操作事件的發(fā)生時間由先到后的順序，對所有步驟信息進行組裝，得到所述錄制文件。9.根據(jù)權利要求8所述的裝置，其特征在于， 所述圖像邊緣檢測單元通過圖像邊緣檢測算法，確定出所述屏幕截圖中包括的所有圖像對象，統(tǒng)計所述所有圖像對象中滿足自身的坐標信息與所述操作事件對應的坐標信息存在交集這一條件的圖像對象個數(shù)，若統(tǒng)計結果為一，則將存在交集的圖像對象作為與所述操作事件對應的圖像對象，若統(tǒng)計結果大于一，則將從存在交集的各圖像對象中選定的一個圖像對象作為與所述操作事件對應的圖像對象。10.根據(jù)權利要求8或9所述的裝置，其特征在于， 所述錄制文件生成單元以圖片的形式對各步驟信息中的圖像對象進行保存。11.根據(jù)權利要求10所述的裝置，其特征在于， 所述回放模塊中包括:錄制文件解析單元以及步驟信息回放單元； 所述錄制文件解析單元，用于對所述錄制文件進行解析，得到各步驟信息，將各步驟信息發(fā)送給所述步驟信息回放單元； 所述步驟信息回放單元，用于按照操作事件的發(fā)生時間由先到后的順序，分別對各步驟信息中的圖像對象執(zhí)行對應的操作事件。12.根據(jù)權利要求11所述的裝置，其特征在于， 所述步驟信息回放單元進一步用于，針對任一步驟信息，對所述被測設備進行屏幕截圖，通過圖像模板匹配算法，從所述屏幕截圖中確定出與所述步驟信息中的圖像對象相匹配的區(qū)域，在所述相匹配的區(qū)域的坐標位置執(zhí)行所述步驟信息中的操作事件。
【文檔編號】G06F11/36GK105955881SQ201610258224
【公開日】2016年9月21日
【申請日】2016年4月22日
【發(fā)明人】陳魯
【申請人】百度在線網(wǎng)絡技術（北京）有限公司