一種客戶端設備性能測試方法及系統(tǒng)的制作方法
【技術領域】
[0001]本申請涉及移動客戶端設備測試技術，尤其涉及一種客戶端設備性能測試方法及系統(tǒng)。
【背景技術】
[0002]客戶端設備性能測試的實現(xiàn)原理是在執(zhí)行測試過程的基礎上，同時對執(zhí)行被測程序客戶端設備的性能參數(shù)(如內(nèi)存、CPU、FPS、流量、溫度、電量和電壓等)的收集、整理和分析，是一種最基本的測試類型。對于大型手游來說，良好的游戲體驗是提高玩家留存率的重要因素，而客戶端設備性能是良好游戲體驗的前提，因此手游客戶端設備的性能測試更加顯得必要。
[0003]傳統(tǒng)的客戶端設備性能測試流程通常為:開發(fā)人員完成程序代碼、美術資源及服務器部署之后，將客戶端設備程序打包提交給測試員進行測試，而測試人員需要對硬件和軟件進行特定需求的準備工作之后，展開具有高度重復性的測試執(zhí)行操作；而且，為了提高測試的科學性，還要確保操作步驟、測試用例的先后順序在每臺測試設備上的一致性；與此同時，還要完成性能數(shù)據(jù)的收集工作。
[0004]現(xiàn)有技術中的客戶端設備性能測試流程如圖1所示，包括如下步驟:
[0005]步驟101:準備客戶端設備性能測試用例。
[0006]步驟102:在被測客戶端設備上部署測試環(huán)境。
[0007]步驟103:根據(jù)客戶端設備性能測試用例，在被測客戶端設備上執(zhí)行測試(如完成游戲登錄、完成新手引導、切換游戲場景等)，與此同時收集對應測試用例的性能數(shù)據(jù)。重復該步驟，直到所有性能測試用例的執(zhí)行完畢。
[0008]步驟104:整理和分析性能數(shù)據(jù)，最終生成測試報告。
[0009]從上述描述可以看出，現(xiàn)有的客戶端設備性能測試過程耗費人力巨大，效率低，單純通過人力收集性能數(shù)據(jù)對于捕捉程序運行時的瞬時數(shù)據(jù)來說能力有限，幾秒鐘之內(nèi)對于運行中的程序來說可能會發(fā)生很多事情；此外傳統(tǒng)方法執(zhí)行客戶端設備性能測試對于測試員來說，高度的重復性操作是一種巨大的煎熬。
[0010]此外，目前業(yè)內(nèi)進行一次客戶端設備性能測試的時長通常在10-15分鐘，而且最終得到數(shù)據(jù)反映的是客戶端設備整體性能，如果出現(xiàn)性能異常，無法根據(jù)測試數(shù)據(jù)定位到底是哪個功能模塊出現(xiàn)問題。

【發(fā)明內(nèi)容】

[0011]本申請?zhí)峁┝艘环N客戶端設備性能測試方法及系統(tǒng)，能夠自動高效地完成對客戶端設備性能的測試。
[0012]本申請實施例提供了一種客戶端設備性能測試系統(tǒng)，包括:腳本錄制模塊、性能收集模塊、任務分發(fā)管理模塊、文件服務器模塊和測試數(shù)據(jù)分析模塊；
[0013]所述腳本錄制模塊用于將對被測客戶端設備的操作轉化為自動化腳本語句，將多條自動化腳本語句按照邏輯順序組合成包含多個測試用例集的測試腳本；向任務分發(fā)管理模塊發(fā)送攜帶所述測試腳本的測試任務；
[0014]所述任務分發(fā)管理模塊用于從文件服務器模塊下載各測試任務對應的測試應用包，發(fā)送指令將測試應用包安裝到被測客戶端設備上；接收來自腳本錄制模塊的測試任務，根據(jù)被測客戶端設備的狀態(tài)，當被測客戶端設備空閑時，將新的測試任務分發(fā)到該被測客戶端設備上；
[0015]文件服務器模塊用于存儲測試應用包；客戶端設備測試完成后，接收被測客戶端設備上傳的測試日志；
[0016]性能收集模塊，用于在被測客戶端設備執(zhí)行測試腳本的過程中，收集被測客戶端設備的性能數(shù)據(jù)及被測程序的運行日志；
[0017]測試數(shù)據(jù)分析模塊用于檢測到某個測試任務完成時，從文件服務器模塊下載該測試任務對應的所有測試日志，從性能收集模塊下載性能數(shù)據(jù)以及運行日志，根據(jù)測試日志和運行日志對性能數(shù)據(jù)進行性能的統(tǒng)計分析，得到分析結果。
[0018]可選地，該客戶端設備性能測試系統(tǒng)進一步包括測試報告生成模塊，將測試數(shù)據(jù)分析模塊獲得的分析結果依次填充到指定的報告模板當中，生成表格版的報告；和/或，將分析結果通過網(wǎng)頁展示，分為整體表現(xiàn)和測試詳情兩種形式。
[0019]可選地，所述整體表現(xiàn)包括:通過餅狀圖和條形圖直觀展示出被測客戶端設備的性能維度，性能維度包括CPU占用率、流量、內(nèi)存、溫度和幀率，以及根據(jù)調(diào)研出的性能標準判斷出本次測試的整體通過率；
[0020]所述測試詳情包括:以每臺被測客戶端設備的詳細性能數(shù)據(jù)作為中心來展示，標示出性能異常的時間點；每個性能維度都有獨立的隨時間變化的曲線圖，圖內(nèi)以不同測試用例為區(qū)間。
[0021]可選地，該客戶端設備性能測試系統(tǒng)進一步包括郵件模塊，用于將測試報告生成模塊所生成的測試包括通過郵件發(fā)送到指定的郵箱中。
[0022]可選地，所述性能收集模塊同時啟動程序運行日志的接口與測試初始化，完整記錄被測程序在啟動時的運行日志；以測試腳本回放為主線程，被測程序運行日志與性能數(shù)據(jù)收集各占用一條輔線程，三條進程同步進行，性能數(shù)據(jù)的收集間隔時間為1秒鐘，每秒鐘性能收集線程將依次做如下數(shù)據(jù)的獲取:時間戳、測試用例標題以及被測客戶端設備的性能數(shù)據(jù)，從而得到測試腳本執(zhí)行的每一步及每一個時間點對應的被測程序運行日志及被測客戶端設備的性能數(shù)據(jù)。
[0023]可選地，所述被測客戶端設備的性能數(shù)據(jù)包括:被測程序CPU占用率、被測程序內(nèi)存占用率、被測程序所占實際物理內(nèi)存、被測程序獨自占用的物理內(nèi)存、幀率、流量、設備溫度、設備剩余可用內(nèi)存、電池電量和電壓。
[0024]本申請實施例還提供了一種客戶端設備性能測試方法，包括:
[0025]A、將對被測客戶端設備的操作轉化為自動化腳本語句，將多條自動化腳本語句按照邏輯順序組合成包含多個測試用例集的測試腳本；
[0026]B、生成包含所述測試腳本的測試任務；將測試任務對應的測試應用包安裝到被測客戶端設備上；
[0027]C、根據(jù)被測客戶端設備的狀態(tài)，當被測客戶端設備空閑時，將新的測試任務分發(fā)到該被測客戶端設備上，被測客戶端設備執(zhí)行測試任務對應的測試腳本；
[0028]D、在被測客戶端設備執(zhí)行測試腳本的過程中，收集被測客戶端設備的性能數(shù)據(jù)及被測程序的運行日志；測試完成后，接收被測客戶端設備上傳的測試日志；
[0029]E、測試任務完成時，根據(jù)測試日志和運行日志對性能數(shù)據(jù)進行性能的統(tǒng)計分析，得到分析結果。
[0030]可選地，步驟E之后，進一步包括:
[0031]F、將測試數(shù)據(jù)分析模塊獲得的分析結果依次填充到指定的報告模板當中，生成表格版的報告；和/或，將分析結果通過網(wǎng)頁展示，分為整體表現(xiàn)和測試詳情兩種形式。
[0032]可選地，所述整體表現(xiàn)包括:通過餅狀圖和條形圖直觀展示出被測客戶端設備的性能維度，性能維度包括CPU占用率、流量、內(nèi)存、溫度和幀率，以及根據(jù)調(diào)研出的性能標準判斷出本次測試的整體通過率；
[0033]所述測試詳情包括:以每臺被測客戶端設備的詳細性能數(shù)據(jù)作為中心來展示，標示出性能異常的時間點；每個性能維度都有獨立的隨時間變化的曲線圖，圖內(nèi)以不同測試用例為區(qū)間。
[0034]可選地，步驟F之后進一步包括:將所生成的測試包括通過郵件發(fā)送到指定的郵箱中。
[0035]可選地，步驟D包括:
[0036]同時啟動程序運行日志的接口與測試初始化，完整記錄被測程序在啟動時的運行日志；以測試腳本回放為主線程，被測程序運行日志與性能數(shù)據(jù)收集各占用一條輔線程，三條進程同步進行，性能數(shù)據(jù)的收集間隔時間為1秒鐘，每秒鐘性能收集線程將依次做如下數(shù)據(jù)的獲取:時間戳、測試用例標題以及被測客戶端設備的性能數(shù)據(jù)，從而得到測試腳本執(zhí)行的每一步及每一個時間點對應