專利名稱：一種基于相似資源聚合的計算陣列能耗優(yōu)化方法
技術領域：
本發(fā)明涉及高性能計算系統(tǒng)計算陣列的能耗優(yōu)化方法，尤其是一種通過相似資源 聚合降低能耗的方法。
背景技術：
隨著高性能計算系統(tǒng)技術的不斷發(fā)展，新一代大規(guī)模并行計算系統(tǒng)的研制面臨許 多新的挑戰(zhàn)。特別是隨著系統(tǒng)性能的不斷提升，規(guī)模越來越龐大，系統(tǒng)的能耗飛速增長，造 成了大規(guī)模計算系統(tǒng)的能耗危機。系統(tǒng)能耗和系統(tǒng)性能的比值正成為高性能計算的主要評 價指標之一。高性能計算系統(tǒng)通常包括前端服務陣列、計算陣列、后端存儲陣列三個組成部 分。計算陣列由大量的計算結點組成，對外提供作業(yè)的執(zhí)行服務。計算陣列作為高性能 計算陣列的主要功耗部件，是能耗優(yōu)化研究和工程設計的重點。計算陣列通常由多個不 同級別的系統(tǒng)組成單元組成，常見的系統(tǒng)組成單元低級到高級包括1)結點單元共享一 個操作系統(tǒng)的計算結點，包含1到多個CPU，CPU之間共享主存。結點單元可置于S3休眠 狀態(tài)和從S3休眠狀態(tài)喚醒；2)刀片單元由Cl個結點單元組成，Cl的取值為2的整數冪
χ為自然數。刀片單元中的結點單元共享刀片電源和刀片級別的冷卻風扇。當且僅當 刀片單元中的所有結點單元處于休眠狀態(tài)時，可關閉刀片單元的電源和風扇，使整個刀片 單元處于關閉狀態(tài)，達到節(jié)能目的；3)機柜單元由C2個刀片單元組成，C2的取值為2的 整數冪F，_7為自然數。機柜單元中的刀片單元共享機柜電源、機柜級別的冷卻設施、通信 模塊。當且僅當機柜單元中所有刀片單元處于關閉狀態(tài)時，可關閉機柜單元的電源、冷卻、 通信模塊，使整個機柜處于關閉狀態(tài)，達到節(jié)能目的。目前常見的計算陣列能耗優(yōu)化方法包括
1)基于CPU調頻的能耗優(yōu)化方法。當CPU負載高的時候，調高CPU的時鐘頻率，滿足應 用的性能需求。當CPU負載低的時候，調低CPU的時鐘頻率，在滿足應用性能要求的同時降 低處理器的能耗。該方法主要優(yōu)化計算結點上有任務運行時候的能耗。當計算結點空閑的 時候，降到最低頻率的CPU仍然功耗較大，存在較大的優(yōu)化空間。2)關閉空閑結點的節(jié)能方法。由于用戶作業(yè)提交的不均衡特性和作業(yè)調度策略的 部分保序特性，計算陣列運行過程中存在大量的空閑計算結點。當計算結點空閑時間達到 預設參數后，將空閑結點置于S3休眠狀態(tài)。S3休眠狀態(tài)是ACPI (Advanced Configuration and Power Interface Specification)標準定義的計算系統(tǒng)的一種低功耗狀態(tài)，相比開機 狀態(tài)能夠節(jié)省90% - 95%的能耗。該方法是一種結點單元的節(jié)能方法，沒有考慮更高級別 的系統(tǒng)組成單元的能耗優(yōu)化。高性能計算系統(tǒng)計算陣列的能耗優(yōu)化方法是本領域技術人員關注的技術問題。現 有的高性能計算系統(tǒng)計算陣列能耗研究中沒有公開文獻涉及將相似資源聚合從而降低能 耗的方法。

發(fā)明內容
本發(fā)明要解決的技術問題在于針對高性能計算系統(tǒng)計算陣列的能耗優(yōu)化問題， 提出一種基于相似資源聚合的能耗優(yōu)化方法，維持盡可能多的可置于休眠或者關閉狀態(tài)的 計算資源，達到降低計算陣列能耗的目的。為了解決上述技術問題，本發(fā)明的技術方案為分級定義計算陣列中的能耗控制 單元，在計算陣列運行過程中將能耗狀態(tài)相似的資源聚合在能耗控制單元中，增加可置于 休眠或者關閉狀態(tài)的能耗控制單元的個數。能耗控制單元的能耗狀態(tài)包括工作狀態(tài)、空閑 狀態(tài)、關閉狀態(tài)、S3休眠狀態(tài)。所謂能耗狀態(tài)相似是指能耗控制單元處于相同或者相似的 能耗狀態(tài)，關閉狀態(tài)和S3休眠狀態(tài)為相似能耗狀態(tài)。具體技術方案為
第一步，根據計算陣列的系統(tǒng)組成單元定義計算陣列中能耗控制單元，能耗控制單元 從下級到上級包括結點能耗控制單元、刀片能耗控制單元、機柜能耗控制單元。對于包含 下級能耗控制單元的上級能耗控制單元，僅當其下級能耗控制單元全部處于一致的休眠或 者關閉的低功耗狀態(tài)時，上級能耗控制單元才可置于關閉狀態(tài)。在系統(tǒng)運行過程中盡量保 持能耗狀態(tài)相似的資源聚合在同一能耗控制單元，以有效增加可置于休眠或者關閉狀態(tài)的 能耗控制單元的個數，減少系統(tǒng)運行能耗。第二步，構造計算陣列能耗優(yōu)化系統(tǒng)。能耗優(yōu)化系統(tǒng)是部署在高性能計算系統(tǒng)的 前端服務陣列中服務器上的軟件包，由相似資源聚合模塊和能耗狀態(tài)控制模塊組成。相似 資源聚合模塊執(zhí)行能耗優(yōu)化決策，在系統(tǒng)運行過程中聚集具有相似能耗狀態(tài)的能耗控制單 元，為能耗狀態(tài)控制模塊提供盡可能多的可置于休眠或者關閉狀態(tài)的能耗控制單元。能耗 狀態(tài)控制模塊實施能耗優(yōu)化控制，檢測能耗控制單元的狀態(tài)，關閉內部能耗狀態(tài)一致的能 耗控制單元，開啟分配了作業(yè)的能耗控制單元。第三步，相似資源聚合模塊接收客戶端提交的作業(yè)，該作業(yè)計算結點需求量為M，M 為正整數。第四步，相似資源聚合模塊從計算陣列資源狀態(tài)庫中檢索出所有空閑狀態(tài)的計算 結點，根據保持能耗狀態(tài)相似的資源聚合在同一能耗控制單元的原則分配空閑計算結點， 按照能耗控制單元的層次從上級到下級的順序分配計算結點。方法是
4. 1初始化作業(yè)待分配的計算結點數量為k，k = M。
4. 2將所有的機柜單元按照空閑結點的數量從高到低排序為隊列jqueue，空閑結點數 量相同的機柜單元按照機柜單元中所有空閑結點的空閑時間的平均數從低到高排序。機柜 級別的資源選擇從jqueue隊列頭開始。當前機柜單元指針j的初始值為jqueue隊列頭的 機柜單元，機柜單元j的空閑結點數量為jtmp。4. 3 如果 k>=jtmp 且 jtmp>0，轉 4. 4 步，否則轉 4. 5 步。4. 4將當前機柜單元j的全部空閑計算結點賦予當前作業(yè)，k=k_jtmp。將j指針 朝jqueue隊列尾方向前移一個機柜單元，轉4. 3步。4. 5將機柜單元j包含的刀片單元按照空閑結點的數量從高到低排序為隊列的 dqueue，空閑結點數量相同的刀片單元按照刀片單元中所有空閑結點的空閑時間的平均數 從低到高排序。當前刀片單元指針d的初始值為dqueue隊列頭的刀片單元，刀片單元d的 空閑結點數量為dtmp。
4. 6 如果 k>=dtmp 且 dtmp>0，轉 4. 7 步，否則轉 4. 8 步。4. 7將當前刀片單元d的全部空閑計算結點賦予當前作業(yè)，k=k_dtmp。將d指針 朝dqueue隊列尾方向移一個刀片單元，轉4. 6步。4. 8將刀片單元d包含的結點單元按照空閑時間的大小從低到高排序為隊列 nqueue,隊列頭的結點單元記為n，活躍的結點單元數量為ntmp。4. 9如果k>0且Kntmp，轉4. 10步，否則轉第五步。4. 10將刀片單元d的前k個空閑結點賦予當前作業(yè)，k = 0。第五步，檢查作業(yè)的資源分配請求是否已滿足。如果k=0，即作業(yè)的資源分配請求 已滿足，轉第七步。第六步，相似資源聚合模塊從計算陣列資源狀態(tài)庫中檢索出所有休眠狀態(tài)的計算 結點，根據保持能耗狀態(tài)相似的資源聚合在同一能耗控制單元的原則分配休眠計算結點， 按照能耗控制單元的層次從上級到下級的順序分配計算結點。方法是
6. 1將所有的機柜單元按照休眠結點的數量從低到高排序為隊列jsqueue，休眠結點 數量相同的機柜單元按照機柜單元中所有休眠結點的休眠時間的平均數從高到低排序。機 柜級別的資源選擇從jsqueue隊列頭開始。當前機柜單元指針js的初始值為jsqueue隊 列頭的機柜單元，機柜單元js的休眠結點數量為jstmp。6. 2 如果 k>=jstmp 且 jstmp>0,則轉 6. 3 步，否則轉 6. 4 步。6. 3將當前機柜單元js的全部休眠計算結點賦予當前作業(yè)，k=k-jstmp。將js指 針朝jsqueue隊列尾方向前移一個機柜單元，轉6. 2步。6. 4將機柜單元js包含的刀片單元按照休眠結點的數量從低到高排序為隊列的 dsqueue，休眠結點數量相同的刀片單元按照刀片單元中所有休眠結點的休眠時間的平均 數從高到低排序。當前刀片單元指針ds的初始值為dsqueue隊列頭的刀片單元，刀片單元 ds的休眠結點數量為dstmp。6. 5 如果 k>=dstmp 且 dstmp>0，則轉 6. 6 步，否則轉 6. 7 步。6. 6將當前刀片單元ds的全部休眠計算結點賦予當前作業(yè)，k=k-dstmp。將d指 針朝dsqueue隊列尾方向移一個刀片單元，轉6. 5步。6. 7將刀片單元ds包含的結點單元按照休眠時間的大小從高到低排序為隊列 nsqueue,隊列頭的結點單元記為ns，休眠的結點單元數量為nstmp。6. 8如果k>0且Knstmp，轉6. 9步，否則轉第七步。6. 9將刀片單元ds的前k個休眠結點賦予當前作業(yè)，k = 0。第七步，能耗狀態(tài)控制模塊按照機柜能耗控制單元、刀片能耗控制單元、結點能耗 控制單元的順序喚醒已分配作業(yè)的處于休眠或者關閉狀態(tài)的能耗控制單元。如果已分配 作業(yè)的計算結點所在的機柜單元處于關閉狀態(tài)，調用高性能計算系統(tǒng)控制軟件喚醒機柜單 元。如果已分配作業(yè)的計算結點所在的刀片單元處于關閉狀態(tài)，調用高性能計算系統(tǒng)控制 軟件喚醒刀片單元。如果已分配作業(yè)的計算結點處于休眠狀態(tài)，調用操作系統(tǒng)提供的ACPI 控制接口喚醒已分配作業(yè)的休眠態(tài)計算結點。高性能計算系統(tǒng)控制軟件是高性能計算系統(tǒng) 中用于開啟或者關閉能耗單元的應用軟件，是部署在高性能計算系統(tǒng)的前端服務陣列中服 務器上的軟件包。第八步，能耗狀態(tài)控制模塊每隔時間間隔T檢測能耗控制單元的狀態(tài)，調用操作系統(tǒng)的ACPI控制接口對空閑態(tài)計算結點執(zhí)行休眠操作。時間間隔T的取值范圍為1分鐘 到3分鐘。刀片單元內所有結點單元已全部休眠的，調用高性能計算系統(tǒng)控制軟件執(zhí)行刀 片關閉操作。機柜單元內所有刀片單元已關閉的，調用高性能計算系統(tǒng)控制軟件執(zhí)行機柜 關閉操作。
與現有技術相比，采用本發(fā)明可達到以下技術效果
1.本發(fā)明第四步和第六步支持本發(fā)明按照能耗控制單元的層次分配計算結點，保持了 能耗狀態(tài)相似的能耗單元的聚合特性，提高了能耗控制單元關閉的概率；
2.本發(fā)明第四步支持本發(fā)明優(yōu)先分配空閑結點，減少了計算結點的能耗狀態(tài)切換次
數；
3.本發(fā)明第四步支持本發(fā)明優(yōu)先選擇空閑時間短的結點分配，增加了結點休眠的概
率；
4.本發(fā)明第六步支持本發(fā)明優(yōu)先選擇休眠時間長的結點分配，保持了結點休眠時間的 均等性。


圖1為本發(fā)明的能耗優(yōu)化方法流程圖。
具體實施例方式圖1為本發(fā)明的能耗優(yōu)化方法流程圖，包括以下步驟
第一步，根據計算陣列的系統(tǒng)組成單元定義計算陣列中能耗控制單元，能耗控制單元 從下級到上級包括結點能耗控制單元、刀片能耗控制單元、機柜能耗控制單元。第二步，構造計算陣列能耗優(yōu)化系統(tǒng)。能耗優(yōu)化系統(tǒng)是部署在高性能計算系統(tǒng)的 前端服務陣列中服務器上的軟件包，由相似資源聚合模塊和能耗狀態(tài)控制模塊組成。第三步，相似資源聚合模塊接收客戶端提交的作業(yè)，該作業(yè)計算結點需求量為M，M 為正整數。第四步，相似資源聚合模塊從計算陣列資源狀態(tài)庫中檢索出所有空閑狀態(tài)的計算 結點，根據保持能耗狀態(tài)相似的資源聚合在同一能耗控制單元的原則分配空閑計算結點， 按照能耗控制單元的層次從上級到下級的順序分配計算結點。第五步、檢查作業(yè)的資源分配請求是否已滿足。如果作業(yè)的資源分配請求已滿足， 轉第七步。第六步，相似資源聚合模塊從計算陣列資源狀態(tài)庫中檢索出所有休眠狀態(tài)的計算 結點，根據保持能耗狀態(tài)相似的資源聚合在同一能耗控制單元的原則分配休眠計算結點， 按照能耗控制單元的層次從上級到下級的順序分配計算結點。第七步，能耗狀態(tài)控制模塊按照機柜能耗控制單元、刀片能耗控制單元、結點能耗 控制單元的順序喚醒已分配作業(yè)的處于休眠或者關閉狀態(tài)的能耗控制單元。第八步、能耗狀態(tài)控制模塊每隔時間間隔T檢測能耗控制單元的狀態(tài)，調用操作 系統(tǒng)的ACPI控制接口對空閑態(tài)計算結點執(zhí)行休眠操作。刀片單元內所有結點單元已全部 休眠的，調用高性能計算系統(tǒng)控制軟件執(zhí)行刀片關閉操作。機柜單元內所有刀片單元已關閉的，調用高性能計算系統(tǒng)控制軟件執(zhí)行機柜關閉操作。
權利要求
一種基于相似資源聚合的計算陣列能耗優(yōu)化方法，其特征在于包括以下步驟第一步，根據計算陣列的系統(tǒng)組成單元定義計算陣列中能耗控制單元，能耗控制單元從下級到上級包括結點能耗控制單元、刀片能耗控制單元、機柜能耗控制單元；對于包含下級能耗控制單元的上級能耗控制單元，僅當其下級能耗控制單元全部處于一致的休眠或者關閉的低功耗狀態(tài)時，上級能耗控制單元才可置于關閉狀態(tài)；第二步，構造計算陣列能耗優(yōu)化系統(tǒng)，能耗優(yōu)化系統(tǒng)是部署在高性能計算系統(tǒng)的前端服務陣列中服務器上的軟件包，由相似資源聚合模塊和能耗狀態(tài)控制模塊組成；相似資源聚合模塊執(zhí)行能耗優(yōu)化決策，在系統(tǒng)運行過程中聚集具有相似能耗狀態(tài)的能耗控制單元，為能耗狀態(tài)控制模塊提供盡可能多的可置于休眠或者關閉狀態(tài)的能耗控制單元；能耗狀態(tài)控制模塊實施能耗優(yōu)化控制，檢測能耗控制單元的狀態(tài)，關閉內部能耗狀態(tài)一致的能耗控制單元，開啟分配了作業(yè)的能耗控制單元；第三步，相似資源聚合模塊接收客戶端提交的作業(yè)，該作業(yè)計算結點需求量為M，M為正整數；第四步，相似資源聚合模塊從計算陣列資源狀態(tài)庫中檢索出所有空閑狀態(tài)的計算結點，根據保持能耗狀態(tài)相似的資源聚合在同一能耗控制單元的原則分配空閑計算結點，按照能耗控制單元的層次從上級到下級的順序分配計算結點，方法是 4.1初始化作業(yè)待分配的計算結點數量為k，k＝M；　　4.2將所有的機柜單元按照空閑結點的數量從高到低排序為隊列jqueue，空閑結點數量相同的機柜單元按照機柜單元中所有空閑結點的空閑時間的平均數從低到高排序；機柜級別的資源選擇從jqueue隊列頭開始；當前機柜單元指針j的初始值為jqueue隊列頭的機柜單元，機柜單元j的空閑結點數量為jtmp；4.3如果k>=jtmp且jtmp>0，轉4.4步，否則轉4.5步；4.4將當前機柜單元j的全部空閑計算結點賦予當前作業(yè)，k=k jtmp，將j指針朝jqueue隊列尾方向前移一個機柜單元，轉4.3步；4.5將機柜單元j包含的刀片單元按照空閑結點的數量從高到低排序為隊列的dqueue，空閑結點數量相同的刀片單元按照刀片單元中所有空閑結點的空閑時間的平均數從低到高排序，當前刀片單元指針d的初始值為dqueue隊列頭的刀片單元，刀片單元d的空閑結點數量為dtmp；4.6如果k>=dtmp且dtmp>0，轉4.7步，否則轉4.8步；4.7將當前刀片單元d的全部空閑計算結點賦予當前作業(yè)，k=k dtmp，將d指針朝dqueue隊列尾方向移一個刀片單元，轉4.6步；4.8將刀片單元d包含的結點單元按照空閑時間的大小從低到高排序為隊列nqueue，隊列頭的結點單元記為n，活躍的結點單元數量為ntmp；4.9如果k>0且k<ntmp，轉4.10步，否則轉第五步；4.10將刀片單元d的前k個空閑結點賦予當前作業(yè)，k＝0；第五步，檢查作業(yè)的資源分配請求是否已滿足，如果k=0，轉第七步；第六步，相似資源聚合模塊從計算陣列資源狀態(tài)庫中檢索出所有休眠狀態(tài)的計算結點，根據保持能耗狀態(tài)相似的資源聚合在同一能耗控制單元的原則分配休眠計算結點，按照能耗控制單元的層次從上級到下級的順序分配計算結點，方法是6.1將所有的機柜單元按照休眠結點的數量從低到高排序為隊列jsqueue，休眠結點數量相同的機柜單元按照機柜單元中所有休眠結點的休眠時間的平均數從高到低排序，機柜級別的資源選擇從jsqueue隊列頭開始；當前機柜單元指針js的初始值為jsqueue隊列頭的機柜單元，機柜單元js的休眠結點數量為jstmp；6.2如果k>=jstmp且jstmp>0，則轉6.3步，否則轉6.4步；6.3將當前機柜單元js的全部休眠計算結點賦予當前作業(yè)，k=k jstmp，將js指針朝jsqueue隊列尾方向前移一個機柜單元，轉6.2步；6.4將機柜單元js包含的刀片單元按照休眠結點的數量從低到高排序為隊列的dsqueue，休眠結點數量相同的刀片單元按照刀片單元中所有休眠結點的休眠時間的平均數從高到低排序，當前刀片單元指針ds的初始值為dsqueue隊列頭的刀片單元，刀片單元ds的休眠結點數量為dstmp；6.5如果k>=dstmp且dstmp>0，轉6.6步，否則轉6.7步；6.6將當前刀片單元ds的全部休眠計算結點賦予當前作業(yè)，k=k dstmp，將d指針朝dsqueue隊列尾方向移一個刀片單元，轉6.5步；6.7將刀片單元ds包含的結點單元按照休眠時間的大小從高到低排序為隊列nsqueue，隊列頭的結點單元記為ns，休眠的結點單元數量為nstmp；6.8如果k>0且k<nstmp，轉6.9步，否則轉第七步；6.9將刀片單元ds的前k個休眠結點賦予當前作業(yè)，k＝0；第七步，能耗狀態(tài)控制模塊按照機柜能耗控制單元、刀片能耗控制單元、結點能耗控制單元的順序喚醒已分配作業(yè)的處于休眠或者關閉狀態(tài)的能耗控制單元；如果已分配作業(yè)的計算結點所在的機柜單元處于關閉狀態(tài)，調用高性能計算系統(tǒng)控制軟件喚醒機柜單元；如果已分配作業(yè)的計算結點所在的刀片單元處于關閉狀態(tài)，調用高性能計算系統(tǒng)控制軟件喚醒刀片單元；如果已分配作業(yè)的計算結點處于休眠狀態(tài)，調用操作系統(tǒng)提供的ACPI控制接口喚醒已分配作業(yè)的休眠態(tài)計算結點；高性能計算系統(tǒng)控制軟件是高性能計算系統(tǒng)中用于開啟或者關閉能耗單元的應用軟件，是部署在高性能計算系統(tǒng)的前端服務陣列中服務器上的軟件包；第八步，能耗狀態(tài)控制模塊每隔時間間隔T檢測能耗控制單元的狀態(tài)，調用操作系統(tǒng)的ACPI控制接口對空閑態(tài)計算結點執(zhí)行休眠操作；刀片單元內所有結點單元已全部休眠的，調用高性能計算系統(tǒng)控制軟件執(zhí)行刀片關閉操作；機柜單元內所有刀片單元已關閉的，調用高性能計算系統(tǒng)控制軟件執(zhí)行機柜關閉操作。
2.如權利要求1所述的基于相似資源聚合的計算陣列能耗優(yōu)化方法，其特征在于時間 間隔T的取值范圍為1分鐘到3分鐘。
全文摘要
本發(fā)明公開了一種基于相似資源聚合的計算陣列能耗優(yōu)化方法，目的是降低計算陣列能耗。技術方案是定義結點能耗控制單元、刀片能耗控制單元、機柜能耗控制單元；構造由相似資源聚合模塊和能耗狀態(tài)控制模塊組成的計算陣列能耗優(yōu)化系統(tǒng)；相似資源聚合模塊根據保持能耗狀態(tài)相似的資源聚合在同一能耗控制單元的原則分配空閑計算結點和休眠計算結點，按照能耗控制單元的層次從上級到下級的順序分配計算結點；能耗狀態(tài)控制模塊實施能耗優(yōu)化控制，檢測能耗控制單元的狀態(tài)，關閉內部能耗狀態(tài)一致的能耗控制單元，開啟分配了作業(yè)的能耗控制單元。采用本發(fā)明可以保持能耗狀態(tài)相似的能耗單元的聚合特性，提高能耗控制單元關閉的概率，從而降低能耗。
文檔編號G06F1/32GK101943943SQ20101028168
公開日2011年1月12日 申請日期2010年9月15日 優(yōu)先權日2010年9月15日
發(fā)明者盧宇彤, 周恩強, 徐煒遐, 所光, 曹宏嘉, 董勇, 蔣艷凰, 謝旻, 陳海濤 申請人:中國人民解放軍國防科學技術大學