專利名稱：一種面向數(shù)據(jù)并行計算的容錯方法
技術領域：
本發(fā)明屬于并行系統(tǒng)容錯的技術領域，涉及利用冗余計算對關鍵計算任務進行檢錯和恢復，特別提出一種基于容錯數(shù)據(jù)塊二次劃分及二次調(diào)度的故障恢復策略。
背景技術：
計算機系統(tǒng)的容錯處理是一個不容忽視的問題。一個系統(tǒng)是容錯的，指的是它的程序在出現(xiàn)邏輯故障的情況下仍然能夠正確的運行。近年來，隨著系統(tǒng)結(jié)構(gòu)的復雜性增加，半導體制造工藝的發(fā)展，線寬的降低以及集成度的提高，從用戶桌面系統(tǒng)到分布式計算環(huán)境，乃至大規(guī)模并行計算機系統(tǒng)，功耗和可靠性問題都日漸突出。計算機系統(tǒng)的可靠性反映了系統(tǒng)為用戶提供預定服務的能力，可靠性的高低與系統(tǒng)故障率緊密相關。容錯技術的目的在于降低計算機系統(tǒng)的故障率，或者在一 定故障率的如提下，提聞系統(tǒng)能正確提供服務的概率。容錯技術雖然多樣，但具有一個共同的本質(zhì)，就是進行一定程度的冗余計算。所謂冗余計算是指在對關鍵任務進行多副本的同步計算。最基本的冗余包括時間冗余和空間冗余。時間冗余直觀地講就是復算(recompute)，包括重復進行的計算和重復進行的通信，以及對多次計算結(jié)果的比較?？臻g冗余又可以細分為軟件冗余、硬件冗余和信息冗余。軟件冗余就是設置冗余的軟件模塊；硬件冗余就是設置冗余的硬件部件；而信息冗余就是通過使用附加的數(shù)據(jù)來描述某些內(nèi)部狀態(tài)，通過對這些附加數(shù)據(jù)的考察就可以實現(xiàn)檢錯和容錯。通過對現(xiàn)有的研究工作分析研究發(fā)現(xiàn)，目前國內(nèi)外已有的并行系統(tǒng)的成果主要基于硬件冗余和軟件冗余機制，且主要用于故障檢測，而針對故障恢復機制的研究還很少。當前主流的軟件容錯策略面向時間冗余的方法，導致計算失敗的節(jié)點需要重新進行任務恢復，由于其恢復時間大于前一個檢查點和故障發(fā)生時刻之間的時間間隔，從而導致大量剩余的計算資源處于閑置的狀態(tài)，而這些問題導致了并行效率降低以及計算資源的浪費。

發(fā)明內(nèi)容
本發(fā)明針對上述問題，提出了基于冗余計算的故障檢測方法以及基于二次調(diào)度的故障恢復方法，能夠提高并行效率。本發(fā)明一種面向數(shù)據(jù)并行計算的容錯處理方法采用的技術方案如下a)對關鍵計算任務進行二次冗余或三次冗余計算策略及錯誤判定(I)容錯調(diào)度策略采用二次調(diào)度方法，包括冗余計算策略和調(diào)度方法。冗余計算策略分為二次冗余和三次冗余。二次冗余計算開銷小，但只能判斷任務是否出錯，不能確定采用哪個結(jié)果；而三次冗余可確定正確結(jié)果，但開銷大。冗余策略RI可以根據(jù)集群計算節(jié)點空閑數(shù)和任務數(shù)確定如下
權利要求
1.一種面向數(shù)據(jù)并行計算的容錯處理方法，其特征在于，所述方法包括a)對關鍵計算任務進行二次冗余或三次冗余計算策略及錯誤判定山)基于內(nèi)存頁調(diào)度策略的容錯數(shù)據(jù)塊的理論層次結(jié)構(gòu)；c)基于空閑節(jié)點個數(shù)以及最小數(shù)據(jù)塊的容錯數(shù)據(jù)塊的二次劃分。
2.根據(jù)權利要求I所述的一種面向數(shù)據(jù)并行計算的容錯處理方法，其特征在于，所述冗余計算策略的確定方法為結(jié)合集群計算節(jié)點空閑數(shù)和任務數(shù)，依據(jù)冗余策略RI確定合適的計算策略；其中，冗余策略RI為
3.根據(jù)權利要求I所述的一種面向數(shù)據(jù)并行計算的容錯處理方法，其特征在于，所述對關鍵計算任務進行二次冗余計算的方法包括 步驟201，具有相同功能的兩個模塊共同執(zhí)行同一個任務； 步驟202，錯誤檢測裁決器對兩個節(jié)點的計算結(jié)果進行比較判定，若求得的值大于閾值ε，則執(zhí)行步驟203 ;若不大于閾值ε，則執(zhí)行步驟204 ； 其中，裁決器判定公式為
4.根據(jù)權利要求I所述的一種面向數(shù)據(jù)并行計算的容錯處理方法，其特征在于，所述對關鍵計算任務進行三次冗余計算的方法包括 步驟301，具有相同功能的三個模塊共同執(zhí)行同一個任務； 步驟302，錯誤檢測裁決器對三個節(jié)點的計算結(jié)果進行兩兩比較判定，若求得的值均不大于閾值ε，則執(zhí)行步驟306 ;若不是，則執(zhí)行步驟303繼續(xù)判定； 其中，裁決器判定公式為
5.根據(jù)權利要求I所述的一種面向數(shù)據(jù)并行計算的容錯處理方法，其特征在于，所述基于內(nèi)存頁調(diào)度策略的出錯任務對應數(shù)據(jù)塊的層次結(jié)構(gòu)構(gòu)建包括 步驟401，基于內(nèi)存頁調(diào)度策略，可以得到最小數(shù)據(jù)單位fmin;按照四叉樹結(jié)構(gòu)組合得到復合數(shù)據(jù)，從而得到一個樹結(jié)構(gòu)； 步驟402，根據(jù)計算結(jié)點內(nèi)存大小M和可用比例δ，計算復合數(shù)據(jù)塊最大值fmax，并確定四叉樹的層數(shù)I ;
6.根據(jù)權利要求I所述的一種面向數(shù)據(jù)并行計算的容錯處理方法，其特征在于，所述基于空閑節(jié)點個數(shù)以及最小數(shù)據(jù)塊的容錯數(shù)據(jù)塊二次劃分方法包括 步驟501，掃描當前集群系統(tǒng)中的空閑節(jié)點得到當前空閑節(jié)點的個數(shù)n，可求得按空閑節(jié)點劃分的理論劃分層次K為··
全文摘要
本發(fā)明公開了一種面向數(shù)據(jù)并行計算的容錯處理方法，屬于并行系統(tǒng)容錯的技術領域，是一種基于出錯任務對應的數(shù)據(jù)塊進行二次劃分及二次調(diào)度的錯誤恢復策略與方法。該方法包括對關鍵計算任務進行二次冗余或三次冗余計算及結(jié)果判定；基于內(nèi)存頁調(diào)度策略的數(shù)據(jù)組成結(jié)構(gòu)的構(gòu)造方法；基于空閑節(jié)點個數(shù)以及最小數(shù)據(jù)塊的容錯數(shù)據(jù)塊的二次劃分。本發(fā)明完全可應用于大規(guī)模海量數(shù)據(jù)的并行數(shù)字地形分析的高性能計算的容錯處理場合，例如，規(guī)則格網(wǎng)并行插值、坡度坡向并行計算、洼地填平并行計算等地形因子提?。豢梢詰糜诘乩硇畔⑻幚淼母咝阅苡嬎?；也可以應用于基于地理信息的空間決策分析和數(shù)據(jù)挖掘等應用場合，提高處理效率。
文檔編號G06F11/14GK102902603SQ20121036627
公開日2013年1月30日 申請日期2012年9月27日 優(yōu)先權日2012年9月27日
發(fā)明者竇萬峰, 楊坤, 許敏, 宋效東, 湯國安 申請人:南京師范大學