分布式計算架構(gòu)的制作方法
【專利說明】分布式計算架構(gòu)
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2013年I月29日提交的美國實用新型專利申請第13/752，985號的權(quán)益，通過引用將其并入本文。
技術(shù)領(lǐng)域
[0003]本發(fā)明涉及分布式計算，并且更具體地涉及用于可縮放的處理系統(tǒng)的數(shù)據(jù)的處理和存儲。
【背景技術(shù)】
[0004]在此提供的背景描述是為了一般地呈現(xiàn)本公開的上下文的目的。就在該背景部分所描述的程度而言，當(dāng)前署名的發(fā)明人的工作以及在提交時可以不另外被限制為現(xiàn)有技術(shù)的描述的多個方面，既不明確地也不隱含地被認為是本公開的現(xiàn)有技術(shù)。
[0005]計算機系統(tǒng)在存儲容量和處理容量兩方面具有有限限度。當(dāng)達到這些容量的任一個或兩個時，計算機系統(tǒng)的性能受到影響。為了防止或減小性能的損失，可以增加附加的計算硬件，以增加處理和/或存儲容量。該過程稱為縮放(scaling)，并且不同類型的工作負載呈現(xiàn)不同的縮放挑戰(zhàn)。
[0006]一種用于縮放的方法是在多計算機系統(tǒng)中并行化計算處理，該計算機系統(tǒng)經(jīng)由消息傳遞接口(MPI)交互。MPI可以允許并行計算系統(tǒng)來協(xié)調(diào)處理，以避免由一個系統(tǒng)作出的改變和由另一個系統(tǒng)做出的改變之間的沖突。已經(jīng)以許多語言(包括C、C++和Fortran)實現(xiàn)MPI。單獨的計算系統(tǒng)可以是在單獨的物理外殼中，并且/或者可以是多個處理器在單個計算機機箱內(nèi)，或甚至多個核心在單個處理器內(nèi)。MPI可以允許在大規(guī)模并行共享存儲器機器以及異構(gòu)分布式存儲器計算機的集群上高性能。
[0007]另一種縮放方法使用用于結(jié)構(gòu)化查詢語言(SQL)數(shù)據(jù)庫的分布式存儲。然而，因為需要保持單獨的計算機的同步，分布式SQL數(shù)據(jù)庫中的事務(wù)性操作通常被減慢。即使當(dāng)使用快的網(wǎng)絡(luò)(諸如，無限帶寬)時，同步可以在性能和可擴展性上強加限制。此外，SQL數(shù)據(jù)庫方法的附加的限制是，通常不在SQL數(shù)據(jù)庫服務(wù)器上執(zhí)行數(shù)據(jù)處理，而是在另一個服務(wù)器上。因為從SQL服務(wù)器到計算服務(wù)器以及再次返回至SQL服務(wù)器的數(shù)據(jù)傳輸，這增加了延遲。
[0008]并行處理對大數(shù)據(jù)集是有益的，大數(shù)據(jù)集的部分可以跨過不同節(jié)點被擴展并且被獨立地處理。然而，一些或全部事務(wù)可以取決于一個或多個先前的事務(wù)的事務(wù)處理不容易被并行化。例如，通過在事務(wù)的處理開始之前鎖定數(shù)據(jù)的部分以及根據(jù)事務(wù)的成功完成解鎖數(shù)據(jù)，計算機可以同步訪問數(shù)據(jù)的一部分。當(dāng)數(shù)據(jù)被鎖定時，其它計算機不能改變該數(shù)據(jù)，并且在某些情況下甚至不能讀取數(shù)據(jù)。作為鎖定/解鎖處理的結(jié)果，可能存在顯著的延遲以及顯著的延遲的變化。

【發(fā)明內(nèi)容】

[0009]系統(tǒng)包括各自包括處理器和存儲器的多個服務(wù)器、以及包括處理器和存儲器的邊界服務(wù)器。邊界服務(wù)器(i)接收針對可以通過執(zhí)行多個任務(wù)實現(xiàn)的事務(wù)的請求，(?)識別多個任務(wù)中的第一任務(wù)，(iii)通過基于第一任務(wù)的類型查詢存儲在邊界服務(wù)器的存儲器中的路由數(shù)據(jù)來識別多個服務(wù)器中的初始服務(wù)器，以執(zhí)行第一任務(wù)，并且(iv)請求初始服務(wù)器執(zhí)行第一任務(wù)。響應(yīng)于從邊界服務(wù)器接收到的對任務(wù)的請求，多個服務(wù)器中的每個服務(wù)器被配置為:(i)使用與被唯一地存儲于服務(wù)器上的接收到的任務(wù)相關(guān)的數(shù)據(jù)執(zhí)行接收到的任務(wù)，(ii)確定是否所接收到的任務(wù)需要附加的任務(wù)，(iii)識別多個服務(wù)器中的下一個服務(wù)器，以通過基于附加的任務(wù)的類型查詢存儲在服務(wù)器的存儲器中的路由數(shù)據(jù)來執(zhí)行附加的任務(wù)，(iv)請求下一服務(wù)器執(zhí)行附加的任務(wù)，并且(V)響應(yīng)于從下一個服務(wù)器接收完成指示，用對應(yīng)于所接收到的任務(wù)的完成指示響應(yīng)邊界服務(wù)器。
[0010]在其它特征中，系統(tǒng)包括被配置為使多個服務(wù)器彼此互連以及與邊界服務(wù)器互連的聯(lián)網(wǎng)設(shè)備。邊界服務(wù)器α)包括與聯(lián)網(wǎng)設(shè)備進行通信的第一網(wǎng)絡(luò)端口以及不與聯(lián)網(wǎng)設(shè)備通信的第二網(wǎng)絡(luò)端口，并且αυ通過第二網(wǎng)絡(luò)端口接收對事務(wù)的請求。邊界服務(wù)器被配置為經(jīng)由互聯(lián)網(wǎng)通過網(wǎng)絡(luò)服務(wù)接收事務(wù)請求。
[0011]在另外的特征中，邊界服務(wù)器被配置為從網(wǎng)絡(luò)服務(wù)器接收事務(wù)請求。網(wǎng)頁服務(wù)器提供網(wǎng)頁給用戶并且基于由用戶經(jīng)由網(wǎng)頁提供的輸入準備事務(wù)請求。聯(lián)網(wǎng)設(shè)備包括無限帶寬交換機。初始服務(wù)器和下一個服務(wù)器被配置為，使得經(jīng)由聯(lián)網(wǎng)設(shè)備而不涉及到初始服務(wù)器的處理器或下一個服務(wù)器的處理器將數(shù)據(jù)從初始服務(wù)器的存儲器選擇地傳輸?shù)较乱粋€服務(wù)器的存儲器。多個服務(wù)器中的每個服務(wù)器實現(xiàn)遠程直接存儲器訪問(RDMA)。
[0012]在其它特征中，系統(tǒng)包括鏡像服務(wù)器，其存儲由多個服務(wù)器中的指定服務(wù)器存儲的數(shù)據(jù)的副本。鏡像服務(wù)器被配置為，響應(yīng)于指定服務(wù)器的故障、代替指定服務(wù)器執(zhí)行任務(wù)。多個服務(wù)器共同地執(zhí)行多種類型的任務(wù)。初始服務(wù)器被配置為執(zhí)行多種類型的任務(wù)中的第一類任務(wù)，并且下一個服務(wù)器被配置為執(zhí)行多種類型的任務(wù)中的第二類任務(wù)。
[0013]在另外的特征中，多個服務(wù)器中的第一服務(wù)器被配置為執(zhí)行第二類任務(wù)，多個服務(wù)器中的第二服務(wù)器也被配置為執(zhí)行第二類任務(wù)，第一服務(wù)器存儲與第二類任務(wù)相關(guān)的第一組數(shù)據(jù)，第二服務(wù)器存儲與第二類任務(wù)相關(guān)的第二組數(shù)據(jù)，并且第一組數(shù)據(jù)與第二組數(shù)據(jù)是相互排斥的。響應(yīng)于對應(yīng)于第一組數(shù)據(jù)的附加的任務(wù)，路由數(shù)據(jù)指定第一服務(wù)器為下一個服務(wù)器。響應(yīng)于對應(yīng)于第二組數(shù)據(jù)的附加的任務(wù)，路由數(shù)據(jù)指定第二服務(wù)器為下一個服務(wù)器。
[0014]在其它特征中，第一服務(wù)器和第二服務(wù)器被配置為，響應(yīng)于第一服務(wù)器的過度利用、動態(tài)地將數(shù)據(jù)從第一組數(shù)據(jù)移動到第二組數(shù)據(jù)中。響應(yīng)于初始服務(wù)器的過度利用，(i)多個服務(wù)器中的第一服務(wù)器被動態(tài)地配置為也執(zhí)行第一類任務(wù)，(?)與由初始服務(wù)器存儲的所接收到的任務(wù)相關(guān)的數(shù)據(jù)被分成第一組數(shù)據(jù)和第二組數(shù)據(jù)，(iii)第一組數(shù)據(jù)與第二組數(shù)據(jù)互相排斥，并且(iv)第二組數(shù)據(jù)被移動到第一服務(wù)器。
[0015]系統(tǒng)包括每個包括處理器和存儲器的多個服務(wù)器。多個服務(wù)器中的第一服務(wù)器被配置為:(i)接收對事務(wù)的請求，其中可以通過執(zhí)行多個任務(wù)完成該事務(wù)，(?)選擇多個任務(wù)中的第一任務(wù)，(iii)通過基于第一任務(wù)的類型查詢存儲在第一服務(wù)器的存儲器中的路由數(shù)據(jù)來識別多個服務(wù)器中的第二服務(wù)器，以執(zhí)行第一任務(wù)，并且(iv)請求第二服務(wù)器執(zhí)行第一任務(wù)。響應(yīng)于接收到的對第一任務(wù)的請求，第二服務(wù)器被配置為:(i)使用唯一地存儲在第二服務(wù)器上的數(shù)據(jù)執(zhí)行第一任務(wù)，并且(ii)確定第一任務(wù)是否需要附加的任務(wù)。響應(yīng)于需要附加的任務(wù)的第一任務(wù)，第二服務(wù)器被配置為:(i)識別多個服務(wù)器中的第三服務(wù)器，以通過基于附加的任務(wù)的類型查詢存儲在第二服務(wù)器的存儲器中的路由數(shù)據(jù)來執(zhí)行附加的任務(wù)，(ii)請求第三服務(wù)器執(zhí)行附加的任務(wù)，并且(iii)響應(yīng)于從第三服務(wù)器接收完成指示，用對應(yīng)于第一任務(wù)的完成指示響應(yīng)第一服務(wù)器。
[0016]系統(tǒng)包括比邊界服務(wù)器和多個服務(wù)器，邊界服務(wù)器包括處理器和存儲器，并且多個服務(wù)器中的每個包括處理器和存儲器?？刂葡到y(tǒng)的方法包括在邊界服務(wù)器處接收對任務(wù)的請求，可以通過執(zhí)行多個任務(wù)完成事務(wù)。該方法包括在邊界服務(wù)器處識別多個任務(wù)中的第一任務(wù)。該方法包括，在邊界服務(wù)器處，通過基于第一任務(wù)的類型查詢存儲在邊界服務(wù)器的存儲器中的路由數(shù)據(jù)來識別多個服務(wù)器中的初始服務(wù)器，以執(zhí)行第一任務(wù)。該方法包括在邊界服務(wù)器處請求初始服務(wù)器執(zhí)行第一任務(wù)。響應(yīng)于從邊界服務(wù)器接收對任務(wù)的請求，該方法包括在多個服務(wù)器中的一個服務(wù)器處，(i)使用唯一地存儲在服務(wù)器上的與所接收到的任務(wù)相關(guān)的數(shù)據(jù)執(zhí)行所接收到的任務(wù)，(ii)確定所接收到的任務(wù)是否需要附加的任務(wù)，(iii)識別多個服務(wù)器中的下一個服務(wù)器，以通過基于附加的任務(wù)的類型查詢存儲在服務(wù)器的存儲器中的路由數(shù)據(jù)來執(zhí)行附加的任務(wù)，(iv)請求下一個服務(wù)器執(zhí)行附加的任務(wù)，并且(V)響應(yīng)于從下一個服務(wù)器接收完成指示，用對應(yīng)于所接收到的任務(wù)的完成指示響應(yīng)邊界服務(wù)器。
[0017]在其他特征中，該方法還包括經(jīng)由互聯(lián)網(wǎng)使用網(wǎng)絡(luò)服務(wù)在邊界服務(wù)器處接收事務(wù)請求。該方法還包括在邊界服務(wù)器處從網(wǎng)絡(luò)服務(wù)器接收事務(wù)請求。該方法還包括在網(wǎng)絡(luò)服務(wù)器處向用戶提供網(wǎng)頁，并且基于由用戶經(jīng)由網(wǎng)頁提供的輸入準備事務(wù)請求。該方法還包括選擇性地將數(shù)據(jù)從初始服務(wù)器的存儲器傳輸?shù)较乱粋€服務(wù)器的存儲器，而不涉及到初始服務(wù)器的處理器或下一個服務(wù)器的處理器。該方法還包括在多個服務(wù)器中的每個處實現(xiàn)遠程直接存儲器訪問(RDMA)。
[0018]在另外的特征中，該方法還包括:在鏡像服務(wù)器處存儲由多個服務(wù)器中的指定服務(wù)器存儲的數(shù)據(jù)的副本，并且響應(yīng)于指定服務(wù)器的故障，在鏡像服務(wù)器處代替指定服務(wù)器執(zhí)行任務(wù)。該方法還包括使用多個服務(wù)器共同地執(zhí)行多種類型的任務(wù)。該方法還包括:在初始服務(wù)器處執(zhí)行多種類型的任務(wù)中的第一類任務(wù)，并且在下一個服務(wù)器處執(zhí)行多種類型的任務(wù)中的第二類任務(wù)。
[0019]在其他特征中，該方法還包括:在多個服務(wù)器中的第一服務(wù)器處執(zhí)行第二類任務(wù)；在第一服務(wù)器處存儲與第二類任務(wù)相關(guān)的第一組數(shù)據(jù)；在多個服務(wù)器中的第二服務(wù)器處執(zhí)行第二類任務(wù)；并且在第二服務(wù)器處，存儲與第二類任務(wù)相關(guān)的第二組數(shù)據(jù)。第一組數(shù)據(jù)與第二組數(shù)據(jù)是相互排斥的。
[0020]在另外的特征中，響應(yīng)于對應(yīng)于第一組數(shù)據(jù)的附加的任務(wù)，路由數(shù)據(jù)指定第一服務(wù)器作為下一個服務(wù)器。響應(yīng)于對應(yīng)于第二組數(shù)據(jù)的附加的任務(wù)，路由數(shù)據(jù)指定第二服務(wù)器作為下一個服務(wù)器。該方法還包括，響應(yīng)于第一服務(wù)器的過度利用，動態(tài)地將數(shù)據(jù)從第一組數(shù)據(jù)移動到第二組數(shù)據(jù)中。該方法還包括在多個服務(wù)器中的第一服務(wù)器處執(zhí)行第一類任務(wù)，并且響應(yīng)于初始服務(wù)器的過度利用，⑴將與所接收到的任務(wù)相關(guān)的數(shù)據(jù)分為第一組數(shù)據(jù)和第二組數(shù)據(jù)，并且(ii)將第二組數(shù)據(jù)移動到第一服務(wù)器。第一組數(shù)據(jù)與第二組數(shù)據(jù)是相互排斥的。
[0021]從下面提供的詳細描述，本公開的進一步應(yīng)用領(lǐng)域?qū)⒆兊妹黠@。應(yīng)當(dāng)理解，詳細描述和具體示例僅旨在說明的目的，而不旨在限制本發(fā)明的范圍。
【附圖說明】
[0022]圖1A和圖1B是本公開的原理的示例實現(xiàn)的高級功能框圖。
[0023]圖2A是分配給服務(wù)器的任務(wù)的高級功能框圖。
[0024]圖2B是描述圖2A的框圖的操作的流程圖。
[0025]圖2C是基于示例事務(wù)分配給特定的服務(wù)器的任務(wù)的高級功能框圖。
[0026]圖2D是在處理示例事務(wù)中描述圖2C的服務(wù)器的操作的流程圖。
[0027]圖3是服務(wù)器中的一個服務(wù)