一種基于分布式系統(tǒng)的業(yè)務分配方法及裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術領域，尤其涉及一種基于分布式系統(tǒng)的業(yè)務分配方法及
目.0
【背景技術】
[0002]現(xiàn)有的Hadoop 分布式文件系統(tǒng)(Hadoop Distributed File System, HDFS)和映射歸約(MapReduce)并行計算中，均采用集中式資源管理方式。HDFS的數(shù)據(jù)存儲與讀取均由NameNode節(jié)點控制，MapReduce計算框架下，資源分配通過TaskTracker (MR1.0)或ResourceManager (MR2.0)控制。
[0003]在用戶或應用申請資源時，控制節(jié)點根據(jù)每個業(yè)務節(jié)點上報的自身資源使用情況為該用戶或應用分配資源，例如，ResourceManager確定用戶或應用需要的計算資源，根據(jù)每個業(yè)務節(jié)點上報的自身資源使用情況，確定某業(yè)務節(jié)點的剩余資源滿足該用戶或應用需要的計算資源，將該用戶或應用的業(yè)務分配至該業(yè)務節(jié)點。資源的控制和分配對用戶或應用完全透明，用戶或應用無法指定處理自身業(yè)務的節(jié)點，無法滿足用戶或應用的個性化需求。
[0004]例如，進行集中式資源管理的分布式文件系統(tǒng)中，每個業(yè)務節(jié)點的硬件結(jié)構(gòu)不同，假設部分業(yè)務節(jié)點的硬盤采用的為串行高級技術附件(Serial Advanced TechnologyAttachment, SATA)接口，數(shù)據(jù)讀取速度為60兆比特/秒，假設部分業(yè)務節(jié)點的硬盤采用的為固態(tài)硬盤(SSD)接口，數(shù)據(jù)讀取速度為500兆比特/秒，若用戶或應用的業(yè)務需要實時處理，則需要選擇SSD接口的硬盤，以提高處理速度，若控制節(jié)點為該用戶或應用選擇了采用SATA接口硬盤的業(yè)務節(jié)點，則會影響該用戶或業(yè)務的實時性。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提供一種基于分布式系統(tǒng)的業(yè)務分配方法及裝置，用以實現(xiàn)根據(jù)業(yè)務的個性化需求為業(yè)務分配處理節(jié)點。
[0006]本發(fā)明實施例提供的具體技術方案如下:
[0007]第一方面，提供了一種基于分布式系統(tǒng)的業(yè)務分配方法，所述分布式系統(tǒng)包括控制節(jié)點和至少兩個業(yè)務節(jié)點，所述業(yè)務分配方法包括:
[0008]所述控制節(jié)點接收業(yè)務請求，并獲取處理所述業(yè)務請求所需滿足的資源約束條件；
[0009]所述控制節(jié)點根據(jù)所述至少兩個業(yè)務節(jié)點中每一個業(yè)務節(jié)點的資源信息和所述資源約束條件，確定滿足所述資源約束條件的業(yè)務節(jié)點；
[0010]所述控制節(jié)點將所述業(yè)務請求發(fā)送給確定的所述業(yè)務節(jié)點進行處理。
[0011]結(jié)合第一方面，在第一種可能的實現(xiàn)方式中，所述業(yè)務請求中攜帶所述業(yè)務請求的標識；
[0012]所述控制節(jié)點獲取處理所述業(yè)務請求所需滿足的資源約束條件，包括:
[0013]所述控制節(jié)點從所述業(yè)務請求中獲取所述業(yè)務請求的標識；
[0014]所述控制節(jié)點根據(jù)預設的業(yè)務請求的標識與資源約束條件的對應關系，獲取所述業(yè)務請求的標識對應的資源約束條件，將獲取的所述資源約束條件作為所述業(yè)務請求所需滿足的資源約束條件。
[0015]結(jié)合第一方面，在第二種可能的實現(xiàn)方式中，所述業(yè)務請求中攜帶處理所述業(yè)務請求所需滿足的資源約束條件；
[0016]所述控制節(jié)點獲取處理所述業(yè)務請求所需滿足的資源約束條件，包括:
[0017]所述控制節(jié)點從所述業(yè)務請求中獲取所述資源約束條件。
[0018]結(jié)合第一方面，在第三種可能的實現(xiàn)方式中，所述控制節(jié)點獲取處理所述業(yè)務請求所需滿足的資源約束條件，包括:
[0019]所述控制節(jié)點判斷所述業(yè)務請求中是否攜帶處理所述業(yè)務請求所需滿足的資源約束條件；
[0020]若是，從所述業(yè)務請求中獲取所述資源約束條件；
[0021]否則，根據(jù)預設的業(yè)務請求的標識與資源約束條件的對應關系，獲取所述業(yè)務請求的標識對應的資源約束條件。
[0022]結(jié)合第一方面至第三種可能的實現(xiàn)方式中的任意一種，在第四種可能的實現(xiàn)方式中，所述控制節(jié)點根據(jù)所述至少兩個業(yè)務節(jié)點中每一個業(yè)務節(jié)點的資源信息和所述資源約束條件，確定滿足所述資源約束條件的業(yè)務節(jié)點之前，所述方法還包括:
[0023]所述控制節(jié)點接收所述至少兩個業(yè)務節(jié)點中每一個業(yè)務節(jié)點發(fā)送的自身的資源信息，所述資源信息包括硬盤類型、存取速度、網(wǎng)絡帶寬、剩余中央處理器CPU資源、剩余內(nèi)存資源和剩余磁盤空間中的任意一種或組合。
[0024]第二方面，提供了一種業(yè)務分配裝置，所述業(yè)務分配裝置運行于分布式系統(tǒng)，所述分布式系統(tǒng)包括控制節(jié)點和至少兩個業(yè)務節(jié)點，所述業(yè)務分配裝置包括包括:
[0025]獲取模塊，用于接收業(yè)務請求，并獲取處理所述業(yè)務請求所需滿足的資源約束條件；
[0026]確定模塊，用于根據(jù)所述至少兩個業(yè)務節(jié)點中每一個業(yè)務節(jié)點的資源信息和所述資源約束條件，確定滿足所述資源約束條件的業(yè)務節(jié)點；
[0027]發(fā)送模塊，用于將所述業(yè)務請求發(fā)送給確定的所述業(yè)務節(jié)點進行處理。
[0028]結(jié)合第二方面，在第一種可能的實現(xiàn)方式中，所述業(yè)務請求中攜帶所述業(yè)務請求的標識；
[0029]所述獲取模塊具體用于:
[0030]從所述業(yè)務請求中獲取所述業(yè)務請求的標識；
[0031]根據(jù)預設的業(yè)務請求的標識與資源約束條件的對應關系，獲取所述業(yè)務請求的標識對應的資源約束條件，將獲取的所述資源約束條件作為所述業(yè)務請求所需滿足的資源約束條件。
[0032]結(jié)合第二方面，在第二種可能的實現(xiàn)方式中，所述業(yè)務請求中攜帶處理所述業(yè)務請求所需滿足的資源約束條件；
[0033]所述獲取模塊具體用于:
[0034]從所述業(yè)務請求中獲取所述資源約束條件。
[0035]結(jié)合第二方面，在第三種可能的實現(xiàn)方式中，所述獲取模塊具體用于:
[0036]判斷所述業(yè)務請求中是否攜帶處理所述業(yè)務請求所需滿足的資源約束條件；
[0037]若是，從所述業(yè)務請求中獲取所述資源約束條件；
[0038]否則，根據(jù)預設的業(yè)務請求的標識與資源約束條件的對應關系，獲取所述業(yè)務請求的標識對應的資源約束條件。
[0039]結(jié)合第二方面至第三種可能的實現(xiàn)方式中的任意一種，在第四種可能的實現(xiàn)方式中，所述獲取模塊還用于:
[0040]所述確定模塊根據(jù)所述至少兩個業(yè)務節(jié)點中每一個業(yè)務節(jié)點的資源信息和所述資源約束條件，確定滿足所述資源約束條件的業(yè)務節(jié)點之前，接收所述至少兩個業(yè)務節(jié)點中每一個業(yè)務節(jié)點發(fā)送的自身的資源信息，所述資源信息包括硬盤類型、存取速度、網(wǎng)絡帶寬、剩余中央處理器CPU資源、剩余內(nèi)存資源和剩余磁盤空間中的任意一種或組合。
[0041]基于上述技術方案，本發(fā)明實施例中，控制節(jié)點在獲取處理業(yè)務請求所需滿足的資源約束條件后，根據(jù)至少兩個業(yè)務節(jié)點中的每一個業(yè)務節(jié)點的資源信息確定滿足該資源約束條件的業(yè)務節(jié)點，將該業(yè)務請求發(fā)送給確定的該業(yè)務節(jié)點進行處理，從而使得處理該業(yè)務請求的業(yè)務節(jié)點能夠滿足該業(yè)務請求的資源約束條件，該資源約束條件限定了該業(yè)務請求對處理資源的個性化需求。
【附圖說明】
[0042]圖1為本發(fā)明實施例所應用的分布式系統(tǒng)的結(jié)構(gòu)示意圖；
[0043]圖2為本發(fā)明實施例中控制節(jié)點進行業(yè)務分配的詳細方法流程示意圖；
[0044]圖3為本發(fā)明實施例中分布式系統(tǒng)中業(yè)務分配裝置的結(jié)構(gòu)示意圖；
[0045]圖4為本發(fā)明實施例中設備結(jié)構(gòu)示意圖。
【具體實施方式】
[0046]為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。
[0047]本發(fā)明實施例所應用的分布式系統(tǒng)的架構(gòu)如圖1所示，該分布式系統(tǒng)包括控制節(jié)點101和至少兩個業(yè)務節(jié)點，即業(yè)務節(jié)點102和業(yè)務節(jié)點103，其中，
[0048]控制節(jié)點101，用于集中管理該分布式系統(tǒng)中的每一個業(yè)務節(jié)點的資源，以及接收并集中控制各業(yè)務或應用的業(yè)務請求，將業(yè)務請求分配至滿足業(yè)務對資源的需求