專利名稱：大規(guī)模集群系統(tǒng)的數(shù)據(jù)傳輸網(wǎng)絡(luò)及其構(gòu)建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于數(shù)據(jù)傳輸?shù)耐ㄐ啪W(wǎng)絡(luò)及其構(gòu)建方法，特別是應(yīng)用于大規(guī)模計 算機集群網(wǎng)絡(luò)的數(shù)據(jù)傳輸?shù)耐ㄐ啪W(wǎng)絡(luò)及其構(gòu)建方法。
背景技術(shù)：
傳統(tǒng)的集群網(wǎng)絡(luò)監(jiān)測工具一般采用C/S架構(gòu)，1對η的通信模型，當計算規(guī)模在幾 十個節(jié)點以下時還可以獲得較好的性能，而當計算規(guī)模擴展到幾百甚至幾千、上萬時，這樣 的通信模型顯然無法滿足網(wǎng)絡(luò)監(jiān)測工具通信的性能需求。本發(fā)明旨在解決這一問題，通過 研究傳統(tǒng)模型的通信瓶頸，使用經(jīng)典的LogP模型對并行計算網(wǎng)絡(luò)進行分析，證明了使用基 于樹形網(wǎng)絡(luò)的層次通信模式的必要性和優(yōu)越性，并開發(fā)出基于樹形的通信網(wǎng)絡(luò)，以滿足大 規(guī)模計算環(huán)境下的網(wǎng)絡(luò)監(jiān)測工具的通信需求，并可提供給其他具有相似需求的并行工具或 相關(guān)平臺使用。LogP模型是一個比較經(jīng)典的分析并行計算機網(wǎng)絡(luò)通信性能的模型，具有簡單、精 確、適用范圍廣等特點，本發(fā)明通過對LogP模型分析，證明采用樹形的層次通信模型相比 傳統(tǒng)的1對η通信模型更具有合理性和優(yōu)越性。LogP模型假設(shè)并行系統(tǒng)是一個分布式存儲的、點到點通信的結(jié)構(gòu)，包括數(shù)以千計 的節(jié)點，每個節(jié)點具有強大的處理器和內(nèi)存，使用具有明顯延遲和有限帶寬的網(wǎng)絡(luò)進行通 信，使用四個主要參數(shù)來描述通信網(wǎng)絡(luò)，其分別是■ L(Latency)網(wǎng)絡(luò)延遲的上界，通信中消息從源節(jié)點到目的節(jié)點的時間；Ho(Overhead)額外開銷，表示處理器發(fā)送或接收一條消息所消耗的時間(包含 操作系統(tǒng)核心開銷和網(wǎng)絡(luò)軟件的開銷)，這期間處理器不能做其他計算；■ g(gap):間隔，處理器連續(xù)發(fā)送和接收消息的最小時間間隔，其倒數(shù)相應(yīng)于處 理器的通信帶寬；HP(Processor)并行系統(tǒng)中的處理器個數(shù)或者存儲器模塊數(shù)。LogP模型使用L、O、g和P四個簡單的參數(shù)精確的描述了并行系統(tǒng)中的網(wǎng)絡(luò)通信 特征，同時屏蔽了網(wǎng)絡(luò)拓撲、路由算法和通信協(xié)議等細節(jié)。因為有L和g的限制，這樣的網(wǎng) 絡(luò)容量是有限的，任何時刻在任何兩個節(jié)點之間最多有L/g個消息在傳遞，處理器試圖發(fā) 送超過這個數(shù)目的消息則要等待。盡管網(wǎng)絡(luò)拓撲對網(wǎng)絡(luò)性能的影響也很大，但是LogP模型 中忽略了這一點，因為研究發(fā)現(xiàn)包含上千個節(jié)點的網(wǎng)絡(luò)，不管是超立方體、蝶形或胖樹拓撲 結(jié)構(gòu)，其平均的性能差別僅有2倍，所以忽略網(wǎng)絡(luò)拓撲不影響對整個網(wǎng)絡(luò)的建模。下面的幾個參數(shù)(L、o、g)單位為處理器的CPU周期數(shù)，其取值視具體的網(wǎng)絡(luò)有所 不同，我們采用的方法是，如果網(wǎng)絡(luò)帶寬是w，跳數(shù)為H，中繼節(jié)點的延遲是r，要傳送的消息 是M位大小，發(fā)送開銷和接收開銷分別為Tsmd和Trav，b是處理器對剖寬度，比較合理的選 擇是O = (Tsend+Trecv)/2 (1)L = H*r+M/w(2)
g = M/b(3)下面使用LogP模型簡單分析一下傳統(tǒng)的1對η通信模式和基于樹形的層次通信 模式的不同。首先使用LogP研究人員給出的8節(jié)點最優(yōu)廣播樹作為例子說明這兩種模式 下通信的流程，并計算一下分別的時間消耗。這里按照上文中給出的值取四個參數(shù)分別為 P = 8，L = 6，g = 4，ο = 2，這樣的分析并不涉及具體的并行系統(tǒng)，參數(shù)的取值并不會影響 對問題性質(zhì)的分析。圖1中給出了 8個節(jié)點時1對η通信模式的拓撲結(jié)構(gòu)和使用LogP模 型對其通信過程的詳細分析，容易看出，根節(jié)點逐個向每個葉子節(jié)點廣播消息，每個節(jié)點上 的數(shù)字代表其收到消息的時間，從開始發(fā)送到最后一個節(jié)點收到消息總共花費了 34個CPU 周期。圖2中給出的是二層的樹形通信結(jié)構(gòu)，圖形中各個數(shù)值的含義與圖1相同，只不過根 節(jié)點只向1、2、3、5四個節(jié)點發(fā)消息，這四個節(jié)點再分別把消息發(fā)送給自己的子節(jié)點，最后 消息廣播遍全網(wǎng)的時間是24個CPU周期。下面把上面的兩種情況做一下推廣，假設(shè)網(wǎng)絡(luò)中有η個節(jié)點，而η剛好等于2h_l， 也就是說這些節(jié)點恰巧可以用來組成一顆高度為h的滿二叉樹，根節(jié)點需要把一個消息廣 播到全網(wǎng)。首先分析1對η的情況，這種情況下一個根節(jié)點和其余的η-1個節(jié)點直接相連， 必須逐個的把消息發(fā)送到每一個子節(jié)點，整個廣播的完成時間是Tflat = (2h-3) g+2o+L (4)然后設(shè)想這η個節(jié)點組成了一顆高度為h的滿二叉樹，節(jié)點數(shù)為η = 2h_l，第i層 的節(jié)點個數(shù)為2H，根據(jù)LogP模型，整個廣播的完成時間是Ttree = (h-1) (2o+g+L) (5)現(xiàn)在假設(shè)樹的高度h = 10，也就是網(wǎng)絡(luò)中有1023個節(jié)點，把上面假定的四個參數(shù) 取值分別代入式(4)和(5)，可以計算得到這兩種拓撲結(jié)構(gòu)下廣播的完成時間分別為4094 和126周期，差距是顯而易見的。從算法復(fù)雜度上分析也很容易看出，1對η結(jié)構(gòu)是指數(shù)的， 而樹形算法的復(fù)雜度則是線性的，隨著h的增加兩者的差距必然越來越大。數(shù)據(jù)匯聚是廣 播的反過程，通過類似的分析方法也可得到相似的結(jié)果。同樣節(jié)點的樹形結(jié)構(gòu)可以有很多種拓撲，上面討論的所謂最優(yōu)廣播樹只是其中之 一，是一種從左到右層次逐漸變稀疏的不平衡結(jié)構(gòu)，很容易想到，還可以采用平衡樹的結(jié) 構(gòu)。這里所說的平衡樹包括二叉或者多叉，并不是平衡二叉數(shù)(AVL)。下面將再對這兩種 拓撲進行一下分析對比。為了簡化問題并方便對比，采用17個節(jié)點層數(shù)為2的結(jié)構(gòu)，其結(jié) 構(gòu)如圖3中所示，需注意的是這顆非平衡樹并非是所謂的最優(yōu)廣播樹，但是仍能說明我們 的問題。首先使用LogP模型按照上面的方法分別分析其廣播時間，非平衡樹中廣播時間是 4g+L+2o，而平衡樹是5g+2L+3o，顯然前者的廣播性能優(yōu)于后者；然而我們所考慮的樹形通 信網(wǎng)絡(luò)主要是服務(wù)于并行系統(tǒng)中的監(jiān)測工具，做大量的數(shù)據(jù)分發(fā)、匯聚和處理之用，對吞吐 量的關(guān)心大于對完成一次廣播的時間，在非平衡樹中根節(jié)點發(fā)送一次的數(shù)據(jù)需要對每個子 節(jié)點進行一次點對點通信，時間為4g，之后才可以進行第二次廣播，而在平衡樹中一次廣播 的時間為3g，優(yōu)于前者，這主要是因為由于其結(jié)構(gòu)更加緊湊，根節(jié)點的子節(jié)點比前者更少就 可以容納所有節(jié)點，所以一次廣播根節(jié)點需要通信次數(shù)較少。由此可見，樹形的平衡樹結(jié)構(gòu) 更加適用于對吞吐率要求較高的匯聚等應(yīng)用。

發(fā)明內(nèi)容
為了解決集群系統(tǒng)的并行計算環(huán)境下傳統(tǒng)監(jiān)測工具存在的問題，特別是面對當前 迅速增大的網(wǎng)絡(luò)規(guī)模的不足之處，基于背景技術(shù)中對不同結(jié)構(gòu)的通信模型的理論分析，本 發(fā)明設(shè)計出一種用于大規(guī)模計算機集群系統(tǒng)的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于集群系統(tǒng)的節(jié) 點構(gòu)成樹形通信網(wǎng)絡(luò)，組成網(wǎng)絡(luò)的節(jié)點包括根節(jié)點，位于樹形通信網(wǎng)絡(luò)的最上層，所述根 節(jié)點是全局唯一的，其向下層節(jié)點通信，其上運行著網(wǎng)絡(luò)上層工具的主控程序；至少一個中 間節(jié)點，連接于根節(jié)點和葉子節(jié)點之間，作為根節(jié)點和葉子節(jié)點的中繼節(jié)點，其上運行著通 信程序，同時向下層和上層節(jié)點進行通信，并承擔(dān)集群相應(yīng)的計算任務(wù)；至少一個葉子節(jié) 點，位于樹形通信網(wǎng)絡(luò)的最下層，所述葉子節(jié)點均是集群系統(tǒng)的計算節(jié)點，其向上層節(jié)點通 信，其上運行著網(wǎng)絡(luò)上層工具的監(jiān)測程序，并承擔(dān)集群相應(yīng)的計算任務(wù)。本發(fā)明的另一方面還包括，所述數(shù)據(jù)傳輸通信網(wǎng)絡(luò)優(yōu)選為平衡樹或準平衡樹網(wǎng)絡(luò)。本發(fā)明的另一方面還包括，所述至少一個中間節(jié)點形成多個層，由計算任務(wù)較輕 的計算節(jié)點充當高層中間節(jié)點，由計算任務(wù)較重的計算節(jié)點充當?shù)蛯拥闹虚g節(jié)點。本發(fā)明的另一方面還包括，由計算任務(wù)最重的計算節(jié)點充當葉子節(jié)點。本發(fā)明的另一方面還包括，所述根節(jié)點通過讀入存有節(jié)點IP地址等信息的配置 文件，來生成整個網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，并初始化整個網(wǎng)絡(luò)。本發(fā)明的另一方面還包括，不直接相連的節(jié)點之間不進行通信。本發(fā)明還提供了一種用于大規(guī)模計算機集群的數(shù)據(jù)傳輸網(wǎng)絡(luò)的構(gòu)建方法，包括下 列步驟(1)啟動計算機集群網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)的根節(jié)點讀入存有各節(jié)點IP地址的配置文 件；(2)根節(jié)點根據(jù)配置文件信息生成整個集群網(wǎng)絡(luò)的拓撲結(jié)構(gòu)；(3)根據(jù)上述拓撲結(jié)構(gòu)生成整個集群網(wǎng)絡(luò)，包括a.根節(jié)點根據(jù)直接與其相連的中間節(jié)點把整個網(wǎng)絡(luò)分為多個部分，以分別對應(yīng)每 個中間節(jié)點；b.根節(jié)點啟動與其直接相連的中間節(jié)點上的進程，將所述直接相連的中間節(jié)點對 應(yīng)的子樹配置信息傳遞給所述直接相連的中間節(jié)點；c.所述直接相連的中間節(jié)點根據(jù)上述子樹配置信息啟動相應(yīng)的下一級節(jié)點的進 程，并完成其相應(yīng)的計算任務(wù)，上述下一級節(jié)點可以是中間節(jié)點，也可以是葉子節(jié)點。本發(fā)明的另一方面進一步包括，所述與根節(jié)點直接相連的中間節(jié)點將其對應(yīng)的子 樹配置信息傳遞給下一級中間節(jié)點，并啟動該下一級中間節(jié)點上的進程，完成其相應(yīng)的計 算任務(wù)，上述過程遞歸進行，直到下一級節(jié)點為葉子節(jié)點。本發(fā)明還提供了一種用于大規(guī)模計算機集群系統(tǒng)的數(shù)據(jù)傳輸網(wǎng)絡(luò)的數(shù)據(jù)采集方 法，其包括如下步驟(1)葉子節(jié)點執(zhí)行計算任務(wù)，同時將程序監(jiān)測信息傳送至與其直接相連的中間節(jié)點 (2)中間節(jié)點完成自身的計算任務(wù)，并接收葉子節(jié)點或下一級中間節(jié)點傳送的程 序監(jiān)測信息，中間節(jié)點將上述程序監(jiān)測信息與自身的程序監(jiān)測信息一并傳送至上一級中間 節(jié)點或根節(jié)點；
(3)根節(jié)點匯聚所有采集的信息，然后進行處理。


圖1是1對η通信結(jié)構(gòu)的LogP模型分析；圖2是樹形層次通信結(jié)構(gòu)的LogP模型分析；圖3是非平衡樹和平衡樹的對比；圖4是樹形傳輸網(wǎng)絡(luò)結(jié)構(gòu)；圖5a是2D_Mesh的網(wǎng)絡(luò)結(jié)構(gòu)，圖5 (b)是Fat Tree的網(wǎng)絡(luò)結(jié)構(gòu)；圖6是通信樹的建立過程，其中圖6(a)是根節(jié)點生成拓撲，圖6 (b)是分發(fā)到樹形 拓撲的第一層的情況，圖6(c)是通信網(wǎng)絡(luò)連接完畢。
具體實施例方式整個網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示。各個節(jié)點上的模塊分別調(diào)用通信庫的初始化函數(shù)，生成樹形網(wǎng)絡(luò)。組成網(wǎng)絡(luò)的節(jié) 點可按照其在網(wǎng)絡(luò)中的位置分為三類■根節(jié)點。在這個結(jié)構(gòu)中最上端，通信樹的根節(jié)點，全局唯一，只向下通信，其上運 行著上層工具的主控程序(前端)；■葉子節(jié)點。位于樹的葉子位置，均是并行系統(tǒng)中的計算節(jié)點，只向上通信，其上 運行著上層工具的監(jiān)測程序(后端)；■中間節(jié)點。位于管理節(jié)點和葉子節(jié)點之中，作為他們的中繼節(jié)點，運行著專門的 通信程序，同時向下和向上傳送消息。其中需要注意的是雖然樹形網(wǎng)絡(luò)性能優(yōu)于傳統(tǒng)1對η模式網(wǎng)絡(luò)，但是根節(jié)點依然 容易成為系統(tǒng)瓶頸，使用中應(yīng)避免為其分配過大負載，或使用過濾器把它的計算分布在網(wǎng) 絡(luò)上。另外值得考慮的是中間節(jié)點的角色，按照其用途可分為專用中間節(jié)點和兼職中間節(jié) 點，專用中間節(jié)點，其上不運行監(jiān)測程序和被監(jiān)測程序，專門用來做通信中繼之用，但是有 時候可能網(wǎng)絡(luò)規(guī)模并不大或者通信量較小，專門劃分出一定的中間節(jié)點比較浪費資源，一 些計算節(jié)點同樣可以擔(dān)當中間節(jié)點的角色，只要在系統(tǒng)啟動時指定其在拓撲中的位置即 可。本發(fā)明就是采用適用面更廣泛的使用計算節(jié)點充當中間節(jié)點的方式，由計算任務(wù)相對 較輕的節(jié)點同時充當高層的中間節(jié)點，計算任務(wù)較重的節(jié)點充當相對低層的中間節(jié)點，計 算任務(wù)最重的計算節(jié)點充當葉子節(jié)點。系統(tǒng)啟動前用戶需要把網(wǎng)絡(luò)中存在的節(jié)點IP地址等信息寫入一個配置文件中， 啟動時管理節(jié)點讀入這個配置文件，生成整個網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，并使用這個結(jié)構(gòu)初始化整 個網(wǎng)絡(luò)。如上節(jié)所述，為了達到較好的網(wǎng)絡(luò)吞吐量，生成的是一棵根據(jù)節(jié)點數(shù)量盡量平衡的 樹，本發(fā)明中每個節(jié)點的分支數(shù)也由配置文件指定。根本上說，這種樹形的通信結(jié)構(gòu)是覆蓋網(wǎng)絡(luò)(Overlay Network)的一種，雖然其 中每個節(jié)點地位看起來都是相同的，但是事實上不同的節(jié)點之間的地位和通信代價是不同 的，與節(jié)點間距離和通信網(wǎng)絡(luò)的結(jié)構(gòu)有關(guān)，在胖樹(Fat Tree)結(jié)構(gòu)的網(wǎng)絡(luò)中，共有一個父親 路由器的節(jié)點之間通信必然速度較快，而在2D_Mesh結(jié)構(gòu)的網(wǎng)絡(luò)中物理上相鄰的節(jié)點通信 速度也較快。胖樹和2D-Mesh的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。因此最好能把物理上相鄰的節(jié)點在通信樹中也分配相近的位置，但是覆蓋網(wǎng)絡(luò)與實際網(wǎng)絡(luò)的出發(fā)點是完全不同的，很難使其 具有一定對應(yīng)關(guān)系，而且并行系統(tǒng)的網(wǎng)絡(luò)一般也盡量為距離不同的節(jié)點提供相近的通信能 力。本發(fā)明對于實際網(wǎng)絡(luò)結(jié)構(gòu)的依賴性比較小。網(wǎng)絡(luò)的啟動方式可分為簡單方式和復(fù)合方式兩種，在簡單方式下只需啟動根節(jié)點 上的進程，并告訴他要在其他節(jié)點上運行的程序，根節(jié)點根據(jù)它的子節(jié)點把整個拓撲分為 多份對應(yīng)每個子節(jié)點，然后根節(jié)點啟動樹形拓撲中它的直接子節(jié)點(中間節(jié)點)上的進程， 并交付給它們其相對應(yīng)的子樹配置。然后這些子節(jié)點使用自己所知的子樹分別啟動它們的 子節(jié)點(中間節(jié)點或者葉子節(jié)點)，并交付子節(jié)點的拓撲結(jié)構(gòu)，如此迭代直到生成整個網(wǎng)絡(luò) (直到都交付到葉子節(jié)點為止)。在復(fù)合方式中同樣使用這樣的迭代方法生成網(wǎng)絡(luò)，不同的 是除了根節(jié)點其他節(jié)點上的程序由并行系統(tǒng)上的任務(wù)管理系統(tǒng)啟動，這也是絕大多數(shù)并行 系統(tǒng)上作業(yè)的處理方式，所以本發(fā)明中主要討論的是這種方式。這種情況下除根節(jié)點外其 他所有節(jié)點啟動后都監(jiān)聽一個特定端口，而根節(jié)點主動和直連的子節(jié)點建立連接，并交付 子樹，之后子節(jié)點也如此迭代建立子樹，最后完成整個通信網(wǎng)絡(luò)。整個過程如圖6所示，該 圖表示一個只有三層的樹形網(wǎng)絡(luò)，具體如下第一步啟動計算機集群網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)的根節(jié)點讀入存有各節(jié)點IP地址等信息 的配置文件；第二步根節(jié)點根據(jù)配置文件信息生成整個集群網(wǎng)絡(luò)的拓撲結(jié)構(gòu)；第三步根據(jù)上述拓撲結(jié)構(gòu)生成整個集群網(wǎng)絡(luò)，包括a.根節(jié)點根據(jù)直接與其相連的中間節(jié)點把整個網(wǎng)絡(luò)分為多個部分，以分別對應(yīng)每 個中間節(jié)點；b.根節(jié)點啟動與其直接相連的中間節(jié)點上的進程，將所述直接相連的中間節(jié)點對 應(yīng)的子樹配置信息傳遞給所述直接相連的中間節(jié)點；c.所述直接相連的中間節(jié)點根據(jù)上述子樹配置信息啟動相應(yīng)的下一級節(jié)點的進 程，并完成其相應(yīng)的計算任務(wù)，上述下一級節(jié)點可以是中間節(jié)點，也可以是葉子節(jié)點。如果中間節(jié)點存在多個層級，則步驟b中的所述與根節(jié)點直接相連的中間節(jié)點 將上述子樹配置信息傳遞給下一級中間節(jié)點，并啟動該下一級中間節(jié)點上的進程，上述過 程遞歸進行，直到下一級是葉子節(jié)點，然后啟動葉子節(jié)點上的進程，并完成其相應(yīng)的計算任 務(wù)。下面是本發(fā)明的樹形通信網(wǎng)絡(luò)的數(shù)據(jù)采集方法(1)葉子節(jié)點執(zhí)行計算任務(wù)，同時將程序監(jiān)測信息傳送至與其直接相連的中間節(jié)點。(2)中間節(jié)點完成自身的計算任務(wù)，并接收葉子節(jié)點或下一級中間節(jié)點傳送的程 序監(jiān)測信息，中間節(jié)點將上述程序監(jiān)測信息與自身的程序監(jiān)測信息一并傳送至上一級中間 節(jié)點或根節(jié)點；(3)根節(jié)點匯聚所有采集的信息，然后進行處理。以上所述，僅是本發(fā)明的較佳實例而已，并非對本發(fā)明作任何形式上的限制，雖然 本發(fā)明已以較佳實施例揭露如上，然而并非用以限定本發(fā)明，任何精于本專業(yè)的技術(shù)人員， 在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當可利用上述揭示的技術(shù)內(nèi)容作出其他種種的改良或修 飾為等同變化的等效實例，但凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
此外，本發(fā)明中的術(shù)語“節(jié)點”是術(shù)語“集群系統(tǒng)的計算機節(jié)點”的簡稱，其可以是 系統(tǒng)中的一臺計算機，這是本領(lǐng)域的公知常識；“計算節(jié)點”是本領(lǐng)域公知的“集群中承擔(dān) 計算任務(wù)的計算機節(jié)點”的簡稱；“管理節(jié)點”是“集群中承擔(dān)管理任務(wù)的計算機節(jié)點”的簡 稱；當然不排除有些計算機節(jié)點既是管理節(jié)點，又是計算節(jié)點。
權(quán)利要求
一種用于大規(guī)模計算機集群系統(tǒng)的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于集群系統(tǒng)的計算機節(jié)點構(gòu)成樹形通信網(wǎng)絡(luò)，組成網(wǎng)絡(luò)的計算機節(jié)點包括根節(jié)點，位于樹形通信網(wǎng)絡(luò)的最上層，所述根節(jié)點是全局唯一的，其向下層節(jié)點通信，其上運行著網(wǎng)絡(luò)上層工具的主控程序；至少一個中間節(jié)點，連接于根節(jié)點和葉子節(jié)點之間，作為根節(jié)點和葉子節(jié)點的中繼節(jié)點，其上運行著通信程序，同時向下層和上層節(jié)點進行通信，并承擔(dān)集群相應(yīng)的計算任務(wù)。至少一個葉子節(jié)點，位于樹形通信網(wǎng)絡(luò)的最下層，所述葉子節(jié)點均是集群系統(tǒng)的計算節(jié)點，其向上層節(jié)點通信，其上運行著網(wǎng)絡(luò)上層工具的監(jiān)測程序，并承擔(dān)集群相應(yīng)的計算任務(wù)。
2.如權(quán)利要求2所述的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于，所述樹形通信網(wǎng)絡(luò)優(yōu)選為平衡樹 或準平衡樹網(wǎng)絡(luò)。
3.如權(quán)利要求1所述的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于，所述至少一個中間節(jié)點形成多個 層，由計算任務(wù)較輕的計算節(jié)點充當高層中間節(jié)點，由計算任務(wù)較重的計算節(jié)點充當?shù)蛯?的中間節(jié)點。
4.如權(quán)利要求1所述的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于，由計算任務(wù)最重的計算節(jié)點充當 葉子節(jié)點。
5.如權(quán)利要求1所述的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于，所述根節(jié)點通過讀入存有節(jié)點IP 地址等信息的配置文件，來生成整個網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，并初始化整個網(wǎng)絡(luò)。
6.如權(quán)利要求1所述的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于，不直接相連的節(jié)點之間不進行通
7.—種如權(quán)利要求1所述的用于大規(guī)模計算機集群系統(tǒng)的數(shù)據(jù)傳輸網(wǎng)絡(luò)的構(gòu)建方法， 包括下列步驟(1)啟動計算機集群網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)的根節(jié)點讀入存有各節(jié)點IP地址等信息的配置文件；(2)根節(jié)點根據(jù)配置文件信息生成整個集群網(wǎng)絡(luò)的拓撲結(jié)構(gòu)；(3)根據(jù)上述拓撲結(jié)構(gòu)生成整個集群網(wǎng)絡(luò)，包括步驟a.根節(jié)點根據(jù)直接與其相連的中間節(jié)點把整個網(wǎng)絡(luò)分為多個部分，以分別對應(yīng)每個中 間節(jié)點；b.根節(jié)點啟動與其直接相連的中間節(jié)點上的進程，將所述直接相連的中間節(jié)點對應(yīng)的 子樹配置信息傳遞給所述直接相連的中間節(jié)點；c.所述直接相連的中間節(jié)點根據(jù)上述子樹配置信息啟動相應(yīng)的下一級節(jié)點的進程，并 完成其相應(yīng)的計算任務(wù)，上述下一級節(jié)點可以是中間節(jié)點，也可以是葉子節(jié)點。
8.如權(quán)利要求7所述的用于大規(guī)模計算機集群系統(tǒng)的數(shù)據(jù)傳輸網(wǎng)絡(luò)的構(gòu)建方法，其特 征在于，所述步驟(3)進一步包括如下步驟d 步驟d 所述與根節(jié)點直接相連的中間節(jié)點將其對應(yīng)的子樹配置信息傳遞給下一級中 間節(jié)點，并啟動該下一級中間節(jié)點上的進程，完成其相應(yīng)的計算任務(wù)，上述過程遞歸進行， 直到下一級節(jié)點為葉子節(jié)點。
9.一種如權(quán)利要求1所述的用于大規(guī)模計算機集群系統(tǒng)的數(shù)據(jù)傳輸網(wǎng)絡(luò)的數(shù)據(jù)采集 方法，包括下列步驟(1)葉子節(jié)點執(zhí)行計算任務(wù)，同時將程序監(jiān)測信息傳送至與其直接相連的中間節(jié)點；(2)中間節(jié)點完成自身的計算任務(wù)，并接收葉子節(jié)點或下一級中間節(jié)點傳送的程序監(jiān) 測信息，中間節(jié)點將上述程序監(jiān)測信息與自身的程序監(jiān)測信息一并傳送至上一級中間節(jié)點 或根節(jié)點；(3)根節(jié)點匯聚所有采集的信息，然后進行處理。
全文摘要
一種用于大規(guī)模計算機集群的樹形數(shù)據(jù)傳輸網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)由集群系統(tǒng)的計算機節(jié)點構(gòu)成平衡或者準平衡樹形通信網(wǎng)絡(luò)，組成網(wǎng)絡(luò)的計算機節(jié)點包括唯一的根節(jié)點、至少一個中間節(jié)點、至少一個葉子節(jié)點，每一層節(jié)點只與其直接相連的節(jié)點進行通信。基于本發(fā)明的樹形網(wǎng)絡(luò)結(jié)構(gòu)，可以有效解決大規(guī)模集群系統(tǒng)的通信瓶頸問題，大大提高網(wǎng)絡(luò)監(jiān)測工具通信的性能。
文檔編號H04L12/44GK101883039SQ201010176149
公開日2010年11月10日 申請日期2010年5月13日 優(yōu)先權(quán)日2010年5月13日
發(fā)明者丁毅, 張新宇, 胡凱, 蔣樹, 陳陸佳 申請人:北京航空航天大學(xué)