直接控制的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備。
[0086]服務(wù)節(jié)點(diǎn)上負(fù)責(zé)接入用戶管理、集群資源管理、計(jì)算任務(wù)調(diào)度、分布式存儲(chǔ)和SDN控制器等功能。SDN控制器控制系統(tǒng)內(nèi)所有SDN交換機(jī)，包括硬件交換、虛擬交換和智能網(wǎng)卡交換，并且對(duì)集群資源管理和存儲(chǔ)元數(shù)據(jù)服務(wù)提供接口。
[0087]計(jì)存節(jié)點(diǎn)同時(shí)承擔(dān)計(jì)算和存儲(chǔ)功能，所以需要同時(shí)接入計(jì)算網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)。因此駐留虛擬交換機(jī)、普通虛擬網(wǎng)橋，也可以使用智能網(wǎng)卡作為硬件加速技術(shù)，用于在網(wǎng)絡(luò)邊緣隔離或者連通相應(yīng)的存儲(chǔ)網(wǎng)絡(luò)以及計(jì)算網(wǎng)絡(luò)。服務(wù)節(jié)點(diǎn)和計(jì)存節(jié)點(diǎn)上駐留分布式文件系統(tǒng)或?qū)ο蟠鎯?chǔ)服務(wù)服務(wù)，其后端接專用存儲(chǔ)設(shè)備或自身構(gòu)成的云存儲(chǔ)集群，構(gòu)成存儲(chǔ)網(wǎng)絡(luò)。高性能計(jì)算的輸入輸出信息、計(jì)算過程和計(jì)算結(jié)果等信息都存放在該存儲(chǔ)系統(tǒng)中。存儲(chǔ)網(wǎng)絡(luò)可以采用部署專用網(wǎng)絡(luò)，以便于和管理網(wǎng)絡(luò)隔離，也可以采用統(tǒng)一網(wǎng)絡(luò)實(shí)現(xiàn)。
[0088]交換節(jié)點(diǎn)是應(yīng)用SDN技術(shù)的中間交換機(jī)節(jié)點(diǎn)，在SDN控制與轉(zhuǎn)發(fā)分離的設(shè)計(jì)架構(gòu)中專門實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)功能。依據(jù)前述服務(wù)節(jié)點(diǎn)上SDN控制器下發(fā)的流表承擔(dān)數(shù)據(jù)轉(zhuǎn)發(fā)工作。
[0089]計(jì)算節(jié)點(diǎn)專職承擔(dān)計(jì)算任務(wù)，可以部署GPU子卡作為計(jì)算加速功能。
[0090]在該高性能計(jì)算系統(tǒng)中，集群管理和集群存儲(chǔ)服務(wù)功能采用SDN技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)?，F(xiàn)有的SDN技術(shù)包括控制器和交換機(jī)。其中SDN交換機(jī)可以采用三種形式，物理交換、虛擬交換和智能網(wǎng)卡交換。智能網(wǎng)卡是在網(wǎng)卡上運(yùn)行一個(gè)處理器，報(bào)文接收后直接進(jìn)行網(wǎng)絡(luò)協(xié)議處理后再提交到服務(wù)器內(nèi)各個(gè)虛擬機(jī)進(jìn)行業(yè)務(wù)處理或者不經(jīng)服務(wù)器處理直接轉(zhuǎn)發(fā)到其它節(jié)點(diǎn)的設(shè)備，SDN控制器通過流表下發(fā)的方式管理和控制各個(gè)交換機(jī)的轉(zhuǎn)發(fā)功能。
[0091]SDN控制器通過流表集對(duì)多個(gè)有功能聯(lián)系的交換機(jī)進(jìn)行管理。針對(duì)于一個(gè)上層功能請(qǐng)求，控制器制定的所有交換機(jī)流表的集合稱為流表集。流表集需要按照事務(wù)的處理方式，全部統(tǒng)一加載或全部統(tǒng)一卸載。以事務(wù)編號(hào)序列維護(hù)流表集，一個(gè)事務(wù)編號(hào)對(duì)應(yīng)相應(yīng)的流表集，上層請(qǐng)求實(shí)現(xiàn)功能，生成的流表集事務(wù)編號(hào)，必須由上層自己維護(hù)，以支持必要的新增、變動(dòng)、刪除功能。控制器上每條流表需要記錄其對(duì)應(yīng)的流表集編號(hào)。
[0092]優(yōu)選的，集群資源管理中的應(yīng)用，指服務(wù)節(jié)點(diǎn)分發(fā)計(jì)算任務(wù)時(shí)，由資源管理控制規(guī)劃一個(gè)子計(jì)算集群，確定節(jié)點(diǎn)名單，構(gòu)成高性能計(jì)算系統(tǒng)內(nèi)部獨(dú)立的二層網(wǎng)絡(luò)。計(jì)算完成后，刪除相關(guān)流表集。根據(jù)需要，集群資源管理會(huì)為子計(jì)算分配單獨(dú)的存儲(chǔ)，并構(gòu)建單獨(dú)的存儲(chǔ)網(wǎng)絡(luò)。可以根據(jù)流量監(jiān)控實(shí)現(xiàn)彈性網(wǎng)絡(luò)資源管理，網(wǎng)絡(luò)負(fù)荷高、或某個(gè)中間交換節(jié)點(diǎn)、中間交換機(jī)負(fù)荷高時(shí)，重新規(guī)劃轉(zhuǎn)發(fā)路徑，部署轉(zhuǎn)發(fā)流表。
[0093]優(yōu)選的，分布式文件系統(tǒng)中的應(yīng)用，主要分為訪問中確定和預(yù)先確定兩種方式。訪問中確定，響應(yīng)客戶端文件服務(wù)請(qǐng)求時(shí)，通過控制器動(dòng)態(tài)設(shè)置流表，實(shí)現(xiàn)規(guī)劃網(wǎng)絡(luò)路徑的連通，記錄相關(guān)的流表集事務(wù)編號(hào)。文件客戶端卸載時(shí)，刪除相關(guān)的流表集。集群資源管理分配資源時(shí)，根據(jù)用戶輸入信息由元數(shù)據(jù)服務(wù)分析確定存儲(chǔ)數(shù)據(jù)所在的節(jié)點(diǎn)。預(yù)先確定，元數(shù)據(jù)服務(wù)需要首先分析用戶信息或存儲(chǔ)路徑，如果該存儲(chǔ)數(shù)據(jù)已經(jīng)存在則返回該存儲(chǔ)數(shù)據(jù)所在的節(jié)點(diǎn)，如果不存在則需要元數(shù)據(jù)服務(wù)動(dòng)態(tài)分配存儲(chǔ)節(jié)點(diǎn)。
[0094]SDN交換三種形式，物理交換、虛擬交換和智能網(wǎng)卡交換，物理形態(tài)不同，但功能基本相同。以智能網(wǎng)卡為例描述，智能網(wǎng)卡的控制和轉(zhuǎn)發(fā)功能，圖5是根據(jù)本發(fā)明優(yōu)選實(shí)施例的智能網(wǎng)卡數(shù)據(jù)轉(zhuǎn)發(fā)的示意圖，如圖5所示，智能網(wǎng)卡具備多個(gè)物理網(wǎng)口，在SDN控制器通過安全通道下發(fā)的流表(Flow Table)作用下完成數(shù)據(jù)轉(zhuǎn)發(fā)功能。業(yè)務(wù)數(shù)據(jù)接收后在智能網(wǎng)卡上進(jìn)行SDN交換的流表轉(zhuǎn)發(fā)處理，完成后依據(jù)處理結(jié)果轉(zhuǎn)發(fā)到本地或其它網(wǎng)絡(luò)節(jié)點(diǎn)。例如文件訪問請(qǐng)求，元數(shù)據(jù)服務(wù)通過控制器下發(fā)的流表處理策略中包含該文件訪問請(qǐng)求的具體節(jié)點(diǎn)位置和交換端口對(duì)應(yīng)關(guān)系，本地交換流表處理后依據(jù)節(jié)點(diǎn)位置和路徑規(guī)劃，將該文件請(qǐng)求轉(zhuǎn)發(fā)到本地或其它節(jié)點(diǎn)端口。
[0095]基于該高性能計(jì)算系統(tǒng)，可以提供更豐富的應(yīng)用功能。在SDN控制器的作用下，可以對(duì)系統(tǒng)提供如下功能支持:
[0096]其一，支持網(wǎng)絡(luò)資源QOS訪問?？刂破魍ㄟ^資源預(yù)約、劃分優(yōu)先級(jí)的方式，對(duì)不同用戶的計(jì)算、存儲(chǔ)網(wǎng)絡(luò)資源進(jìn)行分配，甚至對(duì)同一用戶的計(jì)算、存儲(chǔ)資源實(shí)現(xiàn)細(xì)粒度的資源劃分。在SDN控制器下發(fā)流表時(shí)，將端口限制一并下發(fā)。通過合理的網(wǎng)絡(luò)調(diào)度方式，減少訪問不均衡和訪問異常。限制和減少惡意用戶或異常用戶對(duì)于整個(gè)網(wǎng)絡(luò)資源的影響，把單個(gè)用戶造成錯(cuò)誤限制在合理的范圍之內(nèi)。
[0097]圖6是根據(jù)本發(fā)明優(yōu)選實(shí)施例的網(wǎng)絡(luò)資源QOS訪問的流程圖，如圖6所示，該流程圖包括如下步驟。
[0098]步驟S602，用戶申請(qǐng)計(jì)算、存儲(chǔ)資源時(shí)選擇配置網(wǎng)絡(luò)資源，預(yù)約資源帶寬和優(yōu)先級(jí)；
[0099]步驟S604，控制器完成網(wǎng)絡(luò)連通路徑規(guī)劃，下發(fā)流表后，將資源QOS配置下發(fā)到轉(zhuǎn)發(fā)路徑上的各個(gè)中間交換單元(包括物理交換機(jī)和虛擬交換、智能網(wǎng)卡交換)；步驟S604中實(shí)現(xiàn)控制器完成網(wǎng)絡(luò)連通路徑規(guī)劃，與上述圖1步驟102，規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑的功能和作用相同。
[0100]步驟S606，各個(gè)交換單元(交換單元也可以稱為交換節(jié)點(diǎn))對(duì)于資源預(yù)約的端口或者流表項(xiàng)，進(jìn)行相應(yīng)的實(shí)時(shí)流量監(jiān)控；
[0101]步驟S608，交換單元對(duì)于網(wǎng)絡(luò)負(fù)荷超過本地轉(zhuǎn)發(fā)能力的，優(yōu)先對(duì)于低優(yōu)先級(jí)和無配額或者超過配額的端口或者流表項(xiàng)進(jìn)行流控，并上報(bào)控制器作后續(xù)處理。
[0102]其二，控制器動(dòng)態(tài)切換訪問路徑實(shí)現(xiàn)負(fù)荷均衡。當(dāng)系統(tǒng)中出現(xiàn)資源管理新增節(jié)點(diǎn)、元數(shù)據(jù)訪問增加服務(wù)，交換上報(bào)統(tǒng)計(jì)中出現(xiàn)持續(xù)端口擁塞等情況時(shí)，控制器立即啟動(dòng)重調(diào)度流程。分析當(dāng)前網(wǎng)絡(luò)狀況，對(duì)中間交換出現(xiàn)的訪問熱點(diǎn)進(jìn)行分析，將部分經(jīng)由的網(wǎng)絡(luò)訪問路徑移至其它負(fù)荷相對(duì)空閑的中間交換。
[0103]圖7是根據(jù)本發(fā)明優(yōu)選實(shí)施例的實(shí)現(xiàn)負(fù)荷均衡的流程圖，如圖7所示，該流程圖包括如下步驟。
[0104]步驟S702，控制器啟動(dòng)網(wǎng)絡(luò)資源重調(diào)度流程；
[0105]步驟S704，控制器根據(jù)收集的網(wǎng)絡(luò)狀況信息，按照當(dāng)前剩余網(wǎng)絡(luò)資源的情況，對(duì)出現(xiàn)忙閑不均的訪問熱點(diǎn)的鏈路，加入實(shí)際網(wǎng)絡(luò)負(fù)荷的權(quán)重，重新計(jì)算最合適的轉(zhuǎn)發(fā)路徑；
[0106]步驟S702和步驟S704，重新計(jì)算最合適的轉(zhuǎn)發(fā)路徑，與上述圖1步驟102，規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑的功能和作用相同。
[0107]步驟S706，確定需要更改的轉(zhuǎn)發(fā)路徑流表集，以事務(wù)方式，先撤消原來的流表集，然后重新下發(fā)新的流表集；
[0108]步驟S708，交換單元對(duì)于更改中撤消的流表，需要對(duì)原流表匹配報(bào)文進(jìn)行本地緩存，如果后續(xù)有新的流表下發(fā)則重新開啟緩存報(bào)文轉(zhuǎn)發(fā)，否則等待一段時(shí)間上報(bào)控制器或者直接刪除報(bào)文緩存，丟棄報(bào)文。
[0109]其三，支持節(jié)能降耗功能。資源管理發(fā)現(xiàn)系統(tǒng)中所有節(jié)點(diǎn)負(fù)荷長期處于空閑或低負(fù)荷狀態(tài)時(shí)，啟動(dòng)節(jié)能降耗功能，讓空閑的計(jì)算節(jié)點(diǎn)下電，并重新規(guī)劃變動(dòng)涉及的網(wǎng)絡(luò)路徑。具體流程是，鎖定即將下電的節(jié)點(diǎn)，不為其分配新計(jì)算任務(wù)；流表及時(shí)處理節(jié)點(diǎn)端口預(yù)刪除，不再為該節(jié)點(diǎn)所在交換端口分配新的流表功能。等待其上的計(jì)算任務(wù)完成后，啟動(dòng)下電或休眠流程。影響原先網(wǎng)絡(luò)路徑通信的，由交換機(jī)上報(bào)MISS事件觸發(fā)流表重新生成，并更新其流表集記錄。
[0110]圖8是根據(jù)本發(fā)明優(yōu)選實(shí)施例的實(shí)現(xiàn)節(jié)能降耗的流程圖，如圖8所示，該流程圖包括如下步驟。
[0111]步驟S802，系統(tǒng)啟動(dòng)節(jié)能降耗調(diào)度流程；
[0112]步驟S804，系統(tǒng)資源管理計(jì)算當(dāng)前系統(tǒng)負(fù)荷，確定需要下電的節(jié)點(diǎn)名單，交給控制器執(zhí)行。同時(shí)在資源管理中將這些節(jié)點(diǎn)標(biāo)記為預(yù)刪除，不再分配新的計(jì)算任務(wù)；
[0113]步驟S806，控制器確定本次下電影響需要更改的轉(zhuǎn)發(fā)路徑流表集，同樣首先進(jìn)行預(yù)刪除，不再承擔(dān)新的轉(zhuǎn)發(fā)流表，還需要根據(jù)預(yù)刪除后的網(wǎng)絡(luò)狀況重新計(jì)算轉(zhuǎn)發(fā)路徑流表集;
[0114]步驟S808，控制器以事務(wù)方式，對(duì)受本次下電影響的所有網(wǎng)絡(luò)鏈路，先撤消原來的流表集，然后重新下發(fā)新的流表集；
[0115