本技術(shù)涉及時(shí)鐘同步通信，特別是涉及一種時(shí)鐘同步方法、裝置及3d互連超算系統(tǒng)。

背景技術(shù)：

1、超算系統(tǒng)采用超級(jí)計(jì)算機(jī)技術(shù)，使用多個(gè)cpu分組形成多個(gè)計(jì)算節(jié)點(diǎn)，并通過(guò)高速互聯(lián)網(wǎng)絡(luò)協(xié)作解決問(wèn)題。其中，傳統(tǒng)的超算系統(tǒng)的各計(jì)算節(jié)點(diǎn)之間主要使用以太網(wǎng)或ib網(wǎng)絡(luò)互連并通過(guò)交換機(jī)進(jìn)行數(shù)據(jù)交換。由于交換機(jī)在進(jìn)行數(shù)據(jù)交換時(shí)，需對(duì)接收到的數(shù)據(jù)進(jìn)行緩存然后再轉(zhuǎn)發(fā)至對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)。因此，傳統(tǒng)的超算系統(tǒng)傳輸延遲很大。

2、隨著ai大模型和分子動(dòng)力學(xué)仿真的工業(yè)應(yīng)用的爆發(fā)增長(zhǎng)，對(duì)超算系統(tǒng)低通訊延遲的要求越來(lái)越高。p2p直連的3d互連架構(gòu)，采用各計(jì)算節(jié)點(diǎn)直接連接的方式，形成3d互連網(wǎng)絡(luò)，具有極低的io延遲性能。該3d互連架構(gòu)中為了保證任意節(jié)點(diǎn)間通訊可靠需要采用全局同步時(shí)鐘，使所有傳輸均以同源時(shí)鐘為參考。

3、但是，采用3d互連架構(gòu)的超算系統(tǒng)主要面向大型網(wǎng)絡(luò)，可支持百萬(wàn)量級(jí)設(shè)備，且其極低延遲傳輸對(duì)時(shí)鐘精度要求較高。廣泛應(yīng)用于電信網(wǎng)絡(luò)的時(shí)鐘系統(tǒng)，時(shí)鐘精度不能滿足該3d互連架構(gòu)的超算系統(tǒng)，如時(shí)鐘抖動(dòng)品質(zhì)較差，僅能達(dá)到50ns；并且，其架構(gòu)過(guò)于復(fù)雜，成本過(guò)高，不適于直接應(yīng)用于該3d互連架構(gòu)的超算系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本技術(shù)的目的在于提供一種時(shí)鐘同步方法、裝置及3d互連超算系統(tǒng)，用于解決現(xiàn)有時(shí)鐘系統(tǒng)無(wú)法滿足3d互連超算系統(tǒng)的低延遲性能、高時(shí)鐘精度要求以及系統(tǒng)架構(gòu)復(fù)雜、時(shí)鐘同步成本高的問(wèn)題。

2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本技術(shù)的第一方面提供一種時(shí)鐘同步方法，用于3d互連超算系統(tǒng)中多個(gè)刀片服務(wù)器之間的時(shí)鐘信號(hào)同步，所述時(shí)鐘同步方法包括：對(duì)所述3d互連超算系統(tǒng)的多個(gè)刀片服務(wù)器進(jìn)行分組，生成多個(gè)刀片服務(wù)器組，并選擇一刀片服務(wù)器組作為第一刀片服務(wù)器組，其余各刀片服務(wù)器組作為第二刀片服務(wù)器組；選擇所述第一刀片服務(wù)器組的一刀片服務(wù)器配置為一級(jí)主時(shí)鐘節(jié)點(diǎn)，并將所述第一刀片服務(wù)器組的其余各刀片服務(wù)器配置為一級(jí)從時(shí)鐘節(jié)點(diǎn)；從每個(gè)所述第二刀片服務(wù)器組中分別選擇一刀片服務(wù)器配置為二級(jí)主時(shí)鐘節(jié)點(diǎn)，并將各所述第二刀片服務(wù)器組的其余各刀片服務(wù)器配置為二級(jí)從時(shí)鐘節(jié)點(diǎn)；將各一級(jí)從時(shí)鐘節(jié)點(diǎn)以及各二級(jí)主時(shí)鐘節(jié)點(diǎn)分別連接所述一級(jí)主時(shí)鐘節(jié)點(diǎn)，并將各二級(jí)從時(shí)鐘節(jié)點(diǎn)分別連接同組的二級(jí)主時(shí)鐘節(jié)點(diǎn)，以構(gòu)建全局時(shí)鐘樹(shù)；對(duì)各刀片服務(wù)器設(shè)置時(shí)鐘模塊，并通過(guò)各時(shí)鐘模塊對(duì)所述全局時(shí)鐘樹(shù)的各時(shí)鐘節(jié)點(diǎn)進(jìn)行時(shí)鐘信號(hào)同步。

3、于本技術(shù)的第一方面的一些實(shí)施例中，通過(guò)各時(shí)鐘模塊對(duì)所述全局時(shí)鐘樹(shù)的各時(shí)鐘節(jié)點(diǎn)進(jìn)行時(shí)鐘信號(hào)同步的方式包括：通過(guò)所述一級(jí)主時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊產(chǎn)生時(shí)鐘信號(hào)，并分發(fā)給對(duì)應(yīng)連接的各所述二級(jí)主時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊以及各所述一級(jí)從時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊；通過(guò)各所述二級(jí)主時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊將接收到的時(shí)鐘信號(hào)繼續(xù)分發(fā)給對(duì)應(yīng)連接的各所述二級(jí)從時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊。

4、于本技術(shù)的第一方面的一些實(shí)施例中，時(shí)鐘輸入單元，用于接收由其他時(shí)鐘模塊分發(fā)的時(shí)鐘信號(hào)，并將其作為第一時(shí)鐘信號(hào)；時(shí)鐘源單元，用于產(chǎn)生新的時(shí)鐘信號(hào)，并將其作為第二時(shí)鐘信號(hào)；時(shí)鐘選擇單元，連接所述時(shí)鐘源單元以及所述時(shí)鐘輸入單元，用于根據(jù)當(dāng)前時(shí)鐘模塊所在刀片服務(wù)器的時(shí)鐘節(jié)點(diǎn)類型，選擇所述第一時(shí)鐘信號(hào)或所述第二時(shí)鐘信號(hào)作為參考時(shí)鐘信號(hào)；時(shí)鐘恢復(fù)單元，連接所述時(shí)鐘選擇單元，用于對(duì)所述參考時(shí)鐘信號(hào)進(jìn)行時(shí)鐘恢復(fù)，獲得與所述參考時(shí)鐘信號(hào)同步且低時(shí)鐘抖動(dòng)的工作時(shí)鐘信號(hào)；時(shí)鐘輸出單元，連接所述時(shí)鐘恢復(fù)單元，用于將所述工作時(shí)鐘信號(hào)分發(fā)給其他時(shí)鐘模塊。

5、于本技術(shù)的第一方面的一些實(shí)施例中，根據(jù)當(dāng)前時(shí)鐘模塊所在刀片服務(wù)器的時(shí)鐘節(jié)點(diǎn)類型，選擇所述第一時(shí)鐘信號(hào)或所述第二時(shí)鐘信號(hào)作為參考時(shí)鐘信號(hào)的方式包括：判斷當(dāng)前時(shí)鐘模塊所在刀片服務(wù)器的時(shí)鐘節(jié)點(diǎn)類型是否為一級(jí)主時(shí)鐘節(jié)點(diǎn)；若為一級(jí)主時(shí)鐘節(jié)點(diǎn)，則選擇第二時(shí)鐘信號(hào)作為參考時(shí)鐘信號(hào)；否則，選擇第一時(shí)鐘信號(hào)作為參考時(shí)鐘信號(hào)。

6、于本技術(shù)的第一方面的一些實(shí)施例中，每個(gè)刀片服務(wù)器組分別安裝在機(jī)架的多個(gè)機(jī)框內(nèi)，且同一刀片服務(wù)器組的各刀片服務(wù)器分別安裝在同一機(jī)框的不同槽位；每個(gè)刀片服務(wù)器均包括唯一標(biāo)識(shí)碼，用于標(biāo)識(shí)各刀片服務(wù)器的物理位置；其中，刀片服務(wù)器的物理位置包括：刀片服務(wù)器所屬機(jī)架、機(jī)框以及安裝的槽位；通過(guò)各刀片服務(wù)器的唯一標(biāo)識(shí)碼，可將對(duì)應(yīng)刀片服務(wù)器配置為不同類型的時(shí)鐘節(jié)點(diǎn)。

7、于本技術(shù)的第一方面的一些實(shí)施例中，各二級(jí)主時(shí)鐘節(jié)點(diǎn)通過(guò)一時(shí)鐘線纜分別與所述一級(jí)主時(shí)鐘節(jié)點(diǎn)連接；各一級(jí)從時(shí)鐘節(jié)點(diǎn)通過(guò)背板分別與所述一級(jí)主時(shí)鐘節(jié)點(diǎn)連接；各二級(jí)從時(shí)鐘節(jié)點(diǎn)通過(guò)背板分別與同組的二級(jí)主時(shí)鐘節(jié)點(diǎn)連接。

8、于本技術(shù)的第一方面的一些實(shí)施例中，所述時(shí)鐘線纜采用多點(diǎn)低壓差分信號(hào)電平標(biāo)準(zhǔn)進(jìn)行時(shí)鐘信號(hào)傳輸。

9、于本技術(shù)的第一方面的一些實(shí)施例中，所述時(shí)鐘同步方法還包括：當(dāng)所述一級(jí)主時(shí)鐘節(jié)點(diǎn)失效時(shí)，將該一級(jí)主時(shí)鐘節(jié)點(diǎn)配置為新的二級(jí)主時(shí)鐘節(jié)點(diǎn)，并將對(duì)應(yīng)的原一級(jí)從時(shí)鐘節(jié)點(diǎn)配置為新的二級(jí)從時(shí)鐘節(jié)點(diǎn)；選擇某一原二級(jí)主時(shí)鐘節(jié)點(diǎn)配置為新的一級(jí)主時(shí)鐘節(jié)點(diǎn)，并將與該時(shí)鐘節(jié)點(diǎn)連接的原二級(jí)從時(shí)鐘節(jié)點(diǎn)配置為新的一級(jí)從時(shí)鐘節(jié)點(diǎn)；其余原二級(jí)主時(shí)鐘節(jié)點(diǎn)以及原二級(jí)從時(shí)鐘節(jié)點(diǎn)保持不變。

10、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本技術(shù)的第二方面提供一種時(shí)鐘同步裝置，用于3d互連超算系統(tǒng)中多個(gè)刀片服務(wù)器之間的時(shí)鐘信號(hào)同步，所述時(shí)鐘同步裝置包括：時(shí)鐘樹(shù)構(gòu)建模塊，用于基于所述3d互連超算系統(tǒng)的多個(gè)刀片服務(wù)器構(gòu)建全局時(shí)鐘樹(shù)；時(shí)鐘信號(hào)同步模塊，連接所述時(shí)鐘樹(shù)構(gòu)建模塊，用于對(duì)各刀片服務(wù)器設(shè)置時(shí)鐘模塊，并通過(guò)各時(shí)鐘模塊對(duì)所述全局時(shí)鐘樹(shù)的各時(shí)鐘節(jié)點(diǎn)進(jìn)行時(shí)鐘信號(hào)同步；其中，所述全局時(shí)鐘樹(shù)的構(gòu)建方式包括：對(duì)所述3d互連超算系統(tǒng)的多個(gè)刀片服務(wù)器進(jìn)行分組，生成多個(gè)刀片服務(wù)器組，并選擇一刀片服務(wù)器組作為第一刀片服務(wù)器組，其余各刀片服務(wù)器組作為第二刀片服務(wù)器組；選擇所述第一刀片服務(wù)器組的一刀片服務(wù)器配置為一級(jí)主時(shí)鐘節(jié)點(diǎn)，并將所述第一刀片服務(wù)器組的其余各刀片服務(wù)器配置為一級(jí)從時(shí)鐘節(jié)點(diǎn)；從每個(gè)所述第二刀片服務(wù)器組中分別選擇一刀片服務(wù)器配置為二級(jí)主時(shí)鐘節(jié)點(diǎn)，并將各所述第二刀片服務(wù)器組的其余各刀片服務(wù)器配置為二級(jí)從時(shí)鐘節(jié)點(diǎn)；將各一級(jí)從時(shí)鐘節(jié)點(diǎn)以及各二級(jí)主時(shí)鐘節(jié)點(diǎn)分別連接所述一級(jí)主時(shí)鐘節(jié)點(diǎn)，并將各二級(jí)從時(shí)鐘節(jié)點(diǎn)分別連接同組的二級(jí)主時(shí)鐘節(jié)點(diǎn)，以構(gòu)建全局時(shí)鐘樹(shù)。

11、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本技術(shù)的第三方面提供一種3d互連超算系統(tǒng)，所述3d互連超算系統(tǒng)包括：多個(gè)刀片服務(wù)器以及所述的時(shí)鐘同步裝置；其中，各刀片服務(wù)器互相連接，且分別連接所述時(shí)鐘同步裝置；所述時(shí)鐘同步裝置用于多個(gè)刀片服務(wù)器之間的時(shí)鐘信號(hào)同步，包括：時(shí)鐘樹(shù)構(gòu)建模塊，用于基于各刀片服務(wù)器構(gòu)建全局時(shí)鐘樹(shù)；其中，所述全局時(shí)鐘樹(shù)的構(gòu)建方式包括：對(duì)各刀片服務(wù)器進(jìn)行分組，生成多個(gè)刀片服務(wù)器組，并選擇一刀片服務(wù)器組作為第一刀片服務(wù)器組，其余各刀片服務(wù)器組作為第二刀片服務(wù)器組；選擇所述第一刀片服務(wù)器組的一刀片服務(wù)器配置為一級(jí)主時(shí)鐘節(jié)點(diǎn)，并將所述第一刀片服務(wù)器組的其余各刀片服務(wù)器配置為一級(jí)從時(shí)鐘節(jié)點(diǎn)；從每個(gè)所述第二刀片服務(wù)器組中分別選擇一刀片服務(wù)器配置為二級(jí)主時(shí)鐘節(jié)點(diǎn)，并將各所述第二刀片服務(wù)器組的其余各刀片服務(wù)器配置為二級(jí)從時(shí)鐘節(jié)點(diǎn)；將各一級(jí)從時(shí)鐘節(jié)點(diǎn)以及各二級(jí)主時(shí)鐘節(jié)點(diǎn)分別連接所述一級(jí)主時(shí)鐘節(jié)點(diǎn)，并將各二級(jí)從時(shí)鐘節(jié)點(diǎn)分別連接同組的二級(jí)主時(shí)鐘節(jié)點(diǎn)，以構(gòu)建全局時(shí)鐘樹(shù)；時(shí)鐘信號(hào)同步模塊，連接所述時(shí)鐘樹(shù)構(gòu)建模塊，用于對(duì)各刀片服務(wù)器設(shè)置時(shí)鐘模塊，并通過(guò)各時(shí)鐘模塊對(duì)所述全局時(shí)鐘樹(shù)的各時(shí)鐘節(jié)點(diǎn)進(jìn)行時(shí)鐘信號(hào)同步。

12、如上所述，本技術(shù)提供了一種時(shí)鐘同步方法、裝置及3d互連超算系統(tǒng)，通過(guò)基于3d互連超算系統(tǒng)的多個(gè)刀片服務(wù)器構(gòu)建全局時(shí)鐘樹(shù)；對(duì)各刀片服務(wù)器設(shè)置相同的時(shí)鐘模塊；通過(guò)所述全局時(shí)鐘樹(shù)的一級(jí)主時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊產(chǎn)生時(shí)鐘信號(hào)，并分發(fā)給對(duì)應(yīng)連接的各二級(jí)主時(shí)鐘節(jié)點(diǎn)以及各所述一級(jí)從時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊；通過(guò)各二級(jí)主時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊將接收到的時(shí)鐘信號(hào)繼續(xù)分發(fā)給對(duì)應(yīng)連接的各二級(jí)從時(shí)鐘節(jié)點(diǎn)的時(shí)鐘模塊。本技術(shù)具有以下有益效果：本技術(shù)實(shí)現(xiàn)了3d互連超算系統(tǒng)任意計(jì)算節(jié)點(diǎn)之間的通訊基于同一個(gè)時(shí)鐘信號(hào)同步，并滿足3d互連超算系統(tǒng)的低延遲性能以及高時(shí)鐘精度要求。