專利名稱：基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備和系統(tǒng)。
背景技術(shù)：
分布式文件系統(tǒng)(Hadoop Distributed File System, HDFS)是一個主從結(jié)構(gòu)體系，包括一個主控節(jié)點和若干個數(shù)據(jù)節(jié)點，其中，數(shù)據(jù)節(jié)點主要執(zhí)行來自主控節(jié)點的指示包括塊的創(chuàng)建，刪除，和復制，將文件塊存儲在本地文件系統(tǒng)中，保存了文件塊的元數(shù)據(jù)，同時周期性地將所有存在的文件塊信息發(fā)送給主控節(jié)點。由于HDFS中主控節(jié)點只有一個，因此，一旦主控節(jié)點發(fā)生故障，整個HDFS系統(tǒng)將發(fā)生癱瘓，造成了單點瓶頸，影響整個系統(tǒng)的可用性。因此，現(xiàn)有技術(shù)通過在HDFS系統(tǒng)中配 置一個備用主控節(jié)點，當原有的主控節(jié)點即主用主控節(jié)點出現(xiàn)故障后，通過將主用主控節(jié)點的文件導入到備用主控節(jié)點中，將備用主控節(jié)點作為新的主用主控節(jié)點與數(shù)據(jù)節(jié)點繼續(xù)通信，從而保證HDFS系統(tǒng)的正常工作。但是，由于主用主控節(jié)點的文件量非常大，往備用主控節(jié)點導入數(shù)據(jù)的時間過長，從而導致主用主控節(jié)點與數(shù)據(jù)節(jié)點的交互需要中斷很長時間，從而使整個HDFS系統(tǒng)無法滿足應(yīng)用需求。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的上述缺陷，本發(fā)明實施例提供一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備和系統(tǒng)。本發(fā)明一方面提供一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，包括數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中，監(jiān)測所述主用主控節(jié)點和所述備用主控節(jié)點的工作狀態(tài)，其中，所述通信交互包括與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互；所述數(shù)據(jù)節(jié)點若確定所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作，則向所述備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令；所述數(shù)據(jù)節(jié)點接收所述備用主控節(jié)點返回的第一確認響應(yīng)，并采用單主控節(jié)點工作模式繼續(xù)與所述備用主控節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。本發(fā)明另一方面提供一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，包括備用主控節(jié)點采用雙主控節(jié)點工作模式與數(shù)據(jù)節(jié)點進行通信交互的過程中，接收所述數(shù)據(jù)節(jié)點發(fā)送的單主控節(jié)點工作模式切換指令，其中，所述通信交互包括所述數(shù)據(jù)節(jié)點與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互，所述單主控節(jié)點工作模式切換指令是所述數(shù)據(jù)節(jié)點在所述通信交互過程中監(jiān)測到所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作時所發(fā)送的；
所述備用主控節(jié)點向所述數(shù)據(jù)節(jié)點返回第一確認響應(yīng)，以采用單主控節(jié)點工作模式繼續(xù)與所述數(shù)據(jù)節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。本發(fā)明又一方面提供一種數(shù)據(jù)節(jié)點，包括第一監(jiān)測模塊，用于采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中，監(jiān)測所述主用主控節(jié)點和所述備用主控節(jié)點的工作狀態(tài)，其中，所述通信交互包括與所述主用主控節(jié)點進行信令交互， 與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互；切換模塊，用于若確定所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作，則向所述備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令；第一處理模塊，用于接收所述備用主控節(jié)點返回的第一確認響應(yīng)，并采用單主控節(jié)點工作模式繼續(xù)與所述備用主控節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。本發(fā)明再一方面提供一種備用主控節(jié)點，包括接收模塊，用于采用雙主控節(jié)點工作模式與數(shù)據(jù)節(jié)點進行通信交互的過程中，接收所述數(shù)據(jù)節(jié)點發(fā)送的單主控節(jié)點工作模式切換指令，其中，所述通信交互包括所述數(shù)據(jù)節(jié)點與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互，所述單主控節(jié)點工作模式切換指令是所述數(shù)據(jù)節(jié)點在所述通信交互過程中監(jiān)測到所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作時所發(fā)送的；響應(yīng)模塊，用于向所述數(shù)據(jù)節(jié)點返回第一確認響應(yīng)，以采用單主控節(jié)點工作模式繼續(xù)與所述數(shù)據(jù)節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。本發(fā)明又一方面提供一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理系統(tǒng)，包括主用主控節(jié)點，還包括上述的數(shù)據(jù)節(jié)點和備用主控節(jié)點。本發(fā)明實施例提供的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備和系統(tǒng)，通過數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互具體包括與主用主控節(jié)點進行信令交互，與主用主控節(jié)點和備用主控節(jié)點同時進行數(shù)據(jù)交互，在該通信交互過程中若監(jiān)測到主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令，以采用單主控節(jié)點工作模式繼續(xù)與備用主控節(jié)點進行數(shù)據(jù)交互和信令交互，從而實現(xiàn)了數(shù)據(jù)節(jié)點與主備主控節(jié)點之間采用兩種工作模式進行通信交互，解決了主用主控節(jié)點故障時導致系統(tǒng)中斷時間過長的問題，大大提高了系統(tǒng)的有效性和穩(wěn)定性。


圖I為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法一個實施例的流程圖；圖2為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法另一實施例的流程圖；圖3為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法又一實施例的流程圖；圖4為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法再一實施例的流程圖；圖5為本發(fā)明數(shù)據(jù)節(jié)點一個實施例的結(jié)構(gòu)示意圖；圖6為本發(fā)明數(shù)據(jù)節(jié)點另一實施例的結(jié)構(gòu)示意圖；圖7為本發(fā)明備用主控節(jié)點一個實施例的結(jié)構(gòu)示意圖；圖8為本發(fā)明備用主控節(jié)點另一實施例的結(jié)構(gòu)示意圖9為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理系統(tǒng)一個實施例的結(jié)構(gòu)示意圖。
具體實施例方式圖I為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法一個實施例的流程圖，如圖I所示，該方法具體包括步驟100，數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中，監(jiān)測所述主用主控節(jié)點和所述備用主控節(jié)點的工作狀態(tài)，其中，所述通信交互包括與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互；HDFS包括一個主用主控節(jié)點、一個備用主控節(jié)點和若干個數(shù)據(jù)節(jié)點，主用主控節(jié)點和備用主控節(jié)點中的初始文件相同，數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互，該通信交互具體包括數(shù)據(jù)節(jié)點與主用主控節(jié)點進行通信交互中的信令交互，數(shù)據(jù)節(jié)點與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互中的數(shù)據(jù)交互。具體地，通信交互中的信令交互包括主用主控節(jié)點向數(shù)據(jù)節(jié)點發(fā)送信令指示包括數(shù)據(jù)塊的創(chuàng)建、刪除和復制，從而數(shù)據(jù)節(jié)點根據(jù)主用主控節(jié)點下發(fā)的信令指示對本地文件塊中的元數(shù)據(jù)進行相應(yīng)的處理。通信交互中的數(shù)據(jù)交互包括數(shù)據(jù)節(jié)點要周期性地掃描本地文件系統(tǒng)，根據(jù)本地的文件產(chǎn)生一個所有HDFS數(shù)據(jù)塊的文件信息，并將文件信息同時發(fā)送給主用主控節(jié)點和備用主控節(jié)點進行塊報告，當數(shù)據(jù)節(jié)點接收到主用主控節(jié)點和備用主控節(jié)點返回的響應(yīng)消息后，才確認完成了數(shù)據(jù)交互，從而保證了主用主控節(jié)點和備用主控節(jié)點中的數(shù)據(jù)信息同步。數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中監(jiān)測主用主控節(jié)點和備用主控節(jié)點的工作狀態(tài)以確定主用主控節(jié)點和/或備用主控節(jié)點是否出現(xiàn)故障。數(shù)據(jù)節(jié)點對主用主控節(jié)點和備用主控節(jié)點的工作狀態(tài)進行監(jiān)測的方式很多，比如數(shù)據(jù)節(jié)點在向主用主控節(jié)點和備用主控節(jié)點進行塊報告后，判斷是否能夠在預(yù)設(shè)的時間段內(nèi)接收到主用主控節(jié)點和/或備用主控節(jié)點返回的響應(yīng)消息，若是，則主用主控節(jié)點和/或備用主控節(jié)點處于正常工作狀態(tài)，否則，主用主控節(jié)點和/或備用主控節(jié)點出現(xiàn)故障。步驟101，數(shù)據(jù)節(jié)點若確定所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作，則向所述備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令；數(shù)據(jù)節(jié)點在監(jiān)測主用主控節(jié)點和備用主控節(jié)點的工作狀態(tài)的過程中，若確定主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令。步驟102，數(shù)據(jù)節(jié)點接收備用主控節(jié)點返回的第一確認響應(yīng)，并采用單主控節(jié)點工作模式繼續(xù)與備用主控節(jié)點進行信令交互和數(shù)據(jù)交互。當數(shù)據(jù)節(jié)點接收到備用主控節(jié)點返回的第一確認響應(yīng)后，說明備用主控節(jié)點已經(jīng)準備接替主用主控節(jié)點的功能繼續(xù)與數(shù)據(jù)節(jié)點進行通信交互，從而數(shù)據(jù)節(jié)點將雙主控節(jié)點工作模式切換到單主控節(jié)點工作模式，繼續(xù)與備用主控節(jié)點進行通信交互，具體地，通信交互中的信令交互包括備用主控節(jié)點向數(shù)據(jù)節(jié)點發(fā)送信令指示包括數(shù)據(jù)塊的創(chuàng)建、刪除和復制，從而數(shù)據(jù)節(jié)點根據(jù)備用主控節(jié)點下發(fā)的信令指示對本地文件塊中的元數(shù)據(jù)進行相、應(yīng)的處理。通信交互中的數(shù)據(jù)交互包括數(shù)據(jù)節(jié)點要周期性地掃描本地文件系統(tǒng)，根據(jù)本地的文件產(chǎn)生一個所有HDFS數(shù)據(jù)塊的文件信息，并將文件信息發(fā)送給備用主控節(jié)點進行塊報告，當數(shù)據(jù)節(jié)點接收到備用主控節(jié)點返回的響應(yīng)消息后確認完成了數(shù)據(jù)交互。本實施例提供的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，通過數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互具體包括與主用主控節(jié)點進行信令交互，與主用主控節(jié)點和備用主控節(jié)點同時進行數(shù)據(jù)交互，在該通信交互過程中若監(jiān)測到主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令，以采用單主控節(jié)點工作模式繼續(xù)與備用主控節(jié)點進行數(shù)據(jù)交互和信令交互，從而實現(xiàn)了數(shù)據(jù)節(jié)點與主備主控節(jié)點之間采用兩種工作模式進行通信交互，解決了主用主控節(jié)點故障時導致系統(tǒng)中斷時間過長的問題，大大提高了系統(tǒng)的有效性和穩(wěn)定性。圖2為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法另一實施例的流程圖，如圖2所示，該方法具體包括 步驟200，數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中，向主用主控節(jié)點發(fā)送第一心跳信號，并向備用主控節(jié)點發(fā)送第二心跳信號以確定主用主控節(jié)點和/或備用主控節(jié)點是否出現(xiàn)故障，其中，通信交互包括與主用主控節(jié)點進行信令交互，與主用主控節(jié)點和備用主控節(jié)點同時進行數(shù)據(jù)交互；HDFS包括一個主用主控節(jié)點、一個備用主控節(jié)點和若干個數(shù)據(jù)節(jié)點，主用主控節(jié)點和備用主控節(jié)點中的初始文件相同，數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互，該通信交互具體包括數(shù)據(jù)節(jié)點與主用主控節(jié)點進行通信交互中的信令交互，數(shù)據(jù)節(jié)點與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互中的數(shù)據(jù)交互。具體地，通信交互中的信令交互包括主用主控節(jié)點向數(shù)據(jù)節(jié)點發(fā)送信令指示包括數(shù)據(jù)塊的創(chuàng)建、刪除和復制，從而數(shù)據(jù)節(jié)點根據(jù)主用主控節(jié)點下發(fā)的信令指示對本地文件塊中的元數(shù)據(jù)進行相應(yīng)的處理。通信交互中的數(shù)據(jù)交互包括數(shù)據(jù)節(jié)點要周期性地掃描本地文件系統(tǒng)，根據(jù)本地的文件產(chǎn)生一個所有HDFS數(shù)據(jù)塊的文件信息，并將文件信息同時發(fā)送給主用主控節(jié)點和備用主控節(jié)點進行塊報告，當數(shù)據(jù)節(jié)點接收到主用主控節(jié)點和備用主控節(jié)點返回的響應(yīng)消息后，才確認完成了數(shù)據(jù)交互，從而保證了主用主控節(jié)點和備用主控節(jié)點中的數(shù)據(jù)信息同步。數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中向主用主控節(jié)點發(fā)送第一心跳信號，并向備用主控節(jié)點發(fā)送第二心跳信號，判斷是否能夠接收到主用主控節(jié)點返回的第一心跳響應(yīng)消息和/或備用主控節(jié)點返回的第二心跳響應(yīng)消息，若是，則確定主用主控節(jié)點和/或備用主控節(jié)點處于正常工作狀態(tài)，否則，確定主用主控節(jié)點和/或備用主控節(jié)點出現(xiàn)故障。步驟201，數(shù)據(jù)節(jié)點若確定主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令；數(shù)據(jù)節(jié)點在向主用主控節(jié)點發(fā)送第一心跳信號，并向備用主控節(jié)點發(fā)送第二心跳信號以監(jiān)測主用主控節(jié)點和備用主控節(jié)點工作狀態(tài)的過程中，若確定主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令。步驟202，數(shù)據(jù)節(jié)點接收備用主控節(jié)點返回的第一確認響應(yīng)，并采用單主控節(jié)點工作模式繼續(xù)與備用主控節(jié)點進行信令交互和數(shù)據(jù)交互；當數(shù)據(jù)節(jié)點接收到備用主控節(jié)點返回的第一確認響應(yīng)后，說明備用主控節(jié)點已經(jīng)準備接替主用主控節(jié)點的功能繼續(xù)與數(shù)據(jù)節(jié)點進行通信交互，從而數(shù)據(jù)節(jié)點將雙主控節(jié)點工作模式切換到單主控節(jié)點工作模式，繼續(xù)與備用主控節(jié)點進行通信交互，具體地，通信交互中的信令交互包括備用主控節(jié)點向數(shù)據(jù)節(jié)點發(fā)送信令指示包括數(shù)據(jù)塊的創(chuàng)建、刪除和復制，從而數(shù)據(jù)節(jié)點根據(jù)備用主控節(jié)點下發(fā)的信令指示對本地文件塊中的元數(shù)據(jù)進行相應(yīng)的處理。通信交互中的數(shù)據(jù)交互包括數(shù)據(jù)節(jié)點要周期性地掃描本地文件系統(tǒng)，根據(jù)本地的文件產(chǎn)生一個所有HDFS數(shù)據(jù)塊的文件信息，并將文件信息發(fā)送給備用主控節(jié)點進行塊報告，當數(shù)據(jù)節(jié)點接收到備用主控節(jié)點返回的響應(yīng)消息后確認完成了數(shù)據(jù)交互。步驟203，數(shù)據(jù)節(jié)點接收備用主控節(jié)點發(fā)送的故障恢復消息，并向主用主控節(jié)點和備用主控節(jié)點發(fā)送雙主控節(jié)點工作模式切換指令，其中，故障恢復消息是備用主控節(jié)點向數(shù)據(jù)節(jié)點返回第一確認響應(yīng)后對主用主控節(jié)點進行監(jiān)測，若確定主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對主用主控節(jié)點進行數(shù)據(jù)同步處理后所發(fā)送的；
·
在備用主控節(jié)點向數(shù)據(jù)節(jié)點返回第一確認響應(yīng)之后，備用主控節(jié)點監(jiān)測主用主控節(jié)點的工作狀態(tài)，比如可以通過向主用主控節(jié)點發(fā)送心跳響應(yīng)進行監(jiān)測，若接收到主用主控節(jié)點返回的心跳響應(yīng)消息，則確定主用主控節(jié)點能夠正常工作。然后備用主控節(jié)點根據(jù)本地當前存儲的數(shù)據(jù)對主用主控節(jié)點進行數(shù)據(jù)同步處理，具體為將本地當前存儲的數(shù)據(jù)導入到主用主控節(jié)點中，當數(shù)據(jù)同步處理完成后向數(shù)據(jù)節(jié)點發(fā)送故障恢復消息，從而數(shù)據(jù)節(jié)點在接收到備用主控節(jié)點發(fā)送的故障恢復消息后，確定主用主控節(jié)點的通信功能已經(jīng)恢復，則向主用主控節(jié)點和備用主控節(jié)點發(fā)送雙主控節(jié)點工作模式切換指令。步驟204，數(shù)據(jù)節(jié)點接收主用主控節(jié)點和備用主控節(jié)點返回的第二確認響應(yīng)，并采用雙主控節(jié)點工作模式繼續(xù)與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互。當主用主控節(jié)點和備用主控節(jié)點接收到數(shù)據(jù)節(jié)點發(fā)送的雙主控節(jié)點工作模式切換指令后，主用主控節(jié)點重新啟動與數(shù)據(jù)節(jié)點之間采用雙主控節(jié)點工作模式進行通信交互的功能，并向數(shù)據(jù)節(jié)點返回第二確認響應(yīng)，備用主控節(jié)點停止之前接替主用主控節(jié)點與數(shù)據(jù)節(jié)點進行通信交互的功能，切換到與數(shù)據(jù)節(jié)點之間采用雙主控節(jié)點工作模式進行通信交互的功能，并向數(shù)據(jù)節(jié)點返回第二確認響應(yīng)，從而當數(shù)據(jù)節(jié)點確定接收到主用主控節(jié)點和備用主控節(jié)點返回的第二確認響應(yīng)后，采用雙主控節(jié)點工作模式繼續(xù)與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互，具體的通信交互過程將步驟200，此處不再贅述。本實施例提供的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，通過數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主備主控節(jié)點同時進行的通信交互具體包括與主用主控節(jié)點進行信令交互，與主備主控節(jié)點同時進行數(shù)據(jù)交互，在該通信交互過程中若監(jiān)測到主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令，以采用單主控節(jié)點工作模式繼續(xù)與備用主控節(jié)點進行數(shù)據(jù)交互和信令交互，當主用主控節(jié)點且備用主控節(jié)點對其進行數(shù)據(jù)同步后，數(shù)據(jù)節(jié)點重新采用雙主控節(jié)點工作模式繼續(xù)與主備主控節(jié)點進行通信交互，從而實現(xiàn)了數(shù)據(jù)節(jié)點與主備主控節(jié)點之間采用兩種工作模式進行通信交互，解決了主用主控節(jié)點故障時導致系統(tǒng)中斷時間過長的問題，大大提高了系統(tǒng)的有效性和穩(wěn)定性。圖3為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法又一實施例的流程圖，如圖3所示，該方法具體包括步驟300，備用主控節(jié)點采用雙主控節(jié)點工作模式與數(shù)據(jù)節(jié)點進行通信交互的過程中，接收數(shù)據(jù)節(jié)點發(fā)送的單主控節(jié)點工作模式切換指令，其中，通信交互包括數(shù)據(jù)節(jié)點與主用主控節(jié)點進行信令交互，與主用主控節(jié)點和備用主控節(jié)點同時進行數(shù)據(jù)交互，單主控節(jié)點工作模式切換指令是數(shù)據(jù)節(jié)點在通信交互過程中監(jiān)測到主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作時所發(fā)送的；步驟301，備用主控節(jié)點向數(shù)據(jù)節(jié)點返回第一確認響應(yīng)，以采用單主控節(jié)點工作模式繼續(xù)與數(shù)據(jù)節(jié)點進行信令交互和數(shù)據(jù)交互。本實施例提供的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法中的具體實施處理流程，可以參見上述圖I所示的方法實施例，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。圖4為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法再一實施例的流程圖，如圖4 所示，該方法具體包括步驟400，備用主控節(jié)點采用雙主控節(jié)點工作模式與數(shù)據(jù)節(jié)點進行通信交互的過程中，接收數(shù)據(jù)節(jié)點發(fā)送的單主控節(jié)點工作模式切換指令，其中，通信交互包括數(shù)據(jù)節(jié)點與主用主控節(jié)點進行信令交互，與主用主控節(jié)點和備用主控節(jié)點同時進行數(shù)據(jù)交互，單主控節(jié)點工作模式切換指令是數(shù)據(jù)節(jié)點在通信交互過程中監(jiān)測到主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作時所發(fā)送的；步驟401，備用主控節(jié)點向數(shù)據(jù)節(jié)點返回第一確認響應(yīng)，以采用單主控節(jié)點工作模式繼續(xù)與數(shù)據(jù)節(jié)點進行信令交互和數(shù)據(jù)交互；步驟402，備用主控節(jié)點監(jiān)測主用主控節(jié)點的工作狀態(tài)；步驟403，備用主控節(jié)點若確定主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對主用主控節(jié)點進行數(shù)據(jù)同步處理，并向數(shù)據(jù)節(jié)點發(fā)送故障恢復消息；步驟404，備用主控節(jié)點接收數(shù)據(jù)節(jié)點發(fā)送的雙主控節(jié)點工作模式切換指令，并向數(shù)據(jù)節(jié)點返回第二確認響應(yīng)，以采用雙主控節(jié)點工作模式繼續(xù)與數(shù)據(jù)節(jié)點進行通信交互。本實施例提供的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法中的具體實施處理流程，可以參見上述圖2所示的方法實施例，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。圖5為本發(fā)明數(shù)據(jù)節(jié)點一個實施例的結(jié)構(gòu)示意圖，如圖5所示，該數(shù)據(jù)節(jié)點包括第一監(jiān)測模塊11、切換模塊12和第一處理模塊13，其中，第一監(jiān)測模塊11用于采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中，監(jiān)測主用主控節(jié)點和備用主控節(jié)點的工作狀態(tài)，其中，通信交互包括與主用主控節(jié)點進行信令交互，與主用主控節(jié)點和備用主控節(jié)點同時進行數(shù)據(jù)交互；切換模塊12用于若確定主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令；第一處理模塊13用于接收備用主控節(jié)點返回的第一確認響應(yīng)，并采用單主控節(jié)點工作模式繼續(xù)與備用主控節(jié)點進行信令交互和數(shù)據(jù)交互。本實施例提供的數(shù)據(jù)節(jié)點中各模塊的功能和處理流程，可以參見上述圖I所示的方法實施例，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。圖6為本發(fā)明數(shù)據(jù)節(jié)點另一實施例的結(jié)構(gòu)示意圖，如圖6所示，基于圖5所示實施例，該數(shù)據(jù)節(jié)點還包括第二處理模塊14 ;其中，切換模塊12還用于在采用單主控節(jié)點工作模式繼續(xù)與所述備用主控節(jié)點進行信令交互和數(shù)據(jù)交互之后，接收備用主控節(jié)點發(fā)送的故障恢復消息，并向主用主控節(jié)點和備用主控節(jié)點發(fā)送雙主控節(jié)點工作模式切換指令，其中，故障恢復消息是備用主控節(jié)點向數(shù)據(jù)節(jié)點返回所述第一確認響應(yīng)后對主用主控節(jié)點進行監(jiān)測，若確定主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對主用主控節(jié)點進行數(shù)據(jù)同步處理后所發(fā)送的；第二處理模塊14用于接收主用主控節(jié)點和備用主控節(jié)點返回的第二確認響應(yīng)，并采用雙主控節(jié)點工作模式繼續(xù)與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互。本實施例提供的數(shù)據(jù)節(jié)點中各模塊的功能和處理流程，可以參見上述圖2所示的 方法實施例，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。圖7為本發(fā)明備用主控節(jié)點一個實施例的結(jié)構(gòu)示意圖，如圖7所示，該備用主控節(jié)點包括接收模塊21和響應(yīng)模塊22，其中，接收模塊21用于采用雙主控節(jié)點工作模式與數(shù)據(jù)節(jié)點進行通信交互的過程中，接收數(shù)據(jù)節(jié)點發(fā)送的單主控節(jié)點工作模式切換指令，其中，通信交互包括數(shù)據(jù)節(jié)點與主用主控節(jié)點進行信令交互，與主用主控節(jié)點和備用主控節(jié)點同時進行數(shù)據(jù)交互，單主控節(jié)點工作模式切換指令是數(shù)據(jù)節(jié)點在通信交互過程中監(jiān)測到主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作時所發(fā)送的；響應(yīng)模塊22用于向數(shù)據(jù)節(jié)點返回第一確認響應(yīng)，以采用單主控節(jié)點工作模式繼續(xù)與數(shù)據(jù)節(jié)點進行信令交互和數(shù)據(jù)交互。本實施例提供的備用主控節(jié)點中各模塊的功能和處理流程，可以參見上述圖3所示的方法實施例，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。圖8為本發(fā)明備用主控節(jié)點另一實施例的結(jié)構(gòu)不意圖，如圖8所不，基于圖7所不實施例，該備用主控節(jié)點還包括第二監(jiān)測模塊23和第三處理模塊24，其中，第二監(jiān)測模塊23用于在向數(shù)據(jù)節(jié)點返回第一確認響應(yīng)之后，監(jiān)測主用主控節(jié)點的工作狀態(tài)；第三處理模塊24用于若確定主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對主用主控節(jié)點進行數(shù)據(jù)同步處理，并向數(shù)據(jù)節(jié)點發(fā)送故障恢復消息；接收模塊21還用于接收數(shù)據(jù)節(jié)點發(fā)送的雙主控節(jié)點工作模式切換指令；響應(yīng)模塊22還用于向數(shù)據(jù)節(jié)點返回第二確認響應(yīng)，以采用雙主控節(jié)點工作模式繼續(xù)與數(shù)據(jù)節(jié)點進行通信交互。本實施例提供的備用主控節(jié)點中各模塊的功能和處理流程，可以參見上述圖4所示的方法實施例，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。圖9為本發(fā)明基于分布式文件系統(tǒng)的數(shù)據(jù)處理系統(tǒng)一個實施例的結(jié)構(gòu)示意圖，如圖9所示，該系統(tǒng)包括主用主控節(jié)點I、備用主控節(jié)點2和數(shù)據(jù)節(jié)點3，其中，備用主控節(jié)點2和數(shù)據(jù)節(jié)點3可以采用本發(fā)明實施例所提供的備用主控節(jié)點和數(shù)據(jù)節(jié)點，主用主控節(jié)點I為本發(fā)明實施例所涉及的主用主控節(jié)點。本實施例提供的基于分布式文件系統(tǒng)的數(shù)據(jù)處理系統(tǒng)中各模塊的功能和處理流程，可以參見上述所示的方法實施例，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。最后應(yīng)說明的是以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當理解其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替 換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
權(quán)利要求
1.一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，包括 數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中，監(jiān)測所述主用主控節(jié)點和所述備用主控節(jié)點的工作狀態(tài)，其中，所述通信交互包括與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互； 所述數(shù)據(jù)節(jié)點若確定所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作，則向所述備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令； 所述數(shù)據(jù)節(jié)點接收所述備用主控節(jié)點返回的第一確認響應(yīng)，并采用單主控節(jié)點工作模式繼續(xù)與所述備用主控節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。
2.根據(jù)權(quán)利要求I所述的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，在所述采用單主控節(jié)點工作模式繼續(xù)與所述備用主控節(jié)點進行所述信令交互和所述數(shù)據(jù)交互之后，所述方法還包括 所述數(shù)據(jù)節(jié)點接收所述備用主控節(jié)點發(fā)送的故障恢復消息，并向所述主用主控節(jié)點和所述備用主控節(jié)點發(fā)送雙主控節(jié)點工作模式切換指令，其中，所述故障恢復消息是所述備用主控節(jié)點向所述數(shù)據(jù)節(jié)點返回所述第一確認響應(yīng)后對所述主用主控節(jié)點進行監(jiān)測，若確定所述主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對所述主用主控節(jié)點進行數(shù)據(jù)同步處理后所發(fā)送的； 所述數(shù)據(jù)節(jié)點接收所述主用主控節(jié)點和所述備用主控節(jié)點返回的第二確認響應(yīng)，并采用所述雙主控節(jié)點工作模式繼續(xù)與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行所述通信交互。
3.根據(jù)權(quán)利要求I或2所述的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，所述監(jiān)測所述主用主控節(jié)點和所述備用主控節(jié)點的工作狀態(tài)包括 所述數(shù)據(jù)節(jié)點向所述主用主控節(jié)點發(fā)送第一心跳信號，并向所述備用主控節(jié)點發(fā)送第二心跳信號以確定所述主用主控節(jié)點和/或所述備用主控節(jié)點是否出現(xiàn)故障。
4.一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，包括 備用主控節(jié)點采用雙主控節(jié)點工作模式與數(shù)據(jù)節(jié)點進行通信交互的過程中，接收所述數(shù)據(jù)節(jié)點發(fā)送的單主控節(jié)點工作模式切換指令，其中，所述通信交互包括所述數(shù)據(jù)節(jié)點與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互，所述單主控節(jié)點工作模式切換指令是所述數(shù)據(jù)節(jié)點在所述通信交互過程中監(jiān)測到所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作時所發(fā)送的； 所述備用主控節(jié)點向所述數(shù)據(jù)節(jié)點返回第一確認響應(yīng)，以采用單主控節(jié)點工作模式繼續(xù)與所述數(shù)據(jù)節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。
5.根據(jù)權(quán)利要求4所述的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，在所述備用主控節(jié)點向所述數(shù)據(jù)節(jié)點返回第一確認響應(yīng)之后，所述方法還包括 所述備用主控節(jié)點監(jiān)測所述主用主控節(jié)點的工作狀態(tài)； 所述備用主控節(jié)點若確定所述主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對所述主用主控節(jié)點進行數(shù)據(jù)同步處理，并向所述數(shù)據(jù)節(jié)點發(fā)送故障恢復消息； 所述備用主控節(jié)點接收所述數(shù)據(jù)節(jié)點發(fā)送的雙主控節(jié)點工作模式切換指令，并向所述數(shù)據(jù)節(jié)點返回第二確認響應(yīng)，以采用所述雙主控節(jié)點工作模式繼續(xù)與所述數(shù)據(jù)節(jié)點進行所述通信交互。
6.一種數(shù)據(jù)節(jié)點，其特征在于，包括 第一監(jiān)測模塊，用于采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中，監(jiān)測所述主用主控節(jié)點和所述備用主控節(jié)點的工作狀態(tài)，其中，所述通信交互包括與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互； 切換模塊，用于若確定所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作，則向所述備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令； 第一處理模塊，用于接收所述備用主控節(jié)點返回的第一確認響應(yīng)，并采用單主控節(jié)點 工作模式繼續(xù)與所述備用主控節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)節(jié)點，其特征在于，還包括第二處理模塊； 所述切換模塊，還用于在采用單主控節(jié)點工作模式繼續(xù)與所述備用主控節(jié)點進行所述信令交互和所述數(shù)據(jù)交互之后，接收所述備用主控節(jié)點發(fā)送的故障恢復消息，并向所述主用主控節(jié)點和所述備用主控節(jié)點發(fā)送雙主控節(jié)點工作模式切換指令，其中，所述故障恢復消息是所述備用主控節(jié)點向所述數(shù)據(jù)節(jié)點返回所述第一確認響應(yīng)后對所述主用主控節(jié)點進行監(jiān)測，若確定所述主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對所述主用主控節(jié)點進行數(shù)據(jù)同步處理后所發(fā)送的； 第二處理模塊，用于接收所述主用主控節(jié)點和所述備用主控節(jié)點返回的第二確認響應(yīng)，并采用所述雙主控節(jié)點工作模式繼續(xù)與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行所述通信交互。
8.一種備用主控節(jié)點，其特征在于，包括 接收模塊，用于采用雙主控節(jié)點工作模式與數(shù)據(jù)節(jié)點進行通信交互的過程中，接收所述數(shù)據(jù)節(jié)點發(fā)送的單主控節(jié)點工作模式切換指令，其中，所述通信交互包括所述數(shù)據(jù)節(jié)點與所述主用主控節(jié)點進行信令交互，與所述主用主控節(jié)點和所述備用主控節(jié)點同時進行數(shù)據(jù)交互，所述單主控節(jié)點工作模式切換指令是所述數(shù)據(jù)節(jié)點在所述通信交互過程中監(jiān)測到所述主用主控節(jié)點出現(xiàn)故障且所述備用主控節(jié)點正常工作時所發(fā)送的； 響應(yīng)模塊，用于向所述數(shù)據(jù)節(jié)點返回第一確認響應(yīng)，以采用單主控節(jié)點工作模式繼續(xù)與所述數(shù)據(jù)節(jié)點進行所述信令交互和所述數(shù)據(jù)交互。
9.根據(jù)權(quán)利要求8所述的備用主控節(jié)點，其特征在于，還包括 第二監(jiān)測模塊，用于在向所述數(shù)據(jù)節(jié)點返回第一確認響應(yīng)之后，監(jiān)測所述主用主控節(jié)點的工作狀態(tài)； 第三處理模塊，用于若確定所述主用主控節(jié)點能夠正常工作，則根據(jù)本地當前存儲的數(shù)據(jù)對所述主用主控節(jié)點進行數(shù)據(jù)同步處理，并向所述數(shù)據(jù)節(jié)點發(fā)送故障恢復消息； 所述接收模塊，還用于接收所述數(shù)據(jù)節(jié)點發(fā)送的雙主控節(jié)點工作模式切換指令； 所述響應(yīng)模塊，還用于向所述數(shù)據(jù)節(jié)點返回第二確認響應(yīng)，以采用所述雙主控節(jié)點工作模式繼續(xù)與所述數(shù)據(jù)節(jié)點進行所述通信交互。
10.一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理系統(tǒng)，包括主用主控節(jié)點，其特征在于，還包括如權(quán)利要求6或7所述的數(shù)據(jù)節(jié)點，以及如權(quán)利要求8或9所述的備用主控節(jié)點。
全文摘要
本發(fā)明提供一種基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備和系統(tǒng)，其中，該方法包括數(shù)據(jù)節(jié)點采用雙主控節(jié)點工作模式與主用主控節(jié)點和備用主控節(jié)點同時進行通信交互的過程中監(jiān)測主用主控節(jié)點和備用主控節(jié)點的工作狀態(tài)，若確定主用主控節(jié)點出現(xiàn)故障且備用主控節(jié)點正常工作，則向備用主控節(jié)點發(fā)送單主控節(jié)點工作模式切換指令，以采用單主控節(jié)點工作模式繼續(xù)與備用主控節(jié)點進行通信交互。通過本發(fā)明提供的基于分布式文件系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備和系統(tǒng)，實現(xiàn)了數(shù)據(jù)節(jié)點與主備主控節(jié)點之間采用兩種工作模式進行通信交互，解決了主用主控節(jié)點故障時導致系統(tǒng)中斷時間過長的問題，大大提高了系統(tǒng)的有效性和穩(wěn)定性。
文檔編號H04L29/08GK102752093SQ20121022680
公開日2012年10月24日 申請日期2012年6月29日 優(yōu)先權(quán)日2012年6月29日
發(fā)明者張云勇, 賈興華, 陳清金 申請人:中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司