一種塊存儲錄像的分布式備份方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種塊存儲錄像的分布式備份系統(tǒng)，該系統(tǒng)包括備份管理服務器BM，第一IPSAN設備和第二IPSAN設備，該第一IPSAN設備存儲有待備份的錄像，該第二IPSAN設備用于備份錄像，在進行錄像數(shù)據(jù)備份業(yè)務時，該BM服務器向第一IPSAN設備和第二IPSAN設備發(fā)送備份業(yè)務信令；第一IPSAN設備根據(jù)所述備份業(yè)務信令將對應的錄像數(shù)據(jù)讀出，并發(fā)送至第二IPSAN設備；第二IPSAN設備接收所述錄像數(shù)據(jù)，并備份在自身的存儲空間。本發(fā)明的備份方案從全部由備份管理服務器處理的集中式架構，優(yōu)化為BM服務器進行備份業(yè)務信令處理，錄像所在IPSAN設備與備份IPSAN設備處理媒體數(shù)據(jù)的全分布式架構，減輕了備份管理服務器的壓力。
【專利說明】一種塊存儲錄像的分布式備份方法和系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及存儲【技術領域】，尤其涉及一種塊存儲錄像的分布式備份方法和系統(tǒng)?！颈尘凹夹g】
[0002]隨著高清在監(jiān)控業(yè)務系統(tǒng)中的應用，對監(jiān)控錄像存儲的可靠性、性能等要求越來越高。而前端IP編碼器設備到IPSAN的端到端的媒體流iSCSI直存技術就是一種較好的錄像存儲方案。在存儲方式上，“媒體流塊直存”的數(shù)據(jù)管理方式拋棄了媒體服務器。在IP網(wǎng)絡的基礎上，在編碼設備中集成了 iSCSI模塊，使得編碼設備可以基于iSCSI協(xié)議端到端的把錄像數(shù)據(jù)寫入IPSAN存儲設備中，請參圖1。
[0003]當監(jiān)控點的圖像需要進行集中存儲時，前端IP編碼器與IPSAN設備建立iSCSI連接，將IPSAN設備的存儲資源通過iSCSI協(xié)議掛載到本地，然后將存儲視頻流進行iSCSI協(xié)議封裝，采用專有的塊存儲格式將媒體與時間索引數(shù)據(jù)寫入IPSAN存儲設備中。
[0004]圖2給出了一種通用的監(jiān)控錄像塊存儲格式。該塊格式的主要組成部分如下:
[0005](I)超級塊:一般有幾十K(比如16Κ)字節(jié)，用來記錄塊格式的版本號、攝像機編碼；
[0006](2) 一級時間索引區(qū):超級塊后面為一級時間索引區(qū)，索引區(qū)中的每條時間索引與一個數(shù)據(jù)單元一一對應，用于記錄該數(shù)據(jù)單元的最早I幀組的時間，從而可以基于時間快速定位到某個數(shù)據(jù)單元；
[0007](3)數(shù)據(jù)單元及二級時間索引區(qū):一級時間索引區(qū)后面是一系列的數(shù)據(jù)單元，用于保存錄像的I幀組數(shù)據(jù)。為了保證I幀組數(shù)據(jù)的連續(xù)寫入，數(shù)據(jù)單元一般達到幾百M字節(jié)(比如256Μ字節(jié))。每個數(shù)據(jù)單元是以一個二級時間索引區(qū)開始的，其中每條時間索引項與一個I幀組一一對應，用于記錄該I幀組的開始時間，從而可以基于時間快速定位某個I幀組。二級索引區(qū)之后，就是本數(shù)據(jù)單元中的所有I幀組數(shù)據(jù)；
[0008](4) I幀組:一個I幀組就是I秒的監(jiān)控錄像數(shù)據(jù)。在I幀組中，存儲的是該I幀組的所有視頻、音頻數(shù)據(jù)包。
[0009]對于塊格式錄像，在公安、園區(qū)等行業(yè)應用中，存在如下的錄像備份需求:對于用戶選定的一些重要時間段的錄像(比如:公安重大案件涉及的攝像機的相關時間段的錄像)，需要執(zhí)行備份，即將這部分錄像數(shù)據(jù)從原有存儲空間，傳輸并存儲到專用于備份的存儲空間，備份空間中的錄像留存期一般更長，同時支持數(shù)據(jù)復制多份的容錯機制。
[0010]錄像備份業(yè)務特點包括:
[0011]1、按需獲取存儲錄像。將用戶指定的備份時間段，轉(zhuǎn)換為原始錄像的空間地址范圍，該范圍的分布空間直接依賴于原始錄像的保存格式；
[0012]2、保存?zhèn)浞蒌浵竦拇鎯臻g不固定，無法事先指定，只能指定一個公共的存儲空間，能保存很多個攝像機的備份錄像。也就是說，常見的基于磁盤鏡像的方式在錄像備份領域并不適用。因此，備份存儲空間一般會格式化為文件系統(tǒng)，從而實現(xiàn)多攝像機重要錄像備份的存儲空間共用。[0013]現(xiàn)有的一種通用塊錄像備份方案，組網(wǎng)如圖3所示。在這種備份組網(wǎng)方案中，VM服務器將備份任務下發(fā)到BM服務器，BM服務器通過RTSP協(xié)議，向管理錄像所在IPSAN設備的DM服務器請求下載指定攝像機、指定時間段的錄像數(shù)據(jù)。
[0014]DM服務器收到請求之后，通過iSCSI協(xié)議，從掛載到本地的IPSAN存儲資源中讀出對應的塊格式錄像數(shù)據(jù)，然后通過RTSP建立的數(shù)據(jù)通道，將錄像數(shù)據(jù)發(fā)送到BM服務器。
[0015]BM服務器收到錄像數(shù)據(jù)之后，在備份資源中創(chuàng)建文件，將數(shù)據(jù)寫到備份文件中。
[0016]上述方案，由于DM服務器的RTSP下載性能有限，在下載碼流帶寬上遠遠達不到備份的要求，因此業(yè)界又推出了一種新的備份方案，請參圖4。在這種方案中，BM服務器一方面通過iSCSI協(xié)議掛載備份IPSAN的備份資源到本地，同時通過iSCSI協(xié)議掛載錄像所在IPSAN的存儲資源到本地，這樣BM服務器在錄像備份流程中，不再需要通過RTSP向DM服務器下載錄像，而是直接在BM服務器本地，通過iSCSI協(xié)議讀取存儲資源中的塊格式錄像，并通過iSCSI協(xié)議以備份文件的方式，將錄像數(shù)據(jù)寫入備份資源。
[0017]由于該方案減少了 BM服務器向DM服務器通過RTSP下載錄像的中間低性能環(huán)節(jié)，因此備份性能將得到一定程度的提升。但是BM服務器的處理性能容易成為性能瓶頸，使得系統(tǒng)的整體備份性能比較低。
[0018]另外，BM服務器一般采用Iinux操作系統(tǒng)，Iinux系統(tǒng)下存在內(nèi)核態(tài)、用戶態(tài)的不同運行環(huán)境。在內(nèi)核態(tài)運行環(huán)境中，執(zhí)行中斷處理、任務調(diào)度、文件系統(tǒng)、TCP/IP協(xié)議棧等系統(tǒng)級的工作任務；在用戶態(tài)運行環(huán)境中，執(zhí)行用戶自定義的工作任務。
[0019]上述兩個工作環(huán)境中的地址空間是完全隔離的，數(shù)據(jù)在兩個環(huán)境中傳遞時，需要從源環(huán)境的地址空間，拷貝到目的環(huán)境的地址空間。
[0020]對于上述備份方案，BM服務器使用的iSCSI協(xié)議棧是工作在Iinux系統(tǒng)的內(nèi)核態(tài)，而備份模塊是工作在用戶態(tài)。因此，在錄像數(shù)據(jù)從存儲資源通過iSCSI協(xié)議讀取到備份模塊、并從備份模塊通過iSCSI協(xié)議寫入到備份資源時，需要在BM服務器的內(nèi)核態(tài)與用戶態(tài)之間進行兩次數(shù)據(jù)拷貝，較大程度的影響備份性能。

【發(fā)明內(nèi)容】

[0021]有鑒于此，本發(fā)明提供一種塊存儲錄像的分布式備份系統(tǒng)。
[0022]該系統(tǒng)包括備份管理服務器BM，第一 IPSAN設備和第二 IPSAN設備，該第一 IPSAN設備存儲有待備份的錄像，該第二 IPSAN設備用于備份錄像，在進行錄像數(shù)據(jù)備份業(yè)務時，該BM服務器向第一 IPSAN設備和第二 IPSAN設備發(fā)送備份業(yè)務信令；第一 IPSAN設備根據(jù)所述備份業(yè)務信令將對應的錄像數(shù)據(jù)讀出，并發(fā)送至第二 IPSAN設備；第二 IPSAN設備接收所述錄像數(shù)據(jù)，并備份在自身的存儲空間。
[0023]優(yōu)選地，所述備份業(yè)務信令由BM服務器的用戶態(tài)備份模塊執(zhí)行；所述錄像數(shù)據(jù)的讀出、發(fā)送由第一 IPSAN設備的內(nèi)核態(tài)備份模塊執(zhí)行；所述錄像數(shù)據(jù)的接收、備份由第二IPSAN設備的內(nèi)核備份模塊執(zhí)行。
[0024]優(yōu)選地，BM服務器在已掛載到本地的第二 IPSAN設備的備份資源中，以預分配連續(xù)空間的方式，按照錄像數(shù)據(jù)的長度，調(diào)文件系統(tǒng)接口創(chuàng)建新文件，并得到新創(chuàng)建文件在備份資源中的起始地址、長度。
[0025]優(yōu)選地，所述向第一 IPSAN設備發(fā)送的備份業(yè)務信令包括:備份請求報文；該備份請求報文包括:備份錄像數(shù)據(jù)在第一 IPSAN設備的存儲位置信息、第二 IPSAN設備的IP地址和監(jiān)聽端口、備份錄像數(shù)據(jù)在第二 IPSAN設備的存儲位置信息。
[0026]優(yōu)選地，第一 IPSAN設備的內(nèi)核態(tài)備份模塊在收到備份請求報文后基于備份錄像數(shù)據(jù)在第一 IPSAN設備的存儲位置信息，構造讀IO命令讀出備份錄像數(shù)據(jù)，并將該備份錄像數(shù)據(jù)通過內(nèi)核態(tài)TCP傳輸模式的SOCKET向第二 IPSAN設備的內(nèi)核態(tài)備份模塊發(fā)送備份錄像數(shù)據(jù)報文。
[0027]優(yōu)選地，第一 IPSAN設備的內(nèi)核態(tài)備份模塊在收到備份請求報文后，創(chuàng)建內(nèi)核態(tài)的備份線程；在開始執(zhí)行本輪錄像數(shù)據(jù)的備份時，記錄開始執(zhí)行時間；在收到第二 IPSAN設備的內(nèi)核態(tài)備份模塊發(fā)送的本輪備份成功的應答后，記錄當前的時間；根據(jù)所述開始執(zhí)行時間以及當前的時間得到本輪備份數(shù)據(jù)處理的時間；如果本輪備份數(shù)據(jù)處理時間小于t，則所述備份線程進行休眠，休眠時間為t與本輪備份數(shù)據(jù)處理時間的差值；所述t為本輪備份數(shù)據(jù)長度與備份速度的比值；當休眠完成后，啟動下一輪錄像備份數(shù)據(jù)的備份。
[0028]優(yōu)選地，在執(zhí)行多個錄像數(shù)據(jù)的備份時，如果備份速度需要調(diào)節(jié)時，BM服務器向錄像所在的IPSAN設備的內(nèi)核備份模塊發(fā)送備份速度調(diào)節(jié)報文，報文中攜帶待調(diào)節(jié)的備份任務ID、調(diào)節(jié)后的備份速度；錄像所在的IPSAN設備的內(nèi)核備份模塊收到報文后，修改對應備份線程的休眠時間。
[0029]優(yōu)選地，在進行備份速度調(diào)節(jié)時，按照將當前錄像的備份速度降低一個速度調(diào)節(jié)單位，且調(diào)節(jié)范圍盡量少的原則進行。
[0030]相較于現(xiàn)有技術，本發(fā)明的備份方案從全部由備份管理服務器處理的集中式架構，優(yōu)化為BM服務器進行備份業(yè)務信令處理，錄像所在IPSAN設備與備份IPSAN設備處理媒體數(shù)據(jù)的全分布式架構，減輕了備份管理服務器的壓力。備份的所有媒體數(shù)據(jù)處理，從備份管理服務器的用戶態(tài)模塊處理，優(yōu)化為IPSAN設備之間的內(nèi)核態(tài)備份模塊處理，避免了媒體流數(shù)據(jù)在備份管理服務器的內(nèi)核態(tài)與用戶態(tài)之間的多次拷貝處理，有效提高了備份性倉泛。
【專利附圖】

【附圖說明】
[0031]圖1是錄像直存示意圖。
[0032]圖2是錄像塊存儲格式圖。
[0033]圖3是現(xiàn)有的一種錄像備份圖。
[0034]圖4是現(xiàn)有的另一種錄像備份圖。
[0035]圖5是本發(fā)明實施例錄像分布式備份系統(tǒng)圖。
[0036]圖6是本發(fā)明實施例錄像分布式備份流程圖。
【具體實施方式】
[0037]基于【背景技術】中提到的問題，本發(fā)明提供如下錄像數(shù)據(jù)的備份方案:
[0038]在進行錄像數(shù)據(jù)備份業(yè)務時，BM服務器向錄像所在IPSAN設備和備份IPSAN設備發(fā)送備份業(yè)務信令；
[0039]錄像所在IPSAN設備根據(jù)所述備份業(yè)務信令將對應的錄像數(shù)據(jù)讀出，并發(fā)送至備份IPSAN設備；[0040]備份IPSAN設備接收所述錄像數(shù)據(jù)，并備份在自身的存儲空間。
[0041]本發(fā)明的備份方案從全部由備份管理服務器處理的集中式架構，優(yōu)化為BM服務器進行備份業(yè)務信令處理，錄像所在IPSAN設備與備份IPSAN設備處理媒體數(shù)據(jù)的全分布式架構，減輕了備份管理服務器的壓力。
[0042]其中，BM服務器包括用戶態(tài)備份模塊，備份業(yè)務信令由BM服務器的用戶態(tài)備份模塊執(zhí)行；錄像所在的IPSAN設備和備份IPSAN設備分別包括內(nèi)核態(tài)備份模塊，所述錄像數(shù)據(jù)的讀出、發(fā)送由錄像所在的IPSAN設備的內(nèi)核態(tài)備份模塊執(zhí)行；所述錄像數(shù)據(jù)的接收、備份由備份IPSAN設備的內(nèi)核態(tài)備份模塊執(zhí)行。
[0043]備份的所有媒體數(shù)據(jù)處理，從備份管理服務器的用戶態(tài)模塊處理，優(yōu)化為IPSAN設備之間的內(nèi)核態(tài)備份模塊處理，避免了媒體流數(shù)據(jù)在備份管理服務器的內(nèi)核態(tài)與用戶態(tài)之間的多次拷貝處理，有效提高了備份性能。
[0044]以下結(jié)合圖5和圖6詳細描述實施本發(fā)明技術的一個實施例。
[0045]圖5給出了一種塊存儲錄像分布式備份的系統(tǒng)架構圖。該塊存儲錄像分布式備份的系統(tǒng)包括:BM服務器，錄像所在的IPSAN設備、備份IPSAN設備、VM服務器(監(jiān)控系統(tǒng)中的視頻管理服務器，可以集中管理控制監(jiān)控系統(tǒng)所有設備，調(diào)度各種視頻監(jiān)控業(yè)務，以及管理分配監(jiān)控用戶權限)、DM服務器(監(jiān)控系統(tǒng)中的數(shù)據(jù)管理服務器，可以集中管理監(jiān)控系統(tǒng)所有前端的存儲資源、存儲數(shù)據(jù))、BM服務器包括用戶態(tài)備份模塊，錄像所在的IPSAN設備包括內(nèi)核態(tài)備份模塊，備份IPSAN設備也包括內(nèi)核態(tài)備份模塊。
[0046]圖6給出了上述系統(tǒng)中的各設備在進行錄像備份時執(zhí)行的操作流程。
[0047]Fl.用戶通過Π界面，向VM下發(fā)備份任務，攜帶攝像機名、錄像時間段的信息。
[0048]F2.VM服務器收到UI界面的備份請求之后，向DM服務器發(fā)送請求消息，請求獲取對應攝像機在指定時間段內(nèi)的數(shù)據(jù)單元信息(本例中媒體數(shù)據(jù)的存儲結(jié)構采用圖2所示的結(jié)構)，請求消息中攜帶攝像機名，備份時間段信息。
[0049]F3.DM服務器收到請求消息之后，讀取該攝像機的已掛載到本地的存儲資源，取得“錄像開始時間〈=本備份時間段的開始時間，錄像結(jié)束時間 > =本備份時間段的結(jié)束時間”的所有數(shù)據(jù)單元。DM服務器通過應答消息，向VM服務器返回下述信息:存儲資源的塊設備路徑、數(shù)據(jù)單元總數(shù)、每個數(shù)據(jù)單元的信息(單元起始地址、單元size、錄像開始時間、錄像結(jié)束時間)。
[0050]F4.VM服務器創(chuàng)建新的備份任務，任務狀態(tài)設置為正在備份，記錄到VM數(shù)據(jù)庫的備份任務表中，并獲取到新數(shù)據(jù)庫記錄的備份任務ID。VM服務器向BM服務器下發(fā)備份任務啟動通知消息。在消息中，攜帶如下信息:
[0051]錄像所在IPSAN設備的IP地址、備份監(jiān)聽端口 ；
[0052]備份IPSAN設備的IP地址、備份監(jiān)聽端口 ；
[0053]備份任務ID，備份速度；
[0054]錄像具體的存儲位置信息；其包括:存儲資源路徑、本備份任務的數(shù)據(jù)單元總數(shù)、每個數(shù)據(jù)單元的信息，每個數(shù)據(jù)單元的信息包括數(shù)據(jù)單元的起始地址和數(shù)據(jù)長度。
[0055]上述步驟Fl?F4針對用戶要求備份的錄像的時間段信息，由DM服務器在掛載到本地的存儲資源上(錄像所在的IPSAN設備將自身的存儲資源預先掛載在DM服務器上)進行查找，獲得備份錄像的存儲位置信息。VM向BM服務器下發(fā)進行錄像備份的通知。BM服務器基于VM的通知開始錄像的備份。需要說明的是，本實施例中，錄像所在的IPSAN設備是以圖2的格式來存儲錄像數(shù)據(jù)的，一個備份任務可以包括若干個數(shù)據(jù)單元的數(shù)據(jù)的備份。
[0056]F5.BM服務器啟動錄像備份后，先在內(nèi)存中創(chuàng)建備份任務控制塊，記錄消息中的所有信息，然后對備份任務中的數(shù)據(jù)單元，逐個數(shù)據(jù)單元進行備份處理。
[0057]以下以備份一個數(shù)據(jù)單元為例進行說明。
[0058]F6.BM服務器在已掛載到本地的備份資源中，以預分配連續(xù)空間的方式，按照當前處理的數(shù)據(jù)單元的長度，調(diào)文件系統(tǒng)接口創(chuàng)建新文件，并返回新創(chuàng)建文件在備份資源中的起始地址、長度。
[0059]F7.BM服務器向錄像所在IPSAN的內(nèi)核備份模塊發(fā)送備份請求報文，報文中攜帶:
[0060]當前數(shù)據(jù)單元的位置信息:存儲資源路徑、數(shù)據(jù)單元的地址、數(shù)據(jù)長度；
[0061]備份IPSAN設備的IP地址、監(jiān)聽端口 ；
[0062]備份的目的位置信息:備份資源路徑、起始地址、長度；
[0063]備份任務ID，備份速度；
[0064]F8.錄像所在IPSAN的內(nèi)核備份模塊，在收到BM服務器的備份請求報文之后:
[0065]在內(nèi)存中創(chuàng)建備份任務控制塊，記錄備份請求報文中的所有信息。同時，在控制塊中將已處理數(shù)據(jù)偏移量offset值初始化為O ;
[0066]在備份任務控制塊的時間戳成員中，以毫秒為精度，記錄當前時間；
[0067]創(chuàng)建內(nèi)核態(tài)的備份線程，專用于本備份任務的備份；
[0068]基于存儲資源路徑、數(shù)據(jù)單元的地址、數(shù)據(jù)長度，偏移量offset、本設備支持的最大數(shù)據(jù)讀取長度(比如512K字節(jié))，構造讀10，從磁盤指定位置讀取指定大小的數(shù)據(jù)。
[0069]F9.內(nèi)核態(tài)數(shù)據(jù)傳輸
[0070]錄像所在IPSAN的內(nèi)核備份模塊從磁盤讀取數(shù)據(jù)成功之后，通過內(nèi)核態(tài)tcp傳輸模式的socket,向目的IPSAN的內(nèi)核備份模塊發(fā)送數(shù)據(jù)傳輸報文。
[0071]報文格式定義如下:
[0072]head部分:備份任務ID、備份資源路徑、備份文件起始地址、備份文件長度、本數(shù)據(jù)在備份文件中的偏移量offset、本數(shù)據(jù)長度；
[0073]body部分:從磁盤讀取的數(shù)據(jù)；
[0074]如果報文發(fā)送失敗(比如網(wǎng)絡斷開、或者目的IPSAN不在線)、或者目的IPSAN應答失敗，則釋放備份任務控制塊、備份線程，向BM服務器發(fā)送報文，通知本次備份失敗，并返回失敗原因。
[0075]F10.備份IPSAN的內(nèi)核備份模塊收到報文之后，基于備份任務ID，匹配對應的備份任務控制塊:如果匹配到，判斷備份控制塊中的數(shù)據(jù)偏移量offset、與報文中的攜帶的偏移量offset是否一致，如果不一致，丟棄報文。如果匹配不到:即報文是本次備份的首包(數(shù)據(jù)在文件中的offset為0)，則創(chuàng)建備份任務控制塊，記錄報文head部分的信息。
[0076]根據(jù)報文中的數(shù)據(jù)部分，構造寫10，寫入目的資源的邏輯盤符，地址為備份文件的起始地址+本數(shù)據(jù)offset，寫入數(shù)據(jù)為報文中的body部分；數(shù)據(jù)寫入磁盤成功之后，更新備份控制塊中的數(shù)據(jù)offset:數(shù)據(jù)offset+ =本次數(shù)據(jù)長度。如果數(shù)據(jù)offset等于備份文件長度，說明整個備份文件已經(jīng)完成備份，則釋放備份任務控制塊。[0077]向錄像所在IPSAN發(fā)送應答成功報文，報文中攜帶備份任務ID、寫入數(shù)據(jù)offset等信息。
[0078]Fll.錄像所在IPSAN收到應答成功報文之后，基于報文中攜帶的備份任務ID，查找對應的備份任務控制塊；
[0079]匹配備份任務控制塊成功之后，在備份任務控制塊中，基于報文中的寫入數(shù)據(jù)offset,累加已發(fā)送數(shù)據(jù)的offset ；
[0080]并進一步執(zhí)行如下流控機制:
[0081]取得本次數(shù)據(jù)處理的時間:本次數(shù)據(jù)處理時間=當前時間(毫秒精度)一備份控制塊中記錄的時間戳；
[0082]基于備份速度與每次發(fā)送數(shù)據(jù)量，計算得到時間間隔值:比如本備份任務的備份速度為8M bit/秒，而每次處理512K字節(jié)數(shù)據(jù)，則一次數(shù)據(jù)處理的周期時間值為500ms。其他備份速度，以此類推；
[0083]如果本次數(shù)據(jù)處理的時間小于時間間隔值，則計算得到休眠時間:
[0084]休眠時間=時間間隔值-本次數(shù)據(jù)處理的時間；
[0085]對本備份任務的備份線程，按照計算得到的休眠時間執(zhí)行線程休眠。
[0086]在線程休眠完成后，啟動下一最大數(shù)據(jù)讀取長度(比如512K字節(jié))的數(shù)據(jù)讀取、傳輸流程；
[0087]F12.完成一個數(shù)據(jù)單元的備份之后，錄像所在IPSAN在完成本次數(shù)據(jù)單元的備份之后，釋放備份任務控制塊、備份線程。
[0088]錄像所在IPSAN向BM服務器發(fā)送通知報文，攜帶備份任務ID、數(shù)據(jù)單元地址，通知本數(shù)據(jù)單元備份成功。
[0089]F13.BM服務器在收到數(shù)據(jù)單元備份完成通知后，判斷對應備份任務中，是否存在尚未備份的其他數(shù)據(jù)單元，如果存在，則，如步驟F6?F12進行下一個數(shù)據(jù)單元的備份。如果備份任務的所有數(shù)據(jù)單元已經(jīng)完成備份，BM服務器向VM服務器發(fā)送通知消息，攜帶備份任務ID，通知本次備份任務已經(jīng)完成。
[0090]F14.VM服務器在收到BM服務器的備份任務完成通知消息之后，將本備份文件信息(攝像機編碼、備份錄像開始時間、備份錄像結(jié)束時間)寫入VM數(shù)據(jù)庫的備份文件表，并更新對應備份任務的狀態(tài)為已完成備份。
[0091]以上流程詳細描述了錄像數(shù)據(jù)備份的過程。如果同時有多路錄像數(shù)據(jù)需要備份的話，可能出現(xiàn)IPSAN設備碼流帶寬不足的情況。所以本發(fā)明進一步提供一種具有備份速度管理能力的錄像備份分布式系統(tǒng)。
[0092]本系統(tǒng)的備份速度管理，綜合考慮了 IPSAN設備的總碼流帶寬、單路備份的最低帶寬需求，按照錄像所在IPSAN設備、備份IPSAN設備的最大支持備份路數(shù)進行管理。
[0093]對于錄像所在IPSAN設備，考慮到存儲IPSAN還在進行新錄像寫入，因此規(guī)格適當調(diào)低，比如512Mbit/秒總帶寬，在單路備份的最低帶寬為4Mbit/秒的情況下，可支持128路備份。
[0094]備份IPSAN設備的總能力，規(guī)格可以按照IPSAN支持寫入的總帶寬指定，比如2048Mbit/秒總帶寬，在單路備份的最低帶寬為4Mbit/秒的情況下，可支持512路備份。
[0095]在已備份路數(shù)達到上述規(guī)格的情況下，新備份任務將掛到等待備份的隊列。后續(xù)有備份任務完成之后，再對其進行調(diào)度。
[0096]各備份任務的備份速度，以4Mbit/秒作為一個調(diào)節(jié)單位,最高32Mbit/秒,最低4Mbit/ 秒。
[0097]新備份任務的備份速度，是從最高32Mbit/秒開始，直到錄像所在IPSAN的剩余帶寬不能滿足需求。
[0098]在剩余帶寬不能滿足要求的情況下，按照“將已有任務的備份速度降低一個調(diào)節(jié)單元、且調(diào)節(jié)范圍盡量少”的原則，對已有任務的備份速度進行調(diào)節(jié)。比如:前面16路的備份任務的備份速度，均設置為32Mbit/秒。在處理第17路備份任務時，將第13到16路備份任務的備份速度，從32Mbit/秒調(diào)節(jié)到28Mbit/秒。在處理第18路備份任務時，將第9到12路備份任務的備份速度，從32Mbit/秒調(diào)節(jié)到28Mbit/秒。以此類推，直到最大128路備份任務，所有備份任務的備份速度均被設置為4Mbit/秒。實施流程如下:
[0099]在需要執(zhí)行備份速度動態(tài)調(diào)節(jié)的情況下，VM服務器向?qū)狟M服務器發(fā)送備份速度調(diào)節(jié)消息，消息中攜帶需要調(diào)節(jié)的錄像所在IPSAN設備的地址、監(jiān)聽端口，備份任務ID、調(diào)節(jié)后的備份速度。
[0100]BM服務器收到備份速度調(diào)節(jié)命令之后，向?qū)狪PSAN設備的內(nèi)核備份模塊發(fā)送備份速度調(diào)節(jié)報文，報文中攜帶需要調(diào)節(jié)的備份任務總數(shù)，待調(diào)節(jié)的所有備份任務ID、調(diào)節(jié)后的備份速度。
[0101]IPSAN設備的內(nèi)核備份模塊收到報文后，逐個備份任務進行處理。
[0102]基于備份任務ID查找到備份控制塊，修改對應備份線程的休眠時間。
[0103]基于上述機制，實現(xiàn)了對系統(tǒng)所有備份任務的備份速度的動態(tài)調(diào)節(jié)。
[0104]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明保護的范圍之內(nèi)。
【權利要求】
1.一種塊存儲錄像的分布式備份系統(tǒng)，該系統(tǒng)包括備份管理服務器BM，第一 IPSAN設備和第二 IPSAN設備，該第一 IPSAN設備存儲有待備份的錄像，該第二 IPSAN設備用于備份錄像，其特征在于: 在進行錄像數(shù)據(jù)備份業(yè)務時，該BM服務器向第一 IPSAN設備和第二 IPSAN設備發(fā)送備份業(yè)務信令； 第一 IPSAN設備根據(jù)所述備份業(yè)務信令將對應的錄像數(shù)據(jù)讀出，并發(fā)送至第二 IPSAN設備； 第二 IPSAN設備接收所述錄像數(shù)據(jù)，并備份在自身的存儲空間。
2.如權利要求1所述的系統(tǒng)，其特征在于，所述備份業(yè)務信令由BM服務器的用戶態(tài)備份模塊執(zhí)行；所述錄像數(shù)據(jù)的讀出、發(fā)送由第一 IPSAN設備的內(nèi)核態(tài)備份模塊執(zhí)行；所述錄像數(shù)據(jù)的接收、備份由第二 IPSAN設備的內(nèi)核備份模塊執(zhí)行。
3.如權利要求2所述的系統(tǒng)，其特征在于，BM服務器在已掛載到本地的第二IPSAN設備的備份資源中，以預分配連續(xù)空間的方式，按照錄像數(shù)據(jù)的長度，調(diào)文件系統(tǒng)接口創(chuàng)建新文件，并得到新創(chuàng)建文件在備份資源中的起始地址、長度。
4.如權利要求2所述的系統(tǒng)，其特征在于，所述向第一IPSAN設備發(fā)送的備份業(yè)務信令包括:備份請求報文；該備份請求報文包括:備份錄像數(shù)據(jù)在第一 IPSAN設備的存儲位置信息、第二 IPSAN設備的IP地址和監(jiān)聽端口、備份錄像數(shù)據(jù)在第二 IPSAN設備的存儲位置信肩、O
5.如權利要求3所述的系統(tǒng),其特征在于，第一IPSAN設備的內(nèi)核態(tài)備份模塊在收到備份請求報文后基于備份錄像數(shù)據(jù)在第一 IPSAN設備的存儲位置信息，構造讀IO命令讀出備份錄像數(shù)據(jù)，并將該備份錄像數(shù)據(jù)通過內(nèi)核態(tài)TCP傳輸模式的SOCKET向第二 IPSAN設備的內(nèi)核態(tài)備份模塊發(fā)送備份錄像數(shù)據(jù)報文。
6.如權利要求4所述的系統(tǒng),其特征在于，第一IPSAN設備的內(nèi)核態(tài)備份模塊在收到備份請求報文后，創(chuàng)建內(nèi)核態(tài)的備份線程；在開始執(zhí)行本輪錄像數(shù)據(jù)的備份時，記錄開始執(zhí)行時間；在收到第二 IPSAN設備的內(nèi)核態(tài)備份模塊發(fā)送的本輪備份成功的應答后，記錄當前的時間；根據(jù)所述開始執(zhí)行時間以及當前的時間得到本輪備份數(shù)據(jù)處理的時間；如果本輪備份數(shù)據(jù)處理時間小于t，則所述備份線程進行休眠，休眠時間為t與本輪備份數(shù)據(jù)處理時間的差值；所述t為本輪備份數(shù)據(jù)長度與備份速度的比值；當休眠完成后，啟動下一輪錄像備份數(shù)據(jù)的備份。
7.如權利要求2所述的系統(tǒng)，其特征在于，在執(zhí)行多個錄像數(shù)據(jù)的備份時，如果備份速度需要調(diào)節(jié)時，BM服務器向錄像所在的IPSAN設備的內(nèi)核備份模塊發(fā)送備份速度調(diào)節(jié)報文，報文中攜帶待調(diào)節(jié)的備份任務ID、調(diào)節(jié)后的備份速度；錄像所在的IPSAN設備的內(nèi)核備份模塊收到報文后，修改對應備份線程的休眠時間。
8.如權利要求7所述的系統(tǒng)，其特征在于，在進行備份速度調(diào)節(jié)時，按照將當前錄像的備份速度降低一個速度調(diào)節(jié)單位，且調(diào)節(jié)范圍盡量少的原則進行。
【文檔編號】H04N21/643GK103986757SQ201410196749
【公開日】2014年8月13日 申請日期:2014年5月9日 優(yōu)先權日:2014年5月9日
【發(fā)明者】成浩, 丁強 申請人:浙江宇視科技有限公司