用于異構(gòu)系統(tǒng)的分布式存儲(chǔ)分配的制作方法
【專利說(shuō)明】用于異構(gòu)系統(tǒng)的分布式存儲(chǔ)分配 相關(guān)申請(qǐng)的交叉參考 本申請(qǐng)要求2013年3月14日提交的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)N〇.61/784,282、題 為"異構(gòu)系統(tǒng)的分布式存儲(chǔ)分配（Distributed Storage Allocation for Heterogeneous Systems) "的優(yōu)先權(quán)，通過引用其全部公開內(nèi)容并入本文。 政府資助聲明 本發(fā)明是由政府支持在空軍授權(quán)的FA9550-10-10166下進(jìn)行的。政府享有本發(fā)明的一 定權(quán)利。 背景 技術(shù)領(lǐng)域 本公開涉及與如在內(nèi)容分發(fā)或無(wú)線通信中所用的網(wǎng)絡(luò)通信和分布式網(wǎng)絡(luò)架構(gòu)的領(lǐng)域 相關(guān)的方法和算法。特別地，本公開提出了新的分布式存儲(chǔ)分配技術(shù)，例如，該分布式存儲(chǔ) 分配技術(shù)可以被用于通過包括具有異構(gòu)訪問概率的存儲(chǔ)節(jié)點(diǎn)的分布式存儲(chǔ)的網(wǎng)絡(luò)進(jìn)行通 信。目的是通過分布式存儲(chǔ)來(lái)存儲(chǔ)給定的數(shù)據(jù)對(duì)象（例如，文件），其具有成功恢復(fù)的最大 概率。數(shù)據(jù)對(duì)象可以跨越多個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行拆分和編碼。假設(shè)使用適當(dāng)?shù)木幋a（例如，最大 距離可分（MDS)碼、隨機(jī)線性編碼），如果訪問的數(shù)據(jù)的總量是至少原始數(shù)據(jù)對(duì)象的大小， 則原始數(shù)據(jù)對(duì)象可以被恢復(fù)。 概述 根據(jù)本公開的各種實(shí)施例，在分布式存儲(chǔ)系統(tǒng)中的各種存儲(chǔ)節(jié)點(diǎn)可以按照其訪問概率 的遞減次序進(jìn)行布置（例如，具有最高故障概率的節(jié)點(diǎn)是最后的）。在本公開中提出了基于 一個(gè)或多個(gè)級(jí)別的對(duì)稱分配的新方法。在基本的一級(jí)對(duì)稱分配中，整個(gè)存儲(chǔ)預(yù)算被均勻散 布在第一 m節(jié)點(diǎn)上，其中，例如，基于故障概率確定m的值。在二級(jí)對(duì)稱分配中，預(yù)算被分為 兩部分，一部分均勻散布在第一 1?節(jié)點(diǎn)上，并且另一部分均勻散布在隨后的m2節(jié)點(diǎn)上，使得 分配到第一子集中的每個(gè)節(jié)點(diǎn)的量是第二子集中的每個(gè)節(jié)點(diǎn)被分配的量的兩倍。還提出了 衍生自二層分配的k級(jí)對(duì)稱分配，其中k = 2。根據(jù)本公開的各種實(shí)施例，提供了給定訪問 概率的、找到良好的一級(jí)、二級(jí)和k級(jí)對(duì)稱分配的有效算法。 盡管它們的低復(fù)雜度，如本公開的各種圖所呈現(xiàn)的，在數(shù)值實(shí)驗(yàn)中，在相同的參數(shù)設(shè)置 下，根據(jù)本公開一級(jí)、二級(jí)和k級(jí)對(duì)稱分配可以勝過基于大偏差不等式和凸優(yōu)化的現(xiàn)有的 方法。此外，根據(jù)本公開新的二級(jí)和k級(jí)對(duì)稱分配可以實(shí)現(xiàn)比新的一級(jí)對(duì)稱分配更高的恢 復(fù)概率。此外且根據(jù)本公開，對(duì)于小數(shù)量的節(jié)點(diǎn)（例如，η < 4)，可以窮舉確定的精確最優(yōu) 分配可以在一級(jí)和二級(jí)對(duì)稱分配中被找到。 除了分布式存儲(chǔ)以外，上述方法還可以應(yīng)用于其他問題，諸如例如，應(yīng)用于實(shí)時(shí)流傳輸 的編碼設(shè)計(jì)問題，其中消息可以順序地到達(dá)源（例如，基于計(jì)算機(jī)的工作站），并且消息在 源進(jìn)行編碼，以用于通過數(shù)據(jù)包刪除通道傳輸?shù)絽R節(jié)點(diǎn)（例如，基于計(jì)算機(jī)的工作站），匯 節(jié)點(diǎn)需要在指定延遲內(nèi)對(duì)消息順序地進(jìn)行解碼。在各種網(wǎng)絡(luò)場(chǎng)景中，數(shù)據(jù)包延遲（例如，如 被同步節(jié)點(diǎn)接收）可以表現(xiàn)出差異，導(dǎo)致數(shù)據(jù)包接收的概率隨著延遲而增加。通過將實(shí)時(shí) 流傳輸問題中的傳輸?shù)臄?shù)據(jù)包視作存儲(chǔ)分配問題中的節(jié)點(diǎn)，使用對(duì)應(yīng)的異構(gòu)時(shí)滯相關(guān)損失 概率，異構(gòu)存儲(chǔ)分配問題的解決方案轉(zhuǎn)化為對(duì)應(yīng)的流傳輸問題的會(huì)話內(nèi)編碼。 根據(jù)本公開的第一方面，提出了用于在異構(gòu)存儲(chǔ)系統(tǒng)中分配存儲(chǔ)的基于計(jì)算機(jī)的方 法，該基于計(jì)算機(jī)的方法包括：提供已知異構(gòu)可靠性的一組硬件存儲(chǔ)節(jié)點(diǎn)；通過計(jì)算機(jī)提 供目標(biāo)函數(shù)；通過計(jì)算機(jī)提供約束；基于所述約束和所述目標(biāo)函數(shù)，通過計(jì)算機(jī)，選擇所述 一組硬件存儲(chǔ)節(jié)點(diǎn)中的一個(gè)或多個(gè)不相交的子集；以及基于所述選擇，通過計(jì)算機(jī)將存儲(chǔ) 量分配到所述一個(gè)或多個(gè)不相交的子集，其中所述分配基于所述異構(gòu)可靠性和所述約束， 并且是通過將所述存儲(chǔ)量散布到所述一個(gè)或多個(gè)不相交的子集上而獲得的，使得所述一個(gè) 或多個(gè)不相交的子集中的每個(gè)子集的每個(gè)硬件存儲(chǔ)節(jié)點(diǎn)具有相同的分配存儲(chǔ)量，所述相同 的分配存儲(chǔ)量不同于分配到不同子集的硬件存儲(chǔ)節(jié)點(diǎn)的量。 根據(jù)本公開的第二方面，提出了用于分布式存儲(chǔ)分配的基于計(jì)算機(jī)的系統(tǒng)，該基于計(jì) 算機(jī)的系統(tǒng)包括：基于計(jì)算機(jī)的源，其被配置為通過一個(gè)或多個(gè)通信鏈路與多個(gè)已知異構(gòu) 可靠性的基于硬件的存儲(chǔ)節(jié)點(diǎn)通信，其中所述基于計(jì)算機(jī)的源被配置為執(zhí)行存儲(chǔ)分配算 法，以獲得在所述多個(gè)基于硬件的存儲(chǔ)節(jié)點(diǎn)上的分配的存儲(chǔ)，所述算法執(zhí)行以下任務(wù)：i) 基于所提供的預(yù)算和提供的目標(biāo)函數(shù)，選擇所述多個(gè)基于硬件的存儲(chǔ)節(jié)點(diǎn)中的一個(gè)或多個(gè) 不相交的子集，其中所述預(yù)算指定所述多個(gè)基于硬件的存儲(chǔ)節(jié)點(diǎn)的總可用存儲(chǔ)大小的一部 分；ii)以及，通過將所述預(yù)算散布到所述一個(gè)或多個(gè)不相交的子集上，將所述預(yù)算分配到 所述一個(gè)或多個(gè)不相交的子集，使得所述一個(gè)或多個(gè)不相交的子集中的每個(gè)子集的每個(gè)基 于硬件的存儲(chǔ)節(jié)點(diǎn)具有分配預(yù)算的相同量，所述分配預(yù)算的相同量不同于分配到不同子集 的基于硬件的存儲(chǔ)節(jié)點(diǎn)的量，其中所述預(yù)算的分配是基于所述異構(gòu)可靠性和所述預(yù)算。 根據(jù)本公開的第三方面，提出了用于通過通信鏈路對(duì)多個(gè)獨(dú)立消息實(shí)時(shí)流傳輸?shù)幕?計(jì)算機(jī)的方法，所述基于計(jì)算機(jī)的方法包括步驟：i)通過計(jì)算機(jī)提供所述多個(gè)獨(dú)立消息的 消息大小s ;ii)通過計(jì)算機(jī)提供基于若干時(shí)間步長(zhǎng)的消息創(chuàng)建間隔c，其中所述消息創(chuàng)建 間隔限定兩個(gè)連續(xù)的消息的創(chuàng)建時(shí)間之間的時(shí)間間隔；iii)通過計(jì)算機(jī)提供指定預(yù)算的 約束，其中所述預(yù)算對(duì)應(yīng)于在每個(gè)時(shí)間步長(zhǎng)傳輸?shù)木幋a的數(shù)據(jù)包的最大大?。籭v)通過計(jì) 算機(jī)提供為若干時(shí)間步長(zhǎng)的固定的解碼延遲d，其中所述固定的解碼延遲限定關(guān)于所述多 個(gè)獨(dú)立消息的消息的創(chuàng)建時(shí)間的延遲，在所述延遲內(nèi)，所述消息必須基于一個(gè)或多個(gè)傳輸 的數(shù)據(jù)包，通過基于計(jì)算機(jī)的解碼器進(jìn)行解碼；v)通過計(jì)算機(jī)提供限定通過所述通信鏈路 傳輸?shù)臄?shù)據(jù)包的異構(gòu)時(shí)滯相關(guān)損失概率的異構(gòu)可靠性模型；vi)通過計(jì)算機(jī)對(duì)所述多個(gè)獨(dú) 立消息中的消息進(jìn)行編碼；以及vii)基于所述步驟i)_vi)，通過計(jì)算機(jī)產(chǎn)生對(duì)應(yīng)于所編 碼的消息的多個(gè)數(shù)據(jù)包，并且通過所述通信鏈路順序地傳輸所述多個(gè)數(shù)據(jù)包，其中：所述多 個(gè)獨(dú)立消息中在時(shí)間步長(zhǎng)i創(chuàng)建的消息被分配了根據(jù)所述異構(gòu)可靠性模型所選擇的時(shí)間 步長(zhǎng)i、i+Ι、…、i+d傳輸?shù)臄?shù)據(jù)包的空間中的部分；使用糾刪碼，消息被跨越時(shí)間步長(zhǎng)i、 i+1、一i+d的數(shù)據(jù)包的所述空間中的所分配的部分編碼；以及通過基于計(jì)算機(jī)的解碼器， 在距所述消息的創(chuàng)建時(shí)間的所述固定解碼延遲內(nèi)，對(duì)所述消息進(jìn)行解碼。 【附圖說(shuō)明】 圖1示出的是在示例性分布式存儲(chǔ)系統(tǒng)中的信息流。源s具有將被編碼和存儲(chǔ)在η個(gè) 存儲(chǔ)節(jié)點(diǎn)上的歸一化單位大小的單個(gè)數(shù)據(jù)對(duì)象。隨后，數(shù)據(jù)采集器t，通過只訪問存儲(chǔ)在節(jié) 點(diǎn)的隨機(jī)子集r中的數(shù)據(jù)，試圖恢復(fù)原始數(shù)據(jù)對(duì)象。 圖2示出的是包括3個(gè)異構(gòu)節(jié)點(diǎn)（η = 3)的系統(tǒng)的最優(yōu)分配表1，其中Pl> p 2彡p 3。 圖3示出的是包括4個(gè)異構(gòu)節(jié)點(diǎn)（η = 4)的系統(tǒng)的最優(yōu)分配表1I，其中 Ρ 2彡 Ρ 3彡 Ρ 4〇 圖4示出的是比較精確最優(yōu)解的、關(guān)于η = 4且= (0. 8479, 0. 6907, 0. 6904,0. 6725)的、分別通過本公開的算法1和算法3獲得的一級(jí)對(duì)稱分 配和二級(jí)對(duì)稱分配的表現(xiàn)。 圖5示出的是表示根據(jù)本公開內(nèi)容和現(xiàn)有技術(shù)所提出的算法在η = 30的恢復(fù)故障的 概率方面表現(xiàn)的各種曲線圖。 圖6示出的是表示當(dāng)總預(yù)算Τ = 2且η = 30時(shí)的不同方法的每個(gè)節(jié)點(diǎn)的分布量的各 種曲線圖。 圖7示出的是表示所提出的算法在η = 50情況下恢復(fù)故障的概率方面表現(xiàn)的各種曲 線圖。 圖8示出的是表示當(dāng)總預(yù)算Τ = 1:7且η = 50時(shí)的不同方法的每個(gè)節(jié)點(diǎn)的分布量的 各種曲線圖。 圖9示出的是表示不同的算法針對(duì)節(jié)點(diǎn)數(shù)的時(shí)間成本的各種曲線圖。 圖10示出的是表示針對(duì)其中消息率s = 1的從1到4的數(shù)據(jù)包率Ρ的解碼故障概率 的各種曲線圖。 圖11示出的是表示針對(duì)范圍從0. 1到1的消息率s且數(shù)據(jù)包率Ρ = 1的解碼故障概 率的各種曲線圖。 圖12示出的是根據(jù)本公開的實(shí)施例的一級(jí)對(duì)稱分配算法。 圖13示出的是根據(jù)本公開的實(shí)施例的圖12中提出的算法的簡(jiǎn)化版本的一級(jí)對(duì)稱分配 算法。 圖14示出的是根據(jù)本公開的實(shí)施例的二級(jí)對(duì)稱分配算法。 圖15示出的是根據(jù)本公開的實(shí)施例的三級(jí)對(duì)稱分配算法。 圖16示出的是示例性實(shí)時(shí)流傳輸系統(tǒng)，其中消息順序地到達(dá)源，并且被編碼用于通過 數(shù)據(jù)包刪除通道進(jìn)行傳輸，以由匯節(jié)點(diǎn)在距它們的創(chuàng)建時(shí)間的指定的延遲內(nèi)進(jìn)行解碼。 圖17Α和圖17Β示出的是被分配用于在順序地傳輸數(shù)據(jù)包的流傳輸數(shù)據(jù)包構(gòu)造的情況 下以兩個(gè)連續(xù)時(shí)間步長(zhǎng)進(jìn)行流傳輸數(shù)據(jù)包的存儲(chǔ)。 圖18示出的是用于本公開的各種分布式存儲(chǔ)系統(tǒng)的各種存儲(chǔ)節(jié)點(diǎn)的示例性目標(biāo)硬 件。 【具體實(shí)施方式】 引言 根據(jù)本公開的各個(gè)方面，考慮了下列問題：利用異構(gòu)訪問概率在一組存儲(chǔ)節(jié)點(diǎn)（例如， 具有硬件依賴性）上存儲(chǔ)數(shù)據(jù)對(duì)象（例如，文件、視頻流、蜂窩語(yǔ)音消息，等等），以便使給定 的總存儲(chǔ)預(yù)算的成功恢復(fù)概率最大化。數(shù)據(jù)對(duì)象可以跨越多個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行拆分和編碼。 例如，通過利用最大距離可分（MDS)碼，如果訪問數(shù)據(jù)的總量是至少數(shù)據(jù)對(duì)象的大小，則原 始數(shù)據(jù)對(duì)象可以被恢復(fù)。目標(biāo)是確定跨越該組存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)預(yù)算的最優(yōu)分配，使得隨后 的恢復(fù)概率被最大化。 存儲(chǔ)分配的問題是由實(shí)際存儲(chǔ)問題激發(fā)的，例如，在具有異構(gòu)節(jié)點(diǎn)的對(duì)等云存儲(chǔ)、內(nèi)容 分發(fā)網(wǎng)絡(luò)、延遲容忍網(wǎng)絡(luò)和無(wú)線傳感器網(wǎng)絡(luò)方面。例如，每個(gè)節(jié)點(diǎn)可以是虛擬專用服務(wù)器 (VPS)，虛擬專用服務(wù)器（VPS)的正常運(yùn)行時(shí)間/停機(jī)時(shí)間統(tǒng)計(jì)是已知的，從而可以被用于 作為對(duì)應(yīng)的訪問概率的量度。在另一個(gè)示例中，用于存儲(chǔ)服務(wù)器的數(shù)據(jù)的硬盤架可以包括 存