技術領域

本發(fā)明涉及使用多維化技術大幅降低通信數(shù)據(jù)傳輸量的方法，本發(fā)明可被廣泛的應用于無線通訊、網(wǎng)絡下載、多媒體數(shù)據(jù)流分發(fā)，以及大數(shù)據(jù)和云計算等領域。

背景技術：

據(jù)申請人了解隨著計算機網(wǎng)絡技術的快速發(fā)展和高速寬帶網(wǎng)絡的逐漸普及，很多過去需要通過硬件介質才能傳輸?shù)臄?shù)據(jù)，現(xiàn)在都要經(jīng)過網(wǎng)絡進行傳播，如：系統(tǒng)安裝鏡像、大型應用程序和高清多媒體文件等。

雖然網(wǎng)絡帶寬的提升讓大容量文件的傳輸變得簡單，但是用戶對高清素材的追求卻同樣使得文件的體積大幅增加。過去，一款大型游戲的數(shù)據(jù)安裝包，由于受到DVD等傳播介質的制約，往往不會超過4G，即使多張介質也只有十幾個G的水平。但是隨著網(wǎng)絡傳播分發(fā)方式的普及，這種桎梏變得不再有效，很多安裝文件達到或超過60G的游戲開始逐漸嶄露頭角，并受到用戶的追捧。而且隨著4K、8K高清多媒體技術和VR技術的普及，這些大容量的素材文件還會更加瘋狂的增長，反觀硬件技術的發(fā)展水平，仍然不足以應對這樣的需要。

這種矛盾的產(chǎn)生，一方面是由于網(wǎng)絡傳輸平臺對數(shù)據(jù)量的需求確實過大，另一方面卻也是因為傳統(tǒng)數(shù)據(jù)傳輸模式的粗暴型發(fā)展，使得網(wǎng)絡環(huán)境中產(chǎn)生了大量冗余數(shù)據(jù)，充塞了本就擁塞的網(wǎng)絡傳輸通道。比如：網(wǎng)絡廣播信號、數(shù)據(jù)包中冗余的包頭，甚至是傳輸過程中所產(chǎn)生的協(xié)商報文，其有效信息內容往往只占據(jù)這些數(shù)據(jù)實際傳輸量的十幾分之一。

而在某些P2P傳輸環(huán)境中，冗余數(shù)據(jù)的數(shù)據(jù)總量更是大幅增加，甚至由于所載數(shù)據(jù)模塊的校驗結果失敗，大量的數(shù)據(jù)就需要反復重新傳遞，由此所帶來的網(wǎng)絡資源浪費隨著使用者規(guī)?；鶖?shù)的增加而不斷擴大。

因此，只是單純試圖通過升級網(wǎng)絡設備來滿足數(shù)據(jù)傳輸需求的做法已經(jīng)變得越發(fā)困難。甚至隨著通訊資費的降低，網(wǎng)絡維護成本的增大，以及硬件設備的升級周期縮短，造成相關市場的壓力大幅增加，最終會迫使硬件技術的發(fā)展、換代速率變得趨于緩慢。

技術實現(xiàn)要素：

本發(fā)明的目的在于：針對上述現(xiàn)有技術存在的問題，提出一種使用多維化技術大幅降低通信數(shù)據(jù)傳輸量的方法。本發(fā)明在既有的網(wǎng)絡傳輸環(huán)境中大幅增加有效信息的承載數(shù)量，降低冗余通訊數(shù)據(jù)的所占比例，使用多維化數(shù)據(jù)空間技術設計出了一種通過對數(shù)據(jù)流做多維化重新排列來降低數(shù)據(jù)實際傳輸量的方法，通過該方法不但可以大幅減少數(shù)據(jù)的實際傳輸數(shù)量，更可以減少無效信息的傳輸數(shù)量，降低整個網(wǎng)絡環(huán)境中的負載壓力。

本發(fā)明具體技術方案如下：本發(fā)明使用多維化技術大幅降低通信數(shù)據(jù)傳輸量的方法，包括如下步驟：

步驟一、載入待傳輸數(shù)據(jù)流；

步驟二、將數(shù)據(jù)流填充到數(shù)據(jù)空間中，完成空間重組；

步驟三、統(tǒng)計重復性區(qū)域并分割；

步驟四、重復匹配搜索；

步驟五、獨立空間模塊的壓縮；

步驟六、對各獨立空間模塊進行空間序列化操作；

步驟七、生成空間數(shù)據(jù)鏈；

步驟八、傳輸數(shù)據(jù)鏈和獨立空間模塊；

步驟九、數(shù)據(jù)還原。

進一步地，所述步驟二中，所述空間重組為：根據(jù)數(shù)據(jù)流長度創(chuàng)建相應的數(shù)據(jù)空間，在數(shù)據(jù)空間中實現(xiàn)二進制數(shù)據(jù)的三維化重組，形成若干個獨立幾何體。

進一步地，所述步驟三中，在若干個獨立幾何體之間，以及獨立幾何體的內部尋找重復區(qū)域，然后對這些獨立幾何體進行分割；待重組工作完成后，獲取若干個大型幾何體信息，然后搜索小型幾何體在若干個大型幾何體中重復出現(xiàn)的位置和次數(shù)，記錄下這些重復信息，并對這些大型幾何體進行分割，將小型幾何體從大型幾何體中分割出來。

進一步地，所述步驟四中，將分割出小型幾何體的大型幾何體之間再次做重復匹配搜索，重復步驟三，最終得到若干個完全不相匹配的獨立空間模塊。

進一步地，所述步驟五中，將得到的所有獨立空間模塊進行搜索并壓縮，搜索獨立空間模塊中有相同的小型幾何體的部分，將相同的小型幾何體直接壓縮為一個小型幾何體。

進一步地，所述步驟六中，在數(shù)據(jù)空間中按照一定方向逐次記錄各獨立空間模塊的方位信息，形成序列，所述序列為各獨立空間模塊空間坐標，即在空間中X,Y,Z坐標。

進一步地，所述步驟七中，根據(jù)序列信息依次記錄各獨立空間模塊的識別特征數(shù)據(jù)，該特征數(shù)據(jù)來源為獨立空間模塊的頂點數(shù)據(jù)，此特征在同一數(shù)據(jù)空間中具備唯一性；然后將序列化信息和特征碼信息組合為空間數(shù)據(jù)鏈；所述空間數(shù)據(jù)鏈的構成結構=獨立空間模塊空間坐標 +獨立空間模塊特征碼數(shù)據(jù)。

進一步地，所述步驟八中，將數(shù)據(jù)鏈和獨立空間模塊一同傳輸，傳輸過程中各數(shù)據(jù)包之間彼此獨立，沒有先后順序制約。

進一步地，所述步驟九中，客戶端在接收到全部文件后基于文件類型識別碼設定來區(qū)分空間數(shù)據(jù)鏈和獨立空間模塊數(shù)據(jù)包，再將之逐一還原。

進一步地，所述還原步驟為：

步驟一、首先將若干個獨立空間模塊進行內部還原，將之前內部的重復的小型幾何體進行還原；

步驟二、將分割出的小型幾何體填充進入大型幾何體中，形成最初的大型幾何體；

步驟三、將填充后的大型幾何體進行完全拆分，拆分為數(shù)據(jù)流。

進一步地，所述步驟八中，在傳輸過程中，發(fā)現(xiàn)同一文件的不同版本這種相似度較高的文件，使用多維化方式來進一步減少實際數(shù)據(jù)傳輸量；具體多維化方式為：對于不同版本的文件，其中將完全相同的幾何體部分標注出來分割，然后只傳輸分割出來的不相同的幾何體部分。

進一步地，所述步驟八中，在此過程中存在共性素材，所述共性素材即為不同版本的文件，則這些素材的傳輸只需要通過文件類型識別碼進行快速重建，而無需反復傳輸重復數(shù)據(jù)。

本發(fā)明有益效果如下：

本發(fā)明主要有三個組成部分，首先，通過多維化數(shù)據(jù)空間技術將待傳輸?shù)臄?shù)據(jù)流進行多維化重新排列，再將這些重新排列后的數(shù)據(jù)進行模塊化分拆，最后實際傳輸?shù)闹挥蟹侵貜托缘哪K數(shù)據(jù)，本發(fā)明只傳輸非重復性的模塊數(shù)據(jù)，在傳輸之前就大大減少了數(shù)據(jù)量，提高了傳輸?shù)男?；本發(fā)明是一種使用多維化方式構建網(wǎng)絡傳輸數(shù)據(jù)包，并通過減少數(shù)據(jù)包負載信息量來降低實際數(shù)據(jù)傳輸量的方法。該方法可以廣泛的應用于有線或無線傳輸領域，也可以基于此方法設計實現(xiàn)多種低負載的通訊協(xié)議，從而在網(wǎng)絡條件不變的情況下改善使用者的使用體驗，降低使用資費。本發(fā)明是一種通過多維化技術在網(wǎng)絡環(huán)境不變的情況下，大幅度提升數(shù)據(jù)傳輸率的方法。該方法使用多維化重組、分拆文件技術，能夠在最小數(shù)據(jù)量傳輸?shù)那闆r下，快速組織、重構原始文件內容，是一種通用的網(wǎng)絡數(shù)據(jù)高效傳輸方法。因此，該方法可被廣泛的應用于無線通訊、網(wǎng)絡下載、多媒體數(shù)據(jù)流分發(fā)，以及大數(shù)據(jù)和云計算等領域。本發(fā)明是一種全新的網(wǎng)絡數(shù)據(jù)高效率傳輸方法。通過整合文件中的多維化文件內容，可以在異地使用空間數(shù)據(jù)鏈方式快速重構整個文件，而此過程只需要很少的實際傳輸量。因此，在提升網(wǎng)絡通訊質量，提高集群工作效能等方面都有重要的作用。保護的內容：使用多維化數(shù)據(jù)空間技術進行數(shù)據(jù)重組、分拆、傳輸，并在異地進行重構的方法。本發(fā)明是一種全面性解決大容量網(wǎng)絡數(shù)據(jù)傳輸需要的方法。通過該方法不但可以有效減少實際傳輸?shù)奈募热?，減少傳輸時間，還可以降低無效數(shù)據(jù)包的傳輸量，大幅降低網(wǎng)絡負載。同時該種方式的傳輸還具有極強的數(shù)據(jù)保密性，即使被監(jiān)聽，也無法被破解。

附圖說明

下面結合附圖對本發(fā)明作進一步的說明。

圖1為本發(fā)明數(shù)據(jù)流空間重組的原理圖。

圖2為本發(fā)明大型幾何體中相同小型幾何體分割示意圖。

圖3為本發(fā)明大型幾何體中重復小型幾何體合并示意圖。

圖4為本發(fā)明不同版本號的程序文件通過多維化形式展現(xiàn)的原理圖。

具體實施方式

本發(fā)明具體技術方案如下：本發(fā)明使用多維化技術大幅降低通信數(shù)據(jù)傳輸量的方法，包括如下步驟：

步驟一、載入待傳輸數(shù)據(jù)流；

步驟二、將數(shù)據(jù)流填充到數(shù)據(jù)空間中，完成空間重組；

步驟三、統(tǒng)計重復性區(qū)域并分割；

步驟四、重復匹配搜索；

步驟五、獨立空間模塊的壓縮；

步驟六、對各獨立空間模塊進行空間序列化操作；

步驟七、生成空間數(shù)據(jù)鏈；

步驟八、傳輸數(shù)據(jù)鏈和獨立空間模塊；

步驟九、數(shù)據(jù)還原。

所述步驟二中，所述空間重組為：根據(jù)數(shù)據(jù)流長度創(chuàng)建相應的數(shù)據(jù)空間，在數(shù)據(jù)空間中實現(xiàn)二進制數(shù)據(jù)的三維化重組，形成若干個獨立幾何體。

如圖1-2所示，所述步驟三中，在若干個獨立幾何體之間，以及獨立幾何體的內部尋找重復區(qū)域，然后對這些獨立幾何體進行分割；待重組工作完成后，獲取若干個大型幾何體信息，然后搜索小型幾何體在若干個大型幾何體中重復出現(xiàn)的位置和次數(shù)，記錄下這些重復信息，并對這些大型幾何體進行分割，將小型幾何體從大型幾何體中分割出來。

所述步驟四中，將分割出小型幾何體的大型幾何體之間再次做重復匹配搜索，重復步驟三，最終得到若干個完全不相匹配的獨立空間模塊。

如圖3所示，所述步驟五中，將得到的所有獨立空間模塊進行搜索并壓縮，搜索獨立空間模塊中有相同的小型幾何體的部分，將相同的小型幾何體直接壓縮為一個小型幾何體。

所述步驟六中，在數(shù)據(jù)空間中按照一定方向逐次記錄各獨立空間模塊的方位信息，形成序列，所述序列為各獨立空間模塊空間坐標，即在空間中X,Y,Z坐標。

所述步驟七中，根據(jù)序列信息依次記錄各獨立空間模塊的識別特征數(shù)據(jù)，該特征數(shù)據(jù)來源為獨立空間模塊的頂點數(shù)據(jù)，此特征在同一數(shù)據(jù)空間中具備唯一性；然后將序列化信息和特征碼信息組合為空間數(shù)據(jù)鏈；所述空間數(shù)據(jù)鏈的構成結構=獨立空間模塊空間坐標 +獨立空間模塊特征碼數(shù)據(jù)。

所述步驟八中，將數(shù)據(jù)鏈和獨立空間模塊一同傳輸，傳輸過程中各數(shù)據(jù)包之間彼此獨立，沒有先后順序制約。

所述步驟九中，客戶端在接收到全部文件后基于文件類型識別碼設定來區(qū)分空間數(shù)據(jù)鏈和獨立空間模塊數(shù)據(jù)包，再將之逐一還原。所述還原步驟為：

步驟一、首先將若干個獨立空間模塊進行內部還原，將之前內部的重復的小型幾何體進行還原；

步驟二、將分割出的小型幾何體填充進入大型幾何體中，形成最初的大型幾何體；

步驟三、將填充后的大型幾何體進行完全拆分，拆分為數(shù)據(jù)流。

如圖4所示，所述步驟八中，在傳輸過程中，發(fā)現(xiàn)同一文件的不同版本這種相似度較高的文件，使用多維化方式來進一步減少實際數(shù)據(jù)傳輸量；具體多維化方式為：對于不同版本的文件，其中將完全相同的幾何體部分標注出來分割，然后只傳輸分割出來的不相同的幾何體部分，圖中的虛線部分。在還原過程中，只需要不相同的幾何部分就可以，相當于升級文件。

所述步驟八中，在此過程中存在共性素材，所述共性素材即為不同版本的文件，則這些素材的傳輸只需要通過文件類型識別碼進行快速重建，而無需反復傳輸重復數(shù)據(jù)。

如：不同版本號的數(shù)十兆的程序文件其差別可能只有幾百個字節(jié)，通過本方法就可以將這些版本之間的差別用多維化的方式予以展現(xiàn)。

如圖1，如步驟2中重組后的幾何體識別特征就可以定義為101110，此特征在同一數(shù)據(jù)空間中具備唯一性。然后再配合空間坐標，這里假定空間坐標為（1,2,3）

所述空間數(shù)據(jù)鏈的構成結構=獨立空間模塊空間坐標（1,2,3） +獨立空間模塊特征碼數(shù)據(jù)（101110）。

在傳輸過程中，發(fā)現(xiàn)同一文件的不同版本這種相似度較高的文件，使用多維化方式來進一步減少實際數(shù)據(jù)傳輸量；

傳輸數(shù)據(jù)鏈信息及獨立空間模塊，因為不需要保證數(shù)據(jù)傳遞的排序問題，因此減少了多線程傳輸工作的復雜度。又因為獨立空間模塊在很多程序結構之間都具有共性，因而在這些程序傳輸時可以通過該方法自行重構數(shù)據(jù)，而無需實際傳輸。

多個重復出現(xiàn)的小幾何體就相當于傳統(tǒng)壓縮算法中的數(shù)據(jù)字典，因此需要以字典的形式存儲在序列中，而這種字典也是文中所述特征碼的一種。,也可以使用字典的形式對其進行識別，至于具體采取何種方式，以數(shù)據(jù)的重復量和存儲代價來確定。如果重復次數(shù)較多則使用字典形式，如果重復次數(shù)極少、幾何體較大，則使用特征碼形式比較節(jié)約空間。

本發(fā)明主要有三個組成部分，首先，通過多維化數(shù)據(jù)空間技術將待傳輸?shù)臄?shù)據(jù)流進行多維化重新排列，再將這些重新排列后的數(shù)據(jù)進行模塊化分拆，最后實際傳輸?shù)闹挥蟹侵貜托缘哪K數(shù)據(jù)，本發(fā)明只傳輸非重復性的模塊數(shù)據(jù)，在傳輸之前就大大減少了數(shù)據(jù)量，提高了傳輸?shù)男剩槐景l(fā)明是一種使用多維化方式構建網(wǎng)絡傳輸數(shù)據(jù)包，并通過減少數(shù)據(jù)包負載信息量來降低實際數(shù)據(jù)傳輸量的方法。該方法可以廣泛的應用于有線或無線傳輸領域，也可以基于此方法設計實現(xiàn)多種低負載的通訊協(xié)議，從而在網(wǎng)絡條件不變的情況下改善使用者的使用體驗，降低使用資費。本發(fā)明是一種通過多維化技術在網(wǎng)絡環(huán)境不變的情況下，大幅度提升數(shù)據(jù)傳輸率的方法。該方法使用多維化重組、分拆文件技術，能夠在最小數(shù)據(jù)量傳輸?shù)那闆r下，快速組織、重構原始文件內容，是一種通用的網(wǎng)絡數(shù)據(jù)高效傳輸方法。因此，該方法可被廣泛的應用于無線通訊、網(wǎng)絡下載、多媒體數(shù)據(jù)流分發(fā)，以及大數(shù)據(jù)和云計算等領域。本發(fā)明是一種全新的網(wǎng)絡數(shù)據(jù)高效率傳輸方法。通過整合文件中的多維化文件內容，可以在異地使用空間數(shù)據(jù)鏈方式快速重構整個文件，而此過程只需要很少的實際傳輸量。因此，在提升網(wǎng)絡通訊質量，提高集群工作效能等方面都有重要的作用。保護的內容：使用多維化數(shù)據(jù)空間技術進行數(shù)據(jù)重組、分拆、傳輸，并在異地進行重構的方法。本發(fā)明是一種全面性解決大容量網(wǎng)絡數(shù)據(jù)傳輸需要的方法。通過該方法不但可以有效減少實際傳輸?shù)奈募热?，減少傳輸時間，還可以降低無效數(shù)據(jù)包的傳輸量，大幅降低網(wǎng)絡負載。同時該種方式的傳輸還具有極強的數(shù)據(jù)保密性，即使被監(jiān)聽，也無法被破解。

除上述實施例外，本發(fā)明還可以有其他實施方式。凡采用等同替換或等效變換形成的技術方案，均落在本發(fā)明要求的保護范圍。