作為服務(wù)的有效數(shù)據(jù)壓縮和分析的制作方法
【專利說明】
【背景技術(shù)】
[0001]因為組織機構(gòu)用于創(chuàng)建、跟蹤和保存數(shù)據(jù)的技術(shù)能力繼續(xù)增長，用于傳輸和存儲上漲的數(shù)據(jù)浪潮的各種不同技術(shù)已經(jīng)被開發(fā)。一種此類技術(shù)，數(shù)據(jù)壓縮，通過不同地表示數(shù)據(jù)允許數(shù)據(jù)尺寸的減小。隨后，數(shù)據(jù)可被恢復(fù)用于進一步的處理。根據(jù)許多不同的壓縮技術(shù)，許多不同類型的數(shù)據(jù)可被壓縮。確定施加哪種壓縮技術(shù)通常是挑戰(zhàn)性的。對于某種數(shù)據(jù)，一些技術(shù)是更有效的，生成更大減小的數(shù)據(jù)尺寸，而對于其他數(shù)據(jù)，不同的壓縮技術(shù)可能更適合。選擇施加到數(shù)據(jù)的壓縮技術(shù)的能力通常可被資源限制，所述資源被需要來在希望壓縮所述數(shù)據(jù)的實體的約束內(nèi)對所述數(shù)據(jù)執(zhí)行各種分析。類似地，不同的壓縮技術(shù)利用相異的負荷來執(zhí)行所述壓縮技術(shù)。因此，希望壓縮數(shù)據(jù)的實體通常通過時間、操作成本、以及有效壓縮數(shù)據(jù)的其他壓縮選擇標準源限制被限制。
【附圖說明】
[0002]圖1示出根據(jù)一些實施方案的作為服務(wù)的有效數(shù)據(jù)壓縮和分析的數(shù)據(jù)流框圖。
[0003]圖2為示出根據(jù)一些實施方案的用于數(shù)據(jù)壓縮服務(wù)的示例操作環(huán)境的框圖。
[0004]圖3為示出根據(jù)一些實施方案的示例數(shù)據(jù)壓縮服務(wù)的框圖。
[0005]圖4為根據(jù)一些實施方案的執(zhí)行作為服務(wù)的有效數(shù)據(jù)壓縮和分析的方法的高級流程圖。
[0006]圖5為根據(jù)一些實施方案的根據(jù)一系列選擇的壓縮技術(shù)并且在給定的壓縮服務(wù)限制內(nèi)生成一個或多個數(shù)據(jù)壓縮候選的方法的高級流程圖。
[0007]圖6為示出根據(jù)一些實施方案的執(zhí)行機器學(xué)習(xí)來更新待壓縮數(shù)據(jù)的基于規(guī)則的分析的方法的高級流程圖。
[0008]圖7為示出根據(jù)一些實施方案的執(zhí)行作為包括多級壓縮的服務(wù)的有效數(shù)據(jù)壓縮和分析的方法的高級流程圖。
[0009]圖8為示出根據(jù)一些實施方案的執(zhí)行作為服務(wù)的數(shù)據(jù)壓縮的方法的高級流程圖。
[0010]圖9示出根據(jù)一些實施方案的示例系統(tǒng)。
[0011 ] 雖然在本文中通過列舉若干實施方案和說明性附圖的示例的方式描述了實施方案，本領(lǐng)域的技術(shù)人員應(yīng)認識到，實施方案并不限于所描述的實施方案或附圖。應(yīng)理解，附圖和對其的詳細描述并非意圖將實施方案限于所公開的特定形式，而是相反，其意圖在于涵蓋落入由所附權(quán)利要求書所界定的精神和范圍內(nèi)的所有修改、等同物以及替代方案。本文中使用的標題僅用于組織目的，并且并不意圖用于限制說明書或權(quán)利要求書的范圍。貫穿本申請所使用的詞語“可以(may)”是在許可的意義上(即意指具有可能性)、而非強制的意義上(即意指必須)使用。類似地，詞語“包括(include/including/includes) ”意味著包括但不限于。
【具體實施方式】
[0012]在以下詳細描述中，為提供對所要求的主題的徹底理解而闡述了許多具體細節(jié)。然而，本領(lǐng)域的技術(shù)人員應(yīng)理解，可以在沒有這些具體細節(jié)的情況下實施所要求的主題。在其他情況下，一個本領(lǐng)域普通技術(shù)人員將了解的方法、裝置或系統(tǒng)沒有被詳細描述以便不模糊所要求的主題。
[0013]還應(yīng)了解，雖然在本文中可能使用術(shù)語第一、第二等來描述各種元件，但是這些元件不應(yīng)受這些術(shù)語限制。這些術(shù)語只用于區(qū)分一個元件與另一個元件。例如，在不脫離本發(fā)明的范圍的情況下，第一接觸件可被稱為第二接觸件，并且類似地，第二接觸件可被稱為第一接觸件。第一接觸件和第二接觸件都是接觸件，但是它們不是相同的接觸件。
[0014]本發(fā)明的說明書中所用的術(shù)語僅旨在描述特定實施方案，而不意圖限制本發(fā)明。如在本發(fā)明和所附權(quán)利要求書的描述中所使用，單數(shù)形式的“一(a、an)”和“所述(the) ”還意欲包括復(fù)數(shù)形式，除非上下文另有明確指示。還將理解，如本文使用的術(shù)語“和/或(and/or) ”涉及并且涵蓋一個或多個相關(guān)聯(lián)列出項目的任何和所有可能組合。還將理解，當術(shù)語“包括(includes、including、comprises和/或comprising) ”在此說明書中被使用時指定陳述的特征、整數(shù)、步驟、操作、元件和/或部件的存在，但是不排除一個或多個其他特征、整數(shù)、步驟、操作、元件、部件和/或其群組的存在或添加。
[0015]如本文所使用，術(shù)語“如果”(“if”)可根據(jù)上下文被解釋為表示“在…時(when) ”或“在…后(upon) ”或“響應(yīng)于確定”或“響應(yīng)于檢測到”。類似地，短語“如果它被確定”或者“如果[陳述的情況或事件]被檢測”可根據(jù)上下文被解釋為表示“在確定之后”或者“響應(yīng)于確定”或者“在檢測[陳述的情況或事件]之后”或者“響應(yīng)于檢測[陳述的情況或事件]”。
[0016]作為服務(wù)的有效數(shù)據(jù)壓縮和分析的各種實施方案在本文被描述?？蓮目蛻舳?例如，客戶端系統(tǒng)、服務(wù)、設(shè)備、用戶等)接收包括待壓縮數(shù)據(jù)的壓縮請求?？蓪Υ龎嚎s數(shù)據(jù)或與數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)執(zhí)行基于規(guī)則的分析，以便從待施加到數(shù)據(jù)的多個壓縮技術(shù)中選擇一個或多個壓縮技術(shù)?？筛鶕?jù)選擇的壓縮技術(shù)生成數(shù)據(jù)壓縮候選。界定壓縮數(shù)據(jù)對象的生成的壓縮服務(wù)限制可被強制施行。數(shù)據(jù)壓縮候選中的一個隨后可根據(jù)壓縮選擇標準被選擇并且作為請求的壓縮數(shù)據(jù)被發(fā)送。
[0017]本說明書首先描述有效數(shù)據(jù)壓縮和分析的示例。壓縮服務(wù)(如被實施作為各種web服務(wù)的部分的壓縮服務(wù))可被配置來實施有效數(shù)據(jù)壓縮和分析。壓縮服務(wù)的各種方面以及可與壓縮服務(wù)交互的各種其他服務(wù)(如數(shù)據(jù)庫服務(wù))包括在示例壓縮服務(wù)的描述中。本說明書隨后描述用于作為服務(wù)的有效數(shù)據(jù)壓縮和分析的方法的各種實施方案的流程圖。隨后，本說明書描述可實現(xiàn)所公開的技術(shù)的示例系統(tǒng)。在整個說明書中，各種不同的示例可被提供。
[0018]由于許多不同的原因，數(shù)據(jù)可被創(chuàng)建、生成、傳輸、管理、修改、存儲或者以其他方式操作。那些實體(例如，客戶、組織、用戶、客戶端、系統(tǒng)等)壓縮此數(shù)據(jù)以便更有效地存儲、傳送或者以其他方式管理所述數(shù)據(jù)并不少見。例如，媒體組織可創(chuàng)建音頻文件或視頻文件用于分配至顧客。這些音頻文件或視頻文件的壓縮版本可被發(fā)送至顧客，因為它們更小并且可被更容易和快速地傳送(例如，消耗更少的帶寬)。數(shù)據(jù)存儲組織可維持大量的數(shù)據(jù)用于許多不同的存儲客戶端。為了增加存儲數(shù)據(jù)的安全性和可靠性，多個數(shù)據(jù)備份可被維持。以壓縮形式存儲這些多個數(shù)據(jù)備份可消耗更少的存儲空間，降低用于提供更可靠的存儲的成本。也展示期望數(shù)據(jù)壓縮的許多其他示例可被考慮，并且因此以上示例并非旨在為限制性的。
[0019]然而，因為數(shù)據(jù)量增長和/或用于壓縮所述數(shù)據(jù)的各種技術(shù)增加，對數(shù)據(jù)執(zhí)行最有效的壓縮形式可能變得越來越困難。例如，考慮以上描述的所述媒體組織。用于存儲數(shù)據(jù)的數(shù)據(jù)格式(例如，如mp3、jpeg、mpeg的文件格式)的數(shù)目持續(xù)擴展，能夠接收和消耗所述數(shù)據(jù)的各種技術(shù)也擴展。選擇用于施加到所述數(shù)據(jù)的合適壓縮技術(shù)的負擔可能變得更加復(fù)雜，需要更多的資源。類似地，以上的示例數(shù)據(jù)存儲組織可接收易受各種不同類型的壓縮影響的許多不同類型的數(shù)據(jù)。選擇用于施加的最有效的壓縮技術(shù)可證明是挑戰(zhàn)性的，如在接收新的或者不常見的類型的待壓縮數(shù)據(jù)的情況中。在這些情形中，以及在許多其他情形中，用于獲得壓縮數(shù)據(jù)的替代性方法和技術(shù)可能是有益的。
[0020]圖1示出根據(jù)一些實施方案的有效數(shù)據(jù)壓縮和分析的數(shù)據(jù)流框圖。數(shù)據(jù)壓縮服務(wù)100可通過一個或多個計算系統(tǒng)或設(shè)備(如分布式系統(tǒng)的一個或多個節(jié)點)或者任意其他類型的計算系統(tǒng)或設(shè)備(如以下參考圖1中的計算機系統(tǒng)1000描述的那些)來實施。數(shù)據(jù)壓縮服務(wù)可被配置來從各種不同的系統(tǒng)、設(shè)備或客戶端接收包括數(shù)據(jù)102的壓縮請求104。這些客戶端可以是由控制數(shù)據(jù)壓縮服務(wù)100的相同實體控制的或者由某個第三方控制的其他服務(wù)或系統(tǒng)。
[0021]數(shù)據(jù)102可以是可在數(shù)據(jù)壓縮服務(wù)100處接收的任意類型的數(shù)據(jù)。例如，如果數(shù)據(jù)壓縮服務(wù)100被配置來通過網(wǎng)絡(luò)連接與壓縮客戶端通信，那么數(shù)據(jù)壓縮服務(wù)100可能能夠壓縮可通過此類網(wǎng)絡(luò)連接傳輸?shù)娜我忸愋偷臄?shù)據(jù)。數(shù)據(jù)可劃分為可被視作一個整體或者在分開的部分中的一個或多個獨立式組塊、數(shù)據(jù)包或其他部分。在一些實施方案中，數(shù)據(jù)102可以是已經(jīng)根據(jù)一個或多個壓縮技術(shù)被壓縮的數(shù)據(jù)。
[0022]壓縮分析110可發(fā)生以從待施加到數(shù)據(jù)102的多個不同壓縮技術(shù)中選擇一些壓縮技術(shù)。壓縮分析可通過分析數(shù)據(jù)102來執(zhí)行。分析可包括確定數(shù)據(jù)的各種特性，如數(shù)據(jù)類型、格式、尺寸，或者通過針對某個尺寸范圍的可能值或者常見重復(fù)值檢查所述數(shù)據(jù)。因為可執(zhí)行許多不同類型的數(shù)據(jù)分析，所以前述示例并非旨在為限制性的。
[0023]壓縮分析110還可通過分析描述待壓縮數(shù)據(jù)的元數(shù)據(jù)來施加。根據(jù)一些實施方案，還可獲得與待壓縮數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)。例如，元數(shù)據(jù)描述數(shù)據(jù)的起源或目的地(例如，客戶端)，數(shù)據(jù)被接收的時間(例如，時間戳)，或者更一般地指示數(shù)據(jù)的類型或者特性。此元數(shù)據(jù)當在壓縮服務(wù)100處被接收時可被包括作為壓縮請求中的數(shù)據(jù)標頭、或者與壓縮請求或數(shù)據(jù)一起被包括的其他信息格式。元數(shù)據(jù)還可存儲在壓縮服務(wù)處，所述壓縮服務(wù)與特定的數(shù)據(jù)類型或客戶端相關(guān)聯(lián)，如存儲與從所識別的客戶端接收的數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的具體客戶端標識符。元數(shù)據(jù)可以是由客戶端生成以及從客戶端接收的描述性信息。例如，所述元數(shù)據(jù)可識別所述數(shù)據(jù)可以是用于網(wǎng)站的每日通信量值。
[0024]在各種實施方案中，可執(zhí)行元數(shù)據(jù)和/或數(shù)據(jù)的基于規(guī)則的分析，或者某種其他動態(tài)分析技術(shù)。基于規(guī)則的分析可包括代表用于壓縮服務(wù)的知識庫的一組規(guī)則。這些規(guī)則可基于與先前壓縮數(shù)據(jù)相關(guān)聯(lián)的歷史數(shù)據(jù)來確定，如用于各種類型的數(shù)據(jù)的熵測量值以及被施加到數(shù)據(jù)以獲得所記錄的熵測量值的一個或多個壓縮技術(shù)?；谝?guī)則的分析可包括確定被利用來評估待壓縮數(shù)據(jù)的數(shù)據(jù)特性、以及隨后識別待施加到關(guān)于數(shù)據(jù)的已知信息的一組壓縮選擇規(guī)則(如之前通過數(shù)據(jù)和元數(shù)據(jù)的先前數(shù)據(jù)分析來獲得)，以選擇待被施加到數(shù)據(jù)的一個或多個壓縮技術(shù)。在至少一些實施方案中，這些壓縮技術(shù)可能以特定的序列來排序。在一些實施方案中，壓縮技術(shù)可被并行施加，如通過各自工作來施加不同的壓縮技術(shù)以生成數(shù)據(jù)壓縮候選的多個節(jié)點或計算設(shè)備。
[0025]在至少一些實施方案中，還可施加機器學(xué)習(xí)(作為壓縮分析110的一部分)，以更新數(shù)據(jù)壓縮服務(wù)100的知識庫。例如，監(jiān)督學(xué)習(xí)技術(shù)可將監(jiān)督學(xué)習(xí)技術(shù)施加到歷史壓縮數(shù)據(jù)，所述歷史壓縮數(shù)據(jù)具有類似于待壓縮數(shù)據(jù)的數(shù)據(jù)特性的一個或多個數(shù)據(jù)特性。在基于規(guī)則的數(shù)據(jù)分析中施加到待壓縮數(shù)據(jù)的一組當前壓縮選擇規(guī)則可被更新、修改或改變，作為此機器學(xué)習(xí)技術(shù)的結(jié)果。例如，某種壓縮技術(shù)可被給予比先前在待施加的一組未修改的規(guī)則下已經(jīng)給予的更高的數(shù)據(jù)優(yōu)先級。
[0026]多個不同的壓縮引擎130可被配置來執(zhí)行一個或多個壓縮技術(shù)以生成數(shù)據(jù)壓縮候選120。這些壓縮引擎可根據(jù)選擇的一個或多個壓縮技術(shù)來壓縮待壓縮數(shù)據(jù)。在至少一些實施方案中，根據(jù)給定的壓縮服務(wù)限制，壓縮引擎130可被配置來根據(jù)特定的壓縮技術(shù)序列壓縮數(shù)據(jù)。壓縮服務(wù)限制可限制時間、成本，或者提供關(guān)于候選壓縮數(shù)據(jù)對象的生成的某個其他界限。例如，選擇的一個或多個壓縮技術(shù)可被給予優(yōu)先級順序，其中如壓縮分析110確定的，排序在可能具有更低的效率的那些壓縮技術(shù)之前的那些壓縮技術(shù)最可能最有效地執(zhí)行。因此，如果給定的壓縮服務(wù)限制施加時間限制，數(shù)據(jù)壓縮候選可根據(jù)最可能有效的壓縮技術(shù)在所述時間限制內(nèi)生成，同時具有更小的有效生成壓縮數(shù)據(jù)的可能性的那些數(shù)據(jù)壓縮候選可能或者可能不在所給定的時間限制內(nèi)執(zhí)行。在另一個示例中，服務(wù)費，或者某個其他成本可被分配至由壓縮數(shù)據(jù)對象的壓縮服務(wù)執(zhí)行的工作，并且所述客戶端可請求僅服務(wù)費上限被施加到所述數(shù)據(jù)的壓縮。因為這兩個示例僅是可被強制施行的許多不同類型的服務(wù)限制中的一些，所以先前的示例并非旨在為限制性的。
[0027]在各種實施方案中，可根據(jù)壓縮選擇標準選擇數(shù)據(jù)壓縮候選120中的一個。例如，在一些實施方案中，壓縮選擇標準可基于單個測量值，如數(shù)據(jù)壓縮候選的尺寸。如圖1中所示出的，用于數(shù)據(jù)102的數(shù)據(jù)壓縮候選120包括候選122、124和126。如果壓縮選擇標準為尺寸，那么如同在圖1中所示出的，數(shù)據(jù)壓縮候選124可被選擇作為待發(fā)送的請求的壓縮數(shù)據(jù)。其他測量值(如生成數(shù)據(jù)壓縮候選所需的時間、或者用于生成數(shù)據(jù)壓縮候選的資源的數(shù)目)可被包括作為所述選擇可基于的壓縮選擇標準的部件。選擇的數(shù)據(jù)壓縮候選可作為請求的壓縮數(shù)據(jù)發(fā)送至各種不同的位置，如返回至提交所述壓縮請求的客戶端，或者另一個遠程系統(tǒng)或?qū)嶓w。例如，在一些實施方案中，響應(yīng)142可指示選擇的壓縮數(shù)據(jù)對象124 (或者壓縮數(shù)據(jù)對象124的位置)。
[0028]有效的數(shù)據(jù)壓縮和分析的實施方案可作為各種不同的服務(wù)或系統(tǒng)的一部分來實施。數(shù)據(jù)管理服務(wù)(如被提供至客戶端的數(shù)據(jù)庫服務(wù))還可對存儲在所述數(shù)據(jù)管理服務(wù)內(nèi)的客戶端數(shù)據(jù)實施數(shù)據(jù)壓縮服務(wù)。數(shù)據(jù)壓縮服務(wù)可以是被提供至內(nèi)部和外部客戶端和/或客戶的一組更廣泛的基于web或網(wǎng)絡(luò)的服務(wù)的一部分，或者可替代地作為獨立服務(wù)。在一