專利名稱：連續(xù)數(shù)字圖像壓縮的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于壓縮數(shù)字圖像序列的設(shè)備和方法。與壓縮比如來自監(jiān)視相機(jī)的數(shù)字圖像序列或其中所有或部分圖像保持相對(duì)靜止的其它視頻流相結(jié)合給出了特定的應(yīng)用，并且將會(huì)對(duì)它們進(jìn)行具體參考來對(duì)本發(fā)明進(jìn)行介紹。不過，應(yīng)該意識(shí)到，本發(fā)明也可進(jìn)行其它的應(yīng)用。
如本領(lǐng)域中所公知的，經(jīng)過數(shù)字化的視頻圖像需要很大的存儲(chǔ)量。多個(gè)視頻圖像(下文中稱作“視頻場(chǎng)景”)，比如電影，如果不進(jìn)行壓縮的話，需要好幾百兆字節(jié)乃至上千兆字節(jié)的存儲(chǔ)空間。
現(xiàn)有技術(shù)中已知有多種不同的壓縮視頻場(chǎng)景的方法(例如，MPEG1、MPEG2等等)。一種現(xiàn)有的方法是通過對(duì)視頻場(chǎng)景的所有圖像進(jìn)行主分量分析而得出參數(shù)?；谕ㄟ^主分量分析選取的參數(shù)為每個(gè)視頻圖像確定圖像值。對(duì)于一個(gè)參數(shù)，最終的存儲(chǔ)要求是一個(gè)圖像針對(duì)該參數(shù)的全部分量值(對(duì)于具有N個(gè)像素的圖像有N個(gè)值)和與每個(gè)視頻圖像相關(guān)的一個(gè)圖像值。如果對(duì)視頻圖像得出了多于一個(gè)參數(shù)，所需要的存儲(chǔ)總量會(huì)相應(yīng)地成倍增長(zhǎng)。
監(jiān)視相機(jī)通常以緩慢的幀速率工作。在常規(guī)的視頻速率下，例如，每秒三十個(gè)圖像，兩小時(shí)的錄像具有超過200000個(gè)視頻圖像，并且使用大約50千兆字節(jié)的存儲(chǔ)空間。主分量分析法針對(duì)一個(gè)參數(shù)為每個(gè)圖像得出N個(gè)參數(shù)分量值。
另一種現(xiàn)有的壓縮方法是將初始圖像選作參考圖像。將后續(xù)的圖像與參考圖像進(jìn)行比較，并且僅保存差異或變化。這樣，為參考圖像保存完整的數(shù)據(jù)，而為后續(xù)圖像保存變化。
按照這種現(xiàn)有的方法，基于每個(gè)第n幀選取參考幀。這樣，參考幀的選取方式不是最佳的。
授予Ahmad的美國(guó)專利US6009204公開了一種對(duì)多個(gè)視頻圖像進(jìn)行壓縮、以對(duì)這多個(gè)視頻圖像進(jìn)行存儲(chǔ)、顯示和檢索的方法。按照這種方法，通過根據(jù)主分量分析得出至少一個(gè)參數(shù)對(duì)由多個(gè)像素表征的視頻圖像進(jìn)行壓縮。然后針對(duì)一個(gè)參數(shù)確定每個(gè)圖像的圖像值。將與每個(gè)視頻圖像相關(guān)的圖像值和與另一個(gè)視頻圖像相關(guān)的圖像值相比較，以確定差值。當(dāng)所比較的視頻圖像的圖像值之間的差值低于一個(gè)閾值時(shí)，丟棄其中之一。然后保存剩下的視頻圖像。使用這種壓縮方法，使得檢索視頻數(shù)據(jù)庫(kù)來找出由多個(gè)視頻場(chǎng)景組成的視頻數(shù)據(jù)庫(kù)內(nèi)的所查詢的視頻場(chǎng)景與具有多個(gè)視頻圖像的每個(gè)視頻場(chǎng)景之間的匹配成為了可能。
保安相機(jī)一般來說記錄突發(fā)事件，例如，竊賊進(jìn)入商店，而丟棄了空商店的無關(guān)緊要的視頻圖像不進(jìn)行記錄。這以損失連續(xù)記錄為代價(jià)降低了對(duì)圖像數(shù)據(jù)的存儲(chǔ)要求。
隨著采用視頻圖像來采集信息變得更加普遍以及對(duì)較高圖像質(zhì)量的持續(xù)追求導(dǎo)致分辨率越來越高且圖像參數(shù)不斷增加，高效存儲(chǔ)和顯示大量視頻圖像或者說視頻場(chǎng)景具有最小的存儲(chǔ)空間逐漸變成了一種優(yōu)勢(shì)。
按照本發(fā)明的一個(gè)方面，給出了一種壓縮數(shù)字圖像序列的方法。將數(shù)字圖像序列的參考圖像的至少第一部分與該數(shù)字圖像序列的后續(xù)圖像的至少相應(yīng)第一部分相比較。對(duì)參考圖像和后續(xù)圖像的第一部分在預(yù)定閾值之內(nèi)相同做出響應(yīng)，1)增加丟棄掉的第一部分的數(shù)量的計(jì)數(shù)，2)丟棄掉后續(xù)圖像的第一部分，和3)使用下一后續(xù)圖像的至少相應(yīng)第一部分重復(fù)比較步驟。對(duì)參考圖像和后續(xù)圖像的第一部分不在預(yù)定閾值之內(nèi)做出響應(yīng)，1)初始化計(jì)數(shù)和2)使用后續(xù)圖像的第一部分作為參考圖像重復(fù)比較步驟。
按照另一方面，提供了一種用于壓縮數(shù)字圖像序列的數(shù)字圖像處理系統(tǒng)。該數(shù)字圖像處理系統(tǒng)包括用于比較的裝置，該裝置將數(shù)字圖像序列的參考圖像的至少第一部分與該數(shù)字圖像序列的后續(xù)圖像的至少相應(yīng)第一部分相比較；b)對(duì)參考圖像和后續(xù)圖像的第一部分在預(yù)定閾值之內(nèi)相同做出響應(yīng)，一個(gè)裝置用于1)增加丟棄掉的第一部分的數(shù)量的計(jì)數(shù)，2)丟棄掉后續(xù)圖像的第一部分，和3)使用下一后續(xù)圖像的至少相應(yīng)第一部分重復(fù)進(jìn)行比較步驟；和c)對(duì)參考圖像和后續(xù)圖像的第一部分不在預(yù)定閾值之內(nèi)做出響應(yīng)，一個(gè)裝置用于1)初始化計(jì)數(shù)和2)使用后續(xù)圖像的第一部分作為參考圖像重復(fù)進(jìn)行比較步驟。
按照另一種實(shí)施例，數(shù)字圖像處理系統(tǒng)包括a)比較器，比較器將數(shù)字圖像序列的至少參考圖像部分與該數(shù)字圖像序列的相應(yīng)后續(xù)圖像部分相比較；b)計(jì)數(shù)器，每次后續(xù)圖像部分與參考圖像部分在預(yù)定閾值之內(nèi)匹配的時(shí)候，該計(jì)數(shù)器增加；響應(yīng)于后續(xù)圖像部分在預(yù)定閾值之內(nèi)不匹配，不匹配的后續(xù)響應(yīng)部分變成參考圖像部分并且計(jì)數(shù)器初始化；和c)存儲(chǔ)緩沖器，該緩沖器存儲(chǔ)每個(gè)參考和來自計(jì)數(shù)器的跟在每個(gè)參考圖像部分后面的匹配后續(xù)圖像部分的數(shù)量的計(jì)數(shù)。
本發(fā)明的一個(gè)優(yōu)點(diǎn)是，對(duì)數(shù)字圖像序列進(jìn)行了壓縮，尤其是在數(shù)字圖像的內(nèi)容相對(duì)靜止的情況下。例如，從監(jiān)視相機(jī)或其它視頻流得到的數(shù)字視頻圖像序列。
另一個(gè)優(yōu)點(diǎn)是降低了與存儲(chǔ)經(jīng)壓縮的數(shù)字圖像序列相關(guān)的存儲(chǔ)要求。
再有一個(gè)優(yōu)點(diǎn)是降低了與傳送經(jīng)壓縮的數(shù)字圖像序列相關(guān)的帶寬要求。
再有一個(gè)優(yōu)點(diǎn)是，在播放經(jīng)壓縮的視頻流的同時(shí)，可以保存時(shí)間信息。
對(duì)于本領(lǐng)域的技術(shù)人員來說，在閱讀并理解了下述的詳細(xì)說明的基礎(chǔ)上，其它的優(yōu)點(diǎn)將顯而易見。
附圖的用途是解釋本發(fā)明的示范性實(shí)施例，并且不應(yīng)理解為將本發(fā)明限定于這些實(shí)施例。應(yīng)當(dāng)理解，超出附圖和相關(guān)說明中給出的之外，本發(fā)明可以具體實(shí)現(xiàn)為各種不同的組件和組件的組合，并且可以具體實(shí)現(xiàn)為各種不同的步驟和步驟的組合。在附圖中，相似的附圖標(biāo)記代表相似的元件并且相同的附圖標(biāo)記(例如，116，216)代表相同的元件。
附

圖1是帶有按照一種實(shí)施例的的用于壓縮數(shù)字圖像序列的壓縮引擎的數(shù)字圖像處理系統(tǒng)的框圖。
附圖2A、B和C是表示用于比較參考圖像和后續(xù)圖像的幾種實(shí)施例的數(shù)字圖像序列的示意圖。
附圖3是通過識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像來壓縮數(shù)字圖像序列以進(jìn)行存儲(chǔ)的方法的一種實(shí)施例的流程圖。
附圖4是通過識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像來壓縮數(shù)字圖像序列以進(jìn)行發(fā)送的方法的一種實(shí)施例的流程圖。
附圖5是通過以選定的間隔識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像來壓縮數(shù)字圖像序列以進(jìn)行存儲(chǔ)的方法的另一種實(shí)施例的流程圖。
附圖6是通過以選定的間隔識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像來壓縮數(shù)字圖像序列以進(jìn)行發(fā)送的方法的另一種實(shí)施例的流程圖。
附圖7是通過識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像來壓縮數(shù)字圖像序列以進(jìn)行存儲(chǔ)的方法的再另一種實(shí)施例的流程圖。
附圖8是通過識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像來壓縮數(shù)字圖像序列以進(jìn)行發(fā)送的方法的再另一種實(shí)施例的流程圖。
附圖9A和9B結(jié)合在一起是通過識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像序列來壓縮數(shù)字圖像序列以進(jìn)行存儲(chǔ)的方法的一種實(shí)施例的流程圖。
附圖10A和10B結(jié)合在一起是通過識(shí)別在整個(gè)序列中重復(fù)出現(xiàn)的圖像序列來壓縮數(shù)字圖像序列以進(jìn)行發(fā)送的方法的一種實(shí)施例的流程圖。
參照附圖1，數(shù)字圖像處理系統(tǒng)10包括壓縮引擎12、數(shù)字圖像輸入裝置14和存儲(chǔ)裝置16。優(yōu)選地，系統(tǒng)10包括模擬解壓縮/重放裝置18來代替或補(bǔ)充存儲(chǔ)裝置16。此外，壓縮引擎12包括比較器20、計(jì)數(shù)器22和存儲(chǔ)緩沖器24。
數(shù)字圖像輸入裝置14，例如，包括數(shù)字?jǐn)z像機(jī)、數(shù)字照相機(jī)、數(shù)字錄像機(jī)、具有數(shù)字化輸出信號(hào)的放映機(jī)、數(shù)字圖像多路復(fù)用器、數(shù)字視頻服務(wù)器或能夠發(fā)送數(shù)字圖像序列的任何裝置。
參照附圖1和2A-C，比較器20從數(shù)字圖像輸入裝置14接收數(shù)字視頻圖像序列。按照一種實(shí)施例(附圖2A)，比較器20在圖像序列開端識(shí)別第一參考圖像32并且將后續(xù)圖像34與第一參考圖像進(jìn)行比較。如圖所示，比較器20將參考圖像32與下一個(gè)36后續(xù)圖像進(jìn)行比較。如果后續(xù)圖像與參考圖像是相似的(即，在預(yù)定閾值之內(nèi))，則丟棄后續(xù)圖像，同時(shí)計(jì)數(shù)器22統(tǒng)對(duì)丟棄圖像的數(shù)量進(jìn)行計(jì)數(shù)。當(dāng)比較器識(shí)別到與參考圖像不同(即，超出預(yù)定閾值)的后續(xù)圖像時(shí)，將計(jì)數(shù)器將后續(xù)圖像與參考圖像關(guān)聯(lián)起來的次數(shù)以及該參考圖像保存到存儲(chǔ)緩沖器24中。后續(xù)的不同圖像則變成了第二參考圖像，并且現(xiàn)在是將后續(xù)圖像與第二參考圖像進(jìn)行比較。持續(xù)進(jìn)行這個(gè)過程，直到到達(dá)數(shù)字視頻圖像序列30中的最后一個(gè)圖像。
存儲(chǔ)緩沖器24存儲(chǔ)著一個(gè)或多個(gè)參考圖像，之間穿插著來自計(jì)數(shù)器的與各個(gè)參考圖像相關(guān)的值。在對(duì)數(shù)字圖像序列30進(jìn)行了處理之后，將一個(gè)或多個(gè)所保存的參考圖像和計(jì)數(shù)器值拼接起來，形成代表從數(shù)字圖像輸入裝置14接收到的數(shù)字圖像序列的壓縮版本的壓縮圖像文件。當(dāng)給定的壓縮圖像處理完成時(shí)，存儲(chǔ)緩沖器24將壓縮圖像文件傳送給存儲(chǔ)裝置16。存儲(chǔ)裝置16，例如，可以包括數(shù)字視頻服務(wù)器、硬盤驅(qū)動(dòng)器、內(nèi)存存儲(chǔ)區(qū)、帶有便攜磁或光存儲(chǔ)介質(zhì)的裝置或者任何能夠存儲(chǔ)壓縮圖像文件的裝置。
壓縮圖像文件由解壓縮/重放裝置18從存儲(chǔ)裝置16中檢索。解壓縮/重放裝置18，例如，包括解壓縮引擎、與顯示器或監(jiān)視器相關(guān)連的數(shù)字視頻播放器、數(shù)字視頻開關(guān)或路由器和一個(gè)或多個(gè)這樣的數(shù)字視頻播放器或者任何能夠接收壓縮圖像文件、對(duì)該文件進(jìn)行解壓縮并且顯示數(shù)字圖像序列30的裝置。按照一種實(shí)施例，解壓縮引擎包括計(jì)數(shù)器，該計(jì)數(shù)器促使各個(gè)參考圖像依照相應(yīng)的保存計(jì)數(shù)進(jìn)行顯示。這樣，壓縮視頻流是事件觸發(fā)的(即，包含不相似的參考圖像)，而在重放過程中，視頻圖像依據(jù)其原始的時(shí)域進(jìn)行重構(gòu)(即，使其看起來像是實(shí)時(shí)錄像)。
按照另一種實(shí)施例，解壓縮/重放裝置18在壓縮處理期間直接從存儲(chǔ)緩沖器24中檢索每個(gè)參考圖像和相應(yīng)的計(jì)數(shù)器值。按照這種實(shí)施例，解壓縮/重放裝置18一般用來實(shí)時(shí)地監(jiān)視數(shù)字圖像序列30，受到所使用的設(shè)備和壓縮處理本身所建立的固有延遲的影響。一旦進(jìn)行了壓縮，每個(gè)參考圖像按照與上述相同的方式持續(xù)顯示與相關(guān)計(jì)數(shù)器值相關(guān)的時(shí)間。
由于壓縮過程本身是連續(xù)的，當(dāng)?shù)谝粎⒖紙D像顯示時(shí)間屆滿時(shí)，第二參考圖像和相關(guān)的計(jì)數(shù)器值應(yīng)當(dāng)是可用的。這可以得到另一種實(shí)施例，其中為了將數(shù)據(jù)從存儲(chǔ)緩沖器24送到解壓縮/重放裝置18設(shè)立了延遲。這實(shí)質(zhì)上建立了參考圖像隊(duì)列，以確保在解壓縮/重放裝置18上實(shí)現(xiàn)連續(xù)顯示。可任選地，還制定了與延遲相關(guān)的最大計(jì)數(shù)器值。這使得與參考圖像相似的后續(xù)圖像在與延遲相關(guān)的某一個(gè)預(yù)定點(diǎn)處被切斷。下一個(gè)數(shù)字圖像，即使與前一個(gè)參考圖像相似時(shí)，也會(huì)變成下一個(gè)參考圖像，否則，壓縮過程以與前面所述相同的方式繼續(xù)進(jìn)行。
按照數(shù)字圖像處理系統(tǒng)10的另一種實(shí)施例(附圖2B)，比較器20識(shí)別第一參考圖像38并且在比較后續(xù)圖像42之前跳過預(yù)定量的圖像(例如，一個(gè))40。這個(gè)實(shí)施例將參照附圖5和6進(jìn)行進(jìn)一步介紹。
按照數(shù)字圖像處理系統(tǒng)10的再有的另一種實(shí)施例(附圖2C)，比較器20識(shí)別第一參考圖像序列44，該序列具有預(yù)定量的連續(xù)圖像(例如，第一參考圖像46和第二參考圖像48)。接下來，比較器20對(duì)第一參考圖像序列44與后續(xù)圖像組50(例如第一后續(xù)圖像52和第二后續(xù)圖像54)進(jìn)行比較。第一參考圖像46與第一后續(xù)圖像52相比較56，并且第二參考圖像48與第二后續(xù)圖像54相比較58。這種實(shí)施例將參照附圖9A和9B做進(jìn)一步介紹。
參照附圖3，壓縮數(shù)字圖像序列的方法100于步驟102處開始，在該步驟中，接收到多(N)個(gè)數(shù)字圖像。將這多個(gè)數(shù)字圖像排列成一個(gè)序列，在該序列中，從第一個(gè)數(shù)字圖像開始，可以將這些數(shù)字圖像編號(hào)成1到N。在步驟104中，將參考圖像參數(shù)設(shè)置為1。類似地，在步驟106和步驟108中，分別地將下一圖像參數(shù)設(shè)置為2和將循環(huán)計(jì)數(shù)器(repetition counter)參數(shù)設(shè)置為1。參考圖像和下一圖像參數(shù)包含指向1到N圖像序列中的編號(hào)相同的圖像的值。循環(huán)計(jì)數(shù)器參數(shù)包含與參考圖像在整個(gè)序列的后續(xù)圖像中重復(fù)出現(xiàn)次數(shù)相關(guān)的值。
在步驟110中，將下一個(gè)圖像與參考圖像進(jìn)行比較。然后，在步驟112中基于預(yù)定閾值進(jìn)行下一圖像是否與參考圖像相似的判斷。如果下一圖像與參考圖像相似，則在步驟114中進(jìn)行對(duì)判定下一圖像是否等于N(即，下一圖像是整個(gè)序列中的最后一個(gè)圖形)的檢查。如果還有圖像需要處理，則在步驟116中，下一圖像和循環(huán)計(jì)數(shù)器參數(shù)增加1并且該過程返回到步驟110，以進(jìn)行下一比較。這一循環(huán)繼續(xù)比較后續(xù)圖像與參考圖像，直到下一圖像不與參考圖像相似，或者直到下一圖像是最后一個(gè)圖像。
如果在步驟112中下一圖像不與參考圖像相似，則步驟118將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值保存到，例如存儲(chǔ)緩沖器中。將參考圖像參數(shù)設(shè)置為下一圖像參數(shù)中的當(dāng)前值(步驟120)，并且將下一圖像參數(shù)增加1(步驟122)。接著，該過程返回到步驟108，以將循環(huán)計(jì)數(shù)器參數(shù)重置為1，并且開始針對(duì)新的參考圖像的比較循環(huán)。
如果在步驟114中下一圖像等于N，則步驟124將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值存儲(chǔ)到，例如存儲(chǔ)緩沖器中。接著，在步驟126中，將所存儲(chǔ)的參考圖像和相關(guān)循環(huán)計(jì)數(shù)器值拼接在一起，并且存儲(chǔ)到壓縮圖像文件中，該壓縮圖像文件例如在存儲(chǔ)緩沖器中、盤上、錄像帶上等等。此時(shí)，該方法結(jié)束(步驟128)。
按照可替換的實(shí)施例，在步驟122之后，所述方法返回到步驟110，而不是步驟108。按照這種可替換的實(shí)施例，沒有將循環(huán)計(jì)數(shù)器重置為1。因此，循環(huán)計(jì)數(shù)器有效地變成了數(shù)字圖像計(jì)數(shù)器，該計(jì)數(shù)器用于跟蹤從2到N比較的數(shù)字圖像的數(shù)量。從而，與參考圖像相關(guān)的循環(huán)計(jì)數(shù)器值識(shí)別與參考圖像相關(guān)的最后一個(gè)圖像。因此，為了確定針對(duì)給定參考圖像的循環(huán)次數(shù)，解壓縮/重放裝置從對(duì)應(yīng)于給定參考圖像的計(jì)數(shù)器值中減去對(duì)應(yīng)于前一參考圖像的循環(huán)計(jì)數(shù)器值加1。按照這種可替換的實(shí)施例，也可以將參考圖像參數(shù)值與數(shù)字圖像和循環(huán)計(jì)數(shù)器值保存在一起。按照這種可替換的實(shí)施例的變形方式，為了確定針對(duì)給定參考圖像的循環(huán)次數(shù)，解壓縮/重放裝置從循環(huán)計(jì)數(shù)器值中減掉參考圖像參數(shù)值。
參照附圖4，壓縮數(shù)字圖像序列的方法150按照與上述介紹的附圖3的方法100相同的方式執(zhí)行步驟102到116。現(xiàn)在介紹的實(shí)施例中的主要不同是，將參考圖像和相關(guān)計(jì)數(shù)器值傳送給用于監(jiān)視的裝置，而不是對(duì)其進(jìn)行存儲(chǔ)。
更加具體地講，如果在步驟112中下一圖像不與參考圖像相似，則所述方法繼續(xù)進(jìn)行到步驟168，在這個(gè)步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值發(fā)送給，例如解壓縮/重放裝置。接著，按照與上面介紹的附圖3的方法100相同的方式執(zhí)行步驟120和122。
此外，如果在步驟114中下一圖像等于N，則所述方法繼續(xù)進(jìn)行到步驟174，在這個(gè)步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值發(fā)送給，例如解壓縮/重放裝置。此時(shí)，該方法結(jié)束(步驟178)。
參照附圖5，壓縮數(shù)字圖像序列的方法200的另一種實(shí)施例按照總體上與上面介紹的附圖3的方法100相同的方式執(zhí)行步驟102到128?，F(xiàn)在介紹的實(shí)施例中的主要不同是，該方法的比較循環(huán)增加兩個(gè)圖像，而不是增加一個(gè)圖像。
在步驟206中，將下一圖像參數(shù)初始設(shè)置為3而不是2。在步驟208中，將循環(huán)計(jì)數(shù)器參數(shù)初始設(shè)置為2而不是1。在步驟216中，下一圖像和循環(huán)計(jì)數(shù)器參數(shù)增加2而不是增加1。類似地，在步驟222中，下一圖像參數(shù)增加2而不是增加1。
按照另外一種可替換的實(shí)施例，比較循環(huán)可以增加任何數(shù)字(I)而不是2。按照這種可替換的實(shí)施例，將循環(huán)計(jì)數(shù)器參數(shù)初始設(shè)置為I而不是2，并且將下一圖像參數(shù)初始設(shè)置為I+1而不是3。當(dāng)然，當(dāng)下一圖像和循環(huán)計(jì)數(shù)器參數(shù)增加時(shí)，它們?cè)黾覫而不是2。
參照附圖6，壓縮數(shù)字圖像序列的方法250的另一種實(shí)施例執(zhí)行步驟102、104、110-114和120(這些步驟是按照與上面介紹的附圖3的方法100相同的方式執(zhí)行的)以及步驟206、208、216和222(這些步驟是按照與上面介紹的附圖5的方法200相同的方式執(zhí)行的)。附圖5的方法200與現(xiàn)在介紹的實(shí)施例之間的主要不同是，和附圖4的實(shí)施例一樣，將參考圖像和相關(guān)計(jì)數(shù)器值傳送給用于監(jiān)視的裝置，而不是對(duì)其進(jìn)行保存。
如果在步驟112中下一圖像與參考圖像不相似，則所述方法繼續(xù)進(jìn)行到步驟268，在這個(gè)步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值發(fā)送給，例如解壓縮/重放裝置。
此外，如果在步驟114中下一圖像等于N，則所述方法繼續(xù)進(jìn)行到步驟274，在該步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值發(fā)送給，例如解壓縮/重放裝置。此時(shí)，該方法結(jié)束(步驟278)。
參照附圖7，壓縮數(shù)字圖像序列的方法300的再另一種實(shí)施例執(zhí)行步驟102、104、110-114、118、122和124-128(這些步驟是按照與上面介紹的附圖3的方法100相同的方式執(zhí)行的)并且執(zhí)行步驟206、208和216(這些步驟是按照與上面介紹的附圖5的方法200相同的方式執(zhí)行的)。附圖5的方法200與現(xiàn)在介紹的實(shí)施例之間的主要不同是，當(dāng)“下一圖像”與當(dāng)前參考圖像不相似時(shí)，將下一參考圖像設(shè)置為當(dāng)前“下一圖像”與當(dāng)前參考圖像之間的圖像，而不是設(shè)置為當(dāng)前“下一圖像”。換句話說，在比較循環(huán)由于使用增量2而跳過圖像的時(shí)候，當(dāng)所比較的“下一圖像”與參考圖像不相似時(shí)，下一參考圖像變成了所跳過的最后一個(gè)圖像(即，在當(dāng)前“下一圖像”之前的圖像)。
附圖5的方法200與現(xiàn)在介紹的實(shí)施例之間的不同之處反映在步驟320和122中。更加具體地講，在該步驟中對(duì)與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值進(jìn)行了保存之后，將參考圖像參數(shù)設(shè)置為下一圖像參數(shù)中的當(dāng)前值減1(步驟320)。然后，下一圖像參數(shù)增加1(步驟122)并且過程返回到步驟208。
對(duì)于方法200的可替換的實(shí)施例而言，其中比較循環(huán)增加任何數(shù)(I)1)將步驟320適應(yīng)性修改為將參考圖像參數(shù)設(shè)置為下一圖像參數(shù)的當(dāng)前值減I并且加A，并且2)將步驟122適應(yīng)性修改為將下一圖像參數(shù)增加A。對(duì)于這一可替換的實(shí)施例，A是小于I的整數(shù)值。一般來說A是1，以避免跳過不都與參考圖像相似的“下一圖像”之間的圖像。不過，對(duì)于A的任何值，在選取后續(xù)參考圖像時(shí)，會(huì)跳過比附圖5的方法200少的圖像。
參照附圖8，壓縮數(shù)字圖像序列的方法350的再另一種實(shí)施例執(zhí)行步驟102、104、110-114和122(這些步驟是按照與上面介紹的附圖3的方法100相同的方式執(zhí)行的)、步驟206、208和216(這些步驟是按照與上面介紹的附圖5的方法200相同的方式執(zhí)行的)以及步驟320(該步驟是按照與上面介紹的附圖7的方法300相同的方式執(zhí)行的)。附圖6的方法300與現(xiàn)在介紹的實(shí)施例之間的主要不同是，將參考圖像和相關(guān)的計(jì)數(shù)器值發(fā)送給用于監(jiān)視的裝置，而不是對(duì)其進(jìn)行保存。
如果在步驟112中下一圖像與參考圖像不相似，則所述方法繼續(xù)進(jìn)行到步驟368，在這個(gè)步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值發(fā)送給，例如解壓縮/重放裝置。接著，按照與上面介紹的附圖7的方法300相同的方式執(zhí)行步驟320，并且按照與上面介紹的附圖3的方法100相同的方式執(zhí)行步驟122。
此外，如果在步驟114中下一圖像是最后一個(gè)圖像，則所述方法繼續(xù)進(jìn)行到步驟374，在這個(gè)步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值發(fā)送給，例如解壓縮/重放裝置。此時(shí)，所述方法結(jié)束(步驟378)。
參照附圖9A和9B，對(duì)數(shù)字圖像序列進(jìn)行壓縮以進(jìn)行存儲(chǔ)的方法在步驟402中接收多(N)個(gè)數(shù)字圖像。將這多個(gè)數(shù)字圖像排列成序列，在該序列中數(shù)字圖像從1開始排序。在步驟404中，將參考圖像序列參數(shù)設(shè)置為1和2。類似地，在步驟406中，將下一圖像序列參數(shù)設(shè)置為3和4。在步驟408中，將循環(huán)計(jì)數(shù)器參數(shù)設(shè)置為1。參考圖像序列和下一圖像序列參數(shù)包含數(shù)值組。這兩個(gè)組包含相同數(shù)量的數(shù)值。每個(gè)組中的數(shù)值是連續(xù)的并且下一圖像序列參數(shù)的值順序跟在參考圖像序列參數(shù)的值之后。這些值指向圖像的1到N序列中的標(biāo)號(hào)相同的圖像。循環(huán)計(jì)數(shù)器參數(shù)包含與整個(gè)序列中同樣大小的后續(xù)圖像序列中參考圖像序列重復(fù)出現(xiàn)的次數(shù)相關(guān)的值。
在步驟410中，將下一圖像序列與參考圖像序列相比較。然后，在步驟412中進(jìn)行對(duì)下一圖像序列是否與參考圖像序列相似的判斷。該判斷基于預(yù)定的閾值。如果下一圖像序列在該閾值之內(nèi)與參考圖像序列相似，則在步驟414中進(jìn)行對(duì)判定下一圖像序列參數(shù)是否包括N(即，下一圖像序列中的最后一個(gè)圖像是整個(gè)序列中的最后一個(gè)圖像)的檢查。如果下一圖像序列參數(shù)不包括N，則在步驟416中，下一圖像序列參數(shù)增加2，并且循環(huán)計(jì)數(shù)器參數(shù)增加1，并且該過程返回到步驟410，以進(jìn)行另一次比較。這個(gè)循環(huán)繼續(xù)對(duì)后續(xù)圖像序列和參考圖像序列進(jìn)行比較，直到下一圖像序列與參考圖像序列不相似，或者直到下一圖像之一是最后一個(gè)圖像。
如果在步驟412中下一圖像序列不與參考圖像序列相似，則所述方法繼續(xù)進(jìn)行到步驟418，在該步驟中，將與參考圖像序列參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值保存到，例如存儲(chǔ)緩沖器中。將參考圖像序列參數(shù)設(shè)置為下一圖像序列參數(shù)中的當(dāng)前值(步驟420)，并且將下一圖像序列參數(shù)增加2(步驟422)。接著，該過程返回到步驟108，以將循環(huán)計(jì)數(shù)器參數(shù)重置為1，并且開始針對(duì)新的參考圖像序列的比較循環(huán)。
如果在步驟414中下一圖像序列參數(shù)包括N，則該方法繼續(xù)進(jìn)行到步驟424，在該步驟中，將與參考圖像序列參數(shù)相關(guān)的數(shù)字圖像和循環(huán)計(jì)數(shù)器中的值存儲(chǔ)到，例如存儲(chǔ)緩沖器中。接著，在步驟426中，將所存儲(chǔ)的參考圖像序列和相關(guān)循環(huán)計(jì)數(shù)器值拼接在一起，并且存儲(chǔ)到壓縮圖像文件中，例如在存儲(chǔ)緩沖器中。此時(shí)，該方法結(jié)束(步驟428)。
按照可替換的實(shí)施例，可以有S個(gè)參考圖像序列參數(shù)和S個(gè)下一圖像序列參數(shù)，而不是僅僅2個(gè)參數(shù)。變量S是大于1的整數(shù)值。按照這種可替換的實(shí)施例，圖像序列參數(shù)增加S而不是2。按照進(jìn)一步的適應(yīng)性改進(jìn)，S的值可以在選擇新的參考圖像序列的任何時(shí)候發(fā)生改變。
參照附圖10A和10B，方法500開始于步驟502，在該步驟中，接收到多(N)個(gè)數(shù)字圖像，每個(gè)圖像具有多(K)個(gè)部分。將這多個(gè)數(shù)字圖像排列成某種序列，在該序列中，從第一個(gè)數(shù)字圖像開始，可以將這些數(shù)字圖像編號(hào)成1到N。將每個(gè)數(shù)字圖像分成多個(gè)部分(例如，兩部分、四部分、外圍邊緣/中心區(qū)等)，在這些部分中，將較少可能變化的區(qū)域與更可能發(fā)生變化的區(qū)域分隔開，例如，沿頂部的天空、沿底部的草地、中央舞臺(tái)上的表演者的周圍等等?？梢詣?dòng)態(tài)地改變這些區(qū)域?；诒容^步驟，可以識(shí)別具有較多或較少運(yùn)動(dòng)的區(qū)域，并且隨著運(yùn)動(dòng)而變的區(qū)域在幀中移動(dòng)?？梢赃B續(xù)地或同時(shí)地對(duì)圖像部分進(jìn)行處理。
按照采取連續(xù)處理的實(shí)施例，在步驟504中，將參考圖像參數(shù)設(shè)置為1。類似地，在步驟506和步驟508中，分別將下一圖像參數(shù)設(shè)置為2和將循環(huán)計(jì)數(shù)器參數(shù)設(shè)置為1。參考圖像和下一圖像參數(shù)包含指向1到N圖像序列中的編號(hào)相同的圖像的值。循環(huán)計(jì)數(shù)器參數(shù)包含與參考圖像的部分在整個(gè)序列的后續(xù)圖像中重復(fù)出現(xiàn)次數(shù)相關(guān)的值。
在步驟510中，將下一個(gè)圖像的第一部分與參考圖像的相應(yīng)第一部分進(jìn)行比較。然后，在步驟512中進(jìn)行對(duì)下一圖像的第一部分是否與參考圖像的第一部分相似的判斷。該判斷基于預(yù)定閾值。如果下一圖像的第一部分與參考圖像相似，則在步驟514中進(jìn)行對(duì)判定下一圖像是否等于N(即，下一圖像是整個(gè)序列中的最后一個(gè)圖像)的檢查。如果下一圖像不是最后一個(gè)圖像，則在步驟516中，下一圖像和循環(huán)計(jì)數(shù)器增加1并且該過程返回到步驟510，以進(jìn)行另一個(gè)比較。這一循環(huán)繼續(xù)比較后續(xù)圖像的第一部分與參考圖像的第一部分，直到下一圖像的第一部分不與參考圖像的第一部分相似，或者直到下一圖像是最后一個(gè)圖像。
如果在步驟512中下一圖像不與參考圖像相似，則該方法繼續(xù)進(jìn)行到步驟518，在該步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像的第一部分和循環(huán)計(jì)數(shù)器中的值保存到，例如存儲(chǔ)緩沖器中。將參考圖像參數(shù)設(shè)置為下一圖像參數(shù)中的當(dāng)前值(步驟520)，并且將下一圖像參數(shù)增加1(步驟522)。接著，該過程返回到步驟508，以將循環(huán)計(jì)數(shù)器參數(shù)重置為1，并且開始針對(duì)新的參考圖像的第一部分的比較循環(huán)。
如果在步驟514中下一圖像等于N，則該方法繼續(xù)進(jìn)行到步驟524，在該步驟中，將與參考圖像參數(shù)相關(guān)的數(shù)字圖像的第一部分和循環(huán)計(jì)數(shù)器中的值存儲(chǔ)到，例如存儲(chǔ)緩沖器中。接著，在步驟525中，進(jìn)行對(duì)判斷正在比較的當(dāng)前部分是否等于K(即，當(dāng)前部分是所要比較的最后一個(gè)部分)的檢查。如果當(dāng)前部分不等于K，則在步驟527中，通過返回到步驟504，在步驟510、512、518和524中使用圖像的下一部分重復(fù)進(jìn)行該過程。在每個(gè)嵌套比較循環(huán)完成之后，該循環(huán)繼續(xù)進(jìn)行到圖像的各個(gè)部分，直到當(dāng)前部分是所要比較的最后一個(gè)部分。
如果在步驟526中當(dāng)前部分等于K，則將所存儲(chǔ)的參考圖像部分和相關(guān)的循環(huán)計(jì)數(shù)器值拼接在一起，并且存儲(chǔ)到壓縮圖像文件中(步驟526)，例如在存儲(chǔ)緩沖器中。此時(shí)，該方法結(jié)束(步驟528)。
按照采取同時(shí)處理的實(shí)施例，方法500并行地對(duì)每個(gè)圖像的多個(gè)部分進(jìn)行操作，就像把每個(gè)圖像部分當(dāng)成獨(dú)立的圖像。針對(duì)K個(gè)部分中的兩個(gè)或多個(gè)并行地進(jìn)行至少步驟512到524。在對(duì)兩個(gè)或多個(gè)K部分中的每一個(gè)完成步驟524之后，步驟525按照上述方式執(zhí)行。按照對(duì)現(xiàn)在介紹的實(shí)施例進(jìn)行的小小修改，對(duì)K個(gè)部分中的每一個(gè)并行地進(jìn)行至少步驟512到524。按照這種修改方案，步驟525和527不再需要，并且可以從該過程中除去。應(yīng)當(dāng)意識(shí)到，各個(gè)不同的圖像部分彼此無關(guān)地選取參考幀。
按照可替換的實(shí)施例，在步驟522之后，所述方法可以返回到步驟510，而不是步驟508。按照這種可替換的實(shí)施例，沒有將循環(huán)計(jì)數(shù)器重置為1。因此，循環(huán)計(jì)數(shù)器有效地變成了數(shù)字圖像計(jì)數(shù)器，該計(jì)數(shù)器跟蹤從2到N比較的數(shù)字圖像的數(shù)量。從而，與參考圖像相關(guān)的循環(huán)計(jì)數(shù)器值識(shí)別與參考圖像相關(guān)的最后一個(gè)圖像。因此，為了確定針對(duì)給定參考圖像的循環(huán)次數(shù)，解壓縮/重放裝置從對(duì)應(yīng)于給定參考圖像的計(jì)數(shù)器值中減去對(duì)應(yīng)于前一參考圖像的循環(huán)計(jì)數(shù)器值加1。按照這種可替換的實(shí)施例，也可以將參考圖像參數(shù)值與數(shù)字圖像和循環(huán)計(jì)數(shù)器值保存在一起。按照這種可替換的實(shí)施例的變形方式，要確定針對(duì)給定參考圖像的循環(huán)次數(shù)，解壓縮/重放裝置從循環(huán)計(jì)數(shù)器值中減掉參考圖像參數(shù)值。
按照再另外一種實(shí)施例，比較循環(huán)可以增加任何數(shù)字(I)而不是1。按照這種可替換的實(shí)施例，將循環(huán)計(jì)數(shù)器參數(shù)初始設(shè)置為I而不是1，并且將下一圖像參數(shù)初始設(shè)置為I+1而不是2。當(dāng)然，當(dāng)下一圖像和循環(huán)計(jì)數(shù)器參數(shù)增加時(shí)，它們?cè)黾覫而不是1。按照對(duì)這種可替換的實(shí)施例的修改，其中比較循環(huán)增加任何數(shù)(I)1)將步驟520適應(yīng)性修改為將參考圖像參數(shù)設(shè)置為下一圖像參數(shù)的當(dāng)前值減I并且加A，并且2)將步驟522適應(yīng)性修改為將下一圖像參數(shù)增加A。對(duì)于這一可替換的實(shí)施例，A是小于I的整數(shù)值。一般來說A是1，以避免跳過不都與參考圖像相似的“下一圖像”之間的圖像。不過，對(duì)于A的任何值，在選取后續(xù)參考圖像時(shí)，在“下一圖像”之間會(huì)跳過比僅僅使用I增量少的圖像。
權(quán)利要求
1.一種壓縮數(shù)字圖像序列的方法，包括a)將數(shù)字圖像序列的參考圖像的至少第一部分與該數(shù)字圖像序列的后續(xù)圖像的至少相應(yīng)第一部分相比較；b)對(duì)參考圖像和后續(xù)圖像的第一部分在預(yù)定閾值之內(nèi)相同做出響應(yīng)，1)增加丟棄掉的第一部分的數(shù)量的計(jì)數(shù)，2)丟棄掉后續(xù)圖像的第一部分，和3)對(duì)下一后續(xù)圖像的至少相應(yīng)第一部分重復(fù)進(jìn)行步驟a)；和c)對(duì)參考圖像和后續(xù)圖像的第一部分不在預(yù)定閾值之內(nèi)做出響應(yīng)，1)初始化計(jì)數(shù)和2)使用后續(xù)圖像的第一部分作為參考圖像重復(fù)進(jìn)行步驟a)。
2.按照權(quán)利要求1所述的方法，其中第一部分是每個(gè)圖像的一小段。
3.按照權(quán)利要求1或2所述的方法，進(jìn)一步包括用每個(gè)圖像的至少第二部分執(zhí)行步驟a)-c)。
4.按照權(quán)利要求3所述的方法，進(jìn)一步包括在對(duì)每個(gè)圖像的第一部分進(jìn)行步驟a)-c)的同時(shí)，對(duì)每個(gè)圖像的第二部分執(zhí)行步驟a)-c)。
5.按照權(quán)利要求1-4中任何一項(xiàng)所述的方法，其中每個(gè)圖像具有單個(gè)部分，所以第一部分是完整的圖像。
6.按照權(quán)利要求1-5中任何一項(xiàng)所述的方法，進(jìn)一步包括發(fā)送每個(gè)參考圖像的至少第一部分和所丟棄掉的第一部分的數(shù)量的計(jì)數(shù)。
7.按照權(quán)利要求1-6中任何一項(xiàng)所述的方法，進(jìn)一步包括在人類可觀看的顯示器上顯示至少每個(gè)第一參考部分；在所顯示的參考圖像和下一后續(xù)參考圖像之間，將每個(gè)第一部分的顯示重復(fù)相應(yīng)于所丟棄掉的第一部分的數(shù)量的計(jì)數(shù)的次數(shù)。
8.按照權(quán)利要求1-7中任何一項(xiàng)所述的方法，進(jìn)一步包括在步驟a)中，同時(shí)對(duì)第二參考圖像的至少一部分與另一個(gè)后續(xù)圖像的相應(yīng)部分進(jìn)行比較。
9.按照權(quán)利要求1-8中任何一項(xiàng)所述的方法，進(jìn)一步包括對(duì)每個(gè)參考圖像的至少第一部分和所丟棄掉的第一部分的數(shù)量的計(jì)數(shù)進(jìn)行保存。
10.按照權(quán)利要求9所述的方法，進(jìn)一步包括取回所存儲(chǔ)的第一部分和計(jì)數(shù)；在人類可觀看的顯示器上顯示至少每個(gè)第一參考部分；在所顯示的參考圖像和下一后續(xù)參考圖像之間，將每個(gè)第一部分的顯示重復(fù)相應(yīng)于所丟棄掉的第一部分的數(shù)量的計(jì)數(shù)的次數(shù)。
11.按照權(quán)利要求1-10中任何一項(xiàng)所述的方法，其中在步驟a)中，后續(xù)圖像與參考圖像間隔I個(gè)圖像，此處I是整數(shù)；在步驟b)中，計(jì)數(shù)增加I并且下一后續(xù)圖像與當(dāng)前后續(xù)圖像間隔I個(gè)圖像；和在步驟c)中，在重復(fù)步驟a)時(shí)，用作參考的后續(xù)圖像與當(dāng)前參考圖像間隔A個(gè)圖像，此處A是整數(shù)。
12.按照權(quán)利要求11所述的方法，其中A和I的值是相等的。
13.按照權(quán)利要求11所述的方法，其中A的值小于I的值。
14.按照權(quán)利要求1-13中任何一項(xiàng)所述的方法，其中第一部分是每個(gè)圖像的1/K段，此處K是每個(gè)圖像的部分的整數(shù)數(shù)量。
15.按照權(quán)利要求14所述的方法，進(jìn)一步包括對(duì)每個(gè)圖像的每個(gè)1/K部分執(zhí)行步驟a)-c)。
16.按照權(quán)利要求15所述的方法，進(jìn)一步包括對(duì)每個(gè)圖像的每個(gè)1/K部分同時(shí)執(zhí)行步驟a)-c)。
17.一種用于壓縮數(shù)字圖像序列的數(shù)字圖像處理系統(tǒng)(10)，包括a)用于比較的裝置(20)，該裝置將數(shù)字圖像序列的參考圖像的至少第一部分與該數(shù)字圖像序列的后續(xù)圖像的至少相應(yīng)第一部分相比較；b)計(jì)數(shù)器裝置(22)，用于對(duì)所丟棄的圖像部分計(jì)數(shù)；c)裝置(22)，用于對(duì)參考圖像和后續(xù)圖像的第一部分在預(yù)定閾值之內(nèi)相同做出響應(yīng)，1)增加計(jì)數(shù)器裝置(22)，2)丟棄掉后續(xù)圖像的第一部分，和3)使得比較裝置(20)對(duì)下一后續(xù)圖像的至少相應(yīng)第一部分與參考圖像第一部分進(jìn)行比較；和對(duì)參考圖像和后續(xù)圖像的第一部分不在預(yù)定閾值之內(nèi)做出響應(yīng)，1)初始化計(jì)數(shù)器裝置(22)和2)使得比較裝置(20)使用后續(xù)圖像的第一部分作為后續(xù)比較中的參考圖像。
18.一種用于壓縮數(shù)字圖像序列的數(shù)字圖像處理系統(tǒng)(10)，包括a)比較器(20)，比較器將數(shù)字圖像序列的至少參考圖像部分與該數(shù)字圖像序列的相應(yīng)后續(xù)圖像部分相比較；b)計(jì)數(shù)器(22)，每次后續(xù)圖像部分與參考圖像部分在預(yù)定閾值之內(nèi)匹配的時(shí)候，該計(jì)數(shù)器增加，響應(yīng)于后續(xù)圖像部分在預(yù)定閾值之內(nèi)不匹配，不匹配的后續(xù)響應(yīng)部分變成參考圖像部分并且計(jì)數(shù)器初始化；和c)存儲(chǔ)緩沖器(24)，該緩沖器存儲(chǔ)每個(gè)參考和來自計(jì)數(shù)器的跟在每個(gè)參考圖像部分后面的匹配后續(xù)圖像部分的數(shù)量的計(jì)數(shù)。
全文摘要
一種壓縮數(shù)字圖像序列的方法，包括將數(shù)字圖像序列的參考圖像與該數(shù)字圖像序列的后續(xù)圖像相比較。對(duì)參考圖像和后續(xù)圖像在預(yù)定閾值之內(nèi)相同做出響應(yīng)，1)增加丟棄掉的圖像的數(shù)量的計(jì)數(shù)，2)丟棄掉后續(xù)圖像，和3)對(duì)下一后續(xù)圖像重復(fù)進(jìn)行比較步驟。對(duì)參考圖像和后續(xù)圖像不在預(yù)定閾值之內(nèi)做出響應(yīng)，1)初始化計(jì)數(shù)和2)使用后續(xù)圖像作為參考圖像重復(fù)比較步驟。不是比較整個(gè)圖像，可以獨(dú)立地對(duì)圖像的相應(yīng)部分進(jìn)行比較和壓縮。
文檔編號(hào)G06T9/00GK1689337SQ03823954
公開日2005年10月26日 申請(qǐng)日期2003年9月22日 優(yōu)先權(quán)日2002年10月9日
發(fā)明者V·E·S·范迪克, F·佩索拉諾 申請(qǐng)人:皇家飛利浦電子股份有限公司