專(zhuān)利名稱(chēng):視頻圖像的拆分及重現(xiàn)的方法
技術(shù)領(lǐng)域:
本發(fā)明屬于視頻圖像處理技術(shù)領(lǐng)域,特別涉及可保護(hù)視頻圖像版權(quán)的一種視頻圖像的拆分及重現(xiàn)的方法。
背景技術(shù):
視頻壓縮的目的是在保證視覺(jué)效果的前提下減小視頻數(shù)據(jù)率,同時(shí)可以減小視頻數(shù)據(jù)存儲(chǔ)量和記錄密度。視頻圖像中存在的空間相關(guān)性和時(shí)間相關(guān)性使得大量的冗余信息被保存在視頻圖像數(shù)據(jù)中。視頻壓縮的目的就是將這些冗余信息去除,只保存視頻圖像中少量非相關(guān)信息并進(jìn)行傳輸,這樣就可以大大節(jié)省視頻圖像的存儲(chǔ)空間和傳輸時(shí)所占用的帶寬。而播放之前需要對(duì)被壓縮的視頻圖像進(jìn)行解壓縮(一般被稱(chēng)為解碼),解碼器根據(jù)壓縮視頻圖像中提供的信息,按照一定的解碼算法,可以在保證一定的圖像質(zhì)量的前提下恢復(fù)原始的視頻圖像并進(jìn)行播放。
為了最大限度地去除視頻圖像中的冗余信息,現(xiàn)在流行的壓縮編碼方案(如MPEG2和MPEG4)充分利用了視頻圖像的空間相關(guān)性和時(shí)間相關(guān)性進(jìn)行編碼。將視頻圖像的基本單位稱(chēng)為幀,即時(shí)間軸上某個(gè)時(shí)間點(diǎn)的圖像??臻g相關(guān)性編碼利用了大塊圖像區(qū)域的相似性,圖像數(shù)據(jù)只與臨近像素?cái)?shù)據(jù)有關(guān),所以編碼數(shù)據(jù)中包含大量的原始圖像數(shù)據(jù),每一幀的數(shù)據(jù)量非常大。時(shí)間相關(guān)性編碼則是利用了連續(xù)圖像(幀)之間的相似性,編碼數(shù)據(jù)是該幀圖像與臨近一幀或幾幀圖像的差值,每一幀的數(shù)據(jù)量相對(duì)較小。
為了提高編碼效率,實(shí)際應(yīng)用時(shí)只有極少部分幀利用視頻圖像的空間相關(guān)性進(jìn)行編碼,而大多數(shù)幀則需要利用視頻圖像的時(shí)間相關(guān)性進(jìn)行編碼。利用空間相關(guān)性編碼幀的數(shù)據(jù)只與該幀內(nèi)鄰近區(qū)域的圖像數(shù)據(jù)有關(guān),解碼時(shí)不需要參考其它幀的數(shù)據(jù)。利用時(shí)間相關(guān)性進(jìn)行編碼時(shí),每一幀的數(shù)據(jù)與臨近的一幀或幾幀的數(shù)據(jù)是相關(guān)聯(lián)的,因此解碼器在對(duì)壓縮視頻圖像進(jìn)行解碼時(shí),利用了視頻圖像時(shí)間相關(guān)性進(jìn)行編碼的幀需要參考臨近的一幀或幾幀進(jìn)行解碼。所以,利用空間相關(guān)性編碼的幀只會(huì)被用作參考幀。由于利用空間相關(guān)性編碼的幀的數(shù)量非常少,為了保證圖像的連續(xù)性,會(huì)有少部分利用時(shí)間相關(guān)性編碼的幀也會(huì)被用作參考幀,而多數(shù)的利用時(shí)間相關(guān)性編碼的幀則是非參考幀。就整個(gè)視頻圖像而言,只有少部分的幀是參考幀,而多數(shù)的幀則是非參考幀。
如果參考幀的圖像數(shù)據(jù)丟失或者發(fā)生錯(cuò)誤,則解碼恢復(fù)出來(lái)的視頻圖像是錯(cuò)誤的,如某些區(qū)域的圖像與相臨區(qū)域的圖像不匹配,甚至出現(xiàn)馬賽克現(xiàn)象,無(wú)法正常收看??紤]到視頻壓縮圖像數(shù)據(jù)在存儲(chǔ)和傳輸過(guò)程中可能出現(xiàn)丟失或錯(cuò)誤,解碼器通常都會(huì)使用一定的糾錯(cuò)算法對(duì)丟失的或錯(cuò)誤的數(shù)據(jù)進(jìn)行恢復(fù),但如果丟失或發(fā)生錯(cuò)誤的數(shù)據(jù)量過(guò)大,則糾錯(cuò)算法也無(wú)法完整地恢復(fù)原始圖像。
由于在壓縮視頻圖像數(shù)據(jù)存儲(chǔ)和傳輸過(guò)程中存在視頻圖像數(shù)據(jù)的知識(shí)產(chǎn)權(quán)(版權(quán))保護(hù)問(wèn)題,現(xiàn)在有一些方法已經(jīng)被使用,這些方法大多是通過(guò)加密或加擾的方式對(duì)壓縮視頻圖像數(shù)據(jù)進(jìn)行保護(hù),CA(Conditional Access)技術(shù)是其中最常用的一種。采用加密或加擾方式的最主要缺點(diǎn)是算法可以被破解,理論上沒(méi)有一種加密或加擾算法是不會(huì)被破解的,只是花費(fèi)的成本多少而已。采用加密或加擾方式還有一個(gè)缺點(diǎn)是增加了壓縮的成本為了對(duì)壓縮視頻圖像數(shù)據(jù)進(jìn)行加密,需要使用專(zhuān)用的加密軟件和硬件,這在無(wú)形中增加了視頻壓縮的成本。
通過(guò)對(duì)中國(guó)專(zhuān)利的檢索,沒(méi)有發(fā)現(xiàn)專(zhuān)門(mén)針對(duì)壓縮視頻圖像知識(shí)產(chǎn)權(quán)(版權(quán))保護(hù)的技術(shù)。在Y·E·施特恩2002.4.16提交的中國(guó)專(zhuān)利申請(qǐng)序列號(hào)為02802229.7的“用于分布貯存的P2P網(wǎng)絡(luò)結(jié)構(gòu)”專(zhuān)利中提到了通過(guò)降低業(yè)務(wù)成本的方式來(lái)反盜版,這并非直接保護(hù)壓縮視頻知識(shí)產(chǎn)權(quán)(版權(quán))技術(shù)。
發(fā)明內(nèi)容
本發(fā)明解決了上述視頻圖像數(shù)據(jù)版權(quán)保護(hù)技術(shù)的不足,提供一種可直接、有效保護(hù)視頻圖像的知識(shí)產(chǎn)權(quán)(版權(quán))的方法。
本發(fā)明的技術(shù)內(nèi)容一種視頻圖像的拆分及重現(xiàn)的方法,其步驟包括(1)視頻圖像經(jīng)過(guò)編碼形成若干參考幀和非參考幀,如果參考幀的壓縮圖像數(shù)據(jù)丟失或者發(fā)生錯(cuò)誤,則解碼恢復(fù)出來(lái)的視頻圖像將無(wú)法正常收看,視頻圖像的拆分是指抽取上述全部或部分參考幀中的壓縮視頻圖像數(shù)據(jù)的一部分或全部,抽取出來(lái)的視頻壓縮數(shù)據(jù)為關(guān)鍵內(nèi)容,其余參考幀和非參考幀的視頻壓縮數(shù)據(jù)為基本內(nèi)容;(2)將關(guān)鍵內(nèi)容和基本內(nèi)容分別存儲(chǔ)或傳輸;(3)如得到關(guān)鍵內(nèi)容和基本內(nèi)容后,用戶(hù)解碼器可將關(guān)鍵內(nèi)容和基本內(nèi)容拼接恢復(fù)成完整的視頻圖像進(jìn)行正常播放;如果得不到關(guān)鍵內(nèi)容,則解碼恢復(fù)出來(lái)的視頻圖像將是錯(cuò)誤的,無(wú)法正常收看。
將關(guān)鍵內(nèi)容和基本內(nèi)容分別儲(chǔ)存在認(rèn)證服務(wù)器和內(nèi)容服務(wù)器上。
用戶(hù)可以通過(guò)內(nèi)容服務(wù)器將基本內(nèi)容下載到本地儲(chǔ)存,關(guān)鍵內(nèi)容只能根據(jù)用戶(hù)申請(qǐng),通過(guò)用戶(hù)合法性認(rèn)證,由認(rèn)證服務(wù)器實(shí)時(shí)提供給用戶(hù)解碼器使用。
用戶(hù)解碼器拼接操作、解碼操作和播放可采用流水線(xiàn)的方式進(jìn)行,即將關(guān)鍵內(nèi)容和基本內(nèi)容分成若干個(gè)數(shù)據(jù)塊,首先拼接恢復(fù)第一個(gè)數(shù)據(jù)塊;隨后解碼第一個(gè)數(shù)據(jù)塊,同時(shí)拼接恢復(fù)第二個(gè)數(shù)據(jù)塊;然后播放第一個(gè)數(shù)據(jù)塊,同時(shí)解碼第二個(gè)數(shù)據(jù)塊拼接恢復(fù)第三個(gè)數(shù)據(jù)塊……以此類(lèi)推,直至播放完成。
本發(fā)明的技術(shù)效果將參考幀的壓縮視頻圖像數(shù)據(jù)在壓縮編碼時(shí)抽取出來(lái),根據(jù)需要可能是某些參考幀的部分?jǐn)?shù)據(jù)或者某些參考幀,也可能是所有的參考幀,抽取出的關(guān)鍵內(nèi)容和基本內(nèi)容分別存儲(chǔ)或傳輸,用戶(hù)只有同時(shí)獲得關(guān)鍵內(nèi)容和基本內(nèi)容后,才能實(shí)現(xiàn)播放視頻圖像的操作。用戶(hù)即使很容易可以獲得基本內(nèi)容并進(jìn)行存儲(chǔ)也不能播放視頻圖像,用戶(hù)只能通過(guò)申請(qǐng)視頻壓縮圖像的所有權(quán)者的認(rèn)證或授權(quán),如通過(guò)(得到)視頻壓縮圖像的所有權(quán)者的認(rèn)證或授權(quán),得到抽取出的關(guān)鍵內(nèi)容后,可將兩部分拼接恢復(fù)成原始內(nèi)容并進(jìn)行播放,從而使視頻壓縮圖像的所有權(quán)者的知識(shí)產(chǎn)權(quán)得到保護(hù)。
本發(fā)明無(wú)需額外的加密/解密算法,實(shí)現(xiàn)方式不涉及算法問(wèn)題,因此不用擔(dān)心被破解(盜版)。且不需要增加額外的硬件,所有增加的操作均可用軟件實(shí)現(xiàn)。
下面結(jié)合附圖,對(duì)本發(fā)明做出詳細(xì)描述。
圖1是對(duì)拼接、解碼和播放操作的示意圖;圖2為本發(fā)明一實(shí)施例的結(jié)構(gòu)示意圖;圖3為本發(fā)明實(shí)施例中視頻圖像的拆分及重現(xiàn)方法流程圖。
具體實(shí)施例方式
為了最大限度地去除視頻圖像中的冗余信息,現(xiàn)在流行的壓縮編碼方案(如MPEG2和MPEG4)充分利用了視頻圖像的空間相關(guān)性和時(shí)間相關(guān)性進(jìn)行編碼形成若干參考幀和非參考幀,在解碼器對(duì)壓縮視頻圖像進(jìn)行解碼時(shí),非參考幀需要參考臨近的一幀或幾幀圖像進(jìn)行解碼,如果參考幀的圖像數(shù)據(jù)丟失或者發(fā)生錯(cuò)誤,則解碼恢復(fù)出來(lái)的視頻圖像將是錯(cuò)誤的(某些區(qū)域的圖像與相臨區(qū)域的圖像不匹配,比如我們常見(jiàn)的馬賽克現(xiàn)象),無(wú)法正常收看??紤]到視頻壓縮圖像數(shù)據(jù)在存儲(chǔ)和傳輸過(guò)程中可能出現(xiàn)丟失或錯(cuò)誤,解碼器通常都會(huì)使用一定的糾錯(cuò)算法對(duì)丟失的或錯(cuò)誤的參考幀視頻圖像數(shù)據(jù)進(jìn)行恢復(fù),但如果丟失或發(fā)生錯(cuò)誤的視頻圖像數(shù)據(jù)量過(guò)大,則糾錯(cuò)算法也無(wú)法完整地恢復(fù)原始圖像。
本發(fā)明的核心是將經(jīng)過(guò)編碼的視頻圖像壓縮數(shù)據(jù)進(jìn)行拆分,即將全部或部分參考幀的部分或全部數(shù)據(jù)在壓縮編碼時(shí)抽取出來(lái),這一操作可以用專(zhuān)用軟件實(shí)現(xiàn)。被抽取的參考幀數(shù)據(jù)量要足夠大,以保證在僅僅擁有原始幀的情況下,解碼器(即使使用了糾錯(cuò)算法)無(wú)法將視頻壓縮數(shù)據(jù)恢復(fù)成完整的視頻圖像進(jìn)行正常播放。抽取出來(lái)可能是某些參考幀的部分?jǐn)?shù)據(jù)或者某些參考幀,也可能是所有的參考幀。抽取出來(lái)的視頻壓縮數(shù)據(jù)為關(guān)鍵內(nèi)容,其余的視頻壓縮數(shù)據(jù)為基本內(nèi)容。將關(guān)鍵內(nèi)容和基本內(nèi)容分別存儲(chǔ)或傳輸。用戶(hù)即使可以很容易的獲得基本內(nèi)容并進(jìn)行存儲(chǔ),但只有通過(guò)(得到)獲得關(guān)鍵內(nèi)容后,才可將兩部分拼接恢復(fù)成原始內(nèi)容,這一操作實(shí)際上是拆分(抽取)的逆向過(guò)程,可以由解碼器利用軟件完成。為了保證用戶(hù)可以實(shí)時(shí)的播放視頻圖像,拼接操作、解碼操作和播放采用流水線(xiàn)的方式進(jìn)行,參考圖1,假設(shè)將視頻壓縮數(shù)據(jù)分成若干個(gè)數(shù)據(jù)塊,則首先拼接恢復(fù)第一個(gè)數(shù)據(jù)塊;隨后解碼第一個(gè)數(shù)據(jù)塊,同時(shí)拼接恢復(fù)第二個(gè)數(shù)據(jù)塊;然后播放第一個(gè)數(shù)據(jù)塊,同時(shí)解碼第二個(gè)數(shù)據(jù)塊拼接恢復(fù)第三個(gè)數(shù)據(jù)塊……以此類(lèi)推,直至播放完成。
本發(fā)明方法可用于IP TV業(yè)務(wù)。具體做法是將IP TV業(yè)務(wù)提供的供網(wǎng)絡(luò)傳輸?shù)膲嚎s視頻碼流中的參考幀的部分?jǐn)?shù)據(jù)在碼流壓縮時(shí)抽取出來(lái),而把其余的參考幀保留在原始幀中。抽取的關(guān)鍵內(nèi)容數(shù)量要足夠多,以保證用戶(hù)的解碼器(即使使用了糾錯(cuò)算法)無(wú)法將僅僅擁有基本內(nèi)容的視頻碼流恢復(fù)成正常的圖像進(jìn)行播放,但相對(duì)于整個(gè)視頻碼流,抽取出的參考幀只占其中很小的一部分。
為了增加安全性,抽取出的參考幀(關(guān)鍵內(nèi)容)和原始幀(基本內(nèi)容)分別儲(chǔ)存在認(rèn)證服務(wù)器和內(nèi)容服務(wù)器上。用戶(hù)可以將基本內(nèi)容下載到本地儲(chǔ)存,但不能將抽取出的參考幀下載到本地儲(chǔ)存,抽取出的參考幀只能根據(jù)需要實(shí)時(shí)提供給用戶(hù)解碼器使用。用戶(hù)在播放視頻碼流時(shí),需要向認(rèn)證服務(wù)器申請(qǐng)下載抽取出的參考幀,只有通過(guò)了認(rèn)證服務(wù)器的認(rèn)證,用戶(hù)才能獲得抽取出的參考幀。由于抽取出的參考幀只占原始內(nèi)容很小的比例,現(xiàn)有的網(wǎng)絡(luò)條件可以保證其實(shí)時(shí)下載并與下載到本地儲(chǔ)存設(shè)備的基本內(nèi)容拼接恢復(fù)成原始內(nèi)容,并進(jìn)行實(shí)時(shí)播放。圖2是整個(gè)系統(tǒng)的結(jié)構(gòu)示意圖,參考圖2,系統(tǒng)中包括內(nèi)容服務(wù)器、認(rèn)證服務(wù)器、路由器/交換機(jī)和最終用戶(hù)四部分。
內(nèi)容服務(wù)器完成如下功能a)查找根據(jù)最終用戶(hù)的下載申請(qǐng)查找節(jié)目基本內(nèi)容并提供給最終用戶(hù);b)儲(chǔ)存基本內(nèi)容;c)向最終用戶(hù)提供查找關(guān)鍵內(nèi)容所需的信息。
認(rèn)證服務(wù)器完成如下功能a)用戶(hù)認(rèn)證最終用戶(hù)合法性認(rèn)證;b)查找根據(jù)合法用戶(hù)提供的關(guān)鍵內(nèi)容信息查找相應(yīng)的關(guān)鍵內(nèi)容并實(shí)時(shí)地提供給用戶(hù);c)儲(chǔ)存關(guān)鍵內(nèi)容。
路由器/交換機(jī)是數(shù)據(jù)網(wǎng)絡(luò)(如互聯(lián)網(wǎng)和有線(xiàn)電視網(wǎng))的數(shù)據(jù)交換設(shè)備,用于內(nèi)容服務(wù)器/認(rèn)證服務(wù)器和最終用戶(hù)間的數(shù)據(jù)交換。
最終用戶(hù)完成如下功能a)提供儲(chǔ)存設(shè)備用于儲(chǔ)存從內(nèi)容服務(wù)器得到的基本內(nèi)容;b)下載申請(qǐng)向內(nèi)容服務(wù)器申請(qǐng)下載指定節(jié)目的基本內(nèi)容和關(guān)鍵內(nèi)容信息,向認(rèn)證服務(wù)器提供最終用戶(hù)信息和關(guān)鍵內(nèi)容信息,申請(qǐng)下載關(guān)鍵內(nèi)容;c)內(nèi)容恢復(fù)將下載儲(chǔ)存到本地儲(chǔ)存設(shè)備(如硬盤(pán))中的基本內(nèi)容和從認(rèn)證服務(wù)器得到的關(guān)鍵內(nèi)容合并恢復(fù)成可供播放的原始內(nèi)容。
參考圖3,整個(gè)系統(tǒng)工作流程如下
1)最終用戶(hù)向內(nèi)容服務(wù)器申請(qǐng)下載播放指定的節(jié)目;2)內(nèi)容服務(wù)器根據(jù)最終用戶(hù)的需求查找節(jié)目的基本內(nèi)容和關(guān)鍵內(nèi)容信息;3)內(nèi)容服務(wù)器向最終用戶(hù)提供基本內(nèi)容和關(guān)鍵內(nèi)容信息,最終用戶(hù)將其進(jìn)行儲(chǔ)存;4)最終用戶(hù)向認(rèn)證服務(wù)器提供用戶(hù)信息,并根據(jù)關(guān)鍵內(nèi)容信息實(shí)時(shí)地向認(rèn)證服務(wù)器申請(qǐng)下載關(guān)鍵內(nèi)容;5)認(rèn)證服務(wù)器對(duì)最終用戶(hù)合法性進(jìn)行認(rèn)證不通過(guò)則停止工作轉(zhuǎn)入8),通過(guò)則轉(zhuǎn)入6);6)認(rèn)證服務(wù)器根據(jù)最終用戶(hù)提供的關(guān)鍵內(nèi)容信息查找關(guān)鍵內(nèi)容,并實(shí)時(shí)的提供給最終用戶(hù);7)最終用戶(hù)將基本內(nèi)容和關(guān)鍵內(nèi)容合并成原始內(nèi)容,并進(jìn)行播出,然后轉(zhuǎn)入10);8)認(rèn)證服務(wù)器拒絕向最終用戶(hù)提供關(guān)鍵內(nèi)容;9)最終用戶(hù)播放基本內(nèi)容(非正常播放);10)結(jié)束。
權(quán)利要求
1.一種視頻圖像的拆分及重現(xiàn)的方法,其步驟包括(1)視頻圖像經(jīng)過(guò)編碼形成若干參考幀和非參考幀,如果參考幀的部分壓縮圖像數(shù)據(jù)丟失或者發(fā)生錯(cuò)誤,則解碼恢復(fù)出來(lái)的視頻圖像將無(wú)法正常收看,視頻圖像的拆分是指抽取上述全部或部分參考幀中的壓縮視頻圖像數(shù)據(jù)的一部分或全部,抽取出來(lái)的視頻壓縮數(shù)據(jù)為關(guān)鍵內(nèi)容,其余參考幀和非參考幀的視頻壓縮數(shù)據(jù)為基本內(nèi)容;(2)將關(guān)鍵內(nèi)容和基本內(nèi)容分別存儲(chǔ)或傳輸;(3)如得到關(guān)鍵內(nèi)容和基本內(nèi)容后,用戶(hù)解碼器可將關(guān)鍵內(nèi)容和基本內(nèi)容拼接恢復(fù)成完整的視頻圖像進(jìn)行正常播放;如果得不到關(guān)鍵內(nèi)容,則解碼恢復(fù)出來(lái)的視頻圖像將是錯(cuò)誤的,無(wú)法正常收看。
2.如權(quán)利要求1所述的視頻圖像的拆分及重現(xiàn)的方法,其特征在于將關(guān)鍵內(nèi)容和基本內(nèi)容分別儲(chǔ)存在認(rèn)證服務(wù)器和內(nèi)容服務(wù)器上。
3.如權(quán)利要求2所述的視頻圖像的拆分及重現(xiàn)的方法,其特征在于用戶(hù)通過(guò)內(nèi)容服務(wù)器將基本內(nèi)容下載到本地儲(chǔ)存,關(guān)鍵內(nèi)容只能根據(jù)用戶(hù)申請(qǐng),通過(guò)用戶(hù)合法性認(rèn)證,由認(rèn)證服務(wù)器實(shí)時(shí)提供給用戶(hù)解碼器使用。
4.如權(quán)利要求1所述的視頻圖像的拆分及重現(xiàn)的方法,其特征在于用戶(hù)解碼器拼接操作、解碼操作和播放采用流水線(xiàn)的方式進(jìn)行,即將關(guān)鍵內(nèi)容和基本內(nèi)容分成若干個(gè)數(shù)據(jù)塊,首先拼接恢復(fù)第一個(gè)數(shù)據(jù)塊;隨后解碼第一個(gè)數(shù)據(jù)塊,同時(shí)拼接恢復(fù)第二個(gè)數(shù)據(jù)塊;然后播放第一個(gè)數(shù)據(jù)塊,同時(shí)解碼第二個(gè)數(shù)據(jù)塊拼接恢復(fù)第三個(gè)數(shù)據(jù)塊……以此類(lèi)推,直至播放完成。
全文摘要
本發(fā)明提供了一種視頻圖像的拆分及重現(xiàn)的方法,屬于視頻圖像處理技術(shù)領(lǐng)域。該方法包括視頻圖像經(jīng)過(guò)編碼形成若干參考幀和非參考幀,視頻圖像的拆分是指抽取上述全部或部分參考幀中的壓縮視頻圖像數(shù)據(jù)的一部分或全部,抽取出來(lái)的視頻壓縮數(shù)據(jù)為關(guān)鍵內(nèi)容,其余的視頻壓縮數(shù)據(jù)為基本內(nèi)容,將關(guān)鍵內(nèi)容和基本內(nèi)容分別存儲(chǔ)或傳輸,如同時(shí)得到關(guān)鍵內(nèi)容和基本內(nèi)容后,用戶(hù)解碼器可將關(guān)鍵內(nèi)容和基本內(nèi)容拼接恢復(fù)成完整的視頻圖像進(jìn)行正常播放;如果得不到關(guān)鍵內(nèi)容,則解碼恢復(fù)出來(lái)的視頻圖像將是錯(cuò)誤的,無(wú)法正常收看。本發(fā)明無(wú)需額外的加密/解密算法,可直接、有效保護(hù)視頻圖像的版權(quán),且不需要增加額外的硬件。
文檔編號(hào)H04N7/26GK1649412SQ20051001130
公開(kāi)日2005年8月3日 申請(qǐng)日期2005年2月3日 優(yōu)先權(quán)日2005年2月3日
發(fā)明者高峰, 陳立力, 楊仕清, 葛海濤 申請(qǐng)人:北京北大青鳥(niǎo)集成電路有限公司