技術(shù)領(lǐng)域
本發(fā)明涉及一種基于多播的內(nèi)容傳輸系統(tǒng)和方法,且更具體而言,涉及一種基于多播的內(nèi)容傳輸系統(tǒng)和方法,用于考慮網(wǎng)絡(luò)使用成本在短時(shí)間周期中向多個(gè)終端多播大容量?jī)?nèi)容、在傳輸錯(cuò)誤出現(xiàn)時(shí)重新傳輸產(chǎn)生錯(cuò)誤的內(nèi)容且考慮用戶網(wǎng)絡(luò)環(huán)境自適應(yīng)地傳輸內(nèi)容。
另外,本發(fā)明涉及用于高速地估算運(yùn)動(dòng)的裝置和方法,且更具體而言,涉及一種用于高速地估算運(yùn)動(dòng)的裝置和方法,其可以減小通過使用圖像的第n動(dòng)量通過區(qū)塊匹配估算運(yùn)動(dòng)所需的操作數(shù)量且以高速編碼圖像。
背景技術(shù):
由于網(wǎng)絡(luò)環(huán)境中的進(jìn)步,服務(wù)提供商開始發(fā)布向用戶推送內(nèi)容的服務(wù)。
尤其是,服務(wù)提供商積極地計(jì)劃提供預(yù)先推送(下載)多媒體內(nèi)容到訂閱服務(wù)的用戶的移動(dòng)終端的服務(wù),且即使在離線狀態(tài)或難以接收流服務(wù)的情形中允許用戶回放原先下載的內(nèi)容。
需要最小化網(wǎng)絡(luò)使用成本的技術(shù)來提供下載大容量多媒體內(nèi)容的服務(wù),且利用內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)的方法被廣泛地使用。
CDN是用于在互聯(lián)網(wǎng)服務(wù)提供商(ISP)的網(wǎng)絡(luò)下安裝多個(gè)緩存服務(wù)器(臨時(shí)存儲(chǔ)設(shè)備)且提前移動(dòng)內(nèi)容提供商(CP)提供的內(nèi)容且響應(yīng)于用戶需求下載內(nèi)容的系統(tǒng),其是通過CDN提前將內(nèi)容移動(dòng)到用戶附近的位置能夠改善傳輸速度且防止在傳輸數(shù)據(jù)中間產(chǎn)生的數(shù)據(jù)的速度劣化和丟失的技術(shù)。
需要發(fā)展能夠安全且高速處理在傳輸大容量多媒體內(nèi)容時(shí)集中的流量的內(nèi)容傳輸技術(shù)。
除了這點(diǎn),需要編碼將被傳輸?shù)亩嗝襟w內(nèi)容的技術(shù)以安全地向用戶終端傳輸內(nèi)容。尤其是,一般使用諸如運(yùn)動(dòng)圖像專家組2(MPEG-2)、MPEG-4、H.264等標(biāo)準(zhǔn)化圖像壓縮技術(shù)。
在標(biāo)準(zhǔn)化圖像壓縮技術(shù)中,基于區(qū)塊匹配的圖像壓縮方法是使用運(yùn)動(dòng)估算方法去除區(qū)塊之間的時(shí)間冗余的壓縮方法。
區(qū)塊匹配是將圖像的每個(gè)幀劃分成區(qū)塊且從原先幀或之前編碼/解碼幀搜索與當(dāng)前編碼/解碼幀的區(qū)塊匹配的區(qū)塊的處理,且基于區(qū)塊匹配的圖像壓縮方法是使用通過區(qū)塊匹配搜索的匹配區(qū)塊之間的差異壓縮和傳輸圖像的方法。
尤其是,基于運(yùn)動(dòng)估算搜索匹配區(qū)塊的方法可以估算其中當(dāng)前區(qū)塊和之前區(qū)塊之間的誤差值(諸如絕對(duì)差值和(SAD)或平方差值和(SSD))被最小化為與當(dāng)前區(qū)塊匹配的區(qū)塊的區(qū)域,且可以將匹配區(qū)塊的坐標(biāo)之間的差值計(jì)算為運(yùn)動(dòng)矢量且在圖像壓縮中使用該差值。
為了基于運(yùn)動(dòng)估算確定區(qū)塊匹配,需要針對(duì)運(yùn)動(dòng)搜索區(qū)域中的所有像素計(jì)算SAD或SSD。
例如,如果區(qū)塊大小是N×N個(gè)像素且運(yùn)動(dòng)搜索區(qū)域是32×32,則需要1024×(2N×N-1)倍的加法/減法操作,且如果圖像大小約為100N×80N,則需要8192000×(2N×N-1)×(N×N)倍的操作。
用于這種區(qū)塊匹配的操作數(shù)量大到最大占用于編碼的操作數(shù)量的50%,且因而導(dǎo)致系統(tǒng)負(fù)載,且處理速度被延遲。
即,需要發(fā)展一種能夠安全且高速地處理在傳輸大容量多媒體內(nèi)容時(shí)集中的流量的內(nèi)容傳輸技術(shù)和能夠減小操作數(shù)量的區(qū)塊匹配技術(shù)。
技術(shù)實(shí)現(xiàn)要素:
技術(shù)問題
因此,本發(fā)明考慮上述問題而被提出,且本發(fā)明的目的是提供一種基于多播的內(nèi)容傳輸系統(tǒng)和方法,用于考慮網(wǎng)絡(luò)使用成本在短時(shí)間周期中向多個(gè)終端多播大容量?jī)?nèi)容、在傳輸錯(cuò)誤出現(xiàn)時(shí)重新傳輸產(chǎn)生錯(cuò)誤的內(nèi)容且考慮用戶網(wǎng)絡(luò)環(huán)境自適應(yīng)地傳輸內(nèi)容。
本發(fā)明的另一目的是提供一種用于高速地估算運(yùn)動(dòng)的裝置和方法,其可以減小通過使用圖像的第n個(gè)動(dòng)量通過區(qū)塊匹配估算運(yùn)動(dòng)所需的操作數(shù)量且以高速編碼圖像。
技術(shù)方案
為了實(shí)現(xiàn)上述目的,根據(jù)本發(fā)明的一個(gè)方面,提供一種基于多播的內(nèi)容傳輸系統(tǒng),所述內(nèi)容傳輸系統(tǒng)包括:內(nèi)容提供裝置,其用于創(chuàng)建分別具有不同傳輸起始時(shí)間和不同傳輸速率的N×M個(gè)多播流信道,提供N×M多播流信道列表,且通過所述N×M個(gè)多播流信道中的信道傳輸內(nèi)容;以及用戶終端,其用于從由所述內(nèi)容提供裝置提供的所述N×M多播流信道列表選擇信道且通過選擇的多播流信道接收所述內(nèi)容。
根據(jù)本發(fā)明的另一方面,提供一種內(nèi)容提供裝置,所述內(nèi)容提供裝置包括:信道創(chuàng)建單元,其用于創(chuàng)建N×M個(gè)多播流信道;信道列表創(chuàng)建單元,其用于創(chuàng)建包括與所述N×M個(gè)多播流信道相關(guān)的信息的N×M多播流信道列表;以及通信單元,其用于提供由所述信道列表創(chuàng)建單元?jiǎng)?chuàng)建的所述N×M多播流信道列表且通過由所述信道創(chuàng)建單元?jiǎng)?chuàng)建的所述N×M個(gè)多播流信道中的信道傳輸內(nèi)容。
所述信道創(chuàng)建單元?jiǎng)?chuàng)建由具有以時(shí)間間隔T布置的傳輸起始時(shí)間的N個(gè)多播流信道和在所述N個(gè)多播流信道中的每一個(gè)中配置的不同傳輸速率的M個(gè)多播流信道配置的所述N×M個(gè)多播流信道。
此處,N×M多播流信道信息包括每個(gè)信道的關(guān)于被傳輸內(nèi)容的信息、傳輸起始時(shí)間和傳輸速率。
另外,所述內(nèi)容提供裝置還包括用于以包形式創(chuàng)建將在所述N×M個(gè)多播流信道上傳輸?shù)膬?nèi)容的信道預(yù)備單元。
根據(jù)本發(fā)明的另一方面,提供一種用戶終端,所述用戶終端包括:通信單元,其用于接收N×M多播流信道列表,傳輸用于從所述N×M多播流信道列表選擇多播流信道的信道選擇信號(hào),以及通過對(duì)應(yīng)于所述信道選擇信號(hào)的多播流信道接收內(nèi)容;以及信道選擇單元,其用于確認(rèn)網(wǎng)絡(luò)的可用傳輸速率且使用所述可用傳輸速率和內(nèi)容傳輸請(qǐng)求時(shí)間從接收自所述通信單元的所述N×M多播流信道列表選擇可用多播流信道。
此處,所述N×M多播流信道列表包括由每個(gè)信道的關(guān)于被傳輸內(nèi)容的信息、傳輸起始時(shí)間和傳輸速率配置的多播流信道信息。
所述信道選擇單元從提供的所述N×M多播流信道列表選擇具有比所述可用傳輸速率低的傳輸速率的多播流信道作為候選多播流信道,且從所述候選多播流信道中選擇具有在所述N×M多播流信道列表中的最接近所述內(nèi)容傳輸請(qǐng)求時(shí)間的傳輸起始時(shí)間的多播流信道。
另外,所述用戶終端還包括用于存儲(chǔ)傳輸內(nèi)容的內(nèi)容接收單元,其中,如果丟失包的數(shù)目小于參考值,則所述內(nèi)容接收單元使用前向錯(cuò)誤校正方法恢復(fù)和存儲(chǔ)丟失的包,且如果丟失包的數(shù)目超過所述參考值,則在刪除所述傳輸內(nèi)容的包之后請(qǐng)求所述內(nèi)容的重新傳輸。
如果請(qǐng)求所述內(nèi)容的重新傳輸,則所述信道選擇單元通過比較請(qǐng)求所述內(nèi)容的重新傳輸時(shí)所述用戶終端的可用傳輸速率與所述N×M多播流信道列表的傳輸速率而選擇候選多播流信道列表,且通過比較內(nèi)容重新傳輸請(qǐng)求時(shí)間和所述傳輸起始時(shí)間而選擇多播流信道。
另外,所述信道選擇單元從提供的所述N×M多播流信道列表選擇具有在所述N×M多播流信道列表中的比所述內(nèi)容傳輸請(qǐng)求時(shí)間晚的傳輸起始時(shí)間的多播流信道作為候選多播流信道,且從所述候選多播流信道中選擇具有比所述可用傳輸速率低且最高的傳輸速率的多播流信道。
根據(jù)本發(fā)明的又一方面,提供一種基于多播的內(nèi)容傳輸方法,該方法包括以下步驟:通過內(nèi)容提供裝置創(chuàng)建N×M個(gè)多播流信道和包括關(guān)于所述N×M個(gè)多播流信道的信息的N×M多播流信道列表;通過所述內(nèi)容提供裝置向用戶終端傳輸所述N×M多播流信道列表;通過所述用戶終端向所述內(nèi)容提供裝置傳輸信道選擇信號(hào),所述信道選擇信號(hào)用于使用傳輸?shù)乃鯪×M多播流信道列表的多播流信道信息來選擇用于傳輸內(nèi)容的多播流信道;以及使用對(duì)應(yīng)于所述信道選擇信號(hào)的多播流信道通過所述內(nèi)容提供裝置向所述用戶終端傳輸內(nèi)容。
根據(jù)本發(fā)明的又一方面,提供一種內(nèi)容提供裝置的基于多播的內(nèi)容傳輸方法,該方法包括以下步驟:(a)通過所述內(nèi)容提供裝置創(chuàng)建分別具有不同傳輸起始時(shí)間和不同傳輸速率的N×M個(gè)多播流信道;(b)通過所述內(nèi)容通過裝置創(chuàng)建且提供包括與所述N×M個(gè)多播流信道相關(guān)的信息的N×M多播流信道列表;以及(c)通過所述內(nèi)容提供裝置接收信道接收信號(hào)且使用對(duì)應(yīng)于所述信道選擇信號(hào)的多播流信道傳輸內(nèi)容。
步驟(a)包括以下步驟:(a-1)創(chuàng)建具有以時(shí)間間隔T布置的傳輸起始時(shí)間的N個(gè)多播流信道;以及(a-2)通過創(chuàng)建在所述N個(gè)多播流信道中的每一個(gè)中配置的不同傳輸速率的M個(gè)多播流信道而創(chuàng)建所述N×M個(gè)多播流信道。
根據(jù)本發(fā)明的又一方面,提供一種用戶終端的基于多播的內(nèi)容接收方法,該方法包括以下步驟:(a)通過所述用戶終端接收包括由內(nèi)容信息、傳輸起始時(shí)間和傳輸速率配置的與多播流信道相關(guān)的信息的N×M多播流信道列表;(b)由所述用戶終端通過比較傳輸?shù)乃鯪×M多播流信道列表的所述傳輸起始時(shí)間、所述傳輸速率和所述內(nèi)容信息與由所述用戶終端測(cè)量的網(wǎng)絡(luò)的可用傳輸速率、內(nèi)容傳輸請(qǐng)求時(shí)間和關(guān)于被接收內(nèi)容的信息而選擇多播流信道;(c)通過所述用戶終端傳輸用于選擇所述多播流信道的信道選擇信號(hào);以及(d)使用選擇的多播流信道由所述用戶終端接收內(nèi)容。
步驟(b)包括以下步驟:(b-1)從傳輸?shù)乃鯪×M多播流信道列表選擇具有比所述可用傳輸速率低的傳輸速率的多播流信道作為候選多播流信道;以及(b-2)從所述候選多播流信道中選擇具有在所述N×M多播流信道列表中的最接近所述內(nèi)容傳輸請(qǐng)求時(shí)間的傳輸起始時(shí)間的多播流信道。
步驟(b)包括以下步驟:(b-1)從傳輸?shù)乃鯪×M多播流信道列表選擇具有在所述N×M多播流信道列表中的比所述內(nèi)容傳輸請(qǐng)求時(shí)間晚的傳輸起始時(shí)間的多播流信道作為候選多播流信道;以及(b-2)從所述候選多播流信道中選擇具有最高傳輸速率的多播流信道。
所述用戶終端的基于多播的內(nèi)容接收方法還包括在步驟(d)之后的步驟(e):通過所述用戶終端比較傳輸?shù)膬?nèi)容的丟失包的數(shù)目與參考值,且使用前向錯(cuò)誤校正方法恢復(fù)丟失的包或在刪除傳輸?shù)膬?nèi)容的包之后請(qǐng)求所述內(nèi)容的重新傳輸。
根據(jù)本發(fā)明的另一方面,提供一種運(yùn)動(dòng)估算裝置,所述運(yùn)動(dòng)估算裝置包括:第n圖像創(chuàng)建單元,其用于創(chuàng)建具有通過針對(duì)比較圖像和參考圖像中的每一個(gè)像素使得像素值乘以n倍作為像素的第n像素值而獲得的值的第n比較圖像和第n參考圖像;第n積分圖像創(chuàng)建單元,其用于通過計(jì)算像素值直到用于所述第n比較圖像和所述第n參考圖像的設(shè)置像素坐標(biāo)而創(chuàng)建第n積分比較圖像和第n積分參考圖像;第n動(dòng)量計(jì)算單元,其用于使用所述第n積分比較圖像和所述第n積分參考圖像針對(duì)設(shè)置區(qū)塊計(jì)算所述比較圖像的第n動(dòng)量和所述參考圖像的第n動(dòng)量;以及運(yùn)動(dòng)矢量估算單元,其用于使用所述比較圖像的所述第n動(dòng)量和所述參考圖像的所述第n動(dòng)量計(jì)算區(qū)塊匹配誤差且估算具有最小區(qū)塊匹配誤差的比較圖像區(qū)塊和參考圖像區(qū)塊之間的坐標(biāo)差值為運(yùn)動(dòng)矢量。
所述第n圖像創(chuàng)建單元使用以下的數(shù)學(xué)表達(dá)式創(chuàng)建所述第n比較圖像和所述第n參考圖像:
[數(shù)學(xué)表達(dá)式]
On(x,y)=i(x,y)*On-1(x,y)
其中,i(x,y)代表所述比較圖像或所述參考圖像的原始圖像,On(x,y)代表所述第n比較圖像或所述第n參考圖像,且(x,y)代表像素坐標(biāo)。
所述第n積分圖像創(chuàng)建單元使用以下的數(shù)學(xué)表達(dá)式創(chuàng)建所述第n積分比較圖像和所述第n積分參考圖像:
[數(shù)學(xué)表達(dá)式]
In(X,Y)=∑Y∑XOn(x,y),
其中,In(x,y)代表所述第n積分比較圖像或所述第n積分參考圖像,On(x,y)代表所述第n比較圖像或所述第n參考圖像,且(x,y)代表像素坐標(biāo)。
所述第n動(dòng)量計(jì)算單元使用以下的數(shù)學(xué)表達(dá)式針對(duì)所述比較圖像和所述參考圖像計(jì)算包括設(shè)置區(qū)塊的4個(gè)區(qū)塊的所述第n動(dòng)量:
[數(shù)學(xué)表達(dá)式]
Mn=In(xe,ye)+In(xe-1,ye-1)[In(xe-1,ye)+In(xe,ye-1)],
其中,In(x,y)代表像素或區(qū)塊(xe,ye)的所述第n積分比較圖像或所述第n積分參考圖像,且(xe,ye)、(xe-1,ye-1)、(xe-1,ye)和(xe,ye-1)代表像素坐標(biāo)或區(qū)塊坐標(biāo)。
所述運(yùn)動(dòng)矢量估算單元使用以下的數(shù)學(xué)表達(dá)式計(jì)算SAD和SSD其中至少一個(gè)作為所述區(qū)塊匹配誤差:
[數(shù)學(xué)表達(dá)式]
SAD=[∑αn|Mn,ref-Mn,curr|]xγ和
SSD=[∑βn|Mn,ref-Mn,curr|2]xγ,
其中,Mn,ref表示用于所述參考圖像的設(shè)置區(qū)塊的第n動(dòng)量,Mn,curr表示用于所述比較圖像的設(shè)置區(qū)塊的第n動(dòng)量,αn和βn表示所述第n動(dòng)量的加權(quán)因子,且γ表示常量。
根據(jù)本發(fā)明的又一方面,提供一種用于高速地估算運(yùn)動(dòng)的圖像編碼裝置,所述圖像編碼裝置包括:運(yùn)動(dòng)估算單元,其用于為比較圖像和參考圖像創(chuàng)建第n比較圖像和第n參考圖像,通過計(jì)算像素值直到用于所述第n比較圖像和所述第n參考圖像的設(shè)置像素坐標(biāo)而創(chuàng)建第n積分比較圖像和第n積分參考圖像,使用所述第n積分比較圖像和所述第n積分參考圖像針對(duì)設(shè)置區(qū)塊計(jì)算所述比較圖像的第n動(dòng)量和所述參考圖像的第n動(dòng)量,使用第n動(dòng)量差值計(jì)算區(qū)塊匹配誤差,以及將在具有最小區(qū)塊匹配誤差的比較圖像區(qū)塊和參考圖像區(qū)塊之間的坐標(biāo)差值估算作為運(yùn)動(dòng)矢量;運(yùn)動(dòng)補(bǔ)償單元,其用于使用估算的所述運(yùn)動(dòng)矢量從所述參考圖像創(chuàng)建用于所述比較圖像的估算圖像;減法器,其用于創(chuàng)建所述比較圖像和所述參考圖像的差值圖像;以及編碼單元,其用于編碼創(chuàng)建的所述差值圖像。
根據(jù)本發(fā)明的又一方面,提供一種高速地估算運(yùn)動(dòng)的方法,該方法包括以下步驟:創(chuàng)建具有通過針對(duì)比較圖像和參考圖像中的每一個(gè)像素使得像素值乘以n倍作為像素的第n像素值而獲得的值的第n比較圖像和第n參考圖像;通過計(jì)算像素值直到用于所述第n比較圖像和所述第n參考圖像的設(shè)置像素坐標(biāo)而創(chuàng)建第n積分比較圖像和第n積分參考圖像;使用所述第n積分比較圖像和所述第n積分參考圖像針對(duì)設(shè)置區(qū)塊計(jì)算所述比較圖像的第n動(dòng)量和所述參考圖像的第n動(dòng)量;使用所述比較圖像的第n動(dòng)量和所述參考圖像的第n動(dòng)量之間的差值計(jì)算區(qū)塊匹配誤差;以及將在具有最小區(qū)塊匹配誤差的比較圖像區(qū)塊和參考圖像區(qū)塊之間的坐標(biāo)差值估算作為運(yùn)動(dòng)矢量。
有利效果
根據(jù)本發(fā)明,在通過多播下載大容量?jī)?nèi)容而最小化網(wǎng)絡(luò)負(fù)載的同時(shí),大容量?jī)?nèi)容可以傳輸?shù)接脩簟?/p>
另外,可以通過FEC、多流傳輸和流的重復(fù)傳輸解決在多播中出現(xiàn)的傳輸錯(cuò)誤,且可以考慮用戶的網(wǎng)絡(luò)環(huán)境選擇最佳多播流。
另外,可以減少操作數(shù)量、改善操作速度,以高速地估算運(yùn)動(dòng)且減小在使用第n區(qū)塊動(dòng)量執(zhí)行區(qū)塊匹配時(shí)的圖像編碼時(shí)間。
附圖說明
圖1是示出根據(jù)本發(fā)明的一個(gè)方面的基于多播的內(nèi)容傳輸系統(tǒng)的實(shí)施方式的視圖。
圖2是示出根據(jù)本發(fā)明的另一方面的內(nèi)容提供裝置的實(shí)施方式的視圖。
圖3是示出根據(jù)本發(fā)明的另一方面的用戶終端的實(shí)施方式的視圖。
圖4是說明根據(jù)本發(fā)明的另一方面的基于多播的內(nèi)容傳輸方法的第一實(shí)施方式的流程圖。
圖5是說明根據(jù)本發(fā)明的另一方面的基于多播的內(nèi)容傳輸方法的第二實(shí)施方式的流程圖。
圖6是說明根據(jù)本發(fā)明的另一方面的基于多播的內(nèi)容傳輸方法的第三實(shí)施方式的流程圖。
圖7是說明根據(jù)本發(fā)明的另一方面的基于多播的內(nèi)容傳輸方法的第四實(shí)施方式的流程圖。
圖8是說明根據(jù)本發(fā)明的另一方面的基于多播的內(nèi)容傳輸方法的第五實(shí)施方式的流程圖。
圖9是示出根據(jù)本發(fā)明的另一方面的運(yùn)動(dòng)估算裝置的實(shí)施方式的視圖。
圖10是示出根據(jù)本發(fā)明的另一方面的圖像編碼裝置的實(shí)施方式的視圖。
圖11是說明根據(jù)本發(fā)明的另一方面的計(jì)算運(yùn)動(dòng)估算矢量和第n動(dòng)量的方法的視圖。
圖12是說明根據(jù)本發(fā)明的另一方面的運(yùn)動(dòng)估算方法的實(shí)施方式的流程圖。
具體實(shí)施方式
現(xiàn)在將詳細(xì)參考本公開的實(shí)施方式。盡管將描述本公開的某些實(shí)施方式,應(yīng)當(dāng)理解,本公開并不旨在將本公開的實(shí)施方式限制為這些描述的實(shí)施方式。對(duì)照地,對(duì)于本公開的實(shí)施方式的引用旨在覆蓋可以被包括在所附權(quán)利要求書限定的本公開的實(shí)施方式的精神和范圍內(nèi)的變型、修改和等價(jià)。
將參考附圖詳細(xì)地描述基于多播的內(nèi)容傳輸系統(tǒng)、內(nèi)容提供裝置、用戶終端、基于多播的內(nèi)容傳輸方法、用于高速地估算運(yùn)動(dòng)的運(yùn)動(dòng)估算裝置、圖像編碼裝置和運(yùn)動(dòng)估算方法的實(shí)施方式。在參考附圖的描述中,具有相似或相應(yīng)功能的元件將通過相似的參考數(shù)字表示且不重復(fù)其細(xì)節(jié)。
基于多播的內(nèi)容傳輸系統(tǒng)
圖1是示出根據(jù)本發(fā)明的一個(gè)方面的基于多播的內(nèi)容傳輸系統(tǒng)的實(shí)施方式的視圖。
根據(jù)本實(shí)施方式,如圖1所示,基于多播的內(nèi)容傳輸系統(tǒng)1000可以配置成包括通過通信網(wǎng)絡(luò)100連接的內(nèi)容提供裝置200和用戶終端300。
通信網(wǎng)絡(luò)100提供用于傳輸內(nèi)容的傳輸路徑和用于連接用戶終端300和內(nèi)容提供裝置200的連接路徑。
例如,通信網(wǎng)絡(luò)100包括:諸如WCDMA、HDPA、3F、4G等移動(dòng)通信網(wǎng)絡(luò);諸如藍(lán)牙、ZigBee、WiFi等近場(chǎng)通信網(wǎng)絡(luò)以及諸如因特網(wǎng)、PSTN等有線通信網(wǎng)絡(luò)。
內(nèi)容提供裝置200表示下載或流傳輸諸如電影、音樂、運(yùn)動(dòng)圖像等內(nèi)容到客戶終端且通過有線或無線通信網(wǎng)絡(luò)向位于遠(yuǎn)程的用戶終端傳輸內(nèi)容的服務(wù)器。
內(nèi)容提供裝置200創(chuàng)建多個(gè)多播流信道,在選擇多播流信道其中一個(gè)之后向第一用戶終端傳輸內(nèi)容且使用其他多播流信道向第二用用戶終端、第三用戶終端等傳輸內(nèi)容。
從內(nèi)容提供裝置200的視角,內(nèi)容被同時(shí)多播到多個(gè)用戶終端。
內(nèi)容提供裝置200創(chuàng)建分別具有不同傳輸起始時(shí)間和不同傳輸速率的N×M個(gè)多播流信道且向用戶終端300提供N×M多播流信道列表。
用戶終端300輸入用于從被包括在提供的列表中的N×M個(gè)多播流信道當(dāng)中選擇信道的信道選擇信號(hào)且向內(nèi)容提供裝置200傳輸信道選擇信號(hào),且內(nèi)容提供裝置200使用與從用戶終端200傳輸?shù)男诺肋x擇信號(hào)對(duì)應(yīng)的多播流信道向用戶終端300傳輸內(nèi)容。
例如,用戶終端300可以是諸如機(jī)頂盒、IPTV等媒體設(shè)備,其表示諸如PDA、蜂窩電話、智能手機(jī)、寫字板PC等執(zhí)行客戶端功能的終端。
盡管在本實(shí)施方式中通過首先從內(nèi)容提供裝置200傳輸N×M多播流信道列表且從用戶終端300向內(nèi)容提供裝置200傳輸信道選擇信號(hào)來選擇多播流信道,可以通過確定用戶終端和用于傳輸內(nèi)容的多播流信道且通過內(nèi)容提供裝置200向用戶終端傳送關(guān)于該多播流信道的信息來選擇多播流信道。
此后,將詳細(xì)描述配置基于多播的內(nèi)容傳輸系統(tǒng)的內(nèi)容提供裝置和用戶終端的配置。
內(nèi)容提供裝置
圖2是示出根據(jù)本發(fā)明的另一方面的內(nèi)容提供裝置的實(shí)施方式的視圖。
根據(jù)本實(shí)施方式,如圖2所示,內(nèi)容提供裝置200可以配置成包括信道創(chuàng)建單元210、信道列表創(chuàng)建單元220和通信單元230。
另外,內(nèi)容提供裝置200還可以包括內(nèi)容預(yù)備單元240。
信道創(chuàng)建單元210通過以規(guī)則間隔劃分傳輸起始時(shí)間而創(chuàng)建多播流信道且通過劃分通過傳輸起始時(shí)間劃分的信道中的每一個(gè)信道而創(chuàng)建分別具有不同傳輸速率的多個(gè)多播流信道。
即,信道創(chuàng)建單元210創(chuàng)建由具有以T時(shí)間間隔布置的傳輸起始時(shí)間的N個(gè)多播流信道和在N個(gè)多播流信道中的每一個(gè)中配置的不同傳輸速率的M個(gè)多播流信道配置的N×M個(gè)多播流信道。
例如,如果通過以10分鐘間隔布置傳輸起始時(shí)間根據(jù)傳輸起始時(shí)間創(chuàng)建6個(gè)多播流信道且針對(duì)6個(gè)多播流信道中的每一個(gè)創(chuàng)建用于以三個(gè)不同傳輸速率r1、r2和r3傳輸數(shù)據(jù)的三個(gè)多播流信道,則創(chuàng)建18個(gè)多播流信道。
信道列表創(chuàng)建單元220創(chuàng)建包括關(guān)于N×M個(gè)多播流信道的信息的N×M多播流信道列表。
此處,N×M多播流信道信息包括關(guān)于被傳輸內(nèi)容的信息、傳輸起始時(shí)間和每個(gè)信道的傳輸速率,且用戶終端可以使用多播流信道信息來確認(rèn)關(guān)于每個(gè)信道的狀態(tài)的信息。
通信單元230提供由信道列表創(chuàng)建單元220創(chuàng)建的N×M多播流信道列表,且提供用于通過由信道創(chuàng)建單元?jiǎng)?chuàng)建的N×M個(gè)多播流信道中的信道傳輸內(nèi)容的傳輸和接收接口。
另外,信道預(yù)備單元240以包形式創(chuàng)建將在N×M個(gè)多播流信道上傳輸?shù)膬?nèi)容。
用戶終端
圖3是示出根據(jù)本發(fā)明的另一方面的用戶終端的實(shí)施方式的視圖。
根據(jù)本實(shí)施方式,如圖3所示,用戶終端300可以配置成包括通信單元310和信道選擇單元320且還可以包括內(nèi)容接收單元330。
通信單元310表示用于接收從內(nèi)容提供裝置傳輸?shù)腘×M多播流信道列表、傳輸信道選擇信號(hào)且通過對(duì)應(yīng)于信道選擇信號(hào)的多播流信道接收內(nèi)容的連接路徑。
信道選擇單元320確認(rèn)網(wǎng)絡(luò)的可用傳輸速率且使用可用傳輸速率和內(nèi)容傳輸請(qǐng)求時(shí)間從N×M多播流信道列表選擇可用多播流信道。
提供的N×M多播流信道列表包括由每個(gè)信道的關(guān)于被傳輸?shù)膬?nèi)容的信息、傳輸起始時(shí)間和傳輸速率配置的多播流信道信息。
用戶終端300考慮N×M多播流信道信息、用戶輸入的傳輸請(qǐng)求內(nèi)容信息和用戶終端300的網(wǎng)絡(luò)環(huán)境從列表中的信道當(dāng)中選擇多播流信道。
信道選擇單元320主要考慮用戶終端的網(wǎng)絡(luò)環(huán)境選擇候選多播流信道且考慮傳輸起始時(shí)間選擇最終的多播流信道。
即,信道選擇單元320從提供的N×M多播流信道列表選擇具有比可用傳輸速率低的傳輸速率的多播流信道作為候選多播流信道,且從候選多播流信道選擇具有在N×M多播流信道列表中的最接近內(nèi)容傳輸請(qǐng)求時(shí)間的傳輸起始時(shí)間的多播流信道。
內(nèi)容接收單元330確認(rèn)傳輸內(nèi)容中的包丟失,且恢復(fù)丟失的包或在包不能被恢復(fù)時(shí)請(qǐng)求相同內(nèi)容的重新傳輸。
具體而言,內(nèi)容接收單元330確定:如果丟失包的數(shù)目小于參考值,則丟失包可以被恢復(fù),且使用前向錯(cuò)誤校正方法等恢復(fù)且存儲(chǔ)丟失的包??梢允褂貌煌谇跋蝈e(cuò)誤校正方法的某些丟失包恢復(fù)方法。
內(nèi)容接收單元330確定:如果丟失包的數(shù)目超過參考值,則不能恢復(fù)丟失包,且在刪除傳輸內(nèi)容的包之后請(qǐng)求內(nèi)容的重新傳輸。
如果請(qǐng)求內(nèi)容的重新傳輸,則信道選擇單元320通過比較請(qǐng)求內(nèi)容的重新傳輸時(shí)的可用傳輸速率(用戶終端的網(wǎng)絡(luò)環(huán)境)與N×M多播流信道列表的傳輸速率而選擇候選多播流信道列表,且通過比較內(nèi)容重新傳輸請(qǐng)求時(shí)間和傳輸起始時(shí)間而選擇多播流信道。
即,信道選擇單元320選擇在請(qǐng)求內(nèi)容的重新傳輸時(shí)具有比網(wǎng)絡(luò)的可用傳輸速率低的傳輸速率的多播流信道作為候選多播流信道,且從候選多播流信道選擇具有晚于且最接近內(nèi)容傳輸請(qǐng)求時(shí)間的傳輸起始時(shí)間的多播流信道。
因?yàn)樵谡?qǐng)求內(nèi)容的重新傳輸時(shí)網(wǎng)絡(luò)的可用傳輸速率可以不同于初始內(nèi)容傳輸請(qǐng)求的速率且內(nèi)容傳輸請(qǐng)求時(shí)間也不同,應(yīng)當(dāng)使用產(chǎn)生內(nèi)容傳輸請(qǐng)求的時(shí)間點(diǎn)的內(nèi)容傳輸請(qǐng)求時(shí)間和可用傳輸速率來選擇信道。
另外,信道選擇單元320可以從提供的N×M多播流信道列表選擇具有在N×M多播流信道列表中的比內(nèi)容傳輸請(qǐng)求時(shí)間晚的傳輸起始時(shí)間的多播流信道作為候選多播流信道,且從候選多播流信道當(dāng)中選擇具有比網(wǎng)絡(luò)的可用傳輸速率低且同時(shí)具有最高傳輸速率的多播流信道。
如果通過如上所述的方法選擇多播流信道,則內(nèi)容傳輸時(shí)間可以減小。
基于多播的內(nèi)容傳輸方法
圖4至8是說明根據(jù)本發(fā)明的另一方面的基于多播的內(nèi)容傳輸方法的第一至第五實(shí)施方式的流程圖。
如圖4所示,根據(jù)第一實(shí)施方式的基于多播的內(nèi)容傳輸方法包括以下步驟:創(chuàng)建在基于多播的內(nèi)容傳輸裝置和用戶終端之間的信道、選擇信道以及通過選擇的信道傳輸內(nèi)容。
首先,內(nèi)容提供裝置創(chuàng)建N×M個(gè)多播流信道S410且創(chuàng)建包括與創(chuàng)建的N×M個(gè)多播流信道相關(guān)的信道信息的列表S420。
此處,信道信息包括關(guān)于傳輸內(nèi)容的信息、傳輸起始時(shí)間和傳輸速率。
接下來,內(nèi)容提供裝置向用戶終端傳輸N×M多播流信道列表S430。
如果用戶終端選擇指定信道且向內(nèi)容提供裝置傳輸信道選擇信號(hào)S440,則內(nèi)容提供裝置選擇對(duì)應(yīng)于信道選擇信號(hào)的多播流信道S450。
如果從多個(gè)多播流信道當(dāng)中選擇在內(nèi)容提供裝置和用戶終端之間的指定內(nèi)容傳輸信道,則內(nèi)容提供裝置通過選擇的傳輸信道傳輸內(nèi)容S460。
如圖5所示,根據(jù)第二實(shí)施方式的基于多播的內(nèi)容傳輸方法包括以下步驟:通過基于多播的內(nèi)容提供裝置一方創(chuàng)建多個(gè)信道、根據(jù)信道選擇信息選擇信道以及通過選擇的信道傳輸內(nèi)容。
首先,內(nèi)容提供裝置創(chuàng)建具有以預(yù)定時(shí)間間隔T布置的傳輸起始時(shí)間的N個(gè)多播流信道S520,創(chuàng)建針對(duì)N個(gè)多播流信道中的每一個(gè)分別具有不同傳輸速率的M個(gè)多播流信道,且最后創(chuàng)建N×M個(gè)多播流信道S540。
接下來,內(nèi)容提供裝置創(chuàng)建且傳輸包括關(guān)于每個(gè)信道的信息的N×M多播流信道列表S560,且通過對(duì)應(yīng)于從外部傳輸?shù)男诺肋x擇信號(hào)的多播流信道傳輸內(nèi)容S580。
如圖6所示,根據(jù)第三實(shí)施方式的基于多播的內(nèi)容傳輸方法包括以下步驟:考慮從用戶終端一方傳輸?shù)腘×M多播流信道列表的信道信息和用戶終端的網(wǎng)絡(luò)環(huán)境選擇信道以及通過選擇的信道接收內(nèi)容。
首先,用戶終端接收包括由內(nèi)容信息、傳輸起始時(shí)間和傳輸速率配置的多播流信道信息的N×M多播流信道列表S620。
接下來,用戶終端將傳輸?shù)腘×M多播流信道列表的傳輸起始時(shí)間、傳輸速率和內(nèi)容信息與用戶終端測(cè)量的網(wǎng)絡(luò)的可用傳輸速率、內(nèi)容傳輸請(qǐng)求時(shí)間和關(guān)于將被接收內(nèi)容的信息進(jìn)行比較S640。
用戶終端通過比較關(guān)于被包括在列表中的信道的信息和關(guān)于用戶終端的信息選擇多播流信道S660且通過選擇的信道接收內(nèi)容S680。
此時(shí),選擇的多播流信道可以根據(jù)內(nèi)容信息的優(yōu)先級(jí)、傳輸起始時(shí)間和傳輸速率變化。
首先,將參考圖7和8描述根據(jù)優(yōu)先級(jí)選擇多播流信道和根據(jù)傳輸?shù)膬?nèi)容的包丟失是否請(qǐng)求內(nèi)容的重新傳輸?shù)姆椒ǖ闹付▽?shí)施方式。
如圖7所示,當(dāng)傳輸速率被設(shè)置為第一參考且傳輸起始時(shí)間被設(shè)置為第二參考時(shí),根據(jù)第四實(shí)施方式的基于多播的內(nèi)容傳輸方法包括以下步驟:選擇多播流信道且根據(jù)傳輸?shù)膬?nèi)容的包丟失存儲(chǔ)內(nèi)容或請(qǐng)求內(nèi)容的重新傳輸。
首先,用戶終端針對(duì)N×M個(gè)多播流信道比較作為第一參考的傳輸速率和用戶終端測(cè)量的網(wǎng)絡(luò)的可用傳輸速率S710,且選擇具有比網(wǎng)絡(luò)的可用傳輸速率低的傳輸速率的多播流信道作為候選組S720。
接下來,用戶終端針對(duì)候選組比較作為第二參考的傳輸起始時(shí)間和用戶終端的內(nèi)容傳輸請(qǐng)求時(shí)間S730,且從候選組選擇具有晚于且最接近內(nèi)容傳輸請(qǐng)求時(shí)間的傳輸起始時(shí)間的多播流信道S740。
用戶終端向內(nèi)容提供裝置提供信道選擇信號(hào)以選擇用于在用戶終端和內(nèi)容提供裝置之間傳輸內(nèi)容的多播流信道且通過選擇的信道從內(nèi)容提供裝置下載內(nèi)容S750。
當(dāng)內(nèi)容傳輸完成時(shí),用戶終端檢查傳輸內(nèi)容的包丟失S760,如果包丟失不發(fā)生則存儲(chǔ)內(nèi)容S795,且如果包丟失發(fā)生則確定是否可以恢復(fù)丟失的包。
確定是否可以恢復(fù)丟失包的過程比較丟失包的數(shù)目A與參考值B S770,如果丟失包的數(shù)目A小于參考值B,則確定丟失包可以被恢復(fù)且恢復(fù)包780,且如果丟失包的數(shù)目A超過參考值B,則確定丟失包不能被恢復(fù)且在刪除傳輸內(nèi)容之后請(qǐng)求內(nèi)容的重新傳輸S790。
如果請(qǐng)求內(nèi)容的重新傳輸,在S710之后用于基于請(qǐng)求內(nèi)容的重新傳輸時(shí)網(wǎng)絡(luò)的可用傳輸速率和用戶終端的內(nèi)容重新傳輸請(qǐng)求時(shí)間選擇信道,且傳輸內(nèi)容的步驟被重復(fù)地執(zhí)行。
如圖8所示,當(dāng)傳輸起始時(shí)間被設(shè)置為第一參考且傳輸速率被設(shè)置為第二參考時(shí),根據(jù)第五實(shí)施方式的基于多播的內(nèi)容傳輸方法包括以下步驟:選擇多播流信道且根據(jù)傳輸?shù)膬?nèi)容包是否丟失存儲(chǔ)內(nèi)容或請(qǐng)求內(nèi)容的重新傳輸。
首先,用戶終端針對(duì)N×M個(gè)多播流信道比較作為第一參考的傳輸起始時(shí)間和用戶終端的內(nèi)容傳輸請(qǐng)求時(shí)間S810,且選擇具有比內(nèi)容傳輸請(qǐng)求時(shí)間晚的傳輸起始時(shí)間的多播流信道作為候選組S820。
接下來,用戶終端從被包括在候選組中的多播流信道選擇具有低于且最接近網(wǎng)絡(luò)的可用傳輸速率的傳輸速率(第二參考)的多播流信道S830。
用戶終端向內(nèi)容提供裝置提供信道選擇信號(hào)以選擇用于在用戶終端和內(nèi)容提供裝置之間傳輸內(nèi)容的多播流信道且通過選擇的信道從內(nèi)容提供裝置下載內(nèi)容S840。
當(dāng)內(nèi)容傳輸完成時(shí),用戶終端檢查傳輸內(nèi)容的包丟失S850,如果包丟失不發(fā)生,則存儲(chǔ)內(nèi)容S890,且如果包丟失發(fā)生,則確定是否可以恢復(fù)丟失的包。
確定是否可以恢復(fù)丟失包的過程比較丟失包數(shù)目的數(shù)目A與參考值B S860,如果丟失包的數(shù)目A小于參考值B,則確定丟失的包可以被恢復(fù)且恢復(fù)包,且如果丟失包的數(shù)目A超過參考值B S870,則確定丟失包不能被恢復(fù)且在刪除傳輸內(nèi)容之后請(qǐng)求內(nèi)容的重新傳輸S880。
如果請(qǐng)求內(nèi)容的重新傳輸,在S810之后用于基于請(qǐng)求內(nèi)容的重新傳輸時(shí)的網(wǎng)絡(luò)的可用傳輸速率和用戶終端的內(nèi)容重新傳輸請(qǐng)求時(shí)間而選擇信道,且傳輸內(nèi)容的步驟被重復(fù)地執(zhí)行。
因此,內(nèi)容提供裝置可以創(chuàng)建多個(gè)多播流信道和向多個(gè)用戶終端多播內(nèi)容,且用戶終端可以從多個(gè)多播流信道選擇適于用戶終端環(huán)境的信道且下載內(nèi)容。
運(yùn)動(dòng)估算裝置
圖9是示出根據(jù)本發(fā)明的另一方面的運(yùn)動(dòng)估算裝置的實(shí)施方式的視圖。
根據(jù)本實(shí)施方式,如圖9所示,運(yùn)動(dòng)估算裝置配置成包括第n圖像創(chuàng)建單元910、第n積分圖像創(chuàng)建單元920、第n動(dòng)量計(jì)算單元930和運(yùn)動(dòng)矢量估算單元940。
當(dāng)通過創(chuàng)建第n圖像和第n積分圖像且使用它們計(jì)算第n動(dòng)量來估算比較圖像和參考圖像之間的運(yùn)動(dòng)時(shí),根據(jù)本發(fā)明的運(yùn)動(dòng)估算裝置可以減少操作數(shù)量且改善估算速度。
第n圖像創(chuàng)建單元910創(chuàng)建具有通過針對(duì)比較圖像和參考圖像中的每一個(gè)像素將像素值乘以n倍獲得的值作為像素的第n像素值的第n比較圖像和第n參考圖像。
此處,比較圖像表示用于估算或編碼運(yùn)動(dòng)的當(dāng)前圖像,且參考圖像表示在時(shí)間軸上的先前圖像或原先編碼的圖像。
第n積分圖像創(chuàng)建單元910使用以下[數(shù)學(xué)表達(dá)式1]創(chuàng)建第n比較圖像和第n參考圖像。
數(shù)學(xué)表達(dá)式1[等式1]
On(x,y)=i(x,y)*On-1(x,y)
此處,i(x,y)代表比較圖像或參考圖像的原始圖像,On(x,y)代表第n比較圖像或第n參考圖像,且(x,y)代表像素坐標(biāo)。
第n積分圖像創(chuàng)建單元920通過計(jì)算像素值直到用于第n比較圖像和第n參考圖像的設(shè)置像素坐標(biāo)創(chuàng)建第n積分比較圖像和第n積分參考圖像。
例如,如果第一圖像的像素值是x,則第二圖像的像素值變成x2,且第三圖像的像素值變成x3。
第n積分圖像創(chuàng)建單元920使用以下[數(shù)學(xué)表達(dá)式2]創(chuàng)建第n積分比較圖像和第n積分參考圖像。
數(shù)學(xué)表達(dá)式2[等式2]
In(X,Y)=∑Y∑XOn(x,y)
此處,In(x,y)代表第n積分比較圖像或第n積分參考圖像,On(x,y)代表第n比較圖像或第n參考圖像,且(x,y)代表像素坐標(biāo)。
例如,In(2,3)是積分On(1,1)、On(2,1)、On(2,2)和On(2,3)的值。即,坐標(biāo)(2,3)的第n積分圖像In(2,3)是積分坐標(biāo)(1,1)的第n圖像像素值、坐標(biāo)(2,1)的第n圖像像素值、坐標(biāo)(2,2)的第n圖像像素值和坐標(biāo)(2,3)的第n圖像像素值的值。
第n動(dòng)量計(jì)算單元930使用第n積分比較圖像和第n積分參考圖像針對(duì)設(shè)置區(qū)塊計(jì)算比較圖像的第n動(dòng)量和參考圖像的第n動(dòng)量。
第n動(dòng)量計(jì)算單元930使用以下[數(shù)學(xué)表達(dá)式3]針對(duì)比較圖像和參考圖像計(jì)算包括設(shè)置區(qū)塊的4個(gè)區(qū)塊的第n動(dòng)量。
數(shù)學(xué)表達(dá)式3[等式3]
Mn=In(xe,ye)+In(xe-1,ye-1)[In(xe-1,ye)+In(xe,ye-1)]
此處,In(x,y)代表像素或區(qū)塊(xe,ye)的第n積分比較圖像或第n積分參考圖像,且(xe,ye)、(xe-1,ye-1)、(xe-1,ye)和(xe,ye-1)代表像素坐標(biāo)或區(qū)塊坐標(biāo)。
運(yùn)動(dòng)矢量估算單元940使用比較圖像的第n動(dòng)量和參考圖像的第n動(dòng)量之間的差值計(jì)算區(qū)塊匹配誤差,且將在具有最小區(qū)塊匹配誤差的比較圖像區(qū)塊和參考圖像區(qū)塊之間的坐標(biāo)差值估算為運(yùn)動(dòng)矢量。
運(yùn)動(dòng)矢量估算單元940使用以下[數(shù)學(xué)表達(dá)式4]計(jì)算SAD和SSD其中至少一個(gè)作為區(qū)塊匹配誤差。
數(shù)學(xué)表達(dá)式4[等式4]
SAD=[∑αn|Mn,ref-Mn,curr|]xγ
SSD=[∑βn|Mn,ref-Mn,curr|2]xγ
此處,Mn,ref表示用于參考圖像的設(shè)置區(qū)塊的第n動(dòng)量,Mn,curr表示用于比較圖像的設(shè)置區(qū)塊的第n動(dòng)量,αn和βn表示第n動(dòng)量的加權(quán)因子,且γ表示常量。
計(jì)算的精確度和操作數(shù)目隨著n值增加而增加,且計(jì)算的精確度和操作數(shù)目隨著n值減小而減小。
圖11是說明根據(jù)本發(fā)明的另一方面的計(jì)算運(yùn)動(dòng)估算矢量和第n動(dòng)量的方法的視圖。
根據(jù)本實(shí)施方式,如圖11(a)所示,參考圖像的區(qū)塊A'匹配比較圖像的區(qū)塊A,且可以估算(mx,my)的運(yùn)動(dòng)。
另外,如圖11(b)所示,針對(duì)比較圖像和參考圖像,可以使用包括設(shè)置區(qū)塊(或坐標(biāo))的4個(gè)區(qū)塊(或坐標(biāo))的第n積分圖像計(jì)算第n動(dòng)量。因此,第n動(dòng)量表示陰影區(qū)域的第n積分圖像的像素值。
圖像編碼裝置
圖10是示出根據(jù)本發(fā)明的另一方面的圖像編碼裝置的實(shí)施方式的視圖。
根據(jù)本實(shí)施方式,如圖10所示,圖像編碼裝置配置成包括運(yùn)動(dòng)估算單元1010、運(yùn)動(dòng)補(bǔ)償單元1020、減法器1030、量化單元1040、熵編碼單元1050、反向量化單元1060和加法器1070。
運(yùn)動(dòng)估算單元1010通過以區(qū)塊為單位將比較圖像和參考圖像進(jìn)行比較選擇具有最小區(qū)塊匹配誤差的區(qū)塊作為匹配區(qū)塊且使用區(qū)塊之間的坐標(biāo)差值計(jì)算運(yùn)動(dòng)矢量。
此處比較圖像表示用于估算或編碼運(yùn)動(dòng)的當(dāng)前圖像,且參考圖像表示在時(shí)間軸上的先前圖像或原先編碼的圖像。
用于高速地估算運(yùn)動(dòng)的圖像編碼裝置的運(yùn)動(dòng)估算單元1010創(chuàng)建用于比較圖像和參考圖像的第n比較圖像和第n參考圖像,通過計(jì)算像素值直到用于第n比較圖像和第n參考圖像的設(shè)置像素坐標(biāo)創(chuàng)建第n積分比較圖像和第n積分參考圖像,使用第n積分比較圖像和第n積分參考圖像針對(duì)設(shè)置區(qū)塊計(jì)算比較圖像的第n動(dòng)量和參考圖像的第n動(dòng)量,使用第n動(dòng)量差值計(jì)算區(qū)塊匹配誤差,以及將在具有最小區(qū)塊匹配誤差的比較圖像區(qū)塊和參考圖像區(qū)塊之間的坐標(biāo)差值估算作為運(yùn)動(dòng)矢量。對(duì)于詳細(xì)信息,參見圖9的描述。
運(yùn)動(dòng)補(bǔ)償單元1020使用估算的運(yùn)動(dòng)矢量從參考圖像創(chuàng)建用于比較圖像的估算圖像,且減法器1030創(chuàng)建比較圖像和參考圖像的差值圖像。
編碼單元1050編碼創(chuàng)建的差值圖像。
此處,頻率空間轉(zhuǎn)換單元和量化單元1040可以進(jìn)一步被包括在減法器1030和編碼單元1050之間。
頻率空間轉(zhuǎn)換單元使用諸如離散哈達(dá)瑪變換(DHT)、離散余弦變換(DCT)等方法將由減法器1030創(chuàng)建的在比較圖像和估算圖像之間的差值從色彩空間轉(zhuǎn)換成頻率空間,且量化單元1040量化通過頻率空間轉(zhuǎn)換單元轉(zhuǎn)換的值。
編碼單元1050以諸如上下文自適應(yīng)可變長(zhǎng)度編碼(CAVLC)、上下文自適應(yīng)二元算術(shù)編碼(CABAC)等編碼方法通過編碼由量化單元量化的值來創(chuàng)建位流。
反向量化單元1060通過使得量化值乘以量化參數(shù)恢復(fù)頻率成分值,且加法器1070通過添加由運(yùn)動(dòng)補(bǔ)償單元1020創(chuàng)建的估算圖像和恢復(fù)圖像之間的差異來創(chuàng)建所述恢復(fù)圖像。
運(yùn)動(dòng)估算方法
圖12是說明根據(jù)本發(fā)明的另一方面的運(yùn)動(dòng)估算方法的實(shí)施方式的流程圖。
根據(jù)本實(shí)施方式,如圖12所示,連續(xù)地創(chuàng)建第n圖像和第n積分圖像S1210和S1220,且使用第n積分圖像創(chuàng)建第n動(dòng)量S1230。然后,計(jì)算區(qū)塊匹配誤差S1240,且通過匹配具有最小區(qū)塊匹配誤差的區(qū)塊來估算運(yùn)動(dòng)矢量S1250。
創(chuàng)建第n圖像S1210是創(chuàng)建具有通過針對(duì)比較圖像和參考圖像中的每一個(gè)像素將像素值乘以n倍獲得的值作為像素的第n像素值的第n比較圖像和第n參考圖像。
創(chuàng)建第n積分圖像S1220是通過積分像素值直到用于第n比較圖像和第n參考圖像的設(shè)置像素坐標(biāo)而創(chuàng)建第n積分比較圖像和第n積分參考圖像。
計(jì)算第n動(dòng)量S1230使用第n積分比較圖像和第n積分參考圖像針對(duì)設(shè)置區(qū)塊計(jì)算比較圖像的第n動(dòng)量和參考圖像的第n動(dòng)量。
估算運(yùn)動(dòng)矢量S1250是從比較圖像和參考圖像提取具有在比較圖像的第n動(dòng)量和參考值的第n動(dòng)量之間的差值的最小絕對(duì)值的區(qū)塊,且確定提取的區(qū)塊的坐標(biāo)差值為運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明,因?yàn)楫?dāng)前圖像(比較圖像)的創(chuàng)建的第n圖像和第n積分圖像和計(jì)算的第n動(dòng)量以及區(qū)塊匹配誤差可以用作用于估算下一圖像的運(yùn)動(dòng)的參考圖像,所以可以高速估算運(yùn)動(dòng)。
尤其是,如果創(chuàng)建比較圖像和參考圖像的第n積分圖像,相同的第n積分圖像可以用于計(jì)算被包括在每個(gè)圖像中的所有區(qū)塊的運(yùn)動(dòng)矢量,且因而在現(xiàn)有技術(shù)中需要(2N×N-1)倍的操作以比較具有N×N大小的區(qū)塊。然而,根據(jù)本發(fā)明,操作的數(shù)目可以減小為(5×n-1)倍。
因?yàn)橐话阌迷贖.264中的N是8,現(xiàn)有技術(shù)的127倍的操作可以減小為9倍(n=2)、14倍(n=3)等,且因而速度可以改善9至14倍。
工業(yè)應(yīng)用性
在傳輸和接收內(nèi)容的領(lǐng)域中,本發(fā)明可以應(yīng)用于考慮在傳輸內(nèi)容時(shí)需要的網(wǎng)絡(luò)使用成本向多個(gè)客戶端多播內(nèi)容的裝置和系統(tǒng)、用于記錄上述方法的記錄介質(zhì)以及執(zhí)行應(yīng)用程序的裝置。
另外,在編碼或編碼且傳輸圖像的領(lǐng)域中,本發(fā)明可以應(yīng)用于能夠減小區(qū)塊匹配所需的操作數(shù)量且以高速編碼圖像的裝置和系統(tǒng)、用于記錄上述方法的記錄介質(zhì)以及執(zhí)行應(yīng)用程序的裝置。