專利名稱：視頻圖像的轉(zhuǎn)換方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像技術(shù)領(lǐng)域，尤其涉及一種視頻圖像的轉(zhuǎn)換方法及裝置。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)與通信技術(shù)的快速發(fā)展，多媒體視頻應(yīng)用得到了越來越廣泛的推廣，例如:多媒體視頻播放、數(shù)字電視、視頻通話，通過手機(jī)攝像等。然而，傳統(tǒng)的二維(2D)視頻的顯示效果缺乏層次感和立體感，不能滿足人們對(duì)視頻圖像逼真感的要求，人們需要在觀看視頻圖像時(shí)有身臨其境的感覺，因此，三維(3D)視頻技術(shù)應(yīng)運(yùn)而生。3D視頻的產(chǎn)生主要基于兩種實(shí)現(xiàn)方式:一種是采用立體相機(jī)直接產(chǎn)生3D視頻，采用該方式拍攝得到的3D視頻立體效果強(qiáng)，視覺效果真實(shí)，然而制作成本卻相當(dāng)高。另一種則是通過一定的算法將現(xiàn)有的2D視頻轉(zhuǎn)換為3D視頻，具體地，可以通過將2D視頻中存在的景深信息提取出來，利用景深信息將2D視頻轉(zhuǎn)換為3D視頻，并通過3D視頻顯示終端顯示，采用該方式產(chǎn)生的3D視頻，成本低廉，成為產(chǎn)生3D視頻的一個(gè)主要發(fā)展方向。目前，數(shù)字電視領(lǐng)域已經(jīng)實(shí)現(xiàn)了將普通的單路2D視頻轉(zhuǎn)換成3D視頻，如圖1所示，圖1是應(yīng)用于數(shù)字電視的2D視頻到3D視頻的轉(zhuǎn)換系統(tǒng)，包括兩個(gè)基本模塊:深度圖像估計(jì)模塊I和3D圖像渲染模塊2。其中，深度圖像估計(jì)模塊I包括:運(yùn)動(dòng)估計(jì)單元10、彩色圖像分割單元11以及融合單元12 ；3D圖像渲染模塊2包括:3D圖像映射單元20和空洞填充單元21。運(yùn)動(dòng)估計(jì)單元10用于獲取單路2D視頻的運(yùn)動(dòng)矢量場(運(yùn)動(dòng)信息)，彩色圖像分割單元11用于將單路2D視頻按照色彩分割為各個(gè)區(qū)域，融合單元12用于對(duì)運(yùn)動(dòng)估計(jì)單元10獲得的運(yùn)動(dòng)矢量場和彩色圖像分割單元11獲得的分割后的各個(gè)區(qū)域的色彩信息進(jìn)行融合最終獲得單路2D視頻的深度圖像，3D圖像映射單元20將獲得的深度圖像進(jìn)行映射，并通過空洞填充單元21對(duì)映射后的深度圖像進(jìn)行空洞填充進(jìn)而得到左眼圖像。將單路2D視頻作為右眼圖像，那么將最終獲得的具有一定視差的左眼圖像和右眼圖像通過3D視頻顯示系統(tǒng)即可顯示出3D視頻。對(duì)于上述的2D視頻圖像的深度圖像的獲取也可以采用其他的方式，例如:利用具有景深提取功能的攝像機(jī)獲取深度圖像，具體地，可以是利用紅外或者結(jié)構(gòu)光等方法獲得景深圖像的攝像機(jī)；還可以利用雙路視頻獲取深度圖像。現(xiàn)有的一種利用雙路視頻獲取深度圖像如圖2所示，其是利用混合迭代匹配(HRM, Hybird Recrusive Matching)算法提取深度圖像的流程示意圖。如圖2所示，以左眼圖像為例，先對(duì)左眼圖像進(jìn)行矯正，可以采用反畸變模型法進(jìn)行，對(duì)矯正后的左眼圖像進(jìn)行混合迭代匹配，將經(jīng)過混合迭代匹配后的左眼圖像進(jìn)行一致性檢驗(yàn)以去除不可信的運(yùn)動(dòng)矢量。對(duì)矯正后左眼圖像進(jìn)行圖像分割，并對(duì)分割后的左眼圖像、矯正后的左眼圖像以及經(jīng)過一致性檢驗(yàn)的左眼圖像進(jìn)行基于區(qū)域的后處理，以進(jìn)一步提高深度圖像生成的精度，最后對(duì)分割后的左眼圖像、矯正后的左眼圖像以及經(jīng)過基于區(qū)域的后處理獲得的左眼圖像進(jìn)行基于區(qū)域的內(nèi)插以獲取左眼深度圖像。對(duì)于右眼深度圖像的獲取與左眼深度圖像的獲取相類似，故不再展開具體詳述。隨著3D視頻技術(shù)和手機(jī)技術(shù)的發(fā)展，尤其是3D視頻的顯示技術(shù)，經(jīng)歷了從傳統(tǒng)的需要立體眼鏡的紅藍(lán)補(bǔ)色立體顯示技術(shù)，到快門式立體顯示技術(shù)，到現(xiàn)在的裸眼3D顯示技術(shù)(不需要立體眼鏡)，給手機(jī)3D視頻的播放和顯示提供了相應(yīng)的技術(shù)基礎(chǔ)。對(duì)于大部分的3D手機(jī)而言，其只能播放已經(jīng)制作好的3D視頻，而用戶通過網(wǎng)絡(luò)或者其他渠道獲得的視頻文件，如:電影、電視視頻信號(hào)等視頻圖像仍然屬于2D視頻，因此，在很大程度上限制了人們能夠觀看的3D視頻的范圍，進(jìn)而也限制了 3D技術(shù)在手機(jī)應(yīng)用方面的推廣。另外，對(duì)于手機(jī)用戶而言，其還有自己制作3D視頻的需求，就目前而言，用戶可以通過安裝有兩個(gè)攝像頭的手機(jī)來進(jìn)行3D視頻的制作，該手機(jī)利用安裝在手機(jī)一側(cè)的多個(gè)攝像頭(一般為兩個(gè))來進(jìn)行具有視差的多路視頻的拍攝或者模擬人的雙眼獲得具有雙眼視差的立體圖像，但是這種方式一方面增加了手機(jī)硬件的成本，另一方面也增加了手機(jī)的體積和耗電量，導(dǎo)致其在市場上很難推廣。此外，用戶也可以使用安裝有單一攝像頭的手機(jī)進(jìn)行3D視頻的制作，通過移動(dòng)手機(jī)來獲得多幅具有視差的圖像，手機(jī)通過其自帶的姿態(tài)傳感器或者圖像處理的方法來獲取手機(jī)旋轉(zhuǎn)的信息，并利用手機(jī)旋轉(zhuǎn)的信息來去除手機(jī)旋轉(zhuǎn)對(duì)圖像的影響，然后選擇合適的兩幅圖像分別作為左眼和右眼圖像送入3d顯示系統(tǒng)，進(jìn)而完成3D視頻的制作。但是利用單一攝像頭進(jìn)行3D視頻的制作存在一定的局限性，例如:利用單一攝像頭只能獲取靜態(tài)圖像，且在靜態(tài)圖像的獲取過程當(dāng)中需要用戶持手機(jī)進(jìn)行特定方向和范圍的運(yùn)動(dòng)，并進(jìn)行多次操作，給用戶制作3D視頻帶來極大的不方便，且制作的3D視頻的效果不佳。上述提到的應(yīng)用于數(shù)字電視的2D視頻到3D視頻的轉(zhuǎn)換系統(tǒng)目前還不能應(yīng)用于手機(jī)平臺(tái)，因此，如何能夠通過手機(jī)將2D視頻轉(zhuǎn)換為3D視頻，或者通過手機(jī)使得用戶可以方便地制作出效果較佳的3D視頻成為目前亟待解決的問題之一。其他有關(guān)二維視頻轉(zhuǎn)換為三維視頻的技術(shù)還可以參見公開號(hào)為US2011018873A1，發(fā)明名稱為 Two-dimensional to three-dimensional imageconversion system andmethod的美國專利申請。

發(fā)明內(nèi)容
本發(fā)明解決的是現(xiàn)有技術(shù)中將二維視頻轉(zhuǎn)換成三維視頻的方法應(yīng)用于手機(jī)的三維顯示的效果不佳的問題。為了解決上述問題，本發(fā)明提供了一種視頻圖像的轉(zhuǎn)換方法，包括:對(duì)二維視頻的當(dāng)前幀圖像進(jìn)行預(yù)處理獲得當(dāng)前幀預(yù)處理圖像，所述預(yù)處理包括:去除當(dāng)前幀圖像的全局運(yùn)動(dòng)；提取所述當(dāng)前幀預(yù)處理圖像的深度圖像；基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像?？蛇x的，所述去除當(dāng)前幀圖像的全局運(yùn)動(dòng)包括:獲取當(dāng)前幀圖像的全局運(yùn)動(dòng)矢量場和全局旋轉(zhuǎn)運(yùn)動(dòng)矢量場；基于所述當(dāng)前幀圖像的全局運(yùn)動(dòng)矢量場和全局旋轉(zhuǎn)運(yùn)動(dòng)矢量場對(duì)當(dāng)前幀圖像進(jìn)行全局平移和全局旋轉(zhuǎn)?？蛇x的，所述預(yù)處理還包括:在去除所述當(dāng)前幀圖像的全局運(yùn)動(dòng)前去除所述當(dāng)前幀圖像的畸變。可選的，采用桶形畸變模型去除所述當(dāng)前幀圖像的畸變?？蛇x的，所述提取所述當(dāng)前幀預(yù)處理圖像的深度圖像包括:去除所述當(dāng)前幀預(yù)處理圖像中運(yùn)動(dòng)矢量不可信的像素點(diǎn)；獲取所述當(dāng)前幀預(yù)處理圖像的色彩區(qū)域分割信息；至少基于所述色彩區(qū)域分割信息對(duì)去除了運(yùn)動(dòng)矢量不可信的像素點(diǎn)的當(dāng)前幀預(yù)處理圖像中的空洞進(jìn)行填充，獲取當(dāng)前幀預(yù)處理圖像的深度圖像。可選的，所述去除所述當(dāng)前幀預(yù)處理圖像中運(yùn)動(dòng)矢量不可信的像素點(diǎn)包括:對(duì)當(dāng)前幀預(yù)處理圖像與前一幀圖像進(jìn)行匹配，獲取當(dāng)前幀預(yù)處理圖像的像素點(diǎn)與其匹配點(diǎn)對(duì)應(yīng)的正向匹配值和反向匹配值；將所述當(dāng)前幀預(yù)處理圖像以預(yù)定尺寸分割為圖像塊；去除所述當(dāng)前幀預(yù)處理圖像中所述正向匹配值和反向匹配值的誤差大于第一門限值的像素點(diǎn)，以及所述圖像塊的平滑度大于第二門限值時(shí)，所述圖像塊中的像素點(diǎn)?？蛇x的，所述對(duì)當(dāng)前幀預(yù)處理圖像與前一幀圖像進(jìn)行匹配采用塊匹配方法、光流法和混合迭代匹配法中的一種?？蛇x的，所述至少基于所述色彩區(qū)域分割信息對(duì)去除了運(yùn)動(dòng)矢量不可信的像素點(diǎn)的當(dāng)前幀預(yù)處理圖像中的空洞進(jìn)行填充包括:結(jié)合所述色彩區(qū)域分割信息和緩存的當(dāng)前幀圖像的至少前一幀圖像的深度圖像的深度信息確定所述空洞的像素點(diǎn)的深度信息，以對(duì)所述空洞進(jìn)行填充?？蛇x的，所述當(dāng)前幀預(yù)處理圖像的深度圖像為歸一化和濾波后的當(dāng)前幀預(yù)處理圖像的深度圖像?？蛇x的，所述濾波為平滑濾波、中值濾波和雙邊濾波中的一種?？蛇x的，所述基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像包括:將所述當(dāng)前幀預(yù)處理圖像作為右眼圖像或左眼圖像；對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行映射，以獲得映射圖像；對(duì)所述映射圖像進(jìn)行空洞填充，獲取對(duì)應(yīng)的另一眼圖像?？蛇x的，所述對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行映射包括:對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行低通濾波后再進(jìn)行映射?？蛇x的，所述對(duì)所述映射圖像進(jìn)行空洞填充包括:對(duì)所述映射圖像進(jìn)行線性濾波?？蛇x的，所述視頻圖像的轉(zhuǎn)換方法還包括:對(duì)所述二維視頻的各幀圖像的左眼圖像和右眼圖像進(jìn)行視頻編碼，以獲得三維視頻碼流?？蛇x的，所述視頻圖像的轉(zhuǎn)換方法還包括:對(duì)所述當(dāng)前幀的左眼圖像和右眼圖像進(jìn)行圖像壓縮，以獲得三維圖像。為解決上述問題，本發(fā)明還提供了視頻圖像的轉(zhuǎn)換裝置，包括:預(yù)處理單元，適于對(duì)二維視頻的當(dāng)前幀圖像進(jìn)行預(yù)處理獲得當(dāng)前幀預(yù)處理圖像，所述預(yù)處理包括:去除當(dāng)前幀圖像的全局運(yùn)動(dòng)；
深度圖像提取單元，適于提取所述當(dāng)前幀預(yù)處理圖像的深度圖像；深度圖像渲染單元，適于基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像。與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)方案具有以下優(yōu)點(diǎn):通過對(duì)所述二維視頻的當(dāng)前幀圖像先進(jìn)行預(yù)處理獲得當(dāng)前幀預(yù)處理圖像，然后獲取所述當(dāng)前幀預(yù)處理圖像的深度圖像、最后基于所述當(dāng)前幀預(yù)處理圖像的深度圖像映射出左眼圖像或右眼圖像，并將所述當(dāng)前幀預(yù)處理圖像作為另一眼圖像，在實(shí)現(xiàn)了在手機(jī)上將二維視頻轉(zhuǎn)換為三維視頻的同時(shí)，也使得用戶在通過具有單一攝像頭的手機(jī)制作3D視頻的過程中可以沿任意方向移動(dòng)手機(jī)，且不需要進(jìn)行多次操作就可以獲得效果較佳的3D視頻，給用戶提供了極大的方便。通過預(yù)處理的方式去除了二維視頻的當(dāng)前幀圖像的畸變和全局運(yùn)動(dòng)獲得了當(dāng)前幀圖像的預(yù)處理圖像，對(duì)當(dāng)前幀預(yù)處理圖像中運(yùn)動(dòng)矢量不可信的像素點(diǎn)進(jìn)行去除，并基于所述當(dāng)前幀預(yù)處理圖像的色彩區(qū)域分割信息對(duì)去除了運(yùn)動(dòng)矢量不可信的像素點(diǎn)的當(dāng)前幀預(yù)處理圖像中的空洞進(jìn)行填充，進(jìn)而獲得深度圖像，相對(duì)于直接通過當(dāng)前幀圖像來獲得的深度圖像而言其精確度高，因此也提高了最終獲得的3D視頻的質(zhì)量。進(jìn)一步地，在去除了當(dāng)前幀預(yù)處理圖像中的運(yùn)動(dòng)矢量不可信的像素點(diǎn)后，利用緩存的當(dāng)前幀圖像的至少前一幀圖像的深度圖像的深度信息及所述當(dāng)前幀圖像的色彩區(qū)域分割信息，對(duì)當(dāng)前幀預(yù)處理圖像中的大面積空洞進(jìn)行填充，進(jìn)一步地提高了獲得的當(dāng)前幀預(yù)處理圖像的深度圖像的精確度。通過對(duì)當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行歸一化和濾波處理，更進(jìn)一步地提高了當(dāng)前幀預(yù)處理圖像的深度圖像的精確度，進(jìn)而提高了 3D視頻的質(zhì)量。對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行映射包括:對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行低通濾波后再進(jìn)行映射，使得所述當(dāng)前幀預(yù)處理圖像的深度圖像的邊緣平滑，減少了對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行映射時(shí)空洞的產(chǎn)生，提高了最終獲得當(dāng)前幀圖像的左眼或右眼圖像的質(zhì)量，進(jìn)而也提高了 3D視頻的質(zhì)量。


圖1是應(yīng)用于數(shù)字電視的2D視頻到3D視頻的轉(zhuǎn)換系統(tǒng)；圖2是利用混合迭代匹配算法提取深度圖像的流程示意圖；圖3是本發(fā)明實(shí)施例的視頻圖像的轉(zhuǎn)換方法的流程示意圖；圖4是barrel鏡頭畸變模型；圖5是深度圖像提取的原理圖；圖6是本發(fā)明實(shí)施例的提取當(dāng)前幀預(yù)處理圖像的深度圖像的流程示意圖；圖7是本發(fā)明實(shí)施例的視頻圖像的轉(zhuǎn)換裝置的結(jié)構(gòu)示意圖；圖8是本發(fā)明另一實(shí)施例的視頻圖像的轉(zhuǎn)換裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更為明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式
做詳細(xì)的說明。
在以下描述中闡述了具體細(xì)節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以多種不同于在此描述的其它方式來實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣。因此本發(fā)明不受下面公開的具體實(shí)施方式
的限制。正如背景技術(shù)部分所述，現(xiàn)有技術(shù)中，手機(jī)只能對(duì)3D視頻進(jìn)行播放，而目前大部分視頻源或者圖像源均為2D的，此外采用現(xiàn)有的具有單一攝像頭的手機(jī)制作3D視頻時(shí)，效果不佳而且具有一定的局限性。發(fā)明人經(jīng)過研究發(fā)現(xiàn)，提取圖像深度信息依賴于攝像機(jī)本身平移運(yùn)動(dòng)造成的視差，但是如果攝像機(jī)本身有旋轉(zhuǎn)運(yùn)動(dòng)，則會(huì)造成視頻場景中出現(xiàn)全局的平移或者旋轉(zhuǎn)運(yùn)動(dòng)向量場，然而由于目前的應(yīng)用于數(shù)字電視的2D視頻到3D視頻的轉(zhuǎn)換系統(tǒng)并無法去除2D視頻圖像中的全局運(yùn)動(dòng)，因此如果應(yīng)用在移動(dòng)終端(例如手機(jī))上，則易導(dǎo)致轉(zhuǎn)換后的3D視頻的顯示效果不佳，且當(dāng)視頻圖像中存在遮擋的區(qū)域、平滑無特征的區(qū)域時(shí)，基于上述系統(tǒng)獲取的深度圖像的效果并不好。此外，當(dāng)采用手機(jī)的攝像頭進(jìn)行3D視頻的制作時(shí)，由于手機(jī)攝像頭口徑一般比較小，因此，通過手機(jī)攝像頭獲得的圖像畸變比較嚴(yán)重，而上述系統(tǒng)也未涉及對(duì)畸變的圖像進(jìn)行矯正。因此，應(yīng)用于數(shù)字電視的2D視頻到3D視頻的轉(zhuǎn)換系統(tǒng)并不能直接應(yīng)用于手機(jī)平臺(tái)。由此發(fā)明人提出，先對(duì)2D視頻進(jìn)行預(yù)處理，以去除由于攝像頭引起的2D視頻圖像的畸變和由于攝像頭旋轉(zhuǎn)導(dǎo)致的2D視頻圖像的全局運(yùn)動(dòng)，然后對(duì)經(jīng)過預(yù)處理的2D視頻圖像中的遮擋區(qū)域以及平滑區(qū)域(難以檢測特征的區(qū)域)的像素點(diǎn)的運(yùn)動(dòng)矢量進(jìn)行檢測，去除運(yùn)動(dòng)矢量不可信的像素點(diǎn)，再對(duì)去除了運(yùn)動(dòng)矢量不可信的像素點(diǎn)的2D視頻圖像中的空洞進(jìn)行填充，以獲得效果比較好的深度圖像。為了更好地理解本發(fā)明的技術(shù)方案，首先對(duì)本發(fā)明中出現(xiàn)的相關(guān)名詞進(jìn)行解釋:匹配點(diǎn):與第i幀圖像中的像素點(diǎn)對(duì)應(yīng)的第i_l幀圖像中的像素點(diǎn)。匹配塊:與第i幀圖像中的圖像塊對(duì)應(yīng)的第i_l幀圖像中的圖像塊。運(yùn)動(dòng)矢量:第i幀圖像中的像素點(diǎn)與其對(duì)應(yīng)的匹配點(diǎn)的相對(duì)位移。正向匹配值:第i幀圖像中的像素點(diǎn)與其匹配點(diǎn)對(duì)應(yīng)的正向運(yùn)動(dòng)矢量。反向匹配值:第i幀圖像中的像素點(diǎn)與其匹配點(diǎn)對(duì)應(yīng)的反向運(yùn)動(dòng)矢量。請參見圖3，圖3是本發(fā)明實(shí)施例的視頻圖像的轉(zhuǎn)換方法的流程示意圖；如圖3所示，所述視頻圖像的轉(zhuǎn)換方法包括:步驟Sll:對(duì)二維視頻的當(dāng)前幀圖像進(jìn)行預(yù)處理獲得當(dāng)前幀預(yù)處理圖像，所述預(yù)處理包括:去除當(dāng)前幀圖像的全局運(yùn)動(dòng)。步驟S12:提取所述當(dāng)前幀預(yù)處理圖像的深度圖像。步驟S13:基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像。執(zhí)行步驟S11，本實(shí)施例中，所述2D視頻可以是用戶通過網(wǎng)絡(luò)或者其他方式獲得的2D視頻碼流經(jīng)視頻解碼后得到的2D視頻，也可以是用戶通過手機(jī)的攝像頭拍攝的2D視頻。對(duì)所述2D視頻進(jìn)行預(yù)處理，具體地，就是對(duì)2D視頻中的每一幀圖像進(jìn)行預(yù)處理。所述預(yù)處理包括:去除當(dāng)前幀圖像的全局運(yùn)動(dòng)，所述全局運(yùn)動(dòng)是指由攝像頭的旋轉(zhuǎn)所引起的視頻運(yùn)動(dòng)，此時(shí)整個(gè)圖像的背景和目標(biāo)都在運(yùn)動(dòng)。
需要說明的是，對(duì)于通過上述方式獲得的2D視頻而言，若所述2D視頻圖像已經(jīng)去除了畸變，則只需要去除2D視頻圖像的全局運(yùn)動(dòng)，若所述2D視頻圖像并未去除畸變，則既需要去除所述2D視頻圖像的畸變也需要去除所述2D視頻圖像的全局運(yùn)動(dòng)，具體地，在去除所述當(dāng)前幀圖像的全局運(yùn)動(dòng)前去除所述當(dāng)前幀圖像的畸變。本實(shí)施例中，以當(dāng)前幀圖像未去除畸變進(jìn)行相應(yīng)的說明。去除當(dāng)前幀圖像的畸變可以采用鏡頭校準(zhǔn)法、反畸變模型法等，去除當(dāng)前幀圖像的全局運(yùn)動(dòng)主要是指去除由于攝像頭旋轉(zhuǎn)而引起的全局運(yùn)動(dòng)，可以采用光流法等，采用何種方法根據(jù)實(shí)際需求而定。具體地，本實(shí)施例中采用桶形(barrel)鏡頭畸變模型來對(duì)畸變的2D視頻圖像進(jìn)行矯正，請參見圖4，圖4是barrel鏡頭畸變模型，其中，圖(a)表示未畸變的圖像，圖(b)表示畸變的圖像，對(duì)于圖像中像素點(diǎn)而言，其對(duì)應(yīng)的畸變公式為:
權(quán)利要求
1.一種視頻圖像的轉(zhuǎn)換方法，其特征在于，包括: 對(duì)二維視頻的當(dāng)前幀圖像進(jìn)行預(yù)處理獲得當(dāng)前幀預(yù)處理圖像，所述預(yù)處理包括:去除當(dāng)前幀圖像的全局運(yùn)動(dòng)； 提取所述當(dāng)前幀預(yù)處理圖像的深度圖像； 基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像。
2.如權(quán)利要求1所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述去除當(dāng)前幀圖像的全局運(yùn)動(dòng)包括: 獲取當(dāng)前幀圖像的全局運(yùn)動(dòng)矢量場和全局旋轉(zhuǎn)運(yùn)動(dòng)矢量場； 基于所述當(dāng)前幀圖像的全局運(yùn)動(dòng)矢量場和全局旋轉(zhuǎn)運(yùn)動(dòng)矢量場對(duì)當(dāng)前幀圖像進(jìn)行全局平移和全局旋轉(zhuǎn)。
3.如權(quán)利要求1所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述預(yù)處理還包括:在去除所述當(dāng)前幀圖像的全局運(yùn)動(dòng)前去除所述當(dāng)前幀圖像的畸變。
4.如權(quán)利要求3所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，采用桶形畸變模型去除所述當(dāng)前幀圖像的畸變。
5.如權(quán)利要求1所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述提取所述當(dāng)前幀預(yù)處理圖像的深度圖像包括: 去除所述當(dāng)前幀預(yù)處理圖像中運(yùn)動(dòng)矢量不可信的像素點(diǎn)； 獲取所述當(dāng)前幀預(yù)處 理圖像的色彩區(qū)域分割信息； 至少基于所述色彩區(qū)域分割信息對(duì)去除了運(yùn)動(dòng)矢量不可信的像素點(diǎn)的當(dāng)前幀預(yù)處理圖像中的空洞進(jìn)行填充，獲取當(dāng)前幀預(yù)處理圖像的深度圖像。
6.如權(quán)利要求5所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述去除所述當(dāng)前幀預(yù)處理圖像中運(yùn)動(dòng)矢量不可信的像素點(diǎn)包括: 對(duì)當(dāng)前幀預(yù)處理圖像與前一幀圖像進(jìn)行匹配，獲取當(dāng)前幀預(yù)處理圖像的像素點(diǎn)與其匹配點(diǎn)對(duì)應(yīng)的正向匹配值和反向匹配值； 將所述當(dāng)前幀預(yù)處理圖像以預(yù)定尺寸分割為圖像塊； 去除所述當(dāng)前幀預(yù)處理圖像中所述正向匹配值和反向匹配值的誤差大于第一門限值的像素點(diǎn)，以及所述圖像塊的平滑度大于第二門限值時(shí)，所述圖像塊中的像素點(diǎn)。
7.如權(quán)利要求6所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述對(duì)當(dāng)前幀預(yù)處理圖像與前一幀圖像進(jìn)行匹配采用塊匹配方法、光流法和混合迭代匹配法中的一種。
8.如權(quán)利要求5所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述至少基于所述色彩區(qū)域分割信息對(duì)去除了運(yùn)動(dòng)矢量不可信的像素點(diǎn)的當(dāng)前幀預(yù)處理圖像中的空洞進(jìn)行填充包括:結(jié)合所述色彩區(qū)域分割信息和緩存的當(dāng)前幀圖像的至少前一幀圖像的深度圖像的深度信息確定所述空洞的像素點(diǎn)的深度信息，以對(duì)所述空洞進(jìn)行填充。
9.如權(quán)利要求1所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述當(dāng)前幀預(yù)處理圖像的深度圖像為歸一化和濾波后的當(dāng)前幀預(yù)處理圖像的深度圖像。
10.如權(quán)利要求9所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述濾波為平滑濾波、中值濾波和雙邊濾波中的一種。
11.如權(quán)利要求1所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像包括:將所述當(dāng)前幀預(yù)處理圖像作為右眼圖像或左眼圖像； 對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行映射，以獲得映射圖像； 對(duì)所述映射圖像進(jìn)行空洞填充，獲取對(duì)應(yīng)的另一眼圖像。
12.如權(quán)利要求11所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行映射包括:對(duì)所述當(dāng) 前幀預(yù)處理圖像的深度圖像進(jìn)行低通濾波后再進(jìn)行映射。
13.如權(quán)利要求11所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，所述對(duì)所述映射圖像進(jìn)行空洞填充包括:對(duì)所述映射圖像進(jìn)行線性濾波。
14.如權(quán)利要求1所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，還包括:對(duì)所述二維視頻的各幀圖像的左眼圖像和右眼圖像進(jìn)行視頻編碼，以獲得三維視頻碼流。
15.如權(quán)利要求1所述的視頻圖像的轉(zhuǎn)換方法，其特征在于，還包括:對(duì)所述當(dāng)前幀的左眼圖像和右眼圖像進(jìn)行圖像壓縮，以獲得三維圖像。
16.一種視頻圖像的轉(zhuǎn)換裝置，其特征在于，包括: 預(yù)處理單元，適于對(duì)二維視頻的當(dāng)前幀圖像進(jìn)行預(yù)處理獲得當(dāng)前幀預(yù)處理圖像，所述預(yù)處理包括:去除當(dāng)前幀圖像的全局運(yùn)動(dòng)； 深度圖像提取單元，適于提取所述當(dāng)前幀預(yù)處理圖像的深度圖像； 深度圖像渲染單元，適于基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像。
17.如權(quán)利要求16所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述預(yù)處理單元包括: 矢量場獲取單元，適于獲取當(dāng)前幀圖像的全局運(yùn)動(dòng)矢量場和全局旋轉(zhuǎn)運(yùn)動(dòng)矢量場； 全局運(yùn)動(dòng)去除單元，適于基于所述當(dāng)前幀圖像的全局運(yùn)動(dòng)矢量場和全局旋轉(zhuǎn)運(yùn)動(dòng)矢量場對(duì)當(dāng)前幀圖像進(jìn)行全局平移和全局旋轉(zhuǎn)。
18.如權(quán)利要求17所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述預(yù)處理單元還包括:畸變?nèi)コ龁卧m于在去除所述當(dāng)前幀圖像的全局運(yùn)動(dòng)前去除所述當(dāng)前幀圖像的畸變。
19.如權(quán)利要求18所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述畸變?nèi)コ龁卧m于采用桶形畸變模型去除當(dāng)前幀圖像的畸變。
20.如權(quán)利要求16所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述深度圖像提取單元包括: 去除單元，適于去除所述當(dāng)前幀預(yù)處理圖像中運(yùn)動(dòng)矢量不可信的像素點(diǎn)； 分割信息獲取單元，適于獲取所述當(dāng)前幀預(yù)處理圖像的色彩區(qū)域分割信息； 第一空洞填充單元，適于至少基于所述色彩區(qū)域分割信息對(duì)去除了運(yùn)動(dòng)矢量不可信的像素點(diǎn)的當(dāng)前幀預(yù)處理圖像中的空洞進(jìn)行填充，獲取當(dāng)前幀預(yù)處理圖像的深度圖像。
21.如權(quán)利要求20所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述去除單元包括: 第一緩存單元，適于存儲(chǔ)當(dāng)前幀圖像的前一幀圖像； 匹配單元，適于對(duì)當(dāng)前幀預(yù)處理圖像與前一幀圖像進(jìn)行匹配，獲取當(dāng)前幀預(yù)處理圖像的像素點(diǎn)與其匹配點(diǎn)對(duì)應(yīng)的正向匹配值和反向匹配值； 圖像分割單元，適于將所述當(dāng)前幀預(yù)處理圖像以預(yù)定尺寸分割為圖像塊； 第一檢測單元，適于檢測當(dāng)前幀預(yù)處理圖像中的像素點(diǎn)的正向匹配值和反向匹配值的誤差是否大于第一門限值；第二檢測單元，適于檢測所述圖像分割單元分割的圖像塊的平滑度是否大于第二門限值； 第一去除單元，適于去除所述當(dāng)前幀預(yù)處理圖像中所述正向匹配值和反向匹配值的誤差大于第一門限值的像素點(diǎn)，以及所述圖像塊的平滑度大于第二門限值時(shí)，所述圖像塊中的像素點(diǎn)。
22.如權(quán)利要求21所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述對(duì)當(dāng)前幀預(yù)處理圖像與前一幀圖像進(jìn)行匹配采用塊匹配方法、光流法和混合迭代匹配法中的一種。
23.如權(quán)利要求20所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述深度圖像提取單元還包括: 第二緩存單元，適于緩存當(dāng)前幀圖像的至少前一幀圖像的深度圖像； 所述第一空洞填充單元，還適于結(jié)合所述色彩區(qū)域分割信息和第二緩存單元緩存的當(dāng)前幀圖像的至少前一幀圖像的深度圖像的深度信息確定所述空洞的像素點(diǎn)的深度信息，以對(duì)所述空洞進(jìn)行填充。
24.如權(quán)利要求16所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，還包括: 歸一化單元，適于對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行歸一化； 第一濾波單元，適于對(duì)歸一化后的當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行濾波； 所述深度圖像渲染單元適于基于所述當(dāng)前幀預(yù)處理圖像及歸一化和濾波后的當(dāng)前幀預(yù)處理圖像的深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像。
25.如權(quán)利要求24所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述濾波為平滑濾波、中值濾波和雙邊濾波中的一種。
26.如權(quán)利要求16所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述深度圖像渲染單元包括: 輸出單元，適于將所述當(dāng)前幀預(yù)處理圖像作為右眼圖像或左眼圖像輸出； 映射單元，適于對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行映射，以獲得映射圖像； 第二空洞填充單元，適于對(duì)所述映射圖像進(jìn)行空洞填充，獲取對(duì)應(yīng)的另一眼圖像。
27.如權(quán)利要求26所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述映射單元適于對(duì)所述當(dāng)前幀預(yù)處理圖像的深度圖像進(jìn)行低通濾波后再進(jìn)行映射。
28.如權(quán)利要求26所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，所述第二空洞填充單元包括:第二濾波單元，適于對(duì)所述映射圖像進(jìn)行線性濾波。
29.如權(quán)利要求16所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，還包括:視頻編碼單元，適于對(duì)所述二維視頻的各幀圖像的左眼圖像和右眼圖像進(jìn)行視頻編碼，以獲得三維視頻碼流。
30.如權(quán)利要求16所述的視頻圖像的轉(zhuǎn)換裝置，其特征在于，還包括:圖像壓縮單元，適于對(duì)所述當(dāng)前幀的左眼圖像和右眼圖像進(jìn)行圖像壓縮，以獲得三維圖像。
全文摘要
一種視頻圖像的轉(zhuǎn)換方法及裝置。所述視頻圖像的轉(zhuǎn)換方法包括對(duì)二維視頻的當(dāng)前幀圖像進(jìn)行預(yù)處理獲得當(dāng)前幀預(yù)處理圖像，所述預(yù)處理包括去除當(dāng)前幀圖像的全局運(yùn)動(dòng)；提取所述當(dāng)前幀預(yù)處理圖像的深度圖像；基于所述當(dāng)前幀預(yù)處理圖像及其深度圖像獲取當(dāng)前幀圖像的左眼圖像和右眼圖像。本發(fā)明的技術(shù)方案，在實(shí)現(xiàn)了在手機(jī)上將二維視頻轉(zhuǎn)換為三維視頻的同時(shí)，也使得用戶在通過具有單一攝像頭的手機(jī)制作3D視頻的過程中可以沿任意方向移動(dòng)手機(jī)，且不需要進(jìn)行多次操作就可以獲得效果較佳的3D視頻，給用戶提供了極大的方便。
文檔編號(hào)G06T3/00GK103208110SQ20121001312
公開日2013年7月17日 申請日期2012年1月16日 優(yōu)先權(quán)日2012年1月16日
發(fā)明者劉立峰, 林福輝 申請人:展訊通信(上海)有限公司