面向互聯(lián)網(wǎng)應(yīng)用3d視頻/圖像生成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電子成像技術(shù)領(lǐng)域，尤其涉及一種面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法。
【背景技術(shù)】
[0002]當前3D視頻或圖像的成像主要依賴于雙目攝像機的同步拍攝，一般具有較高的制作成本，并在后期使用過程中需要較為專業(yè)的對齊、校正過程，給廣大普通使用者帶來不便，也因此限制了 3D視頻或圖像成像產(chǎn)品的應(yīng)用。
[0003]現(xiàn)有2D轉(zhuǎn)3D辦法分為兩大類，一類是不做場景內(nèi)容的分析，直接通過圖像的幾何變形，生成3D所需要的2個視點圖像。這類方法速度快，但是其3D質(zhì)量差。第二類方法是做場景分析，換算出場景深度信息，然后通過虛擬視點繪制的辦法生成所需要的2個視點圖像。這類方法會對圖像中的每一個像素計算深度信息，其質(zhì)量高，但是速度慢。

【發(fā)明內(nèi)容】

[0004]針對上述問題中存在的不足之處，本發(fā)明提供一種面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法。
[0005]為實現(xiàn)上述目的，本發(fā)明提供了一種面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，包括:
[0006]步驟一、對輸入的2D視頻/圖像進行色彩空間的轉(zhuǎn)換，得到Y(jié)UV或YCRCB色彩空間下的圖像；
[0007]步驟二、計算圖像的Y分量，對Y分量圖像進行超像素分割；
[0008]步驟三、計算每個超像素區(qū)域內(nèi)Y分量均值Y’，相鄰的超像素根據(jù)Y’值的差異性進行合并;所述相鄰超像素合并的原則為:相鄰超像素的Y’的差值的絕對值不大于閾值；
[0009]步驟四、統(tǒng)計合并后超像素的個數(shù)N，將[0，255]均分為N等份，得到N個取值區(qū)間；
[0010]步驟五、計算合并后超像素區(qū)域內(nèi)Y分量均值Y”，Y”大小排序得到序號N’，根據(jù)序號的大小找到步驟四中的對應(yīng)區(qū)間，取區(qū)間內(nèi)一數(shù)值作為該超像素的深度值，得到深度圖；
[0011]步驟六、基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制，完成空洞填補后，與原始所輸入的視頻聯(lián)合輸出成3D視頻或圖像。
[0012]作為本發(fā)明的進一步改進，所述步驟二中，每個超像素所包含像素的個數(shù)不超過20個。
[0013]作為本發(fā)明的進一步改進，所述閾值為2。
[0014]作為本發(fā)明的進一步改進，所述步驟四中，將[0，255]均分為N等份，不滿足等分要求的向下取整。
[0015]作為本發(fā)明的進一步改進，所述步驟五中，取區(qū)間內(nèi)的中值或均值作為該超像素的深度值。
[0016]作為本發(fā)明的進一步改進，所述另一視點視頻或者圖像的繪制為:基于深度的圖像繪制或基于視差的圖像繪制。
[0017]作為本發(fā)明的進一步改進，所述空洞用均值、中值或者inpainting方法進行填補。
[0018]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為:
[0019]本發(fā)明提供了面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，對互聯(lián)網(wǎng)的2D視頻或圖像進行基于圖像內(nèi)容的計算與處理，通過分析其場景中物體的三維空間關(guān)系，恢復(fù)其場景深度信息，并以此進行3D視頻或圖像的生成，從而避免通過雙目攝像機進行拍攝的3D內(nèi)容生成方式，通過超像素的方法，減少像素數(shù)量，從而提高速度，節(jié)省了制作成本與時間。
【附圖說明】
[0020]圖1為本發(fā)明一種實施例公開的面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法的流程圖。
【具體實施方式】
[0021]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0022]本發(fā)明提供一種面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，包括:
[0023 ]步驟一、對輸入的2D視頻/圖像進行色彩空間的轉(zhuǎn)換，得到Y(jié)UV或YCRCB色彩空間下的圖像；
[0024]步驟二、計算圖像的Y分量，對Y分量圖像進行超像素分割；
[0025]步驟三、計算每個超像素區(qū)域內(nèi)Y分量均值Y’，相鄰的超像素根據(jù)Y’值的差異性進行合并;所述相鄰超像素合并的原則為:相鄰超像素的Y’的差值的絕對值不大于閾值；
[0026]步驟四、統(tǒng)計合并后超像素的個數(shù)N，將[0，255]均分為N等份，得到N個取值區(qū)間；
[0027]步驟五、計算合并后超像素區(qū)域內(nèi)Y分量均值Y”，Y”大小排序得到序號N’，根據(jù)序號的大小找到步驟四中的對應(yīng)區(qū)間，取區(qū)間內(nèi)一數(shù)值作為該超像素的深度值，得到深度圖；
[0028]步驟六、基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制，完成空洞填補后，與原始所輸入的視頻聯(lián)合輸出成3D視頻或圖像。
[0029]本發(fā)明通過分析其場景中物體的三維空間關(guān)系，恢復(fù)其場景深度信息，并以此進行3D視頻或圖像的生成，通過超像素的方法，減少像素數(shù)量，從而提高速度，節(jié)省了制作成本與時間。
[0030]下面結(jié)合附圖對本發(fā)明做進一步的詳細描述:
[0031]如圖1所示，本發(fā)明提供一種面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其具體包括:
[0032]SlOl、對輸入的2D視頻/圖像進行色彩空間的轉(zhuǎn)換，得到Y(jié)UV或YCRCB色彩空間下的圖像；
[0033]YUV是模擬信號的處理方式，YCRCB是數(shù)字信號的處理方式。雖然有不同，但是對于Y分量的計算是一樣的。
[0034]S102、計算圖像的Y分量，對Y分量圖像進行超像素分割;每個超像素所包含像素的個數(shù)不超過20個。
[0035]像素三個分量的視覺屬性是一致的，人類視覺生理系統(tǒng)對Y分量的敏感程度比其他兩個分量高;所以選擇對Y分量圖像進行超像素分割。超像素分割是將數(shù)字圖像細分為多個圖像子區(qū)域(像素的集合)(也被稱作超像素)的過程。超像素有一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點組成的小區(qū)域。這些小區(qū)域大多保留了進一步進行圖像分割的有效信息，且一般不會破壞圖像中物體的邊界信息。圖像分割的結(jié)果是圖像上子區(qū)域的集合(這些子區(qū)域的全體覆蓋了整個圖像)，或是從圖像中提取的輪廓線的集合(例如邊緣檢測)。一個子區(qū)域中的每個像素在某種特性的度量下或是由計算得出的特性都是相似的，例如顏色、亮度、紋理。鄰接區(qū)域在某種特性的度量下有很大的不同。
[0036]S103、對超像素進行基于鄰域的聚類，計算每一個超像素區(qū)域內(nèi)的Y分量均值Y’；對于相鄰的超像素，根據(jù)Y’值的差異性進行合并;其合并的公式是|Yi’-Y2’ I <閾值，滿足要求則進行合并;其中:Yi’、Y2’表示兩個相鄰的超像素；閾值的大小決定了合并后新的超像素所涵蓋的面積大小，同樣也決定了后續(xù)計算的復(fù)雜度和最終所形成的圖像質(zhì)量，絕對值越大的閾值將導(dǎo)致超像素面積越大，后續(xù)計算復(fù)雜度越低，但圖像質(zhì)量越差;反之，則超像素面積越小，計算復(fù)雜度越高，圖像質(zhì)量越高;一般可取閾值為2。
[0037]S104、統(tǒng)計合并后的超像素的個數(shù)為N，將[0，255]均分為N等份，不滿足等分條件的，按下取整方法，比如1.4則為I; 1.9也為I;得到N個取值區(qū)間。
[0038]S105、計算合并后超像素區(qū)域內(nèi)Y分量均值Y”，Y”從大到小得到序號N’(也可以從小到大排序)，根據(jù)序號的大小找到S104中的對應(yīng)區(qū)間，取區(qū)間內(nèi)某一個值作為該超像素的深度值(取值方法可為中值、均值等任意一種)；從而得到深度圖；
[0039]S106、根據(jù)基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制；具體繪制方法可為基于深度的圖像繪制方法(即DIBR)，也可以是基于視差的圖像繪制方法；在完成空洞填補后，即可與原始所輸入的視頻聯(lián)合輸出成3D視頻或圖像?？斩词侵冈诶L制過程中出現(xiàn)的一種圖像空洞，這是由于整數(shù)計算所帶來的問題，也是常見的問題。通?？捎镁怠⒅兄祷蛘哂胕npainting方法進行填補。本發(fā)明提供了面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，通過算法在步驟三?五的整合以及步驟五中的深度圖生成辦；，對互聯(lián)網(wǎng)的2D視頻或圖像進行基于圖像內(nèi)容的計算與處理，通過分析其場景中物體的三維空間關(guān)系，恢復(fù)其場景深度信息，并以此進行3D視頻或圖像的生成，從而避免通過雙目攝像機進行拍攝的3D內(nèi)容生成方式，通過超像素的方法，減少像素數(shù)量，從而提高速度，節(jié)省了制作成本與時間。
[0040]以上僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其特征在于，包括: 步驟一、對輸入的2D視頻/圖像進行色彩空間的轉(zhuǎn)換，得到Y(jié)UV或YCRCB色彩空間下的圖像； 步驟二、計算圖像的Y分量，對Y分量圖像進行超像素分割； 步驟三、計算每個超像素區(qū)域內(nèi)Y分量均值Y’，相鄰的超像素根據(jù)Y’值的差異性進行合并;所述相鄰超像素合并的原則為:相鄰超像素的Y’的差值的絕對值不大于閾值； 步驟四、統(tǒng)計合并后超像素的個數(shù)N，將[0，255]均分為N等份，得到N個取值區(qū)間； 步驟五、計算合并后超像素區(qū)域內(nèi)Y分量均值Y”，Y”大小排序得到序號N’，根據(jù)序號的大小找到步驟四中的對應(yīng)區(qū)間，取區(qū)間內(nèi)一數(shù)值作為該超像素的深度值，得到深度圖；步驟六、基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制，完成空洞填補后，與原始所輸入的視頻聯(lián)合輸出成3D視頻或圖像。2.如權(quán)利要求1所述的面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其特征在于，所述步驟二中，每個超像素所包含像素的個數(shù)不超過20個。3.如權(quán)利要求1所述的面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其特征在于，所述閾值為2。4.如權(quán)利要求1所述的面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其特征在于，所述步驟四中，將[0，255]均分為N等份，不滿足等分要求的向下取整。5.如權(quán)利要求1所述的面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其特征在于，所述步驟五中，取區(qū)間內(nèi)的中值或均值作為該超像素的深度值。6.如權(quán)利要求1所述的面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其特征在于，所述另一視點視頻或者圖像的繪制為:基于深度的圖像繪制或基于視差的圖像繪制。7.如權(quán)利要求1所述的面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，其特征在于，所述空洞用均值、中值或者inpainting方法進行填補。
【專利摘要】本發(fā)明公開了一種面向互聯(lián)網(wǎng)應(yīng)用3D視頻/圖像生成方法，包括：對2D視頻/圖像進行色彩的轉(zhuǎn)換，計算YUV或YCRCB圖像的Y分量，對Y分量圖像進行超像素分割；計算每個超像素區(qū)域內(nèi)Y分量均值Y’，相鄰的超像素根據(jù)Y’值的差異性進行合并；統(tǒng)計合并后超像素的個數(shù)N，將[0,255]均分為N等份，得到N個取值區(qū)間；合并后超像素均值大小排序得到序號N’，根據(jù)序號的大小找到對應(yīng)區(qū)間，取區(qū)間內(nèi)一數(shù)值作為深度值，得到深度圖；進行另一視點視頻或者圖像的繪制，與原始所輸入的視頻聯(lián)合輸出成3D視頻或圖像。本發(fā)明通過分析其場景中物體的三維空間關(guān)系，恢復(fù)其場景深度信息，并以此進行3D視頻或圖像的生成，提高速度，節(jié)省了制作成本與時間。
【IPC分類】H04N13/00
【公開號】CN105611273
【申請?zhí)枴緾N201511028125
【發(fā)明人】楊鈾, 朱光喜
【申請人】武漢鴻瑞達信息技術(shù)有限公司
【公開日】2016年5月25日
【申請日】2015年12月31日