專利名稱：一種基于h.264壓縮域圖像深度圖生成方法
技術(shù)領域：
本發(fā)明涉及數(shù)字視頻信號處理領域，具體涉及二維圖像轉(zhuǎn)換三維圖像時深度圖生 成方法。
背景技術(shù)：
深度圖生成是二維圖像轉(zhuǎn)換為三維圖像過程中最為關鍵的步驟。在二維圖像到 三維圖像轉(zhuǎn)換過程中，如果能夠較好的獲得場景的深度信息，對于轉(zhuǎn)換后的三維圖像質(zhì)量 起著非常重要的作用。在已知二維圖像和深度信息的情況下，可以采用DIBR(D印th Image Based Rendering，基于深度圖的圖像繪制)技術(shù)來合成所需要的三維視點。目前，通常是在像素域進行單目圖像深度信息自動生成，其普遍的方法是首先根 據(jù)圖像的色彩信息或邊緣信息進行圖像分割，然后對分割后的區(qū)域進行深度賦值。在像素 域進行圖像分割與深度圖生成，需要處理大量的數(shù)據(jù)。申請?zhí)枮?00910091469. X的中國專 利申請公開了一種實現(xiàn)平面視頻轉(zhuǎn)立體視頻的方法和裝置，其中，對關鍵幀的深度圖生成 主要是在像素域完成，首先對像素域的圖像進行顏色空間轉(zhuǎn)換，并將每一個像素的顏色空 間變量和空間坐標組合成一個五維向量，對五維向量進行濾波，然后采用洪泛算法對濾波 后的圖像進行區(qū)域分割，最后對分割后的圖像進行深度賦值。基于像素域的方法需要處理 的數(shù)據(jù)量較大，并且進行區(qū)域分割方法也比較復雜，不利于快速計算得到圖像的深度圖。

發(fā)明內(nèi)容
本發(fā)明提供了一種基于H. 264壓縮域圖像深度圖生成的方法，解決了二維圖像到 三維圖像轉(zhuǎn)換過程中的深度圖生成問題。一種基于H. 264壓縮域圖像深度圖生成方法，包括以下步驟(1)輸入原圖像的H. 264壓縮域碼流；(2)將H. 264壓縮域碼流進行可變長熵解碼并提取所述的H. 264壓縮域碼流中 編碼塊的相關特征；所述的編碼塊的相關特征包括編碼塊的預測方式特征和編碼塊整型 DCT變換(Discrete Cosine Transform變換，離散余弦變換)的系數(shù)特征；所述的編碼塊 為4 X 4塊，相應地，每個4 X 4塊具有各自的預測方式特征。本發(fā)明將每個4X4塊的預測(即幀內(nèi)預測)方式特征分為9種，分別為垂直預 測、水平預測、直流預測、對角線左下預測，對角線右下預測、垂直右預測、水平下預測、垂直 左預測和水平上預測，分別對應于H. 264幀內(nèi)預測模式中Intra4X4模式的9種預測方式， H. 264幀內(nèi)預測模式中的IntraieX 16模式的4種預測方式也可以歸納到這9種預測方式 之中。幀內(nèi)預測之后，H. 264標準通過原始圖像與預測值相減得到預測殘差，并對預測殘 差采用基于4X4塊的整型DCT變換編碼，得到4X4塊的整型DCT變換系數(shù)。以上所述的幀內(nèi)預測方式和整型DCT變換系數(shù)都可以通過可變長熵解碼直接從 H. 264碼流中提取出來，從而得到所述的編碼塊的預測方式特征和編碼塊整型DCT變換的系數(shù)特征。由于可變長熵解碼屬于部分解碼，因此，相對于全部解壓而言，這一過程只占到對 H. 264壓縮域碼流全部解壓的10%的計算量，從而避免了由對H. 264壓縮碼流進行全部解 壓所帶來的額外計算量，降低了整個深度圖提取過程的計算復雜度。(3)根據(jù)步驟(2)提取得到的編碼塊整型DCT變換的系數(shù)特征，計算編碼塊的預測 殘差能量En(i，j)，如式(I)所示En(i, j) = |DC(i，j) +|AC01(i, j) | + |AC1(1(i，j) | + |ACn(i，j) | (I)式(I)中，DC(i，j),AC01(i, j), AC10(i, j)，ACn(i，j)分別為第(i，j)個 4X4 土夬 的整型DCT變換系數(shù)z字掃描的第1、2、3、5個系數(shù)。(4)根據(jù)由步驟(2)和(3)獲得的編碼塊的預測方式特征和編碼塊的預測殘差能 量計算各編碼塊的標記值并進行歸一化處理，再根據(jù)各編碼塊的歸一化標記值對圖像進行 區(qū)域劃分；其過程具體如下(4. 1)首先初始化所有編碼塊的標記值為1，并初始化全局標記(GlobalLabel)為 1 ；(4. 2)根據(jù)每個編碼塊的預測殘差能量和預測方式特征，對第一排的每個編碼塊 進行水平方向的塊標記；可選地，所述的水平方向的塊標記采取以下方式進行當編碼塊的預測殘差能量小于或等于閾值時，該編碼塊的標記值等于其左邊編碼 塊的標記值；當編碼塊的預測殘差能量大于閾值，并且該編碼塊的預測方式特征為水平預測或 直流預測時，該編碼塊的標記值等于其左邊編碼塊的標記值；否則，將全局標記自加1，并 設定該編碼塊標記為全局標記；(4. 3)根據(jù)每個編碼塊的預測殘差能量和預測方式特征，對第一列的每個編碼塊 進行垂直方向的塊標記；可選地，所述的垂直方向的塊標記采取以下方式進行當編碼塊的預測殘差能量小于或等于閾值時，該編碼塊的標記值等于其上邊編碼 塊的標記值；當編碼塊的預測殘差能量大于閾值，并且該編碼塊的預測方式特征為垂直預測或 直流預測時，該編碼塊的標記值等于其上邊編碼塊的標記值加1 ；否則，該編碼塊的標記值 等于其上邊編碼塊的標記值加2 ；(4. 4)根據(jù)每個編碼塊的預測殘差能量和預測方式特征，計算除第一排和第一列 之外的每個編碼塊的標記值；可選地，所述的除第一排和第一列之外的每個編碼塊的標記值的計算采取以下方 式進行首先，比較每個編碼塊的預測殘差能量與閾值的大小，將編碼塊分為兩類(①) 預測殘差能量小于或等于閾值的編碼塊；(②)預測殘差能量大于閾值的編碼塊；然后，對于第(①)和(②)類的編碼塊，采取不同的方法計算編碼塊的標記值， 具體為
對于第(①)類編碼塊，當編碼塊預測方式特征為垂直預測時，該編碼塊標記值等于其上邊編碼塊的標記 值；當編碼塊預測方式特征為水平預測時，該編碼塊標記值等于其左邊編碼塊的標記值； 當編碼塊預測方式特征為對角線左下預測時，該編碼塊標記值等于其右上編碼塊的標記 值；當編碼塊預測方式特征為對角線右下預測時，該編碼塊標記值等于其左上編碼塊的標 記值；當編碼塊預測方式特征為直流預測時，分別計算該編碼塊的上邊與左邊編碼塊的 標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值為Label(i， j) = (LabelMin*3+LabelMax)/4 (VI)當編碼塊預測方式特征為垂直右預測時，分別計算該編碼塊的上邊與左上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特征為垂直左預測時，分別計算該編碼塊的上邊與右上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特征為水平下預測時，分別計算該編碼塊的左邊與左上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特征為水平上預測時，分別計算該編碼塊的左邊與右上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；對于第(②)類編碼塊，當編碼塊預測方式特征為垂直預測時，如果其上邊編碼塊的預測殘差能量大于閾 值時，該編碼塊標記值等于其上邊編碼塊的標記值；當編碼塊預測方式特征為水平預測時， 如果其左邊編碼塊的預測殘差能量大于閾值時，該編碼塊標記值等于其左邊編碼塊的標記 值；當編碼塊預測方式特征為對角線左下預測時，如果其右上編碼塊的預測殘差能量大于 閾值時，該編碼塊標記值等于其右上編碼塊的標記值；當編碼塊預測方式特征為對角線右 下預測時，如果其左上編碼塊的預測殘差能量大于閾值時，該編碼塊標記值等于其左上編 碼塊的標記值；當編碼塊預測方式特征為直流預測時，如果其上邊和左邊編碼塊的預測殘差能 量至少有一個大于閾值，分別計算該編碼塊的上邊與左邊編碼塊的標記值，取較小者記為 LabelMin，較大者記為LabelMax，則編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特征為垂直右預測時，如果其上邊和左上邊編碼塊的預測殘差 能量至少有一個大于閾值，分別計算該編碼塊的上邊與左上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特征為垂直左預測時，如果其上邊和右上邊編碼塊的預測殘差 能量至少有一個大于閾值，分別計算該編碼塊的上邊與右上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特征為水平下預測時，如果其左邊與左上邊編碼塊的預測殘差能量至少有一個大于閾值，分別計算該編碼塊的左邊與左上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特征為水平上預測時，如果其左邊與右上邊編碼塊的預測殘差 能量至少有一個大于閾值，分別計算該編碼塊的左邊與右上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；對于第(②)類編碼塊，如果不滿足上述的各種情況，則將全局標記自加1，并設定 該編碼塊標記為全局標記；
值；
權(quán)利要求
一種基于H.264壓縮域圖像深度圖生成方法，其特征在于，包括以下步驟(1)輸入原圖像的H.264壓縮域碼流；(2)將H.264壓縮域碼流進行可變長熵解碼并提取所述的H.264壓縮域碼流中編碼塊的相關特征；所述的編碼塊的相關特征包括編碼塊的預測方式特征和編碼塊整型DCT變換的系數(shù)特征；所述的編碼塊為4×4塊；(3)根據(jù)步驟(2)提取得到的編碼塊整型DCT變換的系數(shù)特征，計算編碼塊的預測殘差能量；(4)根據(jù)由步驟(2)和(3)獲得的編碼塊的預測方式特征和編碼塊的預測殘差能量計算各編碼塊的標記值并進行歸一化處理，再根據(jù)各編碼塊的歸一化標記值對圖像進行區(qū)域劃分；(5)根據(jù)圖像位置信息計算每個區(qū)域的平均深度值，作為該區(qū)域所有編碼塊的深度值；遍歷圖像中所有區(qū)域，得到所有區(qū)域中所有編碼塊的深度值，即得到整幅圖像的編碼塊深度圖；(6)對得到的整幅圖像的編碼塊深度圖進行高斯濾波和上采樣，最終得到與原圖像大小一致的深度圖。
2.如權(quán)利要求1所述的基于H.264壓縮域圖像深度圖生成方法，其特征在于，所述的步 驟⑶中，采取式⑴計算編碼塊的預測殘差能量En (i，j)En(i, j) = |DC(i，j) ! + IACtll (i，j) | + |AC1(1(i，j) | + |ACn(i，j) I (I)式(I)中，DC(i，j)，ACtll (i，j)，AC1Q(i，j)，AC11 (i，j)分別為第(i，j)個編碼塊的整型 DCT變換系數(shù)ζ字掃描的第1、2、3、5個系數(shù)。
3.如權(quán)利要求1所述的基于H.264壓縮域圖像深度圖生成方法，其特征在于，所述的步 驟(4)中，(4. 1)首先初始化所有編碼塊的標記值為1，并初始化全局標記為1 ；(4. 2)根據(jù)每個編碼塊的預測殘差能量和預測方式特征，對第一排的每個編碼塊進行 水平方向的塊標記；(4. 3)根據(jù)每個編碼塊的預測殘差能量和預測方式特征，對第一列的每個編碼塊進行 垂直方向的塊標記；(4. 4)根據(jù)每個編碼塊的預測殘差能量和預測方式特征，計算除第一排和第一列之外 的每個編碼塊的標記值；(4. 5)對每個編碼塊的標記值進行歸一化處理，得到每個編碼塊的歸一化標記值；(4. 6)根據(jù)所述的各個編碼塊的歸一化標記值將整個圖像劃分為不同的區(qū)域，其中，具 有相同的歸一化標記值的編碼塊屬于同一區(qū)域。
4.如權(quán)利要求3所述的基于H.264壓縮域圖像深度圖生成方法，其特征在于，所述的歸 一化處理采取式(IX)來計算τ u Ρ · .、STAGE/τνΛLabel (ij) =-； , ,--(IX)MaxLabel式(IX)中，Label' (i，j)為第(i，j)個編碼塊的歸一化標記值，在0 STAGE范圍 內(nèi)；LabeKi, j)為第(i，j)個編碼塊的標記值，STAGE為設定的區(qū)域標記級數(shù)。
5.如權(quán)利要求1所述的基于H.264壓縮域圖像深度圖生成方法，其特征在于，所述的步驟(5)中，每個區(qū)域的平均深度值的計算過程如下首先，根據(jù)公式(X)設定圖像的初始深度值InitDepth(i，j)
全文摘要
本發(fā)明公開了一種基于H.264壓縮域圖像深度圖生成方法，包括以下步驟輸入原圖像的H.264壓縮域碼流；可變長熵解碼并提取碼流中編碼塊的相關特征并計算編碼塊的預測殘差能量；據(jù)此計算各編碼塊的標記值并進行歸一化處理后，對圖像進行區(qū)域劃分；分別計算每個區(qū)域的平均深度值并作為該區(qū)域所有編碼塊的深度值，得到整幅圖像中所有編碼塊的深度值，得到整幅圖像的編碼塊深度圖；對得到的編碼塊深度圖進行高斯濾波和上采樣，最終得到與原圖像大小一致的深度圖。本發(fā)明方法使用H.264壓縮碼流內(nèi)部信息提取圖像深度圖，在編碼塊的級別上對圖像深度進行分析，具有很高的運算效率，得到的深度圖接近真實的物體深度。
文檔編號H04N7/26GK101945288SQ20101051110
公開日2011年1月12日 申請日期2010年10月19日 優(yōu)先權(quán)日2010年10月19日
發(fā)明者馮杰, 王成群, 胡潔, 蔣明峰, 黃海 申請人:浙江理工大學