= (Vx (x, y)，Vy (x, y))τ
[0066]V' (χ, y) = (-Vy (y, x)，Vx (y, x))T
[0067]其中，V(x，y)為第一次迭代搜索結(jié)果向量，V' (x，y)為翻轉(zhuǎn)取反后向量。重復(fù)第一次迭代過程作為第二次迭代，即按照附圖5a搜索路徑和估計器進行迭代計算作為第二次迭代。按照上述同理對第三次多層3DRS塊估計迭代計算相關(guān)的圖像及各差異場圖翻轉(zhuǎn)90度，各向量進行左右交換，并對向量χ方向分量做取反處理，再重復(fù)第I次迭代過程作為第二次迭代進行第三次迭代，同理再進行依次完成4次迭代或更高次數(shù)迭代。
[0068]其中，上述下一次多層3DRS塊估計迭代計算相關(guān)的圖像及各差異場圖為用于得到下一次迭代計算所需的空間候選向量、時間候選向量、分層候選向量、更新向量的圖像及各差異場圖，還包括當次搜索迭代得到的結(jié)果，即當次迭代后本層塊網(wǎng)格差異場金字塔中各塊差異估計值。
[0069]根據(jù)估計值獲取的當前計算塊的每個候選向量，候選向量包括:空間候選向量、時間候選向量、分層候選向量、更新向量。其中，由空間預(yù)測塊按上一層對應(yīng)塊的差異估計值乘以2得到空間候選向量、由時間預(yù)測塊按上一幀或上一次迭代的差異估計結(jié)果得到時間候選向量、由分層預(yù)測塊按本次迭代已完成塊的差異估計值得到分層候選向量、更新向量由空間候選向量與ASC表生成隨機向量疊加生成。
[0070]比較由以當前計算塊為中心的估計器中各候選向量指向位置區(qū)域為中心區(qū)域的比較窗與當前計算塊為中心區(qū)域的比較窗之間的差別，選擇差別最小者所對應(yīng)向量作為當前塊的計算結(jié)果。分別指向位置區(qū)域，差別在一定比較窗內(nèi)計算，并通過比較范圍進行約束。一種常規(guī)的做法是將比較窗的大小設(shè)置為與塊大小一致，如例中8*8像素。差別在像素網(wǎng)格下完成計算(即以像素為單位計算)，常采用絕對差和或絕對差平均的形式。
[0071]更新向量由空間候選向量與ASC表中隨機向量疊加組成。其中，由于ASC表具有亞像素精度(如0.25像素)，并通過空間向量傳遞給其他向量。當候選向量指向以非整數(shù)中心位置時，需采用插值算法得到非整數(shù)坐標位置的值。
[0072]每次多層3DRS塊估計迭代計算過程中均包括:判斷估計值獲取的當前計算塊的每個候選向量的指向位置區(qū)域是否為整數(shù)(指向位置區(qū)域?qū)?yīng)的中心位置坐標是否為整數(shù))，若是，則直接計算該候選向量指向位置區(qū)域為中心區(qū)域的比較窗與當前計算塊為中心區(qū)域的比較窗之間的差別；若不是，則通過單調(diào)分段立方插值方法插值出該候選向量指向的區(qū)域中心的比較窗，再計算差值得到的該候選向量指向的區(qū)域中心的比較窗與當前計算塊為中心區(qū)域的比較窗之間的差別；選擇與當前計算塊為中心區(qū)域的比較窗的差別最小的候選向量作為當前計算塊本次迭代的差異估計結(jié)果。
[0073]24:根據(jù)塊網(wǎng)格差異場金字塔中最底層的各塊差異估計值生成深度圖。
[0074]本步驟有很多方式可以實現(xiàn)，通常可以通過塊腐蝕將塊網(wǎng)格差異場擴展得到像素差異場圖，再通過以查表或線形等方式將像素差異場圖進行差異深度轉(zhuǎn)化，最終將像素差異場圖量化至O至255 (單位I)的區(qū)間內(nèi)得到深度圖，生成深度圖后便可以將3D幀圖像轉(zhuǎn)換成可用于多視角(Mult1-view) 3D圖像生成的2D+Z (深度)格式。
[0075]對于深度估計而言，一個更為緊湊、范圍較小的差異場有利于最終O?255范圍內(nèi)較小誤差的量化。采用兩幅不同圖片進行了對比實驗，由實驗數(shù)據(jù)表明:本實施例中的四向搜索路徑多層3DRS與逐行同向搜索路徑多層3DRS，或第一實施例中的搜索路徑相比，差異范圍最小(第一幅圖，逐行搜索:72.25像素，隔行交替方向搜索:76像素，改進搜索路徑:63.5像素；第二幅圖，逐行搜索:89.5像素，隔行交替方向搜索:100像素，改進搜索路徑:84.5像素)，且本實施例中有效抑制了 3DRS算法估計差異場中奇異點的產(chǎn)生。
[0076]圖3示出根據(jù)本發(fā)明提供的一種基于多層3DRS的差異估計裝置第一個實施例的結(jié)構(gòu)框圖。本實施例的一種基于多層3DRS的差異估計裝置主要由智能終端來執(zhí)行。其中，智能終端包括但不限于:個人電腦、筆記本電腦、手機、平板電腦、視頻播放設(shè)備等，智能終端可以為能播放或解析3D視頻的智能終端。該裝置包括金字塔生成單元31、搜索路徑設(shè)置單元32和迭代計算單元33。
[0077]金字塔生成單元31，用于根據(jù)3D幀圖像的左圖和右圖分別搭建預(yù)設(shè)層數(shù)的圖像金字塔，根據(jù)所述圖像金字塔生成預(yù)設(shè)塊尺寸的塊網(wǎng)格差異場金字塔。
[0078]具體的，根據(jù)3D幀圖像的左圖和右圖采用加權(quán)平均的方法分別搭建預(yù)設(shè)層數(shù)的圖像金字塔，將所述圖像金字塔初始化為預(yù)設(shè)塊尺寸的塊網(wǎng)格差異場金字塔。圖像金字塔中包括左圖金字塔和右圖金字塔。3D幀圖像的左圖搭建預(yù)設(shè)層數(shù)的左圖金字塔，3D幀圖像的右圖也搭建預(yù)設(shè)層數(shù)的右圖金字塔，其中，高一層圖像金字塔的長、寬分別是底一層圖像金字塔的長、寬的1/2倍。根據(jù)圖像金字塔生成預(yù)設(shè)塊尺寸的塊網(wǎng)格差異場金字塔，差異場金字塔的生成方法為將右圖金字塔中相同層圖像像素坐標相比于左層金字塔中相同層圖像像素點對應(yīng)的坐標的矢量差構(gòu)成差異場金字塔。塊尺寸一般為正方形像素塊，如8*8，則將差異場金字塔通過以網(wǎng)格塊大小為8*8的塊網(wǎng)格分成若干個8*8的塊，得到塊網(wǎng)格差異場金字塔。
[0079]本實施例中，生成圖像金字塔的每層時，先根據(jù)3D幀圖像的尺寸獲得可以生成該層的尺寸，除以塊邊長，若不可以整除，則將3D幀圖像截圖為可以被塊邊長整除的尺寸，SP丟去了不足塊邊長個像素行或列，生成預(yù)設(shè)塊尺寸的塊網(wǎng)格差異場金字塔。
[0080]例如:對于1080*960(長*寬)像素的3D幀圖像，金字塔為3層，將生成從下至上逐層為:1080*960、540*480、270*240像素的圖像金字塔；可以直接判斷3D幀圖像的圖像尺寸為塊大小采用8*8像素時，各層塊網(wǎng)格差異場金字塔尺寸分別為135*120塊、67*60塊和33*30塊。差異場金字塔生成時丟棄了不足8像素的部分，如第二層的長為540像素/8 =67.5，丟去不足8像素的部分，變成67。
[0081]搜索路徑設(shè)置單元32，用于設(shè)置預(yù)設(shè)迭代次數(shù)的搜索路徑，其中每次迭代的搜索路徑均為逐行/列搜索，從每行/列的一端搜索到另一端，相鄰兩行/列搜索路徑相反的搜索路徑。
[0082]具體的，若設(shè)置逐行搜索，則將從每行的一端搜索到另一端，相鄰兩行搜索路徑相反，即若一行為從左向右搜索，則下一行為從右向左搜索；若設(shè)置逐列搜索，從每列的一端搜索到另一端，相鄰兩列搜索路徑相反，即若一列為從上至下，則下一列為從下至上。
[0083]以逐行搜索的搜索路徑為例，若迭代次數(shù)為4，若設(shè)置逐行搜索，由上至下逐行搜索，奇數(shù)行搜索為從左至右搜索，偶數(shù)行搜索為從右至左搜索。
[0084]進一步的，相鄰兩次搜索路徑相反，且上一次搜索的終點為下一次搜索的起點的搜索路徑，如上例，若奇數(shù)次迭代的搜索起點為左上角，迭代的搜索終點為右下角，偶數(shù)次迭代的搜索起點為右下角，迭代的搜索終點左上角。
[0085]迭代計算單元33，與金字塔生成單元和搜索路徑設(shè)置單元相連，用于根據(jù)預(yù)設(shè)的估計器逐層使用所述搜索路徑對各層塊網(wǎng)格差異場金字塔完成預(yù)設(shè)迭代次數(shù)的多層3DRS塊估計迭代計算，得到塊網(wǎng)格差異場金字塔中最底層的各塊差異估計值。
[0086]具體的，根據(jù)預(yù)設(shè)的估計器從最高層開始逐層使用所述搜索路徑對各層塊網(wǎng)格差異場金字塔完成預(yù)設(shè)迭代次數(shù)的多層3DRS塊估計迭代計算，得到塊網(wǎng)格差異場金字塔中最底層的各塊差異估計值。
[0087]其中，多層3DRS塊估計迭代計算為多層3DRS算法中獲得差異場金字塔最底層的各塊差異估計值的塊估計迭代計算步驟，但該步驟改變了多層3DRS算法中估計器的結(jié)構(gòu)以及搜索路徑。
[0088]如附圖5a和5c所示，估計器為將與搜索路徑匹配的斜置Y估計器(Oblique Yestimator)中本次未迭代計算的空間預(yù)測塊放置在與該斜置Y估計器中線對稱的已迭代的塊位置。
[0089]以斜置Y估計器為基礎(chǔ)，做了以下估計器設(shè)計。以設(shè)置逐行搜索的搜索路徑為例，對于奇數(shù)次迭代(圖5a)，左至右搜索時，估計器為空間預(yù)測塊(Χ_1，Υ)，(Χ，Υ_1)，分層預(yù)測塊(X，Y)，時間預(yù)測塊(Χ+2，Υ+2)結(jié)構(gòu)；右至左搜索時，估計器結(jié)構(gòu)為空間預(yù)測塊(Χ_1，Υ)、(X，Υ+1)，分層預(yù)測塊(X，Y)，時間預(yù)測塊(Χ-2，Υ-2)。對于偶數(shù)次迭代(圖5c)，右至左搜索時，估計器為空間預(yù)測塊(X+1，Y)、(X，Y+1)，分層預(yù)測塊(X，Y)，時間預(yù)測塊(X-2，Y-2)結(jié)構(gòu)；左至右搜索時，估計器結(jié)構(gòu)為空間預(yù)測塊(Χ+1，Υ)、(Χ，Υ_1)，分層預(yù)測塊(Χ，Υ)，時間預(yù)測塊(Χ+2，Υ+2) ο
[0090]需要說明的是，在隔行交替搜索方向時，若采用斜置Y估計器，由于塊(Χ+1，Υ)(奇次迭代)，(Χ-1，Y)(偶次迭代)無法作為空間預(yù)測塊(尚未計算到)，因此，選用了(Χ+1，Y)(奇次迭代)，(Χ+1，Y)(偶次迭代)代替。
[0091]根據(jù)估計值獲取的當前計算塊的每個候選向量，候選向量包括:空間候選向量、時間候選向量、分層候選向量、更新向量。
[0092]比較由以當前計算塊為中心的估計器中各候選向量指向位置區(qū)域為中心區(qū)域的比較窗與當前計算塊為中心區(qū)域的比較窗之間的差別，選擇差別最小者所對應(yīng)向量作為當前塊的計算結(jié)果。分別指向位置區(qū)域，差別在一定比較窗內(nèi)計算，并通過比較范圍進行約束。一種常規(guī)的做法是將比較窗的大小設(shè)置為與塊大小一致，如例中8*8像素。差別在像素網(wǎng)格下完成計算(即以像素為單位計算)，常采用絕對差和(SAD:Sum of absolutedifference)或絕對差平均(MAD:mean of absolute difference)的形式。
[0093]更新向量由空間候選向量與ASC表中隨機向量疊加組成。其中，由于ASC表具有亞像素精度(如0.25像素)，并通過空間向量傳遞給其他向量。當候選向量指向以非整數(shù)中心位置時，需采用插值算法得到非整數(shù)坐標位置的值。
[0094]每次多層3DRS塊估計迭代計算過程中均包括:判斷估計值獲取的當前計算塊的每個候選向量的指向位置區(qū)域是否為整數(shù)(指向位置區(qū)域?qū)?yīng)的中心位置坐標是否為整數(shù))，若是，則直接計算該候選向量指向位置區(qū)域為中心區(qū)域的比較窗與當前計算塊為中心區(qū)域的比較窗之間的差別；若不是，則