專利名稱：一種rgbd數(shù)據(jù)深度遷移的單幅圖像2d轉3d設備的制作方法
技術領域：
本實用新型屬于2D轉3D技術，特別涉及一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備。
背景技術：
3D視頻是傳統(tǒng)2D視頻的擴展，通過增加深度信息，使用戶體驗到視頻內容的立體感和臨場感。3D視頻作為下一代視頻的發(fā)展方向，涉及3D內容制作、傳輸、存儲、播放和顯示設備等技術，對于發(fā)展國民經(jīng)濟具有重要的現(xiàn)實意義。3D內容貧乏是制約當前3D視頻發(fā)展的主要因素之一，想要創(chuàng)建一批擁有較高品質和符合3D展示媒介需求的3D節(jié)目依然有較大難度。單幅圖像2D轉3D方法能夠在較短時間內以較低的成本將現(xiàn)有海量2D視頻資源轉換為可立體顯示的3D視頻，既能緩解當前3D內容貧乏的狀況，又能解決利用3D拍攝設備直接制作3D內容的高成本和操作不便性。2D轉3D方法的核心任務是從2D圖像中提取景物的深度信息。受人類視覺單目深度推理的啟發(fā)，研究人員提出了多種利用視覺線索進行單目圖像深度估計的理論和方法，例如透視、紋理、明暗度、聚焦度等?；谕敢暤膯文繄D像深度估計原理是平行線經(jīng)透視成像后將交于一點，稱為滅點(vanishing point),對應的線稱為滅線(vanishing line),根據(jù)滅線相交的方向對整幅圖像進行深度分配。圖像上紋理基元的幾何形態(tài)跟攝像機和紋理表面的位置關系有關，因而也可根據(jù)紋理透視縮放(與表面方向有關)和密度變化效應(與觀察者和紋理基元的距離有關)進行深度估計。在朗伯表面的假設前提下，在光源照明下物體表面灰度隨著表面法線變化,因而可通過分析物體表面的明暗度變化估計出物體的深度。聚焦深度提取考慮到低深度場景中只有處在離鏡頭特定位置處才能被聚焦，其他位置都會產(chǎn)生不同程度的模糊，且模糊程度與所處的距離有關。上述方法的缺陷是通用性差，只有場景包含對應的深度線索時才可能得到可靠的深度估計結果；且這些方法只能得到相對深度，難以獲取精確的深度信息。因而為推動3D視頻的發(fā)展，迫切需要設計一種具有場景普適性的高質量2D轉3D方法。隨著Kinect的流行和推廣，互聯(lián)網(wǎng)上已聚集海量RGBD數(shù)據(jù)。另一方面，基于內容的圖像檢索技術已成熟。經(jīng)驗告訴我們，相似的場景具有相似的深度。因而根據(jù)場景匹配，從海量RGBD數(shù)據(jù)庫中查詢輸入場景的深度成為可能。本實用新型的出發(fā)點正是基于這一事實。

實用新型內容本實用新型的目的，是提供一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，以克服現(xiàn)有2D轉3D技術場景適用性差、難以保證深度估計質量和計算復雜的問題。為達到上述目的，本實用新型提供了一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其中，包括有依次連接的輸入裝置、能在互聯(lián)網(wǎng)RGBD數(shù)據(jù)庫中檢索出原始2D圖像的檢索裝置、能對輸入場景進行深度處理的深度處理器以及顯示器，所述的深度處理器與顯示器之間還設有用于將深度處理器處理后的圖像進行處理并合成3D圖的合成設備；輸入裝置與深度處理器連接配合。優(yōu)選方案還包括:上述的檢索裝置與深度處理器之間設有用于將原始2D圖像進行初始深度估計的初始融合器。上述的初始融合器與檢索裝置之間設有用于對比輸入圖像和檢索圖像之間像素級稠密對應關系的匹配識別器。上述的輸入裝置包括有鍵盤及鼠標。上述的顯示器為IXD顯示器或LED顯示器。與現(xiàn)有技術相比，本實用新型一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其中，包括有依次連接的輸入裝置、能在互聯(lián)網(wǎng)RGBD數(shù)據(jù)庫中檢索出原始2D圖像的檢索裝置、能對輸入場景進行深度處理的深度處理器以及顯示器，所述的深度處理器與顯示器之間還設有用于將深度處理器處理后的圖像進行處理并合成3D圖的合成設備。本實用新型的有益效果:互聯(lián)網(wǎng)上已有和持續(xù)增加的海量RGBD數(shù)據(jù)庫保證了對于任何輸入場景，總能在互聯(lián)網(wǎng)上檢索到匹配場景，從而保證了本實用新型的場景通用性，適用于各類復雜拍攝環(huán)境和場景；本實用新型利用互聯(lián)網(wǎng)上深度傳感器采集的RGBD數(shù)據(jù)，可得到場景的精確深度信息，不像傳統(tǒng)2D轉3D方法僅得到相對深度信息；由于本實用新型采用隨機搜索和鄰域傳遞建立輸入場景和匹配場景之間的稠密匹配關系，顯著減少了最近鄰搜素空間，從而提高了計算速度；另一方面，鄰域傳遞考慮了圖像局部結構和景物構圖關系，更容易保證場景之間目標的對齊，改善了深度遷移質量；使用DIBR技術合成3D圖時根據(jù)視覺顯著度對深度進行非線性調整，保證了視覺顯著區(qū)域的立體臨場感。本實用新型具有克服現(xiàn)有2D轉3D技術場景適用性好、保證深度估計質量的優(yōu)點。

圖1為本實用新型結構示意圖；圖2為本實用新型的運作流程圖。
具體實施方式
以下結合附圖對本實用新型的實施例作進一步詳細描述。圖1至圖2所示為本實用新型的結構示意圖。其中的附圖標記為:輸入裝置1、檢索裝置2、深度處理器3、顯示器4、合成設備5、初始融合器6、匹配識別器7。如圖1至圖2所示，本實用新型一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其中，包括有依次連接的輸入裝置1、能在互聯(lián)網(wǎng)RGBD數(shù)據(jù)庫中檢索出原始2D圖像的檢索裝置2、能對輸入場景進行深度處理的深度處理器3以及顯示器4，所述的深度處理器3與顯示器4之間還設有用于將深度處理器3處理后的圖像進行處理并合成3D圖的合成設備5 ;輸入裝置I與深度處理器3連接配合。實施例中，檢索裝置2與深度處理器3之間設有用于將原始2D圖像進行初始深度估計的初始融合器6。[0023]實施例中，初始融合器6與檢索裝置2之間設有用于對比輸入圖像和檢索圖像之間像素級稠密對應關系的匹配識別器7。實施例中，輸入裝置I包括有鍵盤及鼠標。實施例中，顯示器4為IXD顯示器或LED顯示器?；诨ヂ?lián)網(wǎng)海量RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D方法流程包括:I)通過輸入裝置I輸入原始2D圖像，在深度處理器3中計算原始2D圖像的全局描述符，這里采用GIST特征，其計算過程為:首先，創(chuàng)建不同方向和尺度的Gabor濾波器對圖像進行濾波得到若干個特征圖，并將每個特征圖分割成4X4的塊；其次，計算特征圖里每個塊的平均值；最后，將所有特征圖里塊的平均值依次排列作為原始2D圖像的GIST特征，并用GIST特征作為圖像的全局描述符。2)通過檢索裝置2根據(jù)原始2D圖像的全局描述符從互聯(lián)網(wǎng)上海量RGBD數(shù)據(jù)庫中檢索出#近鄰場景及其對應的深度。采用下述公式度量原始2D圖像與候選圖像的匹配代價。其中0為原始2D圖像，C為從RGBD數(shù)據(jù)庫中檢索出的待匹配圖像，G(.)表示GIST特征矢量。具體過程為:首先，根據(jù)下式依次計算^與RGBD數(shù)據(jù)庫中每個圖像的匹配代價；然后，對匹配代價從小到大進行排序；最后，從中選取#個最小的作為候選匹配場景，其對應的深度作為G的候選估計深度。.
權利要求1.一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其特征在于:包括有依次連接的輸入裝置(I)、能在互聯(lián)網(wǎng)RGBD數(shù)據(jù)庫中檢索出原始2D圖像的檢索裝置(2)、能對輸入場景進行深度處理的深度處理器(3)以及顯示器(4)，所述的深度處理器(3)與顯示器(4)之間還設有用于將深度處理器(3)處理后的圖像進行處理并合成3D圖的合成設備(5);所述的輸入裝置(I)與深度處理器(3)連接配合。
2.根據(jù)權利要求1所述的一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其特征在于:所述的檢索裝置(2)與深度處理器(3)之間設有用于將原始2D圖像進行初始深度估計的初始融合器(6)。
3.根據(jù)權利要求2所述的一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其特征在于:所述的初始融合器(6)與檢索裝置(2)之間設有用于對比輸入圖像和檢索圖像之間像素級稠密對應關系的匹配識別器(7)。
4.根據(jù)權利要求3所述的一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其特征在于:所述的輸入裝置(I)包括有鍵盤及鼠標。
5.根據(jù)權利要求4所述的一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其特征在于:所述的顯示器(4)為IXD顯示器或LED顯示器。
專利摘要本實用新型涉及一種RGBD數(shù)據(jù)深度遷移的單幅圖像2D轉3D設備，其中，包括有依次連接的輸入裝置、能在互聯(lián)網(wǎng)RGBD數(shù)據(jù)庫中檢索出原始2D圖像的檢索裝置、能對輸入場景進行深度處理的深度處理器以及顯示器，所述的深度處理器與顯示器之間還設有用于將深度處理器處理后的圖像進行處理并合成3D圖的合成設備。本實用新型的優(yōu)點是具有場景普適性，對使用條件沒有限制；計算量較小，可批量生成2D圖像的精確深度圖；對視覺顯著區(qū)域的3D合成圖進行了增強處理；兼容多種輸出格式的3D圖。
文檔編號G06F17/30GK203027382SQ20132002332
公開日2013年6月26日 申請日期2013年1月17日 優(yōu)先權日2013年1月17日
發(fā)明者袁紅星, 吳少群, 朱仁祥, 諸葛霞 申請人:寧波工程學院