專利名稱：坐標(biāo)獲取裝置、實時三維重建系統(tǒng)和方法、立體交互設(shè)備的制作方法
技術(shù)領(lǐng)域：
本申請涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及一種基于計算機視覺的實時三維目標(biāo)重建系統(tǒng)和方法及所使用的三維坐標(biāo)信息獲取裝置、以及一種立體交互設(shè)備。
背景技術(shù)：
隨著人們對智能化人機交互領(lǐng)域的需求越來越高，如何使機器理解人成為一個亟待解決的問題。研究表明，如果能夠借助各種傳感設(shè)備實時提取人的行為的三維(3D)信息并設(shè)定某些規(guī)則使機器理解這些信息，將是解決這個問題的關(guān)鍵環(huán)節(jié)，其中3D目標(biāo)重建是實現(xiàn)該關(guān)鍵環(huán)節(jié)的基礎(chǔ)。3D目標(biāo)重建是指在一個有限的3D視場中，提取目標(biāo)在空間直角坐標(biāo)系的X方向、Y方向以及Z方向的位置信息，據(jù)此實現(xiàn)3D重建。

發(fā)明內(nèi)容
根據(jù)本申請的第一方面，提供一種用于實時三維目標(biāo)重建的坐標(biāo)獲取裝置，包括圖像采集模塊，用于通過紅外雙目攝像機的第一攝像頭和第二攝像頭對同一目標(biāo)物進行拍攝，分別得到第一圖像和第二圖像；區(qū)域選擇模塊，用于基于圖像灰度特征在第一圖像中確定出感興趣區(qū)域；邊緣點提取模塊，用于對感興趣區(qū)域進行邊緣點提??；深度計算模塊，用于在第二圖像中，搜索與第一圖像的邊緣點對應(yīng)的匹配點，根據(jù)邊緣點的坐標(biāo)及匹配點的坐標(biāo)，得到匹配點的三維坐標(biāo)。根據(jù)本申請的第二方面，提供一種使用上述坐標(biāo)獲取裝置的實時三維目標(biāo)重建系統(tǒng)，其還包括目標(biāo)重構(gòu)模塊，用于在第一校準(zhǔn)圖像中，根據(jù)邊緣點進行插值得到插值點，在第二校準(zhǔn)圖像中搜索與插值點對應(yīng)的匹配插值點，根據(jù)插值點的坐標(biāo)及匹配插值點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，得到匹配插值點的三維坐標(biāo)，根據(jù)匹配插值點的三維坐標(biāo)實現(xiàn)目標(biāo)物的三維重建。根據(jù)本申請的第三方面，提供一種使用上述坐標(biāo)獲取裝置或三維目標(biāo)重建系統(tǒng)的立體交互設(shè)備。根據(jù)本申請的第四方面，提供一種實時三維目標(biāo)重建方法，包括圖像采集步驟，通過紅外雙目攝像機的第一攝像頭和第二攝像頭對同一目標(biāo)物進行拍攝，分別得到第一圖像和第二圖像，所述第一圖像包括第一紅外圖像和第一紅外增強圖像，所述第二圖像為第二紅外增強圖像；區(qū)域選擇步驟，針對第一紅外增強圖像中的每個像素點以及與該像素點對應(yīng)的第一紅外圖像中的每個像素點，計算二者的灰度值的比值或灰度值的差值，比值大于第一預(yù)設(shè)閾值或差值大于第二預(yù)設(shè)閾值的像素點構(gòu)成感興趣區(qū)域；邊緣點提取步驟，對感興趣區(qū)域進行邊緣點提??；深度計算步驟，在第二圖像中，搜索與第一圖像的邊緣點對應(yīng)的匹配點，根據(jù)邊緣點的坐標(biāo)及匹配點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，得到匹配點的三維坐標(biāo)；目標(biāo)重構(gòu)步驟，在第一圖像中，根據(jù)邊緣點進行插值得到插值點，在第二圖像中搜索與插值點對應(yīng)的匹配插值點，根據(jù)插值點的坐標(biāo)及匹配插值點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，得到匹配插值點的三維坐標(biāo)，根據(jù)匹配插值點的三維坐標(biāo)實現(xiàn)目標(biāo)物的三維重建。本申請的有益效果是通過從第一圖像中提取邊緣點，在第二圖像中找出該邊緣點的匹配點，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，從而得到匹配點的空間三維坐標(biāo)，這種方案適用于近距離三維目標(biāo)重建。一種實施例中，結(jié)合紅外光源的輔助可得到具有穩(wěn)定亮度的圖像，使得后續(xù)計算的準(zhǔn)確度增加，區(qū)域選取時只采用簡單的灰度特征，加快了處理速度，僅以選取出的感興趣區(qū)域的邊緣點進行計算，達到了減少計算量且又提高速度的目的。進一步地，通過腐蝕處理消除區(qū)域邊界處的不可靠點，從而達到提高精度的目的。


圖1為本申請一種實施例的坐標(biāo)獲取裝置的結(jié)構(gòu)示意圖；圖2為本申請一種實施例的深度計算方法的流程示意圖；圖3為本申請一種實施例的雙目攝像機的結(jié)構(gòu)示意圖；圖4為本申請另一種實施例的坐標(biāo)獲取裝置的結(jié)構(gòu)示意圖；圖5為本申請一種實施例的校準(zhǔn)和區(qū)域選擇處理的結(jié)構(gòu)示意圖；圖6為本申請另一種實施例的坐標(biāo)獲取裝置的結(jié)構(gòu)示意圖；圖7為本申請另一種實施例的坐標(biāo)獲取裝置的結(jié)構(gòu)示意圖；圖8為本申請一種實施例的坐標(biāo)獲取裝置的一種應(yīng)用示意圖。
具體實施例方式下面通過具體實施方式
結(jié)合附圖對本發(fā)明作進一步詳細說明。實施例1由于目標(biāo)在空間直角坐標(biāo)系的X方向和Y方向上的實時坐標(biāo)可以通過任意一個攝像頭拍攝到的數(shù)據(jù)得到，而Z方向的坐標(biāo)信息無法直接得到，所以如何計算Z方向的實時坐標(biāo)是實現(xiàn)三維目標(biāo)重建的關(guān)鍵點之一。本申請的一種用于實時三維目標(biāo)重建的坐標(biāo)獲取裝置可參考圖1，包括圖像采集模塊101、區(qū)域選擇模塊103、邊緣點提取模塊105和深度計算模塊107。圖像采集模塊101用于通過雙目攝像機的第一攝像頭和第二攝像頭對同一目標(biāo)物進行拍攝，分別得到第一圖像和第二圖像。雙目攝像機可采用常規(guī)的雙目攝像機。區(qū)域選擇模塊103用于基于圖像灰度特征在第一圖像中確定出感興趣區(qū)域。邊緣點提取模塊105用于對感興趣區(qū)域進行邊緣點提取。深度計算模塊107用于在第二圖像中搜索與第一圖像的邊緣點對應(yīng)的匹配點，根據(jù)邊緣點的坐標(biāo)及匹配點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離，根據(jù)圖像間立體視差反比于測量深度進行計算，得到匹配點的三維坐標(biāo)。這里深度計算的方法可采用基于區(qū)域的方法進行計算，這樣可以在保證精度的情況下提高速度。如圖2所示，最上方的虛線框內(nèi)為待拍攝的目標(biāo)物，中間為雙目攝像機(含攝像頭I和攝像頭2)，最下方的左邊圖為攝像頭I拍攝得到的圖像L，右邊圖為攝像頭2拍攝得到的圖像R，其中T為攝像頭I和攝像頭2的中心點距離，f為攝像頭焦距，Cl1和d2分別為兩個攝像頭拍攝到的圖像在X方向上的偏移距離。在圖像L中以提取的邊緣點為中心Pc，選取m*m(m為像素點的數(shù)目)大小的掃描區(qū)域，掃描圖像R中以與Pc位置相同的像素點為中心的相同大小(即m*m)的區(qū)域，對圖像L和圖像R中的相應(yīng)的掃描區(qū)域中像素灰度值差的絕對值求和，所求和的值最小的中心點位置就是圖像L中邊緣點在圖像R中的匹配點的相對位置，由此可以得到d2的值，利用如下公式
權(quán)利要求
1.一種用于實時三維目標(biāo)重建的坐標(biāo)獲取裝置，其特征在于，包括圖像采集模塊，用于通過紅外雙目攝像機的第一攝像頭和第二攝像頭對同一目標(biāo)物進行拍攝，分別得到第一圖像和第二圖像；區(qū)域選擇模塊，用于基于圖像灰度特征在第一圖像中確定出感興趣區(qū)域；邊緣點提取模塊，用于對感興趣區(qū)域進行邊緣點提取；深度計算模塊，用于在第二圖像中，搜索與第一圖像的邊緣點對應(yīng)的匹配點，根據(jù)邊緣點的坐標(biāo)及匹配點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，得到匹配點的三維坐標(biāo)。
2.如權(quán)利要求1所述的坐標(biāo)獲取裝置，其特征在于，所述第一圖像包括第一紅外圖像和第一紅外增強圖像，所述第二圖像為第二紅外增強圖像；所述區(qū)域選擇模塊包括計算選擇單元，用于針對第一紅外增強圖像中的每個像素點以及與該像素點對應(yīng)的第一紅外圖像中的每個像素點，計算二者的灰度值的比值或灰度值的差值，比值大于第一預(yù)設(shè)閾值或差值大于第二預(yù)設(shè)閾值的像素點構(gòu)成感興趣區(qū)域；所述坐標(biāo)獲取裝置還包括校準(zhǔn)模塊，用于基于雙目攝像機的標(biāo)定參數(shù)，對第二紅外增強圖像和選出感興趣區(qū)域的第一紅外增強圖像進行校準(zhǔn)并輸出；所述深度計算模塊中的第二圖像為校準(zhǔn)后的第二紅外增強圖像。
3.如權(quán)利要求1所述的坐標(biāo)獲取裝置，其特征在于，所述第一圖像包括第一紅外圖像和第一紅外增強圖像，所述第二圖像為第二紅外增強圖像；所述坐標(biāo)獲取裝置還包括校準(zhǔn)模塊，用于基于雙目攝像機的標(biāo)定參數(shù)，對第一紅外圖像、第一紅外增強圖像和第二紅外增強圖像進行校準(zhǔn)并輸出；所述深度計算模塊中的第二圖像為校準(zhǔn)后的第二紅外增強圖像；所述區(qū)域選擇模塊包括計算選擇單元，用于針對校準(zhǔn)后的第一紅外增強圖像中的每個像素點以及與該像素點對應(yīng)的校準(zhǔn)后的第一紅外圖像中的每個像素點，計算二者的灰度值的比值或灰度值的差值，比值大于第一預(yù)設(shè)閾值或差值大于第二預(yù)設(shè)閾值的像素點構(gòu)成感興趣區(qū)域。
4.如權(quán)利要求1-3任一項所述的坐標(biāo)獲取裝置，其特征在于，還包括無效點去除模塊，用于在提取邊緣點之前，對感興趣區(qū)域進行腐蝕處理。
5.如權(quán)利要求1-4任一項所述的坐標(biāo)獲取裝置，其特征在于，所述深度計算模塊包括 搜索單元，用于在第一圖像中以提取的每個邊緣點為中心點選定預(yù)定大小的掃描區(qū)域，在第二圖像中以與每個邊緣點的中心點的坐標(biāo)位置對應(yīng)的像素點選取與預(yù)定大小相同的掃描區(qū)域，計算這兩個掃描區(qū)域內(nèi)各相應(yīng)的像素點的灰度值之差的絕對值之和，與所求和的最小值對應(yīng)的中心點即是第二圖像中與第一圖像的邊緣點對應(yīng)的匹配點；坐標(biāo)計算單元，根據(jù)邊緣點的坐標(biāo)及匹配點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離，根據(jù)圖像間立體視差反比于測量深度進行計算，得到匹配點的三維坐標(biāo)。
6.如權(quán)利要求1-5任一項所述的坐標(biāo)獲取裝置，其特征在于，所述圖像采集模塊包括具第一攝像頭和第二攝像頭的雙目攝像機、紅外光源、紅外濾光片和控制電路；所述紅外光源設(shè)置在所述第一攝像頭和第二攝像頭的鏡頭外圍；所述紅外濾光片位于鏡頭和攝像頭的圖像傳感器之間；所述控制電路用于控制第一攝像頭在紅外光源為關(guān)閉狀態(tài)時拍攝以得到第一紅外圖像，控制第一攝像頭和第二攝像頭在紅外光源為開啟狀態(tài)時拍攝以得到第一紅外增強圖像和第二紅外增強圖像。
7.一種實時三維目標(biāo)重建系統(tǒng)，其特征在于，包括如權(quán)利要求1-6任一項的坐標(biāo)獲取裝置，還包括目標(biāo)重構(gòu)模塊，用于在第一校準(zhǔn)圖像中，根據(jù)邊緣點進行插值得到插值點， 在第二校準(zhǔn)圖像中搜索與插值點對應(yīng)的匹配插值點，根據(jù)插值點的坐標(biāo)及匹配插值點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，得到匹配插值點的三維坐標(biāo)，根據(jù)匹配插值點的三維坐標(biāo)實現(xiàn)目標(biāo)物的三維重建。
8.一種立體交互設(shè)備，其特征在于，包括如權(quán)利要求1-6任一項所述的坐標(biāo)獲取裝置或如權(quán)利要求7所述的實時三維目標(biāo)重建系統(tǒng)。
9.一種實時三維目標(biāo)重建方法，其特征在于，包括圖像采集步驟，通過紅外雙目攝像機的第一攝像頭和第二攝像頭對同一目標(biāo)物進行拍攝，分別得到第一圖像和第二圖像，所述第一圖像包括第一紅外圖像和第一紅外增強圖像， 所述第二圖像為第二紅外增強圖像；區(qū)域選擇步驟，針對第一紅外增強圖像中的每個像素點以及與該像素點對應(yīng)的第一紅外圖像中的每個像素點，計算二者的灰度值的比值或灰度值的差值，比值大于第一預(yù)設(shè)閾值或差值大于第二預(yù)設(shè)閾值的像素點構(gòu)成感興趣區(qū)域；邊緣點提取步驟，對感興趣區(qū)域進行邊緣點提??；深度計算步驟，在第二圖像中，搜索與第一圖像的邊緣點對應(yīng)的匹配點，根據(jù)邊緣點的坐標(biāo)及匹配點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，得到匹配點的三維坐標(biāo)；目標(biāo)重構(gòu)步驟，在第一圖像中，根據(jù)邊緣點進行插值得到插值點，在第二圖像中搜索與插值點對應(yīng)的匹配插值點，根據(jù)插值點的坐標(biāo)及匹配插值點的坐標(biāo)，結(jié)合雙目攝像機的焦距及兩攝像頭中心點的距離進行計算，得到匹配插值點的三維坐標(biāo)，根據(jù)匹配插值點的三維坐標(biāo)實現(xiàn)目標(biāo)物的三維重建。
10.如權(quán)利要求9所述的實時三維目標(biāo)重建方法，其特征在于，還包括無效點去除步驟，在提取邊緣點之前對感興趣區(qū)域進行腐蝕處理；校準(zhǔn)步驟，執(zhí)行于區(qū)域選擇步驟之前或之后，基于雙目攝像機的標(biāo)定參數(shù)，對第一紅外圖像、第一紅外增強圖像和第二紅外增強圖像進行校準(zhǔn)并輸出。
全文摘要
本申請公開了一種基于計算機視覺的實時三維目標(biāo)重建系統(tǒng)和方法及所使用的三維坐標(biāo)信息獲取裝置、以及一種立體交互設(shè)備。其中，坐標(biāo)獲取裝置包括圖像采集模塊，用于通過紅外雙目攝像機的第一攝像頭和第二攝像頭對同一目標(biāo)物進行拍攝，分別得到第一圖像和第二圖像；區(qū)域選擇模塊，用于基于圖像灰度特征在第一圖像中確定出感興趣區(qū)域；邊緣點提取模塊，用于對感興趣區(qū)域進行邊緣點提??；深度計算模塊，用于在第二圖像中，搜索與第一圖像的邊緣點對應(yīng)的匹配點，根據(jù)邊緣點的坐標(biāo)及匹配點的坐標(biāo)，得到匹配點的三維坐標(biāo)。本申請?zhí)峁┑姆桨高m用于近距離三維目標(biāo)重建。
文檔編號G06T17/00GK102999939SQ20121035351
公開日2013年3月27日 申請日期2012年9月21日 優(yōu)先權(quán)日2012年9月21日
發(fā)明者王偉, 黃宇聰, 魏益群, 劉翩 申請人:魏益群, 王偉, 黃宇聰