專利名稱：一種創(chuàng)建深度圖的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，特別涉及一種創(chuàng)建深度圖的方法及裝置。
背景技術(shù)：
立體視覺就是建立多幅圖像之間的對(duì)應(yīng)關(guān)系，從而提取所拍攝的場(chǎng)景的幾 何信息。在立體視覺領(lǐng)域里，深度圖扮演著重要的角色，深度圖是一張存儲(chǔ)深 度值的圖像。在立體視覺領(lǐng)域的多攝l象機(jī)系統(tǒng)(系統(tǒng)中的攝像機(jī)的數(shù)目多于兩 個(gè))中，深度圖得到了廣泛的應(yīng)用，所以如何創(chuàng)建多攝像機(jī)系統(tǒng)的深度圖是立 體視覺領(lǐng)域的一項(xiàng)重要的技術(shù)。
目前采用以下的方法創(chuàng)建多攝像機(jī)系統(tǒng)的深度圖，具體為對(duì)多攝像機(jī)系 統(tǒng)拍攝的每張圖像進(jìn)行"過分割"，得到每張圖像的若干個(gè)分割塊，然后通過"由 粗到細(xì)"的方法計(jì)算每個(gè)分割塊的DSD (disparity space distribution, -現(xiàn)差空間 分布)，根據(jù)每個(gè)分割塊的DSD,并對(duì)每個(gè)分割塊施加視差的平滑約束，計(jì)算得 到每張圖像的深度圖。 ' '
在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題 采用目前的創(chuàng)建深度圖的方法創(chuàng)建的深度圖，由于深度圖中的圖像的輪廓 比較模糊，因而導(dǎo)致深度圖的準(zhǔn)確性較低。

發(fā)明內(nèi)容
為了提高深度圖的準(zhǔn)確性，本發(fā)明實(shí)施例提供了 一種創(chuàng)建深度圖的方法及 裝置。所述技術(shù)方案如下
一種創(chuàng)建深度圖的方法，所述方法包括 計(jì)算參考圖像的像素點(diǎn)的侯選深度值；
根據(jù)所述參考圖像和所述參考圖像的相鄰圖像，創(chuàng)建所述像素點(diǎn)的打分函
數(shù)；
根據(jù)所述像素點(diǎn)的打分函數(shù)和灰度值，利用信念傳播模型從所述侯選深度值中確定所述像素點(diǎn)的深度值；
存儲(chǔ)所述深度值得到所述參考圖像的深度圖。 所述計(jì)算參考圖像的像素點(diǎn)的侯選深度值，具體包括 在參考圖像的像素點(diǎn)與攝像機(jī)的光心連線的延長(zhǎng)線上進(jìn)行采樣，得到采樣
點(diǎn)；
計(jì)算所述采樣點(diǎn)到所述攝像機(jī)的距離； 根據(jù)所述采樣點(diǎn)的距離，計(jì)算所述像素點(diǎn)的侯選深度值。 所述根據(jù)所述參考圖像和所述參考圖像的相鄰圖像，創(chuàng)建所述像素點(diǎn)的打
分函數(shù)，具體包括
將所述采樣點(diǎn)投影在所述參考圖像的相鄰圖像，得到投影點(diǎn)； 根據(jù)所述像素點(diǎn)與所述投影點(diǎn)，計(jì)算所述投影點(diǎn)與所述像素點(diǎn)之間的歸一
化互相關(guān)值NCC;
以所述侯選深度值為自變量，以所述NCC為從變量創(chuàng)建所述相鄰圖像的 NCC函數(shù)；
將所述相鄰圖像的NCC函數(shù)進(jìn)行融合，得到所述像素點(diǎn)的打分函數(shù)。
所述根據(jù)所述像素點(diǎn)與所述投影點(diǎn)，計(jì)算所述投影點(diǎn)與所述像素點(diǎn)之間的 歸一化互相關(guān)值NCC，具體包括
建立所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像窗口 ；
根據(jù)所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像'窗口 ，計(jì)算所述投影點(diǎn)與 所述像素點(diǎn)之間的NCC。
一種創(chuàng)建深度圖的裝置，所述裝置包括
計(jì)算模塊，用于計(jì)算參考圖像的像素點(diǎn)的侯選深度值；
創(chuàng)建模塊，用于根據(jù)所述參考圖像和所述參考圖像的相鄰圖像，創(chuàng)建所述 像素點(diǎn)的打分函數(shù)；
確定模塊，用于根據(jù)所述像素點(diǎn)的打分函數(shù)和灰度值，利用信念傳播模型
從所述侯選深度值中確定所述像素點(diǎn)的深度值；
存儲(chǔ)模塊，用于存儲(chǔ)所述深度值得到所述參考圖像的深度圖。 所述計(jì)算模塊具體包括
采樣單元，用于在參考圖像的像素點(diǎn)與攝像機(jī)的光心連線的延長(zhǎng)線上進(jìn)行 采樣，得到采樣點(diǎn)；第一計(jì)算單元，用于計(jì)算所述采樣點(diǎn)到所述攝像機(jī)的距離；
第二計(jì)算單元，用于根據(jù)所述采樣點(diǎn)的距離，計(jì)算所述像素點(diǎn)的侯選深度值。
所述創(chuàng)建模塊具體包括
投影單元，用于將所述采樣點(diǎn)投影在所述參考圖像的相鄰圖像，得到投影
點(diǎn)；
第三計(jì)算單元，用于根據(jù)所述像素點(diǎn)與所述投影點(diǎn)，計(jì)算所述投影點(diǎn)與所 述像素點(diǎn)之間的歸一化互相關(guān)值NCC;
創(chuàng)建單元，用于以所述侯選深度值為自變量，以所述NCC為從變量創(chuàng)建所 述相鄰圖像的NCC函數(shù)；
融合單元，用于將所述相鄰圖像的NCC函數(shù)進(jìn)行融合，得到所述像素點(diǎn)的 打分函數(shù)。
所述第三計(jì)算單元具體包括
建立子單元，用于建立所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像窗口 ； 計(jì)算子單元，用于根據(jù)所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像窗口 ，
計(jì)算所述投影點(diǎn)與所述像素點(diǎn)之間的NCC。
通過采樣點(diǎn)計(jì)算參考圖像的像素點(diǎn)的侯選深度值，將采樣點(diǎn)投影在參考圖 像的相鄰圖像，得到投影點(diǎn)，根據(jù)采樣點(diǎn)和投影點(diǎn)，創(chuàng)建參考圖像的像素點(diǎn)的 打分函數(shù)，根據(jù)打分函數(shù)，it過信念傳播模型確定出參考圖像的像素點(diǎn)'的深度 值，存儲(chǔ)確定的深度值得到深度圖，使得創(chuàng)建的深度圖中的圖像的輪廓清晰， 從而提高了深度圖的準(zhǔn)確性。


圖1是本發(fā)明實(shí)施例4是供的一種創(chuàng)建深度圖的方法流程圖； 圖2是本發(fā)明實(shí)施例提供的一種創(chuàng)建深度圖的方法詳細(xì)流程圖； 圖3是本發(fā)明實(shí)施例提供的一種創(chuàng)建深度圖的裝置示意圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明 實(shí)施方式作進(jìn)一步地詳細(xì)描述。實(shí)施例1
如圖1所示，本發(fā)明實(shí)施例提供了一種創(chuàng)建深度的方法，包括 步驟101:計(jì)算參考圖像的像素點(diǎn)的侯選深度值；
其中，計(jì)算參考圖像的像素點(diǎn)的侯選深度值的詳細(xì)過程參見實(shí)施例2的步 驟201-204，在此不再贅述。
步驟102:根據(jù)參考圖像和參考圖像的相鄰圖像，創(chuàng)建參考圖像中的該像素 點(diǎn)的打分函數(shù)；
其中，如何創(chuàng)建參考圖像中的該像素點(diǎn)的打分函數(shù)的詳細(xì)過程參見實(shí)施例2 的步驟205-210,在此不再贅述。
其中，重復(fù)的按照步驟101-102得到參考圖像中的剩下每個(gè)像素點(diǎn)的侯選深 度值和打分函數(shù)。
步驟103:根據(jù)參考圖像中的每個(gè)像素點(diǎn)的打分函數(shù)和灰度值，利用信念傳 播模型從每個(gè)像素點(diǎn)的侯選深度值中確定每個(gè)像素點(diǎn)的深度值； 步驟104:存儲(chǔ)每個(gè)像素點(diǎn)的深度值得到參考圖像的深度圖。 在本發(fā)明實(shí)施例，通過計(jì)算參考圖像的像素點(diǎn)的侯選深度值，根據(jù)參考圖 像和參考圖像的相鄰圖像，創(chuàng)建參考圖像的每個(gè)像素點(diǎn)的打分函數(shù)，根據(jù)每個(gè)
像素點(diǎn)的打分函數(shù)和灰度值，通過信念傳播模型確定出參考圖像的每個(gè)像素點(diǎn) 的深度值，存儲(chǔ)確定的深度值得到深度圖，使傳創(chuàng)建的深度圖中的圖像的輪廓 清晰，從而提高了深度圖的準(zhǔn)確性。
實(shí)施例2
如圖2所示，本發(fā)明實(shí)施例提供了一種創(chuàng)建深度圖的方法，包括 步驟201:利用多視角幾何的原理，針對(duì)參考圖像的一個(gè)像素點(diǎn)，在該像素 點(diǎn)與采集該參考圖像的攝像機(jī)的光心連線的延長(zhǎng)線上，在物體離該攝像機(jī)的最 近距離Zmin與最遠(yuǎn)距離Z應(yīng)之間，等間隔采樣，得到若干個(gè)采樣點(diǎn)；
其中，多攝像機(jī)系統(tǒng)(攝像機(jī)至少為三個(gè))在不同的角度對(duì)同一物體進(jìn)行 攝像，得到同一物體在不同角度的圖像，在這些圖像中，左右各存在N個(gè)相鄰 圖像的圖像可以作為參考圖像，其中，N為事先設(shè)置的數(shù)值。例如，對(duì)于有6 個(gè)攝像機(jī)從左到右依次采集了 A、 B、 C、 D、 E和F六張圖像，設(shè)置N的取值為2,其中，只有圖像C和圖像D的左右相鄰的圖像的個(gè)數(shù)各為兩個(gè)，所以可
以選擇圖像C和圖像D作為參考圖像。
其中，在本實(shí)施例中采樣間隔表示為interval,其大小是事先設(shè)置的數(shù)值，
所以采樣點(diǎn)的個(gè)數(shù)為K=Z,-Zmin 。
interval
其中，在本實(shí)施例中使用參考圖像的左右相鄰圖像可以解決遮擋問題
(occlusionproblem)。在參考圖像的某一側(cè)的相鄰圖像里因?yàn)檎趽醪糠中畔ⅲ?br> 該側(cè)相鄰的圖像中不存在參考圖像中的被遮擋的信息，但在另 一側(cè)的相鄰圖像
中一定存在該部分遮擋的信息。因此使用參考圖像的左右兩側(cè)的相鄰圖像，可
以解決遮擋問題，從而提高本實(shí)施例創(chuàng)建深度圖的準(zhǔn)確性。
步驟202:根據(jù)公式(l)，計(jì)算每個(gè)采樣點(diǎn)到該攝像機(jī)的距離； Zk=Zmin+kxinterval(k=0,l..，K)……(工)
其中，k表示第k個(gè)采樣點(diǎn)，Zk表示第k個(gè)采樣點(diǎn)到該攝^4幾的距離。
步驟203:針對(duì)一個(gè)釆樣點(diǎn)，根據(jù)該采樣點(diǎn)到攝像機(jī)的距離，將該采樣點(diǎn)投 影到參考圖像的左側(cè)N張相鄰圖像和右側(cè)N張相鄰圖像，得到該采樣點(diǎn)在2N 張相鄰圖像中的投影點(diǎn)；其中，該采樣點(diǎn)在每張相鄰圖像中對(duì)應(yīng)一個(gè)投影點(diǎn)；
例如，步驟201中的A、 B、 C、 D、 E和F六張圖像，假設(shè)，參考圖像為 圖像C,將采樣點(diǎn)投影在圖像C的左側(cè)兩張相鄰圖像和右側(cè)兩張相鄰圖像，即 將采樣點(diǎn)投影在圖像A、 B、 D和E。
步驟204:根據(jù)該采樣點(diǎn)到攝像機(jī)的距離，通過公式(2)計(jì)算出該采樣點(diǎn) 的深度值d,將該深度值d稱為參考圖像中的該像素點(diǎn)的一個(gè)侯選深度值；
<formula>formula see original document page 9</formula>
其中，由于該釆樣點(diǎn)在每張相鄰圖像中存在一個(gè)投影點(diǎn)，所以每張相鄰圖 像中的該采樣點(diǎn)的投影點(diǎn)與該采樣點(diǎn)對(duì)應(yīng)的侯選深度值之間存在對(duì)應(yīng)關(guān)系。
其中，重復(fù)的按照步驟203和步驟204兩步，將剩下的每個(gè)采樣點(diǎn)投影在 2N張相鄰圖像中，得到所有的投影點(diǎn)，計(jì)算每個(gè)采樣點(diǎn)的深度值，得到該像素 點(diǎn)的所有侯選深度值和相鄰圖像中的每個(gè)投影點(diǎn)與侯選深度值的對(duì)應(yīng)關(guān)系。
步驟205:在參考圖像中，以該像素點(diǎn)為中心建立該像素點(diǎn)的圖像窗口；具體地，在參考圖像中，以該^^素點(diǎn)為中心擴(kuò)展成一個(gè)大小為x且形狀為
正方形的像素塊，將該像素塊稱為該像素點(diǎn)的圖像窗口 ；
其中，X是事先設(shè)置的數(shù)值，X的取值必須是寄數(shù)，通常取值為5、 7、 9 或11等。
步驟206:針對(duì)一張相鄰圖像，在該相鄰圖像中，以該相鄰圖像中的每個(gè)投 影點(diǎn)為中心，為每個(gè)投影點(diǎn)建立自身的圖像窗口；
具體地，在該張相鄰圖像中，針對(duì)該相鄰圖像中的一個(gè)投影點(diǎn)，以該投影 點(diǎn)為中心，擴(kuò)展成一個(gè)大小為X且形狀為正方形的像素塊，將該像素塊稱為該 投影點(diǎn)的圖像窗口 ，按上述方法為該相鄰圖像中剩下的每個(gè)投影點(diǎn)建立一個(gè)圖 像窗口。
其中，步驟205與步驟206不分先后，也可以同時(shí)進(jìn)行。
步驟207:根據(jù)該像素點(diǎn)的圖像窗口與該相鄰圖像中每個(gè)投影點(diǎn)的圖像窗
口，通過公式(3)計(jì)算該相鄰圖像中的每個(gè)投影點(diǎn)與該像素點(diǎn)之間的NCC (Normalized Cross Correlation,歸一化互相關(guān)值)值，其中，由于在該張相鄰
圖像中的每個(gè)投影點(diǎn)對(duì)應(yīng) 一個(gè)侯選深度值，所以計(jì)算出的每個(gè)投影點(diǎn)與參考圖
像的該像素點(diǎn)之間的NCC值對(duì)應(yīng)一個(gè)侯選深度值；
其中，Iu代表參考圖像中的該像素點(diǎn)的圖像窗口中的各像素點(diǎn)的灰度值，X 代表參考圖像中的該像素點(diǎn)的圖像窗口中的所有像素點(diǎn)的灰度值的平均值，I2i 代表相鄰圖像中的一個(gè)投影點(diǎn)的圖像窗口中的各個(gè)像素點(diǎn)的灰度值，代表該 投影點(diǎn)的圖像窗口中的所有像素點(diǎn)的灰度值的平均值。
其中，圖像中的每個(gè)像素點(diǎn)都有自身的灰度值。另外，需要說明的是當(dāng) 攝像機(jī)采集的圖像為彩色圖像時(shí)，首先應(yīng)將彩色圖像進(jìn)行轉(zhuǎn)換，使圖像中的每 個(gè)像素點(diǎn)都有自身的灰度值。
步驟208:根據(jù)該相鄰圖像中的每個(gè)投影點(diǎn)與參考圖像中的該像素點(diǎn)之間的 NCC值與侯選深度值的對(duì)應(yīng)關(guān)系，為該相鄰圖像創(chuàng)建一個(gè)自變量為侯選深度值 且從變量為NCC值的NCC ( d)函數(shù)；
步驟209:從該相鄰圖像中的每個(gè)投影點(diǎn)與參考圖像中的該投影點(diǎn)之間的
NCC=NCC值與侯選深度值對(duì)應(yīng)關(guān)系中，挑選該張相鄰圖像的NCC (d)函數(shù)的極大值對(duì)應(yīng)的侯選深度值dmax;
其中，重復(fù)地按照步驟206-209得出剩下2N-1張相鄰圖像的NCC (d)函數(shù)的極大值對(duì)應(yīng)的深度值。
步驟210:根據(jù)NCC (d)函數(shù)的極大值對(duì)應(yīng)的深度值，通過現(xiàn)有的"圖像一致性計(jì)算方法"，將2N張相鄰圖像的NCC (d)函數(shù)進(jìn)行融合，得到參考圖像中的該像素點(diǎn)的一個(gè)打分函數(shù)S (d);
其中，通過現(xiàn)有的"圖像一致性計(jì)算方法"融合的打分函數(shù)S(d)如公式(4)所示
S(d)=S2>CCj(d_)W(d-d_)……(4)
其中，d為參考圖像中的該像素點(diǎn)的侯選深度值，NCCj代表由第j(j=l，2,...,2N )張相鄰圖像所計(jì)算得到的NCC (d)函數(shù)。dm狀代表使得NCCj函數(shù)達(dá)到極大值時(shí)對(duì)應(yīng)的侯選深度值，W是一個(gè)高斯內(nèi)核(Gaussian kernel)。
其中，能使S(d)值越大的侯選深度值，越有可能成為該像素點(diǎn)的深度值。
其中，完成此步驟后，得到該像素點(diǎn)的打分函數(shù)S(d)和該像素點(diǎn)的侯選深度值，重復(fù)的按步驟201-210得到參考圖像中的剩下每個(gè)像素點(diǎn)的打分函數(shù)S(d)和自身的侯選深度值。
其中，在本實(shí)施例中將參考圖像的左右相鄰圖像的NCC'(d)函數(shù)融合成一個(gè)打分函數(shù)S(d)，融合了相鄰圖像中的信息，使得創(chuàng)建的深yl圖中的圖像的輪廓清晰，提高了深度圖的準(zhǔn)確性。步驟211:根據(jù)參考圖像中的每個(gè)像素點(diǎn)的打分函數(shù)和灰度值，通過現(xiàn)有的
BP(信念傳播，BeliefPropagation)模型從每個(gè)像素點(diǎn)的侯選深度值中，確定每
個(gè)像素點(diǎn)的深度值；
其中，BP模型的能量函數(shù)如公式(5)所示E(d)=ZDp(dp)+ Z V(dp，dq) ...... (5)
peP (p,q)eN
其中，p為參考圖像中的一個(gè)像素點(diǎn)，q為參考圖像中像素點(diǎn)p相鄰的像素點(diǎn)，且像素點(diǎn)p與像素點(diǎn)q滿足四領(lǐng)域的關(guān)系；dp和dq分別為像素點(diǎn)p和像素點(diǎn)q的侯選深度值；P為參考圖像的所有像素點(diǎn)的集合，N為參考圖像中所有相鄰的兩像素點(diǎn)的集合；Dp(dp)為數(shù)據(jù)項(xiàng)，V(dp, dq)平滑項(xiàng)，數(shù)據(jù)項(xiàng)用于從每個(gè)像素點(diǎn)的侯選深度值中確定每個(gè)像素點(diǎn)的最有可能的深度值，平滑項(xiàng)用于保證每個(gè)像素點(diǎn)深度值與周圍像素點(diǎn)深度值的連續(xù)性。
其中，在本實(shí)施例中配置的數(shù)據(jù)項(xiàng)Dp (dp)如公式(6)所示<formula>formula see original document page 12</formula>
其中，dataMax為截?cái)嘀担琤eta為調(diào)整比例的參數(shù)，其中，dataMax和beta都是人為設(shè)置的經(jīng)驗(yàn)值。
dataMax可以使數(shù)據(jù)項(xiàng)對(duì)無紋理區(qū)域的像素點(diǎn)不起作用，無紋理區(qū)域的像素
點(diǎn)的打分值較低，其中，無紋理區(qū)域是像素點(diǎn)的像素值沒有變化的區(qū)域，無紋
理區(qū)域的每個(gè)像素點(diǎn)的打分值小于<formula>formula see original document page 12</formula>對(duì)于無紋理區(qū)域的〗象素點(diǎn)可
以通過調(diào)整參數(shù)dataMax，使得數(shù)據(jù)項(xiàng)Dp ( dp)為恒定值beta x dataMax ，如此使
得數(shù)據(jù)項(xiàng)對(duì)無紋理區(qū)域的像素點(diǎn)不起作用。
在本實(shí)施例中配置的光滑項(xiàng)V (dp， dq)如公式(7)所示<formula>formula see original document page 12</formula>
其中，在配置V(dp, dq)時(shí)，采用像素點(diǎn)p的侯深度值與像素點(diǎn)q的侯選深度值差的平方形式即(dp-dq)2的形式，可以將像素點(diǎn)p的侯選深度值與像素點(diǎn)q的侯選深度值加上二次約束，使得深度值的過渡更加平滑。另外，在配置V(dp，
dq)時(shí)，還引入了參考圖像的顏色，目的是解決深度值不連續(xù)的問題。當(dāng)深度值不連續(xù)時(shí)，V(dp， dq)值等于零。
其中，在本實(shí)施例中，假設(shè)，深度值不連續(xù)只可能發(fā)生在參考圖像中的顏色不連續(xù)區(qū)域，也就是說，對(duì)于參考圖像中的顏色不連續(xù)區(qū)域，不應(yīng)該加上平
滑項(xiàng)的深度值連續(xù)性約束，使BP模型在這些不連續(xù)的區(qū)域上停止信息傳播；而
對(duì)于其他區(qū)域，需要施加平滑項(xiàng)的深度值連續(xù)性約束。
其中，相鄰的兩個(gè)像素點(diǎn)的灰度值相差較大，則這兩個(gè)像素點(diǎn)的顏色不連
續(xù)，BP模型根據(jù)上述假設(shè)，判斷像素點(diǎn)p與像素點(diǎn)p的灰度值的差的絕對(duì)值是否大于或等于設(shè)置的閾值Diff—color,如果是，則認(rèn)為像素點(diǎn)p與像素點(diǎn)q之間的顏色不連續(xù)，并將平滑項(xiàng)V(dp, dq)的值置為0，其中，Diff—color為通過實(shí)驗(yàn)得到的經(jīng)驗(yàn)值。
其中，在本實(shí)施例中將參考圖像中的每個(gè)像素點(diǎn)的S (d)和灰度值輸入到BP模型中，BP模型將每個(gè)像素點(diǎn)的打分函數(shù)S (d)帶入能量函數(shù)E(d),得到每個(gè)像素點(diǎn)的能量函數(shù)E(d),根據(jù)每個(gè)像素點(diǎn)與其相鄰的像素點(diǎn)的灰度值，確
定能量函數(shù)E (d)的平滑項(xiàng)值，從每個(gè)像素點(diǎn)的侯選深度值中確定出能使自身的E(d)函數(shù)值達(dá)到最小時(shí)對(duì)應(yīng)的侯選深度值作為自身的深度值，將每個(gè)像素點(diǎn)的深度值輸出。
步驟212:將參考圖像中的每個(gè)像素點(diǎn)的深度值存入圖像文件中，得到參考圖像的深度圖。
在本發(fā)明實(shí)施例，通過采樣點(diǎn)計(jì)算參考圖像的像素點(diǎn)的侯選深度值，將采樣點(diǎn)投影在參考圖像的相鄰圖像，得到投影點(diǎn)，根據(jù)采樣點(diǎn)和投影點(diǎn)，創(chuàng)建參考圖像的像素點(diǎn)的打分函數(shù)，根據(jù)打分函數(shù)，通過BP模型確定出參考圖像的像素點(diǎn)的深度值，存儲(chǔ)確定的深度值得到深度圖，使得創(chuàng)建的深度圖中的圖像的輪廓清晰，從而提高了深度圖的準(zhǔn)確性。
實(shí)施例3
如圖3所示，本發(fā)明實(shí)施例提供了一種創(chuàng)建深度圖的裝置，包括計(jì)算模塊301,用于計(jì)算參考圖像中的像素點(diǎn)的侯選深度值；創(chuàng)建模塊302，用于根據(jù)參考圖像和參考圖像的相鄰圖像，創(chuàng)建該像素點(diǎn)的打分函數(shù)；
其中，重復(fù)地利用計(jì)算模塊301和創(chuàng)建模塊302得到參考圖像中剩下的每個(gè)像素點(diǎn)的侯選深度值和打分函數(shù)。
確定模塊303，用于根據(jù)每個(gè)像素點(diǎn)的打分函數(shù)和灰度值，利用信念傳播模型從每個(gè)像素點(diǎn)的侯選深度值中確定每個(gè)像素點(diǎn)的深度值；
存儲(chǔ)模塊304,用于存儲(chǔ)每個(gè)像素點(diǎn)的深度值得到參考圖像的深度圖。
其中，計(jì)算模塊301具體包括
采樣單元，用于在參考圖像的該像素點(diǎn)與攝像機(jī)的光心連線的延長(zhǎng)線上進(jìn)行采樣，得到采樣點(diǎn)；
第一計(jì)算單元，用于計(jì)算采樣點(diǎn)到攝像機(jī)的距離；
第二計(jì)算單元，用于根據(jù)采樣點(diǎn)的距離，計(jì)算該像素點(diǎn)的侯選深度值；
創(chuàng)建模塊302具體包括
投影單元，用于將采樣點(diǎn)投影在參考圖像的相鄰圖像，得到投影點(diǎn)；第三計(jì)算單元，用于根據(jù)參考圖像中的該像素點(diǎn)與投影點(diǎn)，計(jì)算投影點(diǎn)與
參考圖像中的該像素點(diǎn)之間的NCC值；
創(chuàng)建單元，用于以該像素點(diǎn)的侯選深度值為自變量，以投影點(diǎn)與參考圖像中的該像素點(diǎn)之間的NCC值為從變量創(chuàng)建相鄰圖像的NCC函數(shù)；
融合單元，用于將相鄰圖像的NCC函數(shù)進(jìn)行融合，得到該像素點(diǎn)的打分函數(shù)。
第三計(jì)算單元具體包括
建立子單元，用于建立該像素點(diǎn)的圖像窗口與投影點(diǎn)的圖像窗口 ；計(jì)算子單元，用于根據(jù)該像素點(diǎn)的圖像窗口與投影點(diǎn)的圖像窗口，計(jì)算投
影點(diǎn)與該像素點(diǎn)之間的NCC。
在本發(fā)明實(shí)施例，通過采樣點(diǎn)計(jì)算參考圖像的像素點(diǎn)的侯選深度值，將采樣點(diǎn)投影在參考圖像的相鄰圖像，得到投影點(diǎn)，根據(jù)采樣點(diǎn)和投影點(diǎn)，創(chuàng)建參考圖像的像素點(diǎn)的打分函數(shù)，根據(jù)打分函數(shù)，通過BP模型確定出參考圖像的像素點(diǎn)的深度值，存儲(chǔ)確定的深度值得到深度圖，使得創(chuàng)建的深度圖中的圖像的輪廓清晰，從而提高了深度圖的準(zhǔn)確性。
以上實(shí)施例提供的技術(shù)方案中的全部或部分內(nèi)容可以通過軟件編程實(shí)現(xiàn)，其軟件程序存儲(chǔ)在可讀取的存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)例如計(jì)算機(jī)中的硬盤、光盤或軟盤。
以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種創(chuàng)建深度圖的方法，其特征在于，所述方法包括計(jì)算參考圖像的像素點(diǎn)的侯選深度值；根據(jù)所述參考圖像和所述參考圖像的相鄰圖像，創(chuàng)建所述像素點(diǎn)的打分函數(shù)；根據(jù)所述像素點(diǎn)的打分函數(shù)和灰度值，利用信念傳播模型從所述侯選深度值中確定所述像素點(diǎn)的深度值；存儲(chǔ)所述深度值得到所述參考圖像的深度圖。
2、 如權(quán)利要求l所述的方法，其特征在于，所述計(jì)算參考圖像的像素點(diǎn)的 侯選深度值，具體包括在參考圖像的像素點(diǎn)與攝像機(jī)的光心連線的延長(zhǎng)線上進(jìn)行采樣，得到采樣點(diǎn)；計(jì)算所述采樣點(diǎn)到所述攝像機(jī)的距離； 根據(jù)所述采樣點(diǎn)的距離，計(jì)算所述像素點(diǎn)的侯選深度值。
3、 如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述參考圖像和所述 參考圖像的相鄰圖像，創(chuàng)建所述像素點(diǎn)的打分函數(shù)，具體包括將所述采樣點(diǎn)投影在所述參考圖像的相鄰圖像，得到投影點(diǎn)； 根據(jù)所述像素點(diǎn)與所述投影點(diǎn)，計(jì)算所述投影點(diǎn)與所述像素點(diǎn)之間的歸一 化互相關(guān)值NCC;以所述侯選深度值為自變量，以所述NCC為從變量創(chuàng)建所述相鄰圖像的 NCC函數(shù)；將所述相鄰圖像的NCC函數(shù)進(jìn)行融合，得到所述像素點(diǎn)的打分函數(shù)。
4、 如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述像素點(diǎn)與所述投 影點(diǎn)，計(jì)算所述投影點(diǎn)與所述像素點(diǎn)之間的歸一化互相關(guān)值NCC,具體包括建立所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像窗口 ；根據(jù)所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像窗口 ，計(jì)算所述投影點(diǎn)與所述^f象素點(diǎn)之間的NCC。
5、 一種創(chuàng)建深度圖的裝置，其特征在于，所述裝置包括 計(jì)算模塊，用于計(jì)算參考圖像的像素點(diǎn)的侯選深度值；創(chuàng)建模塊，用于根據(jù)所述參考圖像和所述參考圖像的相鄰圖像，創(chuàng)建所述 像素點(diǎn)的打分函數(shù)；確定模塊，用于根據(jù)所述像素點(diǎn)的打分函數(shù)和灰度值，利用信念傳播模型 從所述侯選深度值中確定所述像素點(diǎn)的深度值；存儲(chǔ)模塊，用于存儲(chǔ)所述深度值得到所述參考圖像的深度圖。
6、 如權(quán)利要求5所述的裝置，其特征在于，所述計(jì)算模塊具體包括 采樣單元，用于在參考圖像的像素點(diǎn)與攝像機(jī)的光心連線的延長(zhǎng)線上進(jìn)行釆樣，得到采樣點(diǎn)；第一計(jì)算單元，用于計(jì)算所述采樣點(diǎn)到所述攝像機(jī)的距離； 第二計(jì)算單元，用于根據(jù)所述采樣點(diǎn)的距離，計(jì)算所述像素點(diǎn)的侯選深度值。
7、 如權(quán)利要求6所述的裝置，其特征在于，所述創(chuàng)建模塊具體包括 投影單元，用于將所述采樣點(diǎn)投影'在所述參考圖像的相鄰圖像，得到投影點(diǎn)；第三計(jì)算單元，用于根據(jù)所述像素點(diǎn)與所述投影點(diǎn)，計(jì)算所述投影點(diǎn)與所述像素點(diǎn)之間的歸一化互相關(guān)值NCC;創(chuàng)建單元，用于以所述侯選深度值為自變量，以所述NCC為從變量創(chuàng)建所 述相鄰圖像的NCC函數(shù)；融合單元，用于將所述相鄰圖像的NCC函數(shù)進(jìn)行融合，得到所述像素點(diǎn)的 打分函數(shù)。
8、 如權(quán)利要求7所述的方法，其特征在于，所述第三計(jì)算單元具體包括 建立子單元，用于建立所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像窗口 ； 計(jì)算子單元，用于根據(jù)所述像素點(diǎn)的圖像窗口與所述投影點(diǎn)的圖像窗口 ，計(jì)算所述投影點(diǎn)與所述像素點(diǎn)之間的NCC。
全文摘要
本發(fā)明公開了一種創(chuàng)建深度圖的方法及裝置，屬于計(jì)算機(jī)領(lǐng)域。所述方法包括計(jì)算參考圖像的像素點(diǎn)的候選深度值；根據(jù)所述參考圖像和所述參考圖像的相鄰圖像，創(chuàng)建所述像素點(diǎn)的打分函數(shù)；根據(jù)所述像素點(diǎn)的打分函數(shù)和灰度值，利用信念傳播模型從所述候選深度值中確定所述像素點(diǎn)的深度值；存儲(chǔ)所述深度值得到所述參考圖像的深度圖。所述裝置包括計(jì)算模塊、創(chuàng)建模塊、確定模塊和存儲(chǔ)模塊。通過本發(fā)明創(chuàng)建的深度圖的圖像的輪廓清晰，提高了深度圖的準(zhǔn)確性。
文檔編號(hào)G06T11/00GK101582171SQ20091008716
公開日2009年11月18日 申請(qǐng)日期2009年6月10日 優(yōu)先權(quán)日2009年6月10日
發(fā)明者戴瓊海, 濤 李 申請(qǐng)人:清華大學(xué)