一種車載紅外圖像三維重建方法
【專利摘要】本發(fā)明公開了一種車載紅外圖像的三維重建技術(shù)。本發(fā)明主要采用面板參數(shù)馬爾科夫隨機場PP-MRF模型與超像素分割相結(jié)合的紅外三維重建技術(shù)。超像素分割技術(shù)作為紅外圖像的分割技術(shù)，在多尺度情況下使用Law’s掩膜進行超像素特征的提取。引入多條件訓(xùn)練的方法來對面板參數(shù)馬爾科夫模型的內(nèi)部參數(shù)進行整定。利用訓(xùn)練好的模型來估計測試圖像的每個面板的面板參數(shù)，即面板相對于攝像頭的相對位置關(guān)系。通過搜尋水平線的方法確定道路和天空的相對位置，最后利用深度和結(jié)構(gòu)信息進行車載紅外圖像的三維重建工作。本發(fā)明能夠?qū)囕d紅外圖像進行三維重建，使駕駛員對單色的紅外圖像能夠有更加直觀的認識，增強對環(huán)境的感知能力。
【專利說明】一種車載紅外圖像三維重建方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種車載紅外圖像的三維重建技術(shù)。

【背景技術(shù)】
[0002] 隨著車載紅外輔助駕駛系統(tǒng)在民用領(lǐng)域的普及，車載紅外方面的研宄工作逐漸被 人們所關(guān)注。紅外圖像的深度估計已經(jīng)成為近年來的研宄熱點。車載紅外三維重建的研宄， 在紅外圖像的深度估計之上，作為車載紅外研宄的一個全新領(lǐng)域具有重大的意義。
[0003] 近年來，雙目可見光的三維重建工作逐漸趨向成熟，其中以Belief Propagation 算法為基礎(chǔ)進行三維重建，在目前的立體視覺領(lǐng)域中的應(yīng)用非常廣泛。但是相對來 說單目圖像的三維重建工作發(fā)展較晚，其中最具代表性的是shape-from-shading和 shape-from-texture算法，但是這些算法在表面紋理與色彩變化不明顯時，效果較差。最近 由Ashutosh Saxena，Min Sun and AndrewY. Ng提出的基于PP-MRF模型的單目的圖像三維 重建在正確率、效果上相比其他算法都有明顯的提高。
[0004] 紅外圖像相比于可見光來說，缺少豐富的紋理信息和色彩，但是相對來說其包含 著較為明顯的邊緣特征?；谶@些特征，超像素分割的方法非常適用于紅外圖像領(lǐng)域，可以 獲得對紅外圖像很好的分割效果。P. Felzenszwalb提出了基于圖論的超像素分割方法，Liu 等提出了基于熵率的超像素分割方法。
[0005] 在紅外圖像的深度估計方面，基于KPCA與BP神經(jīng)網(wǎng)絡(luò)的紅外深度估計算法和基 于SVM的紅外圖像深度估計算法，只是對像素點和周圍一定范圍的像素點之間進行特征提 取，沒有考慮到實際面板之間的構(gòu)成關(guān)系，所以無法對紅外圖像進行正確的三維重建。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種能夠在車載紅外道路情況多變的條件下，正確進行車載 紅外圖像的三維重建的方法。
[0007] 為了達到上述目的，本發(fā)明的技術(shù)方案是提供了一種車載紅外圖像三維重建方 法，其特征在于，包括以下步驟：
[0008] 第一步、獲取多幅訓(xùn)練圖像及每幅訓(xùn)練圖像所對應(yīng)的深度圖；
[0009] 第二步、對訓(xùn)練圖像進行超像素分割，每個超像素為一個由具有相似特征的相鄰 像素構(gòu)成的圖像塊，同時，從對應(yīng)的深度圖中計算每個超像素相應(yīng)的馬爾科夫隨機場模型 的面板參數(shù)，即PP-MRF模型的面板參數(shù)；
[0010] 第三步、使用勞斯掩膜對分割后的訓(xùn)練圖像中的每個超像素進行多尺度的特征提 取，獲得每個超像素的特征向量；
[0011] 第四步、由所有的通過第三步得到的特征向量及對應(yīng)的通過第二步得到的面板參 數(shù)構(gòu)建訓(xùn)練集；
[0012] 第五步、構(gòu)建PP-MRF模型后，利用訓(xùn)練集整定PP-MRF模型的參數(shù)Θ ;
[0013] 第六步、獲得車載紅外圖像；
[0014] 第七步、對車載紅外圖像進行超像素分割，利用第五步得到的PP-MRF模型對車載 紅外圖像的每個超像素做面板參數(shù)估計與結(jié)構(gòu)分析，在結(jié)構(gòu)分析的基礎(chǔ)上尋找水平線，找 出道路和天空對應(yīng)的超像素，確定道路平面和天空的相對位置；
[0015] 第八步、由面板參數(shù)計算每個面板上的像素的深度值，再結(jié)合道路平面和天空的 相對位置進行3D重建。
[0016] 優(yōu)選地，對所述訓(xùn)練圖像或所述車載紅外圖像進行超像素分割的步驟包括：
[0017] 將所述訓(xùn)練圖像或所述車載紅外圖像中的每個像素點看成是一個頂點，所有頂點 的集合為V，將V分割成很多的小區(qū)域，計算每個小區(qū)域的內(nèi)部差異及任意兩個小區(qū)域間的 外部差異，其中，每個小區(qū)域的內(nèi)部差異為該小區(qū)域的最小生成樹上的最大權(quán)值，兩個小區(qū) 域間的外部差異為連接這兩個小區(qū)域的最小權(quán)值邊，若任意兩個小區(qū)域間的外部差異大于 這兩個小區(qū)域中的任意一個小區(qū)域的內(nèi)部差異，則這兩個小區(qū)域不屬于同一超像素，否則， 這兩個小區(qū)域?qū)儆谕怀袼亍?br> [0018] 優(yōu)選地，利用第五步得到的PP-MRF模型對車載紅外圖像的每個超像素做面板參 數(shù)估計與結(jié)構(gòu)分析包括如下步驟：
[0019] 所述PP-MRF模型的定義如下式所示：
[0020]

【權(quán)利要求】
1. 一種車載紅外圖像三維重建方法，其特征在于，包括以下步驟： 第一步、獲取多幅訓(xùn)練圖像及每幅訓(xùn)練圖像所對應(yīng)的深度圖； 第二步、對訓(xùn)練圖像進行超像素分割，每個超像素為一個由具有相似特征的相鄰像素 構(gòu)成的圖像塊，同時，從對應(yīng)的深度圖中計算每個超像素相應(yīng)的馬爾科夫隨機場模型的面 板參數(shù)，即PP-MRF模型的面板參數(shù)； 第三步、使用勞斯掩膜對分割后的訓(xùn)練圖像中的每個超像素進行多尺度的特征提取， 獲得每個超像素的特征向量； 第四步、由所有的通過第三步得到的特征向量及對應(yīng)的通過第二步得到的面板參數(shù)構(gòu) 建訓(xùn)練集； 第五步、構(gòu)建PP-MRF模型后，利用訓(xùn)練集整定PP-MRF模型的參數(shù)Θ ; 第六步、獲得車載紅外圖像； 第七步、對車載紅外圖像進行超像素分割，利用第五步得到的PP-MRF模型對車載紅外 圖像的每個超像素做面板參數(shù)估計與結(jié)構(gòu)分析，在結(jié)構(gòu)分析的基礎(chǔ)上尋找水平線，找出道 路和天空對應(yīng)的超像素，確定道路平面和天空的相對位置； 第八步、由面板參數(shù)計算每個面板上的像素的深度值，再結(jié)合道路平面和天空的相對 位置進行3D重建。
2. 如權(quán)利要求1所述的一種車載紅外圖像三維重建方法，其特征在于，對所述訓(xùn)練圖 像或所述車載紅外圖像進行超像素分割的步驟包括： 將所述訓(xùn)練圖像或所述車載紅外圖像中的每個像素點看成是一個頂點，所有頂點的集 合為V，將V分割成很多的小區(qū)域，計算每個小區(qū)域的內(nèi)部差異及任意兩個小區(qū)域間的外部 差異，其中，每個小區(qū)域的內(nèi)部差異為該小區(qū)域的最小生成樹上的最大權(quán)值，兩個小區(qū)域間 的外部差異為連接這兩個小區(qū)域的最小權(quán)值邊，若任意兩個小區(qū)域間的外部差異大于這兩 個小區(qū)域中的任意一個小區(qū)域的內(nèi)部差異，則這兩個小區(qū)域不屬于同一超像素，否則，這兩 個小區(qū)域?qū)儆谕怀袼亍?br> 3. 如權(quán)利要求1所述的一種車載紅外圖像三維重建方法，其特征在于，在所述第七步 中，利用第五步得到的PP-MRF模型對車載紅外圖像的每個超像素做面板參數(shù)估計與結(jié)構(gòu) 分析包括如下步驟： 所述PP-MRF模型的定義如下式所示：
a i是第i個超像素的面板參數(shù)，第i個超像素中包含了 SiA像素點，第i個超像素中的 第SiA像素的特征為，則第i個超像素中所有像素點的特征用向量X, =·{；^ :·?, 表示；尺=[/、：Si =1，...,^為從攝像頭光心到第i個超像素上每一個像素點的單位方向向量 的集合；向量\描述了從局部特征來描述面板參數(shù)的可信度，其中，第一項f i (·)對面板參 數(shù)α與像素的局部特征\,之間關(guān)系進行建模，Θ為需要整定的參數(shù)，其值與面板所在的行 數(shù)相關(guān)，第二項f2( ·)主要針對第i個超像素與第j個超像素之間存在閉合曲線邊界處，此 時需要考慮對面板之間的關(guān)系進行建模，假設(shè)像素點^和^分別來自第i個超像素和第j I超像素，f2 ( ·)疋乂為：乂 I ) Γ?丨卜JV kO,通過選用不同的函數(shù)h(·)和在不同超像 素之間的像素對{Si，來分別對鄰接性、共面性和共線性這些重要的結(jié)構(gòu)關(guān)系進行描述 和捕捉，其中： 鄰接性結(jié)構(gòu)：在第i個超像素與第j個超像素的連接的邊界上分別選取像素點^和S j， 則鄰接性概率模型為： Ksi (^ajiyipRi9Rj) = exp(-^^ai-RTjs a^ ； 共面性：在相鄰接的超像素上選取像素對<和5；，如果相鄰接的超像素之間確實存在 共面關(guān)系的話，那么在理論上面板參數(shù)^與α」的值相等，共面性的關(guān)系函數(shù)如下式所 示： 氣;^，《/，為+，^; ，如果兩個超像素共面，那么在 U) = \_〇hs;(·)的條件下V;.(·)的理論值為1 ; 共線性：兩個超像素共線性的函數(shù)關(guān)系如下式所示： = 為+|也嚴,-如果兩個面板共線，那么 Aw, θ = \ (·)的理論值為1，利用兩個超像素共線性的函數(shù)關(guān)系來找出兩個超像素之間 存在的所有的長直線。
4. 如權(quán)利要求3所述的一種車載紅外圖像三維重建方法，其特征在于，在結(jié)構(gòu)分析的 基礎(chǔ)上尋找水平線，找出道路和天空對應(yīng)的超像素，確定道路平面和天空的相對位置包括 如下步驟： 步驟7. 1、兩個超像素共線性的函數(shù)關(guān)系中的項已經(jīng)標識了所有的面 板的共線性結(jié)構(gòu)結(jié)果，從而得到多條長直線； 步驟7. 2、計算每條長直線的概率： 在兩個超像素的邊緣共線的長直線1上，任意選取2個像素點Si, Sj，在圖像平面上計 算連接2個像素點Si, Sj的直線的斜率k，則有長直線1的概率為P(I)，Ρ⑴=ue |k|，式中， u為比例系數(shù)，其取值與長直線1中心點所處的位置相關(guān)； 步驟7. 3、將步驟7. 2計算得到的最大概率所對應(yīng)的長直線設(shè)定為水平線，擁有水平線 的超像素面板若在上方即為天空，否則即為道路。
5. 如權(quán)利要求1所述的一種車載紅外圖像三維重建方法，其特征在于，在對所述車載 紅外圖像進行超像素分割后，并進行3D重建前，還包括忽略超像素分割之后的特別小的像 素塊，用和它最近的相鄰超像素代替，包括以下步驟： 若第i個超像素包含的Si個像素點，S i小于第i個超像素周圍任何一個相鄰的超像素 所包含的像素個數(shù)，則記錄下此超像素，對于每一個超像素都進行上述檢索，記錄下符合上 述條件的超像素，并且按照包含的像素點的數(shù)目大小排序，從包含有最少像素點的那個超 像素開始，當前的超像素的面板參數(shù)由與其相鄰的包含有最多像素點的超像素的面板參數(shù) 替換，替換掉的超像素個數(shù)不超過分割后總的超像素個數(shù)的預(yù)先設(shè)定百分比。
【文檔編號】G06T17/00GK104517317SQ201510009005
【公開日】2015年4月15日 申請日期:2015年1月8日 優(yōu)先權(quán)日:2015年1月8日
【發(fā)明者】沈振一, 孫韶媛, 侯俊杰, 梁炳春 申請人:東華大學(xué)