專利名稱：基于主動全景視覺傳感器的全方位三維建模系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及激光光源、全方位視覺傳感器以及計算機視覺技術在立體視覺測量方面的應用，尤其是一種基于主動立體全景視覺傳感器的全方位三維模型重建技術，主要應用于機器人導航和三維立體重構。
背景技術：
基于計算機視覺的雙目立體視覺三維測量與立體重構技術，是一門新興的、極具發(fā)展?jié)摿蛯嵱脙r值的應用技術，可被廣泛應用于工業(yè)檢測、地理勘測、醫(yī)學整容、骨科矯形、文物復制、刑偵取證、保安識別、機器人視覺、模具快速成型、禮品、虛擬現(xiàn)實、動畫電影、游戲等許多應用領域。針對具有高精度的幾何信息和真實感的顏色信息的三維模型的重建，一直是計算機視覺、人工智能、模式識別、計算機圖形學和地理信息系統(tǒng)等領域的研究
三維模型的重建技術主要涉及到以下三個方面的內(nèi)容1)幾何的準確性；2)真實感；3)重建過程的自動化。三維模型的重建所需要的數(shù)據(jù)主要包括激光掃描的深度圖像數(shù)據(jù)和圖像傳感器采集的圖像數(shù)據(jù)兩個方面。通常立體圖像獲取是通過采用由圖像傳感器構成的雙目立體視覺進行場景圖像采集，即同時從不同視點采集兩幅同一場景的圖像。但由于普通的圖像傳感器的視場角較小，只能獲取有限視場內(nèi)的局部圖像。為了獲取大視場場景圖像，只能通過單個圖像傳感器旋轉或者多個圖像傳感器組合得到全景圖像，為此產(chǎn)生了系統(tǒng)設計復雜、運行實時性差等問題。全方位視覺傳感器(ODVS)通過鏡面折反射原理得到360°范圍的環(huán)境圖像信息，對于建立室內(nèi)環(huán)境三維模型有著巨大優(yōu)勢。由于二次曲面的折反射使得獲得的全景圖像水平方向畸變很大，往往需要將全景圖像進行展開，根據(jù)不同的需要全景圖像可以展開成360°矩形展開圖像、局部透視展開圖像和Bird-View變換圖像。中國發(fā)明專利申請?zhí)枮?00810062128. 5公開了一種基于雙目全方位視覺傳感器的立體視覺測量裝置，該專利中組成立體視覺測量裝置的兩個全方位視覺傳感器采用了平均角分辨率設計，采集圖像的兩個攝像機的參數(shù)完全一致，具有極好的對稱性，能實現(xiàn)快速的點與點的匹配，從而達到立體視覺測量的目的。該發(fā)明利用全景圖像具有大視場的優(yōu)點，對兩幅全景圖像進行立體匹配獲得場景深度圖，并經(jīng)過相關圖像處理方式建立環(huán)境三維模型；但是從完成點對點匹配到立體測量仍需要較大的計算資源，要實現(xiàn)實時在線的立體測量以及三維立體重構仍然存在著一些“病態(tài)”計算問題。基于激光掃描所建立的三維模型只能得到精確的空間三維幾何模型，而缺少場景的紋理信息；而基于圖像立體匹配建立的室內(nèi)環(huán)境三維模型雖然具有紋理信息，但模型精度很低，按目前的圖像傳感器的分辨率還難以達到真正有效地實用。因此，通過激光掃描得到準確的三維幾何模型，通過數(shù)據(jù)關聯(lián)與分割，在三維點云模型中構建環(huán)境表面，然后將圖像中相應部分映射到模型表面，使得重構后的三維模型同時具有較高的精度和較好的紋理信息。
但是上述方法最大的問題是無法滿足實時處理的要求，尤其難以滿足移動機器人這樣的實時導航定位的任務需求。

發(fā)明內(nèi)容
為了克服已有的被動式全景立體視覺測量裝置的計算機資源消耗大、實時性能差、實用性不強、魯棒性不高等不足，以及全彩色全景LED光源的主動三維立體全景視覺測量裝置容易受到環(huán)境光的干擾等不足，本發(fā)明提供一種通過直接獲取空間三維點的位置幾何信息以及顏色信息，能夠減少計算機資源消耗、快速完成測量、實時性好、實用性強、魯棒性高的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)。要實現(xiàn)上述發(fā)明內(nèi)容，必須要解決三個核心問題(1)實現(xiàn)一種移動面激光光源；(2)實現(xiàn)一種能快速獲得實際物體深度信息的主動式全景視覺傳感器；(3)將激光掃描空間數(shù)據(jù)點與全景圖像中相應像素點進行快速融合的方法；(4) 一種基于全方位視覺Bird-View變換的三維重建方法。
本發(fā)明解決其技術問題所采用的技術方案是一種基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，所述全方位三維建模系統(tǒng)包括全方位視覺傳感器、用于產(chǎn)生三維體結構投射光源的移動面激光光源以及用于對全方位圖像進行3D全景重構的微處理器，所述的全方位視覺傳感器的中心與所述移動面激光光源的中心配置在同一根軸心線上；所述全方位視覺傳感器包括雙曲面鏡面、上蓋、透明半圓形外罩、下固定座、攝像單元固定座、攝像單元、連接單元和上罩；所述的雙曲面鏡面固定在所述的上蓋上，所述的連接單元將所述的下固定座和透明半圓形外罩連接成一體，所述的透明半圓形外罩與所述的上蓋以及所述的上罩固定在一起，所述的攝像單元固定在所述的攝像單元固定座上，所述的攝像單元固定座固定在所述的下固定座上，所述的全方位視覺傳感器中的所述的攝像單元的輸出與所述微處理器連接；所述的移動面激光光源包括綠光線激光發(fā)生單元、線激光發(fā)生組合單元、直線電機組件、導向支撐桿、直線電機固定支架、底盤和紅光線激光發(fā)生單元；所述的綠光線激光發(fā)生單元固定在所述的線激光發(fā)生組合單元的孔中，經(jīng)過這樣組合后的線激光能形成一個發(fā)出綠光的全方位面激光光源；所述的紅光線激光發(fā)生單元固定在所述的線激光發(fā)生組合單元的孔中，經(jīng)過這樣組合后的線激光能形成一個發(fā)出紅光的全方位面激光光源；組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分分別固定在所述的直線電機組件中齒條的兩端；所述的導向支撐桿垂直固定在所述的底盤上，所述的直線電機固定支架垂直固定在所述的底盤上；所述的全方位視覺傳感器通過連接板安裝在所述的移動面激光光源中的所述的導向支撐桿上，構成一個主動式全方位視覺傳感器；所述微處理器包括視頻圖像讀取模塊，用于讀取全方位視覺傳感器的視頻圖像，并保存在所述的存儲單元中，其輸出與所述的全方位視覺傳感器標定模塊、Bird-View變換模塊和全方位面激光信息解析模塊連接；全方位視覺傳感器標定模塊，用于確定三維空間點和攝像機成像平面上的二維圖像點之間映射關系的參數(shù)，標定后的參數(shù)存放在所述的存儲單元中；Bird-View變換模塊，用于讀取存放在所述的存儲單元中的全方位視覺傳感器的標定參數(shù)值，通過Bird-View變換來修正全方位視覺成像后嚴重扭曲變形,將全方位圖像變換為Bird-View視圖,Bird-View視圖類似于鳥類俯瞰著這個地面上所形成的圖像,變換后得到的Bird-View視圖存放在所述的存儲單元中，以便后續(xù)處理中調(diào)用；全方位面激光信息解析模塊，用于在全景圖像上解析出激光投影信息，產(chǎn)生點云信息；聯(lián)合標定模塊，用于對所述的主動式全方位視覺傳感器進行標定；由于所述的全方位視覺傳感器和所述的移動面激光光源在裝配過程中不可避免的存在著各種裝配誤差，通過聯(lián)合標定將這些誤差減少到最低限度；移動面激光光源的直線電機的位置估計模塊，用于估算所述的移動面激光光源的當前位置，為所述的移動面的點云幾何信息的計算模塊提供數(shù)據(jù)；移動面的點云幾何信息的計算模塊，用于對所述的移動面激光光源的直線電機的位置的估計值以及在全景圖像上解析出激光投影信息的相關像素坐標值計算移動面的點云幾何信息；點云的幾何信息和顏色信息的融合模塊，對每個點云用(R，α，β，r，g, b)來表達其幾何信息和顏色信息，其中，R為點云到全方位視覺傳感器單視點Om的距離，α為點云到全方位視覺傳感器單視點Om的入射角，β為點云到全方位視覺傳感器單視點Om的方位角，r為點云的RGB顏色空間的R顏色分量，g為點云的RGB顏色空間的G顏色分量，b為點云的RGB顏色空間的B顏色分量；以移動面的位置信息構建全景3D模型構建模塊，用于逐步構建全景3D模型；所述的移動面激光光源完成一次垂直方向的掃描過程，即從一個極限位置到另一個極限位置就完成了全景3D模型的構建，掃描過程中每一移動步長都會產(chǎn)生在某一個高度情況下的切片點云數(shù)據(jù)，將這些數(shù)據(jù)以所述的移動面激光光源的高度值作為保存索引，這樣就能按切片點云數(shù)據(jù)產(chǎn)生順序進行累加，為最后構建帶有幾何信息和顏色信息的全景3D模型；從上極限位置到下極限位置重構過程為向下全景3D重構模式，從下極限位置到上極限位置重構過程為向上全景3D重構兩種不同模式；3D全景模型生成模塊，用于輸出重構結果并為下一次重構做準備。進一步，所述的全方位視覺傳感器標定模塊中，建立一個成像平面的像點與入射光線之間的聯(lián)系，即與入射角之間的對應關系，用公式(6)表示；
權利要求
1.一種基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述全方位三維建模系統(tǒng)包括全方位視覺傳感器、用于產(chǎn)生三維體結構投射光源的移動面激光光源以及用于對全方位圖像進行3D全景重構的微處理器，所述的全方位視覺傳感器的中心與所述移動面激光光源的中心配置在同一根軸心線上； 所述全方位視覺傳感器包括雙曲面鏡面、上蓋、透明半圓形外罩、下固定座、攝像單元固定座、攝像單元、連接單元和上罩；所述的雙曲面鏡面固定在所述的上蓋上，所述的連接單元將所述的下固定座和透明半圓形外罩連接成一體，所述的透明半圓形外罩與所述的上蓋以及所述的上罩固定在一起，所述的攝像單元固定在所述的攝像單元固定座上，所述的攝像單元固定座固定在所述的下固定座上，所述的全方位視覺傳感器中的所述的攝像單元的輸出與所述微處理器連接； 所述的移動面激光光源包括綠光線激光發(fā)生單元、線激光發(fā)生組合單元、直線電機組件、導向支撐桿、直線電機固定支架、底盤和紅光線激光發(fā)生單元；所述的綠光線激光發(fā)生單元固定在所述的線激光發(fā)生組合單元的孔中，經(jīng)過這樣組合后的線激光能形成一個發(fā)出 綠光的全方位面激光光源；所述的紅光線激光發(fā)生單元固定在所述的線激光發(fā)生組合單元的孔中，經(jīng)過這樣組合后的線激光能形成一個發(fā)出紅光的全方位面激光光源；組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分分別固定在所述的直線電機組件中齒條的兩端；所述的導向支撐桿垂直固定在所述的底盤上，所述的直線電機固定支架垂直固定在所述的底盤上； 所述的全方位視覺傳感器通過連接板安裝在所述的移動面激光光源中的所述的導向支撐桿上，構成一個主動式全方位視覺傳感器； 所述微處理器包括 視頻圖像讀取模塊，用于讀取全方位視覺傳感器的視頻圖像，并保存在所述的存儲單元中，其輸出與所述的全方位視覺傳感器標定模塊、Bird-View變換模塊和全方位面激光信息解析模塊連接； 全方位視覺傳感器標定模塊，用于確定三維空間點和攝像機成像平面上的二維圖像點之間映射關系的參數(shù)，標定后的參數(shù)存放在所述的存儲單元中； Bird-View變換模塊,用于讀取存放在所述的存儲單元中的全方位視覺傳感器的標定參數(shù)值,通過Bird-View變換來修正全方位視覺成像后嚴重扭曲變形，將全方位圖像變換為Bird-View視圖，Bird-View視圖類似于鳥類俯瞰著這個地面上所形成的圖像，變換后得到的Bird-View視圖存放在所述的存儲單元中，以便后續(xù)處理中調(diào)用； 全方位面激光信息解析模塊，用于在全景圖像上解析出激光投影信息，產(chǎn)生點云信息； 聯(lián)合標定模塊，用于對所述的主動式全方位視覺傳感器進行標定；由于所述的全方位視覺傳感器和所述的移動面激光光源在裝配過程中不可避免的存在著各種裝配誤差，通過聯(lián)合標定將這些誤差減少到最低限度； 移動面激光光源的直線電機的位置估計模塊，用于估算所述的移動面激光光源的當前位置，為所述的移動面的點云幾何信息的計算模塊提供數(shù)據(jù)； 移動面的點云幾何信息的計算模塊，用于對所述的移動面激光光源的直線電機的位置 的估計值以及在全景圖像上解析出激光投影信息的相關像素坐標值計算移動面的點云幾何信息； 點云的幾何信息和顏色信息的融合模塊，對每個點云用(R，α，β，r，g，b)來表達其幾何信息和顏色信息，其中，R為點云到全方位視覺傳感器單視點Om的距離，α為點云到全方位視覺傳感器單視點Om的入射角，β為點云到全方位視覺傳感器單視點Om的方位角，r為點云的RGB顏色空間的R顏色分量，g為點云的RGB顏色空間的G顏色分量，b為點云的RGB顏色空間的 B顏色分量； 以移動面的位置信息構建全景3D模型構建模塊，用于逐步構建全景3D模型；所述的移動面激光光源完成一次垂直方向的掃描過程，即從一個極限位置到另一個極限位置就完成了全景3D模型的構建，掃描過程中每一移動步長都會產(chǎn)生在某一個高度情 況下的切片點云數(shù)據(jù)，將這些數(shù)據(jù)以所述的移動面激光光源的高度值作為保存索引，這樣就能按切片點云數(shù)據(jù)產(chǎn)生順序進行累加，為最后構建帶有幾何信息和顏色信息的全景3D模型；從上極限位置到下極限位置重構過程為向下全景3D重構模式，從下極限位置到上極限位置重構過程為向上全景3D重構兩種不同模式； 3D全景模型生成模塊，用于輸出重構結果并為下一次重構做準備。
2.如權利要求I所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述的全方位視覺傳感器標定模塊中，建立一個成像平面的像點與入射光線之間的聯(lián)系，即與入射角之間的對應關系，用公式(6)表示；(6)
3.如權利要求2所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述的Bird-View變換模塊中,Bird-View變換看成全方位視覺傳感器成像過程的一種逆變換，因此利用公式(6)標定的結果進行Bird-View變換，通過該標定結果將全方位圖像轉換成Bird-View圖像，其中點云P到觀測點Om在水平地面上的投影點之間的距離R用公式(7)進行計算，式中，R為點云P到觀測點Om在水平地面上的投影點之間的距離，h為點云P到觀測點Om在垂直面上的投影點之間的距離，α為點云P到觀測點Om的入射角，β為點云P到觀測點O111的方位角。
4.如權利要求3所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述的全方位面激光信息解析模塊中，解析在全景圖上綠色激光和紅色激光投射點的方法是根據(jù)綠色激光和紅色激光投射點的像素的亮度要大于成像平面上的平均亮度，首先是將全景圖的RGB顏色空間轉化成HIS顏色空間，然后將成像平面上的平均亮度的I. 2倍作為提取綠色激光和紅色激光投射點的閾值，在提取出綠色激光和紅色激光投射點后需要進一步區(qū)分綠色激光和紅色激光投射點，根據(jù)HIS顏色空間中的色調(diào)值H進行判斷，如果色調(diào)值H在(0，30)之間就判斷為紅色激光投射點，如果色調(diào)值H在(105，135)之間就判斷為綠色激光投射點，其余像素點就判斷為干擾；采用高斯近似方法來抽取出激光投射線的中心位置，具體實現(xiàn)算法是 Stepl :設置初始方位角β =0 ； St印2:在全景圖像上以方位角β從全景圖像的中心點開始檢索紅色和綠色激光投射點，對于方位角β上存在著若干個連續(xù)的紅色激光投射的像素，選擇HIS顏色空間中的I分量，即亮度值接近最高值的三個連續(xù)像素通過高斯近似方法來估算激光投射線的中心位置；具體計算方法由公式(8 )給出，j _ln( /'(/' - I)) - In( /'(/ -I-丨.))S 2 X[ln(/(/ -1)) - 2ln(/(/')) -f ln(/(/ + I))] 式中，f(i-l)、f(i)和f(i+l)分別為三個相鄰像素接近最高亮度值的亮度值，d為修正值，i表示從圖像中心點開始的第i個像素點；因此估算得到的紅色激光投射線的中心位置為(i+d)，該值對應于公式(6)和公式(7)中的I |u" I |，即||u" I I (β)-= i+d;對于綠色激光投射點的估算方法類同，得到I Iu" I I (β)8Γ66η ； Step3 :改變方位角繼續(xù)檢索激光投射點，即β = β + Λ β，Δ β =0. 36 ； Step4 :判斷方位角β =360,如果成立,檢索結束；反之轉到Step2。
5.如權利要求廣4之一所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述以移動面的位置信息構建全景3D模型構建模塊中，三維重構的處理流程是 StepA :通過視頻圖像讀取模塊讀取全景視頻圖像； StepB:根據(jù)直線電機的移動速度以及到達兩個極限點的時間估計移動面激光光源的直線電機的位置； StepC :在全景圖像上解析出全方位面激光信息，計算移動面點云幾何信息； StepD :從內(nèi)存中讀取無激光投射情況下的全景視頻圖像，根據(jù)StepC中處理結果將移動面幾何信息和顏色信息進行融合； StepE :逐步構建全景3D模型；St印F :判斷是否已經(jīng)到達極限點位置，如果是的話轉到St印G，不成立的話轉到StepA ； StepG :設置所述的移動面激光光源為OFF，讀取無激光投射情況下的全景視頻圖像，并將其保存在內(nèi)存單元中，輸出3D全景模型并保存到存儲單元，設置所述的移動面激光光源為0N，轉到St印A。
6.如權利要求廣4之一所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述的移動面激光光源的直線電機的位置估計模塊中，規(guī)定在重構開始時將移動面激光光源的初始位置定在上極限位置hup lim it，初始步長控制值Zmove (j) =0，相鄰兩幀時間移動面激光光源的移動步長為Λ z，即存在著以下關系，Zfflove(j+1) =Zfflove(j) + Λ z (9) 式中，zm_(j)為第j幀時步長控制值，Zfflove(j+1)為第j+Ι幀時步長控制值，Δζ為移動面激光光源的移動步長，這里規(guī)定從上極限位置huplim it向下方向移動時，Az=Imm;從下極限位置hd_limit向上方向移動時，Λ程序實現(xiàn)時通過以下關系式進行判斷，
7.如權利要求廣4之一所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述的移動面的點云幾何信息的計算模塊中，點云的空間位置信息用高斯坐標系來表示，每一個點云的空間坐標相對于全方位視覺傳感器的單視點Om為高斯坐標原點的高斯坐標用3個值來確定，即(R，α，β )，R為某一個點云到全方位視覺傳感器的單視點Om的距離，α為某一個點云到全方位視覺傳感器的單視點Om的入射角，β為某一個點云到全方位視覺傳感器的單視點Om的方位角，對于點 1點，其計算方法由公式(13)給出，
8.如權利要求廣4之一所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述的點云的幾何信息和顏色信息的融合模塊中，為融合過程如下， Step①設置初始方位角β =0 ； St?、诟鶕?jù)方位角β和在傳感器平面上與點云數(shù)據(jù)相對應的||u" ||(@)^和Iu" I I (β)8_η兩個點的信息，讀取無激光投射情況下的全景視頻圖上的相關像素點的(r，g，b)顏色數(shù)據(jù)，與從所述的St印C中處理加工得到的相對應的(R，α，β)進行融合，得到相對應的點云幾何信息和顏色信息(R，α，β，r，g, b)； Step③β — β + Δ β，Δ β =0. 36,判斷β =360是否成立,如果成立結束計算，將計算結果保存在存儲單元中；否則轉到Step②。
9.如權利要求廣4之一所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于所述的移動面的點云幾何信息的計算模塊中，點云點空間位置信息用笛卡爾坐標系Cf(Hz6)來表示，其計算方法由公式(14)給出，
10.如權利要求5所述的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，其特征在于在所述的StepC計算過程中遍歷了全方位360°的紅色和綠色全方位面激光投射所產(chǎn)生的點云數(shù)據(jù)；這里采用計算步長為Λ β =0.36來遍歷整個360°的方位角，遍歷算法如下， Step I :設置初始方位角β =0 ; Step II :采用所述的全方位面激光信息解析模塊，沿射線方向檢索點云if和點云丨得到在傳感器平面上與點云數(shù)據(jù)相對應的I Iu" 11 (β)Μ(^Ρ I Iu" 11 (β)@ 兩個點，用公式(13)計算點云^/的距離值Rb和入射角α b，用公式(15)計算點云W的距離值Ra和入射角a a ;或者用公式(14)和公式(16)得到P/(x65_y6,Z6)和將上述的計算數(shù)據(jù)保存在內(nèi)存單元中； Step III β — β + Δ β，Δ β =0. 36,判斷β =360是否成立,如果成立結束計算,否則轉到 Step II ο
全文摘要
一種基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，包括全方位視覺傳感器、移動面激光光源以及用于對全方位圖像進行3D全景重構的微處理器，所述的全方位視覺傳感器的中心與所述移動面激光光源的中心配置在同一根軸心線上；所述微處理器包括視頻圖像讀取模塊、全方位視覺傳感器標定模塊、Bird-View變換模塊、全方位面激光信息解析模塊、聯(lián)合標定模塊、移動面激光光源的直線電機的位置估計模塊、移動面的點云幾何信息的計算模塊，點云的幾何信息和顏色信息的融合模塊，以移動面的位置信息構建全景3D模型構建模塊，3D全景模型生成模塊和存儲單元；本發(fā)明實現(xiàn)了3D全景模型重構的幾何準確性、真實感和重建過程自動化的完美統(tǒng)一。
文檔編號G01C11/00GK102679959SQ20121013720
公開日2012年9月19日 申請日期2012年5月3日 優(yōu)先權日2012年5月3日
發(fā)明者劉康, 周靜愷, 夏少杰, 徐海濤, 林璐璐, 湯一平, 王鼎 申請人:浙江工業(yè)大學