專利名稱：一種微型實時立體視覺機的制作方法
技術(shù)領(lǐng)域：
本發(fā)明為一種微型實時立體視覺機，屬于機器視覺領(lǐng)域。用于實時恢復(fù)、存儲和傳輸場景稠密深度圖。
背景技術(shù)：
立體視覺技術(shù)已經(jīng)在移動機器人、多目標跟蹤、三維測量和物體建模等領(lǐng)域得到了廣泛的應(yīng)用。為了解決立體視覺的實時計算問題，人們開發(fā)了多種專用的立體視覺并行處理系統(tǒng)，其中基于DSP和基于FPGA的硬件系統(tǒng)是兩類應(yīng)用最為普遍的實時立體視覺系統(tǒng)。1996年美國卡內(nèi)基一梅隆大學(xué)的Kanade等人建立了一套實時五目立體視覺機，系統(tǒng)硬件主要由五個常規(guī)鏡頭攝像機構(gòu)成的立體視覺成象頭、圖象獲取與數(shù)字化VEM板、圖象預(yù)處理VME板、圖象并行計算DSP陣列VME板(8片TMS320C40芯片)和主控計算機組成。系統(tǒng)處理性能達到30MDPS，當圖象分辨率為200×200象素，視差搜索范圍為25個象素時，深度恢復(fù)速度為30幀/秒，這是當時速度最快的立體視覺系統(tǒng)。1999年日本的Kimura等人在Kanade立體視覺機算法的基礎(chǔ)上，使用FPGA設(shè)計了九目實時立體視覺機SAZAN。該系統(tǒng)由九個攝像機排成的3×3陣列立體成像頭、圖象數(shù)字化和預(yù)處理PCI板、FPGA主處理PCI板以及微型計算機組成。系統(tǒng)處理性能達到20MDPS，當圖象大小為320×240象素，視差搜索范圍30象素時，深度恢復(fù)速度為8幀/秒。
現(xiàn)有的立體視覺系統(tǒng)存在如下主要問題1.體積較大?，F(xiàn)有的立體視覺系統(tǒng)主要是在工作站或微型計算機的控制下運行的，體積較大，很難用于微型系統(tǒng)或微型自主機器人上。
2.立體視場角小。現(xiàn)有的立體視覺系統(tǒng)基本上是采用常規(guī)鏡頭攝像機，視場角較小，由多個攝像機構(gòu)成的立體視場角更小，一次獲取的信息十分有限，另外，這類立體視覺的立體視場盲區(qū)較大，無法感知近距離的目標。
3.增加攝像機數(shù)量可以減少誤匹配，提高稠密深度圖恢復(fù)精度，但會極大地增加系統(tǒng)計算負擔(dān)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種微型實時立體視覺機及實現(xiàn)方法，該立體視覺機體積小、視場角大、運算速度快，可以嵌入在微型機器人或微型系統(tǒng)中，實時高精度地恢復(fù)大視場稠密深度圖，完成障礙物檢測、路徑規(guī)劃等任務(wù)。
本發(fā)明的另一個目的是提供一種微型實時立體視覺機及實現(xiàn)方法，該立體視覺機配備2個或2個以上的常規(guī)鏡頭攝象機，能高精度恢復(fù)靜態(tài)或運動物體表面稠密深度圖，用于完成物體表面形狀恢復(fù)與測量等任務(wù)。
本發(fā)明的另一個目的是提供一種微型實時立體視覺機及實現(xiàn)方法，該立體視覺機加上圖象存儲器、液晶顯示屏及控制面板，構(gòu)成微型深度成像儀。
本發(fā)明的另一個目的是提供一種微型實時立體視覺機及實現(xiàn)方法，該立體視覺機通過控制器/通訊接口可以將深度圖、灰度圖象或彩色圖象實時地傳輸?shù)轿⑿陀嬎銠C或中央控制計算機中進行高層處理。實現(xiàn)仿人機器人、自主車輛等系統(tǒng)的視覺感知。
本發(fā)明所述的微型實時立體視覺機由立體視覺成像頭、立體視覺信息處理器、控制器/通訊接口三大部分組成，其特征在于立體視覺成像頭由CMOS成像傳感器、圖象采集控制器、幀存儲器等組成，多個CMOS成像傳感器在圖象采集控制器的控制下，同步獲取場景圖象，并將獲取的圖象存儲在幀存儲器里。立體視覺信息處理器由一片F(xiàn)PGA和多片存儲器組成，對圖象進行預(yù)處理和稠密深度圖并行計算?？刂破?通訊接口由基于DSP的控制芯片組件和基于IEEE1394串行通訊芯片組件組成，用于實現(xiàn)深度圖和灰度圖象的存儲、顯示和傳輸，也用于深度圖的高層處理以及依據(jù)深度圖和灰度圖象的控制指令生成和傳輸。
如上所述實時立體視覺機的立體視覺成像頭，其特征在于CMOS成象成像傳感器可以配備常規(guī)鏡頭，也可以配備廣角鏡頭或超廣角鏡頭，鏡頭對角線視場角可以達到140度。
如上所述實時立體視覺機的立體視覺信息處理器，其特征在于立體視覺信息處理器使用一片大規(guī)模FPGA芯片，在FPGA中實現(xiàn)圖象變形校正、LoG濾波、數(shù)據(jù)壓縮、數(shù)據(jù)裝配、對立體圖象對的對應(yīng)點求解等并行計算、SAD計算、SSAD計算和快速子象素級深度計算等，實現(xiàn)立體視覺信息的實時處理。
如上所述實時立體視覺機的控制器/通訊接口，其特征在于基于DSP的控制芯片組件可以完成場景稠密深度圖和/或灰度圖象的分析和處理，根據(jù)處理結(jié)果生成控制指令來控制微型機器人驅(qū)動器；基于DSP的控制芯片組件也可以驅(qū)動液晶顯示屏實時顯示獲取的灰度圖象、彩色圖象或深度圖?；贗EEE1394串行通訊芯片組件將圖象實時傳輸給中央控制器和微型計算機。
本發(fā)明提供了一種實用的微型實時立體視覺機及實現(xiàn)方法，本發(fā)明具有以下優(yōu)點1.本發(fā)明體積小，尺寸可以小到幾厘米，可以嵌入在微型機器人中，用于完成場景深度圖恢復(fù)、障礙物檢測和目標定位等任務(wù)。2.本發(fā)明運行速度快，當分辨率為320×240象素，視差搜索范圍32象素，深度圖象精度8位，稠密深度圖恢復(fù)速度達到30幀/秒；3.本發(fā)明可以配備廣角鏡頭或超廣角鏡頭獲取大場景信息，有效地提高感知環(huán)境效率。一般來說，超廣角鏡頭的視場角是常規(guī)鏡頭視場角的3至5倍，使用超廣角鏡頭可以感知的場景范圍是常規(guī)鏡頭的3至5倍。4.本發(fā)明使用3個或3個以上常規(guī)鏡頭攝像機，在特定光源照明下可以高精度恢復(fù)物體表面深度圖。在1.5米處，深度測量誤差小于0.5毫米，可以滿足各類物體表面測量和建模的要求。5.本發(fā)明可以通過IEEE1394串行總線接口實現(xiàn)與中央處理器和中央控制計算機的實時通訊，實現(xiàn)仿人機器人、自主車輛等系統(tǒng)的視覺感知；可以用于恢復(fù)監(jiān)控區(qū)域的深度圖，實現(xiàn)基于深度圖的目標分割和跟蹤，完成可靠魯棒的視頻監(jiān)控任務(wù)。


圖1是本發(fā)明的基本組成框圖；圖2是本發(fā)明的立體視覺成像頭的組成框圖；圖3是本發(fā)明的立體視覺信息處理器的組成框圖；圖4是本發(fā)明的控制與通訊接口的組成框圖；圖5是本發(fā)明的SAD計算框圖；圖6是SSAD二維迭代計算示意圖；圖7是本發(fā)明的SSAD計算順序示意圖；圖8是本發(fā)明的SSAD值的輸出順序示意圖；圖9是本發(fā)明的子象素深度計算框圖；圖10是本發(fā)明構(gòu)成的微型深度成像儀正面示意圖；圖11是本發(fā)明構(gòu)成的微型深度成像儀反面示意圖。
圖中主要結(jié)構(gòu)為立體視覺成像頭(1)；立體視覺信息處理器(2)；控制器/通訊接口(3)；CMOS圖象傳感器(4)；圖象采集控制器(5)；幀存儲器(6)；FPGA(7)；LoG存儲器(8)；水平高斯濾波存儲器(9)；SSAD存儲器(10)；深度圖存儲器(11)；深度圖象高層處理與傳輸控制器(12)；1394接口(13)；LCD接口(14)；應(yīng)用接口(15)；微型計算機(16)；液晶顯示屏(17)；微型機器人(18)。
具體實施例方式
本發(fā)明主要包括立體視覺成像頭(1)、立體視覺信息處理器(2)、控制器/通訊接口(3)三大部分，如圖1所示。立體視覺信息處理器(2)讀取立體視覺成像頭(1)獲取的同步圖象，并將實時恢復(fù)的稠密深度圖送給控制器/通訊接口(3)。
立體視覺成像頭包括2-8個CMOS圖象傳感器(4)、圖象采集控制器(5)和幀存儲器(6)。圖象傳感器(4)所配備的攝像機對角線視場角在30至140度之間選擇。圖象傳感器(4)也可以是CCD圖像傳感器，CCD圖像傳感器動態(tài)范圍大，穩(wěn)定性好，成像質(zhì)量高，但成本高。圖象采集控制器(5)的作用是控制所有的圖像傳感器(4)同步采集圖象，并將圖象存儲在幀存儲器(6)中，如圖2所示。
立體視覺信息處理器(2)實現(xiàn)立體視覺信息的實時處理。它包括一片F(xiàn)PGA(7)、1-7個LoG存儲器(8)、水平高斯濾波存儲器(9)、SSAD存儲器(10)和深度圖存儲器(11)，如圖3所示。FPGA(7)實現(xiàn)立體視覺信息實時處理的各個模塊徑向變形校正與水平高斯濾波模塊，垂直高斯濾波、拉普拉斯運算、數(shù)據(jù)壓縮和數(shù)據(jù)裝配模塊，SAD計算、SSAD計算和子象素級深度計算模塊。LoG存儲器(8)的個數(shù)比圖象傳感器(4)的個數(shù)少1，存儲壓縮并裝配后的LoG濾波結(jié)果；水平高斯濾波存儲器(9)存儲水平高斯濾波的計算結(jié)果；SSAD存儲器(10)緩存SSAD計算的中間結(jié)果；深度圖存儲器(11)存儲深度圖，如圖3所示。
假設(shè)立體成象頭攝象機數(shù)量為k+1(k≥1)，圖10所示攝像機數(shù)量為6(即k＝5))。兩個攝像機可以構(gòu)成一個立體成像頭，使用多個攝像機構(gòu)成立體成像頭的目的是提高對應(yīng)點匹配的正確率和深度恢復(fù)的精度。將其中一個攝象機定義為基攝象機(base camera)，對應(yīng)的圖象為基圖象，對應(yīng)的象素為基象素。我們建立了SAD和SSAD并行優(yōu)化算法，并建立了多級流水線計算結(jié)構(gòu)。算法的基本步驟如下1.對原始圖象進行幾何變形校正；2.對校正后的圖象進行LoG濾波；3.進行非線性直方圖變換，進一步增強紋理并縮減數(shù)據(jù)量；4.將深度搜索范圍等分成d段，形成d個候選深度值。在任一候選深度值下，對于基圖象中任一象素，在其余k幅圖象中求對應(yīng)點，計算對應(yīng)點與基象素的灰度值之差值的絕對值之和(SAD值)；5.在基象素某一鄰域窗口內(nèi)對SAD進行累加得到SSAD值(相似性度量)；6.從同一基象素在各個候選視差下的SSAD值中搜索出最小值；7.通過拋物線插值得到子象素級精度的深度值。
整個算法可分為圖象預(yù)處理和稠密深度圖恢復(fù)兩個部分。圖象預(yù)處理由2個模塊組成圖象變形校正和水平高斯濾波模塊，垂直高斯濾波、拉普拉斯運算、數(shù)據(jù)壓縮和數(shù)據(jù)裝配模塊。
采用超廣角鏡頭可以高效率地獲取場景信息，但同時也引進了嚴重的圖象畸變。圖象變形一般分為徑向變形和切向變形，其中徑向變形是引起圖象變形最主要的因素。本系統(tǒng)只考慮徑向變形，校正象素點沿徑向發(fā)生的位置移動。
使用二維拉普拉斯高斯(Laplacian of Gaussian，LoG)濾波對圖象進行預(yù)處理，可以減弱圖象噪聲，增強圖象紋理特征，消除立體圖象對之間亮度差異對后續(xù)匹配的影響。為了便于用硬件并行計算，將LoG濾波分解為二維高斯濾波和拉普拉斯運算，并將二維高斯濾波分解為垂直和水平方向上的兩次一維濾波。由于兩次一維高斯濾波不可能同時運行，因此可以使用同一個計算模塊，只需使用各自的控制模塊即可。這樣可以極大的減少對FPGA資源的占用。
LoG濾波輸出結(jié)果的絕大部分值集中在0值附近的很小范圍內(nèi)，如果使用較少的位數(shù)來表示這些數(shù)據(jù)，可以顯著減少后續(xù)處理所需的數(shù)據(jù)量，從而減少對系統(tǒng)硬件資源的占用。通過非線性直方圖變換，將LoG濾波結(jié)果由10位縮減為4位。該變換不但減少了數(shù)據(jù)量，同時也加大了圖象對比度，提高了算法對弱紋理區(qū)域的深度恢復(fù)能力。
在后續(xù)SAD計算過程中，為了精確獲取對應(yīng)位置的子象素級灰度信息，需讀取其相鄰四個象素值進行雙線性插值。為減少其訪存次數(shù)，可對圖象壓縮輸出的數(shù)據(jù)流進行裝配，使得SAD計算可以一次訪存讀出所需的4個象素值。由于整個系統(tǒng)的速度瓶頸即在于該模塊的訪存次數(shù)，該數(shù)據(jù)裝配過程可以極大提高系統(tǒng)性能。裝配過程如下對于基圖象，按照列的順序?qū)⑾噜?列的數(shù)據(jù)裝配在一起；對于其它圖象，則將上下左右相鄰4個象素值裝配在一起。裝配后的數(shù)據(jù)被輸出到16位的緩存SRAM中。
稠密深度圖恢復(fù)由SAD計算、SSAD計算和深度計算模塊來實現(xiàn)。
SAD(the Sum of Absolute Difference)計算中首先需要在任一候選深度下，計算基準圖象中的任一象素在其它圖象中的對應(yīng)點位置。該過程所需運算量較大，而且涉及到矩陣運算和乘除法運算，用通用微處理器或DSP實現(xiàn)比較費時，用FPGA實現(xiàn)則占用較多的邏輯計算資源。我們建立了對應(yīng)性求解簡易算法，該算法可以直接精確求解對應(yīng)點，計算速度快，占用的FPGA邏輯資源也很少。
設(shè)k+1個攝象機表示為C0，C1，…，Ck，其中C0為基準攝象機，由此可以得到k個圖像對。令絕對坐標系與基準攝象機坐標系重合，空間點P(x，y，z)(絕對坐標系)在基準攝象機C0成象平面中的投影P0(u0，v0)(圖象坐標系)滿足z·u0v01=f00a0f0010·xyz1-----(1)]]>f0，a0是基準攝象機的內(nèi)部參數(shù)。P(x，y，z)在攝象機Ci(i≠0)坐標系中的坐標表示為Pi(xi，yi，zi)，其在對應(yīng)成象平面中的投影Pi(ui，vi)滿足ziuivi1=fr11fr12fr13ft1afr21afr22afr23aft2r31r32r33t3xyz1-----(2)]]>其中f，a，rij，tk表示攝象機Ci的內(nèi)外部參數(shù)。將(2)式代入式(1)得到zizuivi1=fr11f0fr12a0f0fr13+ft1zafr21f0afr22a0f0afrt23+aft2zr31f0r32a0f0r33+t3zu0v01=h11h12h13h21h22h23h31h32h33u0v01=Hu0v01---(3)]]>由此得到對應(yīng)位置求解公式 其中，參數(shù)h11，h12，h21，h22，h31，h32與深度無關(guān)，參數(shù)h13，h23，h33和深度相關(guān)。對于指定圖象對，由于攝像機內(nèi)外部參數(shù)確定，對應(yīng)位置的求解只與基準象素位置和候選深度值有關(guān)。
式(4)中共有6個加法、6個乘法和2個除法，直接完成這些計算將占用大量的FPGA計算資源。實際上，對一幅圖象進行SAD計算時，u0和v0值順序增大，因此6個乘法器可以用6個累加器代替；另外，當各個攝象機成象平面與基準攝象機成象平面基本平行時(大多數(shù)立體視覺系統(tǒng)都屬于這種情況)，式(4)中的分母 約等于1，且變化范圍較小。建立查找表，保存其變化范圍內(nèi)所需精度下所有數(shù)的倒數(shù)值，可將式(4)中的2個除法轉(zhuǎn)化為2個乘法。這樣整個對應(yīng)坐標求解過程只需要2個乘法和12個加法就可以實現(xiàn)。
對基圖象中的一個象素在某一候選深度下的SAD計算過程如下并行計算它在所有其它圖象中對應(yīng)象素的位置，并行讀取并插值計算到子象素級精度象素值，計算AD值，再求和得到SAD值。注意前面的數(shù)據(jù)裝配使得可以一次訪存讀入對應(yīng)位置相鄰的4個象素值，并插值得到6位精度的子象素級象素值，如圖5所示。這樣每計算一個SAD值只需一個時鐘周期。
SSAD(the Sum of SAD)計算圖6所示的是SSAD二維迭代算法，Ai(i＝1～4)為SAD值，Sj(j＝1～4)表示以該位置為中心的SSAD值。S4值可以通過如下的二維迭代方式求得S4＝S2+S3-S1+A1-A2-A3+A4(5)設(shè)求和窗口為9×9，候選深度32個。式(5)等號右邊7項的存儲和讀取(以任一候選深度為例)如下將最近9列SAD值保存在緩存BUFF1中，可得到上式中的A1、A2值，將最近9個象素的SAD值保存在緩存BUFF2中，可得到A3值，將最近1列多1個象素的SSAD值保存在緩存BUFF3中，可得S1、S2和S3值，分別存儲在三個緩存器中。為確保有足夠的BUFF1存取時間，相鄰3個SAD值被拼合并一次寫入BUFF1，使得有2個時鐘的空閑時間以分別讀出A1和A2值。當然這要求A1、A2讀取時也必須一次取出相鄰三個象素值。由于求和窗口大小恰為3的整數(shù)倍，因此必可一次讀出所需的相鄰三個值(若窗口大小不是3的整數(shù)倍，則需將連續(xù)4象素SAD值拼合，使其有3個空閑時鐘以取出全部A1、A2值)。上述過程要求連續(xù)計算同一候選深度下相鄰3個象素的SSAD值。圖7所示的是對BUFF3存取過程，Oi表示緩存的SSAD值，Nj表示當前需要計算的SSAD值。由于需要讀出O1～O5這5個SSAD值以實現(xiàn)N1～N3的計算(即要求在3個時鐘里取出5個SSAD值)，因此使用FPGA內(nèi)部的兩個RAM，分別保存奇數(shù)和偶數(shù)候選深度下的SSAD值。這使得每個RAM都有連續(xù)6個時鐘的空閑以讀出O1～O5值。這種二維迭代算法可以使用很少的緩存就能實現(xiàn)每個時鐘周期計算一個SSAD值。
子象素級深度計算子象素級深度計算的第一步式提取SSAD曲線的最小值，然后利用拋物線插值實現(xiàn)子象素級精度的最小值定位。由于SSAD計算順序的約束，SSAD值的輸出順序如圖8所示。圖中編號表示象素序號，下標表示候選深度序號。由圖9可知，同一基象素的32個SSAD值，相互間的輸出間隔為2個時鐘，其間這2個時鐘輸出相鄰2個象素的SSAD值。因此最小值提取需分3路并行實現(xiàn)。由于對每32個SSAD輸入只需執(zhí)行一次子象素級插值運算，這3路就可以共用一個插值運算模塊。3路SSAD最小值輸出在時間上相差4個時鐘。利用移位寄存器增大各路之間的延遲到8個時鐘，以滿足插值模塊除法器每8個時鐘接受一次輸入的要求。
除了預(yù)處理和深度圖恢復(fù)的各模塊外，還使用了一個管理者模塊，用來實現(xiàn)上述各模塊間的同步控制。這些模塊由于涉及到對外部存儲器的互斥訪問，任意相鄰兩個都不可以同時運行。因此使用了一個管理者模塊，用來控制相鄰模塊的互斥運行，并使不相鄰的模塊能可以流水線方式同時運行，以提高系統(tǒng)的處理性能。
控制器/通訊接口(3)它包括深度圖象高層處理與傳輸控制器(12)、1394接口(13)、LCD接口(14)、應(yīng)用接口(15)。深度圖象高層處理與傳輸控制器(12)可以是DSP芯片，它可以通過1394接口(13)將深度圖、灰度圖象和彩色圖實時傳輸給微型計算機(16)中進行高層處理；也可以通過LCD接口(14)控制液晶顯示屏(17)顯示深度圖、灰度圖象和彩色圖；還可以對圖象進行高層處理，產(chǎn)生行動指令，將指令通過應(yīng)用接口(15)送給微型機器人驅(qū)動器(18)；如圖4所述。
應(yīng)用舉例圖10是由本發(fā)明構(gòu)成的微型深度成像儀正面立體視覺成像頭示意圖。立體成像頭由六個CMOS成像傳感器和兩個光源組成，每一個光源是由24個大功率紅外發(fā)光管組成。發(fā)光管前增加光柵，在照射物體上會產(chǎn)生條紋或花斑，可以增加無紋理表面的紋理特征，提高求解對應(yīng)點的可靠性。圖11是微型深度成像儀反面液晶顯示示意圖。液晶顯示屏顯示的是一個地板上放置的兩塊巖石的稠密深度圖，離攝象機越近，圖象越亮。液晶顯示屏兩邊的控制按鈕用于控制光源開關(guān)、單幀圖象獲取、連續(xù)視頻圖象顯示、連續(xù)深度圖顯示、圖象存儲、系統(tǒng)初始化等。
權(quán)利要求
1.一種微型實時立體視覺機，其特征在于它包括立體視覺成像頭(1)、立體視覺信息處理器(2)、控制器/通訊接口(3)三大部分；立體視覺信息處理器(2)讀取立體視覺成像頭(1)獲取的同步圖象，并將實時恢復(fù)的稠密深度圖傳輸給控制器/通訊接口(3)；立體視覺成像頭(1)通過多個圖象傳感器同步獲取場景圖象；它包括2-8個圖象傳感器(4)、圖象采集控制器(5)和幀存儲器(6)；圖象傳感器(4)所配備的攝像機對角線視場角在30至140度之間選擇；圖象采集控制器(5)控制各個圖象傳感器(4)同步采集圖象，并將圖象數(shù)據(jù)存儲到幀存儲器(6)中；立體視覺信息處理器(2)實現(xiàn)立體視覺信息的實時處理；它包括一片F(xiàn)PGA(7)、1-7個LoG存儲器(8)、水平高斯濾波存儲器(9)、SSAD存儲器(10)和深度圖存儲器(11)；FPGA(7)實現(xiàn)立體視覺信息實時處理的各個模塊徑向變形校正與水平高斯濾波模塊，垂直高斯濾波、拉普拉斯運算、數(shù)據(jù)壓縮和數(shù)據(jù)裝配模塊，SAD計算、SSAD計算和子象素級深度計算模塊；LoG存儲器(8)的個數(shù)比圖象傳感器(4)的個數(shù)少1，存儲壓縮并裝配后的LoG濾波結(jié)果；水平高斯濾波存儲器(9)存儲水平高斯濾波的計算結(jié)果；SSAD存儲器(10)緩存SSAD計算的中間結(jié)果；深度圖存儲器(11)存儲深度圖；SAD計算中的立體圖象對的對應(yīng)位置求解簡易算法如下設(shè)k+1個攝象機表示為C0，C1，…，Ck，其中C0為基準攝象機，由此可以得到k個圖像對；令絕對坐標系與基準攝象機坐標系重合，絕對坐標系下的空間點P(x，y，z)在基準攝象機C0成象平面中的投影點在圖象坐標系表示為P0(u0，v0)，則滿足z·u0v01=f00a0f0010·xyz1-----(1)]]>f0，a0是基準攝象機的內(nèi)部參數(shù)；P(x，y，z)在攝象機Ci(i≠0)坐標系中的坐標表示為Pi(xi，yi，zi)，其在對應(yīng)成象平面中的投影Pi(ui，vi)滿足zi=uivi1=fr11fr12fr13ft1afr21afr22afr23aft2r31r32r33t3xyz1-----(2)]]>其中f，a，rij，tk表示攝象機Ci的內(nèi)外部參數(shù)；將(2)式代入式(1)得到zizuivi1=fr11f0fr12a0f0fr13+ft1zafr21f0afr22a0f0afr23+aft2zr31f0r32a0f0r33+t3zu0v01=h11h12h13h21h22h23h31h32h33u0v01=Hu0v01--(3)]]>由此得到對應(yīng)位置求解公式 其中，參數(shù)h11，h12，h21，h22，h31，h32與深度無關(guān)，參數(shù)h13，h23，h33和深度相關(guān)；對于指定圖象對，由于攝像機內(nèi)外部參數(shù)確定，對應(yīng)位置的求解只與基準象素位置和候選深度值有關(guān)；式(4)中共有6個加法、6個乘法和2個除法，直接完成這些計算將占用大量的FPGA計算資源；實際上，對一幅圖象進行SAD計算時，u0和v0值順序增大，因此6個乘法器可以用6個累加器代替；另外，由于各個攝象機成象平面與基準攝象機成象平面基本平行，則式(4)中的分母 約等于1，且變化范圍較小；通過建立查找表，保存其變化范圍內(nèi)所需精度下所有數(shù)的倒數(shù)值，可將式(4)中的2個除法轉(zhuǎn)化為2個乘法；這樣整個對應(yīng)坐標求解過程只需要2個乘法和12個加法就可以實現(xiàn)；使用二維迭代算法來實現(xiàn)SSAD計算Ai(i＝1～4)為SAD值，Sj(j＝1～4)表示以該位置為中心的SSAD值；S4值可以通過如下的二維迭代方式求得S4＝S2+S3-S1+A1-A2-A3+A4(5)控制器/通訊接口(3)用于實現(xiàn)圖象的高層處理和控制指令生成，也用于圖象的實時顯示和傳輸；它包括深度圖象高層處理與傳輸控制器(12)、1394接口(13)、LCD接口(14)、應(yīng)用接口(15)；深度圖象高層處理與傳輸控制器(12)實現(xiàn)對深度圖象進一步的高層處理，并與1394接口(13)、LCD接口(14)和應(yīng)用接口(15)相連。
2.如權(quán)利要求1所述的微型實時立體視覺機，其特征在于可以通過LCD接口(14)實現(xiàn)將深度圖實時顯示于液晶顯示屏(17)，構(gòu)成微型實時深度成像儀。
3.如權(quán)利要求1所述的微型實時立體視覺機，其特征在于可以通過1394接口(13)將灰度圖象或彩色圖象實時地傳輸?shù)轿⑿陀嬎銠C(16)或中央控制計算機中進行高層處理。
4.如權(quán)利要求1所述的微型實時立體視覺機，其特征在于控制器/通訊接口(3)根據(jù)深度圖和灰度圖象生成行動指令，通過應(yīng)用接口(15)送給微型機器人驅(qū)動器(18)。
全文摘要
一種微型實時立體視覺機,屬于機器視覺領(lǐng)域。由立體視覺成像頭、立體視覺信息處理器、控制器/通訊接口組成。立體視覺成像頭中所有圖象傳感器同步獲取圖象,且其攝象機的對角線視場角達140度;立體視覺信息處理器以一片F(xiàn)PGA作為處理芯片,完成圖象變形校正、LoG濾波、SSAD計算和子象素級深度計算,實現(xiàn)稠密深度圖實時恢復(fù);控制器/通訊接口由DSP和1394通訊芯片組成,用于實現(xiàn)深度圖和灰度圖象的存儲、顯示和傳輸,也用于深度圖的高層處理以及依據(jù)深度圖和灰度圖象的控制指令生成。該立體視覺機體積小,運行速度快,視場角大,能實現(xiàn)仿人機器人、自主車輛等系統(tǒng)的視覺感知;也可實現(xiàn)基于深度圖的目標分割和跟蹤,完成可靠魯棒的視頻監(jiān)控任務(wù)。
文檔編號H04N15/00GK1360440SQ0210054
公開日2002年7月24日 申請日期2002年1月31日 優(yōu)先權(quán)日2002年1月31日
發(fā)明者賈云得, 劉萬春, 朱玉文, 徐一華, 楊聰 申請人:北京理工大學(xué)