專利名稱：：一種基于連續(xù)視頻的機(jī)器人場景深度判別方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于機(jī)器人視覺模擬、圖像匹配
技術(shù)領(lǐng)域：
，具體涉及一種機(jī)器人場景深度判別方法。
背景技術(shù)：
：人具有感知三維世界的能力。在一場景中，人的左右眼以不同的視點(diǎn)來觀察同一個(gè)目標(biāo)，所以在左右眼中所形成的圖像有稍微的差別，而大腦利用這些差別再進(jìn)行信息加工即可估算出目標(biāo)的深度。這就是人感知三維場景中目標(biāo)深度的原理。許多研究者，試圖讓被賦予三維感知能力的機(jī)器能在未知場景中自由地探索，機(jī)器通過建立場景的三維模型或者是場景的深度地圖，來“理解”場景，從而能夠完成被賦予的任務(wù)。對(duì)于場景的三維重建和深度估算，人們提出了各種各樣的方法。例如，[4]通過維護(hù)由單目圖像和對(duì)應(yīng)的深度圖組成的訓(xùn)練集，用學(xué)習(xí)的方法來進(jìn)行深度估算；在[5]中，作者把單目線索加入到立體視覺系統(tǒng)中，獲得了更精確的深度估算；[6]提出了一個(gè)能從單目圖像上重建平面法向的互動(dòng)系統(tǒng)。在這些研究嘗試中，人們以各種各樣的方法來模擬人的視覺系統(tǒng)，有攝像機(jī)、激光、聲納及各種射線等等。其中，(1)激光和各種射線可以用來測距，對(duì)場景進(jìn)行深度估算，能夠達(dá)到很高的精度，并且重量輕功耗小，但是它們只能對(duì)場景中某一點(diǎn)或者某一小片的范圍進(jìn)行測距，不能像相機(jī)那樣記錄下整個(gè)場景的信息，所以激光測距不適合復(fù)雜場景的深度估算。在[1]中，作者分析了激光的各種性能，也提到了激光對(duì)人眼的傷害；因此綜合考慮激光的各種性能，激光更適合于軍事武器的制導(dǎo)作用等軍用[2]。(2)聲納技術(shù)由于其成本高、體積重量大、能耗大，很難被用于小型測距探測系統(tǒng)，而由于其在水中傳播的穩(wěn)定性，故常常用于水下通信和導(dǎo)航、以及魚雷制導(dǎo)、水雷引信等領(lǐng)域[3]。最常用就是攝像機(jī)(或者照相機(jī))，這是因?yàn)橄鄼C(jī)的成像原理與人眼的成像原理是類似的。廣義的攝像機(jī)包括了多目視覺系統(tǒng)和單目視覺系統(tǒng)。毫無疑問，如果多目視覺系統(tǒng)具有三維感知能力，那么這并不難理解，因?yàn)槿搜劬褪且粋€(gè)雙目視覺系統(tǒng)。但是單目視覺系統(tǒng)也可以具有三維感知能力。當(dāng)人只睜開一只眼睛時(shí)，他依然具有能力感知到三維世界的深度信息，這很大程度上歸咎于他腦中的大量視覺經(jīng)驗(yàn)；依據(jù)類似的原理，被加上視覺經(jīng)驗(yàn)的單目視覺系統(tǒng)也可以具有三維感知能力。除此之外，一個(gè)處于“運(yùn)動(dòng)”狀態(tài)的單目視覺系統(tǒng)同樣具備三維感知能力。當(dāng)一單目系統(tǒng)在一位置獲得場景的圖像后，再移動(dòng)到另一位置獲得場景的令一張圖像，利用這兩張圖像的差別以及相關(guān)原理，可以計(jì)算出場景的三維模型或深度信息。這就是本發(fā)明提出的一個(gè)新方法。另外，在圖像處理中，不得不涉及的一個(gè)技術(shù)就是圖像上點(diǎn)的匹配，傳統(tǒng)的方法只利用了單個(gè)待匹配點(diǎn)的光強(qiáng)，在某范圍內(nèi)來搜索與之光強(qiáng)接近的匹配點(diǎn)，這種方法雖然計(jì)算量少，但準(zhǔn)確率和穩(wěn)定性極低；本發(fā)明中的一個(gè)新的匹配方法突破了傳統(tǒng)，它考慮的是某個(gè)區(qū)域的光強(qiáng)值組成的矩陣，來搜索與光強(qiáng)矩陣“接近”的匹配區(qū)域，只要把區(qū)域的大小設(shè)置成合適的值，可以做到計(jì)算量不大，準(zhǔn)確率和穩(wěn)定性極高的效果。
發(fā)明內(nèi)容本發(fā)明的目的在于提出一種計(jì)算量小，準(zhǔn)確率高，穩(wěn)定性好的機(jī)器人場景深度判別方法。本發(fā)明提出的機(jī)器人場景深度判別方法，具體步驟如下1)在一未知場景中，裝備上單目視覺系統(tǒng)的機(jī)器人通過拍照獲得關(guān)于場景的一張照片P1，再向前移動(dòng)適當(dāng)?shù)木嚯x，設(shè)長度為S，再拍照獲得關(guān)于場景的另一種照片P2。由于向前移動(dòng)的誤差，照片Pl和照片P2的相片中心點(diǎn)不是同一個(gè)目標(biāo)點(diǎn)，即相片中心點(diǎn)存在誤差，在后面的深度估算中這個(gè)誤差信息是要被用到的。2)對(duì)照片P2進(jìn)行角點(diǎn)檢測，對(duì)于照片P2上的每一個(gè)角點(diǎn)A2，利用本發(fā)明提出的關(guān)于單目機(jī)器人時(shí)間鄰近幀圖像的匹配方法進(jìn)行匹配，從而在照片Pl上找出A2的匹配點(diǎn)Al。所述的匹配利用待匹配點(diǎn)所在的一塊合適大小的區(qū)域的光強(qiáng)度矩陣，尋找與該光強(qiáng)接近的另一塊同樣大小的區(qū)域，新區(qū)域的中心點(diǎn)即為匹配點(diǎn)，經(jīng)過實(shí)驗(yàn)驗(yàn)證，此方法穩(wěn)定好、準(zhǔn)確率高；3)利用本發(fā)明請(qǐng)?zhí)岢龅膯文繖C(jī)器人連續(xù)移動(dòng)使用前后幀圖像的深度計(jì)算方法，計(jì)算出場景中每一個(gè)角點(diǎn)對(duì)應(yīng)的目標(biāo)的深度，從而形成一個(gè)深度地圖。在此深度估算的過程中，無需知道相機(jī)的任何參數(shù)。其中，移動(dòng)的距離S—般為10200cm。本發(fā)明的計(jì)算步驟見圖8所示。上述方法中，涉及到單目機(jī)器人坐標(biāo)體系設(shè)定，具體內(nèi)容如下1.通過把相機(jī)成像原理近似成點(diǎn)透視投影，建立起相機(jī)成像的三維坐標(biāo)系；2.并用數(shù)學(xué)公式表示出像點(diǎn)和原像點(diǎn)間的關(guān)系。被裝備到機(jī)器人身上的單目視覺系統(tǒng)，其鏡頭為一凸透鏡，故其成像原理是凸透鏡的成像原理。設(shè)物距(物體到鏡頭的距離)表示為u，鏡頭的焦距為f，像距(膠卷到鏡頭的距離)為V。當(dāng)U>2f時(shí)，凸透鏡的成像為附圖1所示。注意到，當(dāng)u>>2f時(shí)，νf。一般情況下，由于相機(jī)的f較小，都滿足u>>2f，故可以認(rèn)為ν=f，這時(shí)凸透鏡成像可以用點(diǎn)透視投影來近似，如附圖2所示?，F(xiàn)在把相機(jī)成像原理在三維坐標(biāo)系中表示出來。以相機(jī)的投影中心為坐標(biāo)系的原點(diǎn)0，正前方(鏡頭方向)為Z軸負(fù)方向，水平向右為X軸正方向。以點(diǎn)0'(0，0，-f)(其中f為相機(jī)的焦距)為中心畫一個(gè)與相機(jī)底片同樣大小的矩形，稱為投影平面。假設(shè)A為空間中某一點(diǎn)，那么直線OA與投影平面的交點(diǎn)A'稱為A的投影點(diǎn)(根據(jù)點(diǎn)透視投影的原理)。顯然投影平面與底片關(guān)于坐標(biāo)系原點(diǎn)(0，0，0)中心對(duì)稱，投影點(diǎn)與相機(jī)膠卷上的像點(diǎn)對(duì)稱，研究投影平面上的點(diǎn)相當(dāng)于研究了底片上的成像點(diǎn)。稱此三維坐標(biāo)系為攝像坐標(biāo)系，如附圖3示。假設(shè)三維場景中目標(biāo)的空間位置點(diǎn)A在攝像坐標(biāo)系中的坐標(biāo)為A(xA，yA，zA)，A點(diǎn)的投影點(diǎn)A'的坐標(biāo)為A'W,Jh'，f)。過點(diǎn)A'作X軸和Z軸的垂線，那么可以得到A'的X軸坐標(biāo)χ/和Z軸坐標(biāo)f;過點(diǎn)A作X軸和Z軸的垂線，那么可以得到A的X軸坐標(biāo)xA和Z軸坐標(biāo)zA。如附圖4示。根據(jù)相似三角形的性質(zhì)可得<formula>formulaseeoriginaldocumentpage5</formula>由照片的信息，可以得到A'(xA'，y/，f)的坐標(biāo)值。從上可以看出，要求A的坐標(biāo)，即三維場景中目標(biāo)的空間位置，還需要知道zA，即A點(diǎn)相對(duì)于攝像頭的深度。本發(fā)明中，步驟2所述的單目機(jī)器人時(shí)間鄰近幀圖像的匹配，具體如下該方法的目的在于提出一種有別于傳統(tǒng)的基于圖像區(qū)域塊光強(qiáng)矩陣的點(diǎn)匹配方法，擺脫基于單個(gè)像素光強(qiáng)的匹配思想束縛，以圖像區(qū)域?yàn)榭疾鞂?duì)象，形成了一種更準(zhǔn)確更穩(wěn)定的匹配方法。考慮在二維圖像上建立一二維直角坐標(biāo)系X'0'Y'，以二維圖像的中心0'為原點(diǎn)，向右為X'軸，向上為Y'軸，如附圖5示。那么圖像上的像素點(diǎn)可以表示為以像素為單位的二維坐標(biāo)。設(shè)待匹配圖像上點(diǎn)(X，y)的光強(qiáng)度函數(shù)為f2(x，y)，目標(biāo)圖像上點(diǎn)(X，y)的光強(qiáng)度函數(shù)Sf1(^y)；設(shè)待匹配圖像上的待匹配點(diǎn)A2的坐標(biāo)為(x2，y2)，如附圖6示。在目標(biāo)圖像上尋找這樣的點(diǎn)(X，y)，使下面的目標(biāo)函數(shù)P(x，y)達(dá)到最小值<formula>formulaseeoriginaldocumentpage5</formula>說明待匹配區(qū)域是待匹配圖像上以像素點(diǎn)A2為中心的(2M+1)X(2N+1)像素區(qū)域，目標(biāo)區(qū)域是目標(biāo)圖像上以像素點(diǎn)(X，y)為中心的(2M+1)X(2N+1)像素區(qū)域。這里，M為待匹配區(qū)域在χ'方向上的像素個(gè)數(shù)，N為待匹配區(qū)域在y'方向上的像素個(gè)數(shù)。具體的計(jì)算步驟見圖9所示。本發(fā)明中，步驟3所述單目機(jī)器人連續(xù)移動(dòng)使用前后幀圖像的深度計(jì)算方法，具體如下本發(fā)明在圖像匹配的基礎(chǔ)上，研究未知場景中機(jī)器人移動(dòng)時(shí)獲取的一序列二維圖像的關(guān)系，揭露出鄰近幀圖像間的數(shù)學(xué)幾何關(guān)系以及與三維場景深度間的關(guān)系，提出了一種深度計(jì)算方法。對(duì)于場景中的目標(biāo)點(diǎn)A，當(dāng)機(jī)器人位于點(diǎn)O1時(shí)(即相機(jī)的投影中心位于點(diǎn)O1)，點(diǎn)A在投影平面上的投影點(diǎn)為A1(χ/,y/，-f)，P1(Oj^f)為此時(shí)投影平面的中心點(diǎn)；當(dāng)機(jī)器人移動(dòng)了距離s后到位置O2時(shí)，點(diǎn)A在投影平面上的投影點(diǎn)為A2(x2'，y2'，-f)，P2(0，0,-f)為此時(shí)投影平面的中心點(diǎn)。如附圖7示。在附圖7中，過點(diǎn)A作一豎直平面(即與投影平面平行)，設(shè)直線O1P1和O2P2分別交此平面于點(diǎn)H1和H2,在此平面上分別過H1和H2作水平線H1I1和H2I2，并交于豎直線AI1于點(diǎn)I1和點(diǎn)12。如果從點(diǎn)O1到點(diǎn)O2的移動(dòng)為正前方向，那么點(diǎn)H1和H2是重合的。但在實(shí)際操作中，往往存在誤差，不妨設(shè)點(diǎn)H1和H2橫向和縱向距離分別為w和h，并規(guī)定當(dāng)H2在H1的右邊時(shí)，w為正數(shù)，否則為負(fù)；當(dāng)H2在H1的上邊時(shí)，h為正數(shù)，否則為負(fù)。從附圖7中容易得到<formula>formulaseeoriginaldocumentpage6</formula>故:<formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage6</formula>再由附圖7中得到<formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage6</formula><formula>formulaseeoriginaldocumentpage7</formula>由式1和式2，可得<formula>formulaseeoriginaldocumentpage7</formula>再把式3代入式1中，可得O2H2<formula>formulaseeoriginaldocumentpage7</formula>即為深度公式。深度公式中的參數(shù)s由機(jī)器運(yùn)動(dòng)系統(tǒng)獲得，X1'和y/由單目圖像上的信息獲取，而參數(shù)w和h反應(yīng)了移動(dòng)和拍攝的橫向和縱向的偏差，可由前后兩幀圖像上中心點(diǎn)的匹配獲取，采用的匹配方法如前所述。估算的實(shí)驗(yàn)結(jié)果見實(shí)施例。圖1為物距對(duì)凸透鏡成像的影響。圖2為點(diǎn)透視投影近似凸透鏡成像。圖3為攝像坐標(biāo)系。圖4為成像公式的推導(dǎo)。圖5為二維圖像上的平面直角坐標(biāo)系。圖6為點(diǎn)的匹配。圖7為移動(dòng)前后的成像圖。圖8為本發(fā)明計(jì)算步驟框圖。圖9為本發(fā)明圖像匹配方法計(jì)算步驟框圖。圖10為單目機(jī)器人在4個(gè)不同位置拍攝的4幅(P1、P2、P3、P4)圖像具體實(shí)施例方式如圖8所示，本發(fā)明的實(shí)施過程的具體步驟如下1)在一未知場景中，裝備上單目視覺系統(tǒng)的機(jī)器人通過拍照獲得一張關(guān)于場景的照片P1，再向前移動(dòng)適當(dāng)?shù)木嚯x(設(shè)長度為S，取值范圍為IOcm彡S彡200cm)，再拍照獲得另一種照片P2。2)取P2上的中心點(diǎn)(x。entCT，ycenter)(Xcenter為P2橫向上以像素為單位的長度的一半，y。mtCT為P2縱向上以像素為單位的長度的一半)，利用本發(fā)明介紹的匹配方法在Pl中尋找匹配點(diǎn)(χcenter‘Ycenter)。令橫向偏差WXcenter^center，縱向偏差hycenterYcenter°3)執(zhí)行角點(diǎn)檢測函數(shù)cvGoodFeaturesToTrack(P2，......，C，&MAX，......)對(duì)P2進(jìn)行角點(diǎn)檢測，那么所有的角點(diǎn)坐標(biāo)就都存放在數(shù)組C[MAX]中(MAX的取值范圍為100^MAX^500)。4)令i=0。5)對(duì)P2中的角點(diǎn)C[i](假設(shè)具體的坐標(biāo)值為(χ/[i]，y/[i]))，利用本發(fā)明介紹的匹配方法在Pl中尋找匹配點(diǎn)(用M[i]來表示，具體坐標(biāo)為(x2'[i]，y2'[i]))。6)計(jì)算角點(diǎn)C[i]所對(duì)應(yīng)的三維場景深度值為W1V1Tz]-W-X1T/]-Zz卯]=“’[/]-二m^mu^i并把此深度值標(biāo)注在P2的位置(。⑴，Y1'[i])上。7)令i=i+Ι；若i<MAX，轉(zhuǎn)至第5)步驟執(zhí)行；否則，執(zhí)行下一步。8)在P2上形成了關(guān)于場景的深度地圖。本發(fā)明中，圖像匹配方法的計(jì)算過程見圖9所示，具體步驟如下1)對(duì)于P2中的角點(diǎn)C[i](假設(shè)具體的坐標(biāo)值為(x2，y2))。2)令j=-R(R的取值范圍為10彡R彡200，單位是像素)，MAX_VALUE=0。3)令k=-R04)令X1=X2+j,Y1=y2+ko5)計(jì)算temp=^I)Wl)·風(fēng)士？丨處1w)_/2(X2+y，w)’其中f“x補(bǔ)A=0，±1,......,+NY!+k)表示Pl上點(diǎn)(x+j，y+k)的光強(qiáng)值，f2(x+j，y+k)表示P2上點(diǎn)(x2+j,y2+k)的光強(qiáng)值。(M和N的取值范圍是0彡M，N彡100，單位是像素)6)若temp>MAX_VALUE,那么令MAX_VALUE=temp,χ=X1,y=y1D7)k=k+1。Sk<R，則轉(zhuǎn)至第4)步驟；否則，執(zhí)行下一步。8)j=j+1。若j<R，轉(zhuǎn)至第3)步驟；否則，執(zhí)行下一步。9)輸出Pl上的匹配點(diǎn)坐標(biāo)(X，y)。下面是利用本發(fā)明方法估算場景深度的實(shí)驗(yàn)例子。其中P1、P2、P3、P4是單目機(jī)器人在4個(gè)不同位置對(duì)同一場景拍攝的4個(gè)照片，像素塊的大小為832X624，計(jì)算結(jié)果如下表1深度求解實(shí)驗(yàn)<table>tableseeoriginaldocumentpage8</column></row><table><table>tableseeoriginaldocumentpage9</column></row><table>參考文獻(xiàn)[1]XUJun,SULiang-Bi，XUXiao-Dong,ZHAOZhi-ffei,andZHAOGuang-Jun,“RecentDevelopmentsandResearchFrontierofLaserCrystals，，，JOURNALOFINORGANICMATERIALS,2006,21(5).[2]WANGKuang-biao,“Statusquo,keytechnologyanddevelopmentoflaserguidedweapon”，INFRAREDANDLASERENGINEERING,2007,36(5).[3]ZHENGKun,WANGYing-rain,andZHANGZheng-qi,"DesignandEmulationofSonarTargetSimulationSystem”，COMPUTERSIMULATION,2008,25(12).[4]AshutoshSaxena,SungH.Chung,andAndrewY.Ng,"LearningDepthfromSingleMonocularImages，，，NIPS，2005，pp18.[5]AshutoshSaxena,JamieSchulte,AndrewY.Ng,"DepthEstimationusingMonocularandStereoCues",IJCAI,2007.[6]Tai-PangWu,JianSun,Chi-KeungTang,Heung-YeungShum,“InteractiveNormalReconstructionfromaSingleImage，，，ACMTransactiononGraphics,Vol.27,No.5,Article119,December2008.權(quán)利要求一種基于連續(xù)視頻的機(jī)器人場景深度判別方法，其特征在于具體步驟如下1)在一未知場景中，裝備上單目視覺系統(tǒng)的機(jī)器人通過拍照獲得關(guān)于場景的一張照片P1，再向前移動(dòng)適當(dāng)?shù)木嚯x，設(shè)長度為S，再拍照獲得關(guān)于場景的另一種照片P2；2)對(duì)照片P2進(jìn)行角點(diǎn)檢測，對(duì)于照片P2上的每一個(gè)角點(diǎn)A2，利用本發(fā)明提出的關(guān)于單目機(jī)器人時(shí)間鄰近幀圖像的匹配方法進(jìn)行匹配，從而在照片P1上找出A2的匹配點(diǎn)A1；所述的匹配利用待匹配點(diǎn)所在的一塊合適大小的區(qū)域的光強(qiáng)度矩陣，尋找與該光強(qiáng)接近的另一塊同樣大小的區(qū)域，新區(qū)域的中心點(diǎn)即為匹配點(diǎn)；3)利用本發(fā)明請(qǐng)?zhí)岢龅膯文繖C(jī)器人連續(xù)移動(dòng)使用前后幀圖像的深度計(jì)算方法，計(jì)算出場景中每一個(gè)角點(diǎn)對(duì)應(yīng)的目標(biāo)的深度，從而形成一個(gè)深度地圖；其中，涉及到單目機(jī)器人坐標(biāo)體系的設(shè)定，假設(shè)三維場景中目標(biāo)的空間位置點(diǎn)A在攝像坐標(biāo)系中的坐標(biāo)為A(xA，yA，zA)，A點(diǎn)的投影點(diǎn)A′的坐標(biāo)為A′(xA′，yA′，f)，其關(guān)系為<mfencedopen='{'close='}'><mtable><mtr><mtd><msub><mi>x</mi><mi>A</mi></msub><mo>=</mo><mfrac><msup><msub><mi>x</mi><mi>A</mi></msub><mo>′</mo></msup><mrow><mo>-</mo><mi>f</mi></mrow></mfrac><msub><mi>z</mi><mi>A</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>A</mi></msub><mo>=</mo><mfrac><msup><msub><mi>y</mi><mi>A</mi></msub><mo>′</mo></msup><mrow><mo>-</mo><mi>f</mi></mrow></mfrac><msub><mi>z</mi><mi>A</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>A</mi></msub><mo>=</mo><msub><mi>z</mi><mi>A</mi></msub></mtd></mtr></mtable></mfenced>A′(xA′，yA′，f)的坐標(biāo)值由照片的信息獲得，f為鏡頭的焦距；所述單目機(jī)器人時(shí)間鄰近幀圖小的匹配方法，具體如下設(shè)待匹配圖像上點(diǎn)(x，y)的光強(qiáng)度函數(shù)為f2(x，y)，目標(biāo)圖像上點(diǎn)(x，y)的光強(qiáng)度函數(shù)為f1(x，y)；設(shè)待匹配圖像上的待匹配點(diǎn)A2的坐標(biāo)為(x2，y2)；在目標(biāo)圖像上尋找這樣的點(diǎn)(x，y)，使下面的目標(biāo)函數(shù)P(x，y)達(dá)到最小值<mrow><mi>P</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo></mrow><mrow><mfrac><mn>1</mn><mrow><mrow><mo>(</mo><mn>2</mn><mi>M</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mo>×</mo><mrow><mo>(</mo><mn>2</mn><mi>N</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow></mrow></mfrac><mo>·</mo><munder><mi>Σ</mi><munder><mrow><mi>i</mi><mo>=</mo><mn>0</mn><mo>,</mo><mo>±</mo><mn>1</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mo>±</mo><mi>M</mi><mo>,</mo></mrow><mrow><mi>j</mi><mo>=</mo><mn>0</mn><mo>,</mo><mo>±</mo><mn>1</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mo>±</mo><mi>N</mi></mrow></munder></munder><mo>|</mo><msub><mi>f</mi><mn>1</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>+</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>+</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>f</mi><mn>2</mn></msub><mrow><mo>(</mo><msub><mi>x</mi><mn>2</mn></msub><mo>+</mo><mi>i</mi><mo>,</mo><msub><mi>y</mi><mn>2</mn></msub><mo>+</mo><mi>j</mi><mo>)</mo></mrow><mo>|</mo></mrow>說明待匹配區(qū)域是待匹配圖像上以像素點(diǎn)A2為中心的(2M+1)×(2N+1)像素區(qū)域，目標(biāo)區(qū)域是目標(biāo)圖像上以像素點(diǎn)(x，y)為中心的(2M+1)×(2N+1)像素區(qū)域；這里，M為待匹配區(qū)域在x′方向上的像素個(gè)數(shù)，N為待匹配區(qū)域在y′方向上的像素個(gè)數(shù)；所述單目機(jī)器人連續(xù)移動(dòng)使用前后幀圖像的深度計(jì)算方法，具體如下對(duì)于場景中的目標(biāo)點(diǎn)A，當(dāng)機(jī)器人位于點(diǎn)O1時(shí)，點(diǎn)A在投影平面上的投影點(diǎn)為A1(x1′，y1′，-f)，P1(0，0，-f)為此時(shí)投影平面的中心點(diǎn)；當(dāng)機(jī)器人移動(dòng)了距離s后到位置O2時(shí)，點(diǎn)A在投影平面上的投影點(diǎn)為A2(x2′，y2′，-f)，P2(0，0，-f)為此時(shí)投影平面的中心點(diǎn)；則深度O2H2的計(jì)算式為<mrow><msub><mi>O</mi><mn>2</mn></msub><msub><mi>H</mi><mn>2</mn></msub><mo>=</mo><mfrac><mrow><msup><msub><mi>y</mi><mn>1</mn></msub><mo>′</mo></msup><mo>·</mo><mi>w</mi><mo>-</mo><msup><msub><mi>x</mi><mn>1</mn></msub><mo>′</mo></msup><mo>·</mo><mi>h</mi></mrow><mrow><mrow><mo>(</mo><msup><msub><mi>x</mi><mn>1</mn></msub><mo>′</mo></msup><mo>-</mo><msup><msub><mi>x</mi><mn>2</mn></msub><mo>′</mo></msup><mo>)</mo></mrow><mi>h</mi><mo>-</mo><mrow><mo>(</mo><msup><msub><mi>y</mi><mn>1</mn></msub><mo>′</mo></msup><mo>-</mo><msup><msub><mi>y</mi><mn>2</mn></msub><mo>′</mo></msup><mo>)</mo></mrow><mi>w</mi></mrow></mfrac><mo>·</mo><mi>s</mi></mrow>w、h分別為移動(dòng)和拍攝的橫向偏差、縱向偏差。全文摘要本發(fā)明屬于機(jī)器視覺模擬、圖像匹配
技術(shù)領(lǐng)域：
，具體為一種基于連續(xù)視頻的機(jī)器人場景深度判別方法。該方法包括對(duì)場景進(jìn)行拍攝，獲取不同位置的場景照片；對(duì)拍攝的照片進(jìn)行圖像匹配，然后通過場景的深度計(jì)算公式，得到場景的深度地圖。其中，本發(fā)明采用了新的攝像坐標(biāo)設(shè)定方法。圖像匹配利用待匹配點(diǎn)所在區(qū)域的光強(qiáng)度矩陣，尋找與之接近的區(qū)域，新區(qū)域的中心點(diǎn)即為匹配點(diǎn)。本發(fā)明方法計(jì)算量較小，準(zhǔn)確率高，穩(wěn)定性好。文檔編號(hào)G06T7/00GK101833759SQ20101013754公開日2010年9月15日申請(qǐng)日期2010年4月1日優(yōu)先權(quán)日2010年4月1日發(fā)明者危輝,林祥明申請(qǐng)人:復(fù)旦大學(xué)