基于立體攝像機(jī)的物體檢測(cè)方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于立體攝像機(jī)的物體檢測(cè)方法和裝置。該方法包括下述步驟：對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得相當(dāng)于假想的攝像機(jī)沿預(yù)定方向拍攝物體的立體圖像，并且獲得該坐標(biāo)轉(zhuǎn)化后的立體圖像在該預(yù)定投影方向上的平面投影視圖；對(duì)于該投影視圖，基于檢測(cè)參數(shù)進(jìn)行物體檢測(cè)；計(jì)算出被檢測(cè)出物體遮擋的區(qū)域；對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，調(diào)整檢測(cè)參數(shù)；以及對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，基于該調(diào)整后的檢測(cè)參數(shù)來(lái)檢測(cè)物體。本發(fā)明的物體檢測(cè)方法和裝置有效地解決了遮擋對(duì)物體檢測(cè)和跟蹤的影響，可以更準(zhǔn)確和盡可能地利用已有圖像數(shù)據(jù)檢測(cè)到物體。
【專(zhuān)利說(shuō)明】基于立體攝像機(jī)的物體檢測(cè)方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體地涉及圖像處理，更具體地涉及基于立體攝像機(jī)的物體檢測(cè)方法和裝置。
【背景技術(shù)】
[0002]圖像處理領(lǐng)域中對(duì)人的檢測(cè)的方法已經(jīng)有很多方法，其中大多數(shù)使用的是彩色 (或灰度)圖像。比如，基于混合高斯(GMM)的動(dòng)態(tài)背景建模結(jié)合前景分割的方法，基于Haar 特征的人臉檢測(cè)，基于HOG的行人檢測(cè)方法等等。由于采集設(shè)備的限制，彩色(或灰度)圖像 只包含二維信息，所以當(dāng)存在遮擋時(shí)由于特征的不完整，檢測(cè)失敗是無(wú)法避免的難題。
[0003]目前出現(xiàn)了許多立體信息采集設(shè)備。一類(lèi)立體攝像機(jī)使用主動(dòng)發(fā)射紅外光來(lái)輔助 生成立體信息，這類(lèi)攝像機(jī)有微軟的Kinect。另一類(lèi)立體攝像機(jī)基于立體視距的雙目原理， 稱(chēng)為雙目攝像機(jī)。
[0004]已經(jīng)存在一些利用立體攝像機(jī)采集的圖像來(lái)檢測(cè)對(duì)象的技術(shù)。
[0005]例如，在標(biāo)題為“METHOD AND SYSTEM TO SEGMENT DEPTH IMAGES AND TO DETECT SHAPES IN THREE-DIMENSIONALLY ACQUIRED DATA” 的專(zhuān)利文獻(xiàn) US8009871B2 中提出一種 對(duì)深度圖像的分割技術(shù)，可以從三維信息中檢測(cè)出某種形狀的物體。在該公開(kāi)的技術(shù)中，首 先，對(duì)深度圖像中相臨近的有相似深度值的像素賦予相同的標(biāo)記，從而完成分割。然后，由 于遮擋的存在，不同對(duì)象會(huì)被粗劃分為同一個(gè)區(qū)域內(nèi)，將該區(qū)域內(nèi)的像素先進(jìn)行連通域分 析然后進(jìn)行統(tǒng)計(jì)直方圖的處理。直方圖可以幫助細(xì)劃分出不同的區(qū)域。
[0006]標(biāo)題為“SURFACE GENERATION METHOD FROM BOUNDARIES OF STEREO IMAGES” 的 專(zhuān)利文獻(xiàn)US5202928A中提出一種使用立體圖像檢測(cè)平面的方法。該方法首先在不同角度 攝像機(jī)得到的圖像中檢測(cè)邊緣并計(jì)算出各圖像中的邊緣對(duì)應(yīng)同一物體的同一個(gè)邊緣；然后 對(duì)邊緣進(jìn)行分類(lèi)為真實(shí)的分割邊界，假象的分割邊界和未定義邊界。最后，使用點(diǎn)的相互遮 擋的信息計(jì)算出一個(gè)平面的邊界。
[0007]另外，MichaelHarville 在 2003 年發(fā)表的文章〃Stereo Person Tracking with Adaptive Plan-View Templates of Height and Occupancy Statistics"(下文中稱(chēng)為非 專(zhuān)利文獻(xiàn)3)中提出了一種使用立體相機(jī)在投影圖中對(duì)人進(jìn)行跟蹤的方法。具體地說(shuō)，提出 了使用固定閾值對(duì)累加俯視圖二值化，然后作為掩膜(mask)模板對(duì)高度俯視圖進(jìn)行操作； 最終人的檢測(cè)在操作后的圖像中完成。
[0008]如上，在已知文獻(xiàn)中介紹了使用立體攝像機(jī)檢測(cè)對(duì)象的方法，然而當(dāng)存在遮擋，尤 其是較嚴(yán)重的遮擋時(shí)如何檢測(cè)仍然是待解決的難題。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的一個(gè)目的是希望提供一種物體檢測(cè)方法和裝置，其對(duì)物體遮擋具有較強(qiáng) 的魯棒性，能夠準(zhǔn)確且盡可能多地檢測(cè)出對(duì)象。
[0010]根據(jù)本發(fā)明的實(shí)施例，一種基于立體攝像機(jī)的物體檢測(cè)方法，可以包括下述步驟:對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得相當(dāng)于假想的攝像機(jī)沿預(yù)定方 向拍攝物體的立體圖像，并且獲得該坐標(biāo)轉(zhuǎn)化后的立體圖像在該預(yù)定方向上的平面投影視 圖；對(duì)于該投影視圖，基于檢測(cè)參數(shù)進(jìn)行物體檢測(cè)；計(jì)算出被檢測(cè)出物體遮擋的區(qū)域；對(duì)于 在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，調(diào)整檢測(cè)參數(shù)；以及對(duì)于在被檢測(cè)出物體遮擋的區(qū) 域內(nèi)的位置，基于該調(diào)整后的檢測(cè)參數(shù)來(lái)檢測(cè)物體。
[0011]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種基于立體攝像機(jī)的物體檢測(cè)裝置，包括:投 影視圖獲得部件，用于對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得相當(dāng)于 假想的攝像機(jī)沿預(yù)定方向拍攝物體的立體圖像，并且獲得該坐標(biāo)轉(zhuǎn)化后的立體圖像在該預(yù) 定方向上的平面投影視圖；第一物體檢測(cè)部件，用于對(duì)于該投影視圖，基于檢測(cè)參數(shù)進(jìn)行物 體檢測(cè)；遮擋區(qū)域計(jì)算部件，用于計(jì)算出被檢測(cè)出物體遮擋的區(qū)域；檢測(cè)參數(shù)調(diào)整部件，用 于對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，調(diào)整檢測(cè)參數(shù)；以及第二物體檢測(cè)部件，用于 對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，基于該調(diào)整后的檢測(cè)參數(shù)來(lái)檢測(cè)物體。
[0012]利用根據(jù)本發(fā)明實(shí)施例的物體檢測(cè)方法和裝置，可以消除或減輕遮擋的影響，更 準(zhǔn)確和盡可能多地檢測(cè)出對(duì)象。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0013]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的物體檢測(cè)方法的總體流程圖。
[0014]圖2給出了攝像機(jī)垂直方位、水平方位以及傾斜方位這三種布置下的覆蓋范圍和 遮擋情況的對(duì)比示意圖。
[0015]圖3a示出了將立體攝像機(jī)獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得相當(dāng)于假想的攝 像機(jī)垂直拍攝物體的立體圖像的示意圖，圖3b示意性示出了真實(shí)立體攝像機(jī)拍攝的圖像 和假想的攝像機(jī)拍攝的圖像的對(duì)比示意圖。
[0016]圖4a75出了人的累加俯視圖的不意圖，圖4b不出人的聞度俯視圖的不意圖，圖4c 示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的在累加俯視圖中標(biāo)識(shí)出的由檢測(cè)出的人遮擋的區(qū)域的示 意圖。
[0017]圖5示出了通過(guò)物體模板和累加俯視圖中候選區(qū)域匹配進(jìn)行對(duì)象檢測(cè)的示例性 方法120的流程圖。
[0018]圖6示出了在圖5的示例性方法120中使用的匹配窗口的示意圖。
[0019]圖7a示出了用三維高斯核(Gaussian Kernel)函數(shù)來(lái)模擬立體人的示意圖，圖7b 示出了高斯核函數(shù)的累加俯視圖的示意圖。
[0020]圖8示出了在對(duì)圖5的示例性方法120中的檢測(cè)結(jié)果進(jìn)行閾值化處理后的檢測(cè)結(jié) 果的示意圖。
[0021]圖9示出了根據(jù)本發(fā)明實(shí)施例的遮擋區(qū)域計(jì)算和檢測(cè)參數(shù)調(diào)整的示例性方法的 流程圖。
[0022]圖10示出了一種示例性遮擋模型的示意圖。
[0023]圖11示出了一種被遮擋曲線(xiàn)的示意圖。
[0024]圖12示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的示例性物體檢測(cè)裝置的功能配置框圖。
[0025]圖13是示出按照本發(fā)明實(shí)施例的物體檢測(cè)系統(tǒng)的總體硬件框圖?！揪唧w實(shí)施方式】
[0026]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā) 明作進(jìn)一步詳細(xì)說(shuō)明。
[0027]將按下列順序進(jìn)行描述:
[0028]1、物體檢測(cè)方法的整體過(guò)程
[0029]2、坐標(biāo)轉(zhuǎn)換和平面投影視圖的獲得
[0030]3、具體物體檢測(cè)方法的示例
[0031 ] 4、遮擋區(qū)域計(jì)算和檢測(cè)參數(shù)調(diào)整的方法示例
[0032]5、物體檢測(cè)裝置
[0033]6、系統(tǒng)硬件配置
[0034]7、總結(jié)
[0035]1、物體檢測(cè)方法的整體過(guò)程
[0036]下面描述根據(jù)本發(fā)明一個(gè)實(shí)施例的、利用針對(duì)預(yù)定空間布置的立體攝像機(jī)，來(lái)對(duì) 該預(yù)定空間中的物體進(jìn)行檢測(cè)的整體過(guò)程。
[0037]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的物體檢測(cè)方法100的總體流程圖。
[0038]為便于描述，該總體流程圖假定針對(duì)一預(yù)定空間中，布置了一個(gè)或多個(gè)立體攝像 機(jī)，以對(duì)出現(xiàn)于該預(yù)定空間中的對(duì)象進(jìn)行立體成像，通過(guò)對(duì)立體圖像進(jìn)行處理來(lái)進(jìn)行對(duì)象 檢測(cè)。
[0039]關(guān)于預(yù)定空間，例如可以是一個(gè)房間，例如超市、廠(chǎng)房等，不過(guò)也可以是室外的空 間，例如學(xué)校場(chǎng)地、軍工場(chǎng)所等，只要是可以作為監(jiān)控對(duì)象的空間即可。關(guān)于被檢測(cè)的對(duì)象， 沒(méi)有特別限制，可以是人、動(dòng)物、飛行物、汽車(chē)、椅子等等。
[0040]關(guān)于立體攝像機(jī)是指能夠?qū)ξ矬w進(jìn)行三維成像或立體成像的攝像機(jī)，一般可同 時(shí)輸出深度圖像和彩色圖像(或灰度圖像)。如前所述，一類(lèi)立體攝像機(jī)使用主動(dòng)發(fā)射紅外 光來(lái)輔助生成立體信息，這樣的攝像機(jī)例子，有微軟的Kinect，還有基于紅外光飛行時(shí)間 (Time of Flight，T0F)技術(shù)的類(lèi)型，或者基于紋理光的類(lèi)型。另一類(lèi)立體攝像機(jī)基于立體 視距的雙目原理，例如雙目攝像機(jī)或多目攝像機(jī)。為描述便利，下文將采用雙目攝像機(jī)為例 進(jìn)行說(shuō)明，不過(guò)本發(fā)明并不局限于此，而是可以應(yīng)用任何立體攝像機(jī)。
[0041]請(qǐng)注意，由于使用立體攝像機(jī)，能得到準(zhǔn)確的三維信息。所以本發(fā)明提出的人的檢 測(cè)應(yīng)理解為可以同時(shí)完成檢測(cè)和定位，當(dāng)然不必說(shuō)也可以?xún)H進(jìn)行對(duì)象檢測(cè)和定位之一。
[0042]如圖1所示，在步驟SllO中，對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn) 化，獲得相當(dāng)于假想的攝像機(jī)沿預(yù)定方向拍攝物體的立體圖像，并且獲得該坐標(biāo)轉(zhuǎn)化后的 立體圖像在該預(yù)定方向上的平面投影視圖。
[0043]優(yōu)選地，可以在對(duì)立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)換之前，首先進(jìn)行前景分割，即從立體圖 像中將作為處理對(duì)象的前景與背景分開(kāi)，并提取出前景。作為一種示例性實(shí)現(xiàn)，可以使 用RGBD的混合高斯動(dòng)態(tài)建模來(lái)分割前景，具體可以參考標(biāo)題為"Plan-view trajectory estimation with dense stereo background model〃的 T.Darrel 于 2001 年發(fā)表的文章。
[0044]關(guān)于平面投影視圖的概念，如何進(jìn)行坐標(biāo)轉(zhuǎn)換以及如何得到平面投影視圖的例 子，后面將參考圖2到圖4b進(jìn)行詳細(xì)描述。
[0045]對(duì)于這樣坐標(biāo)轉(zhuǎn)換并投影后的平面投影視圖，更容易進(jìn)行物體檢測(cè)，而且因?yàn)槭菑牧Ⅲw圖像轉(zhuǎn)換而來(lái)，因此仍然具有對(duì)應(yīng)的三維信息，例如高度信息。
[0046]在步驟S120中，對(duì)于該平面投影視圖，基于檢測(cè)參數(shù)進(jìn)行物體檢測(cè)。
[0047]優(yōu)選地，按照距離立體攝像機(jī)由近及遠(yuǎn)的順序來(lái)檢測(cè)物體。這是因?yàn)榫嚯x立體攝 像機(jī)近的物體較少或者不會(huì)被遮擋。
[0048]這里的檢測(cè)參數(shù)，根據(jù)采用檢測(cè)方法的不同而不同。
[0049]根據(jù)一個(gè)示例，如果通過(guò)物體標(biāo)準(zhǔn)模板和平面投影視圖中待檢對(duì)象進(jìn)行匹配的方 法進(jìn)行檢測(cè)，則檢測(cè)參數(shù)可以為閾值和物體模板。在此情況下，通過(guò)將被檢測(cè)物體和物體模 板進(jìn)行匹配、確定匹配程度、將匹配程度和閾值進(jìn)行比較來(lái)檢測(cè)物體。
[0050]作為另一示例，如果通過(guò)對(duì)物體檢測(cè)模型進(jìn)行建模的方法來(lái)對(duì)物體進(jìn)行檢測(cè)，則 檢測(cè)參數(shù)可以是依賴(lài)于具體物體檢測(cè)模型的具體參數(shù)。
[0051]這里，對(duì)于檢測(cè)方法和檢測(cè)參數(shù)，本發(fā)明沒(méi)有特別限制，任何檢測(cè)方法和對(duì)應(yīng)的檢 測(cè)參數(shù)都可以用于本發(fā)明，例如基于連通域分析來(lái)分割和檢測(cè)對(duì)象的方法等。不過(guò)后面為 了描述方便，作為示例，將參考圖5-8描述通過(guò)物體模板和平面投影視圖中待檢對(duì)象進(jìn)行 匹配的方法進(jìn)行對(duì)象檢測(cè)的例子。
[0052]在步驟S130中，計(jì)算出被檢測(cè)出物體遮擋的區(qū)域。
[0053]已知攝像機(jī)的位置、攝像機(jī)的高度、檢測(cè)出物體的位置和檢測(cè)出物體的高度，可以 利用遮擋模型來(lái)計(jì)算出被檢測(cè)出物體遮擋的區(qū)域，其中遮擋模型建立了遮擋程度與攝像機(jī) 位置以及檢測(cè)出物體的位置之間的關(guān)系。后文將參考圖9-11對(duì)如何利用遮擋模型計(jì)算遮 擋區(qū)域給出示例性描述。
[0054]不過(guò)利用遮擋模型計(jì)算遮擋區(qū)域僅為示例，在攝像機(jī)位置和高度固定的情況下， 可以事先為預(yù)定高度范圍的物體建立起物體高度、位置與遮擋程度或區(qū)域之間關(guān)系的對(duì)應(yīng) 表格。后續(xù)在進(jìn)行物體檢測(cè)時(shí)，在檢測(cè)出物體并進(jìn)而確定了物體的高度和位置后，即可以通 過(guò)查詢(xún)表格來(lái)獲得遮擋區(qū)域。
[0055]在步驟S140中，對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，調(diào)整檢測(cè)參數(shù)。
[0056]當(dāng)在遮擋區(qū)域內(nèi)的某位置檢測(cè)是否存在預(yù)定對(duì)象時(shí)，假設(shè)在該位置處存在預(yù)定對(duì) 象，該對(duì)象受到遮擋，存在某部分的丟失，例如當(dāng)檢測(cè)預(yù)定的人時(shí)，該人的下部分缺失了。那 么應(yīng)該根據(jù)遮擋的程度和/或遮擋的區(qū)域，來(lái)調(diào)整檢測(cè)參數(shù)。
[0057]例如，在對(duì)物體圖像取側(cè)面投影視圖時(shí)，此時(shí)因?yàn)橄掳氩糠謥G失，則可以將匹配模 板也抹掉對(duì)應(yīng)的下半部分，而只對(duì)上半部分進(jìn)行匹配。而如果是例如左側(cè)肩膀區(qū)域被遮擋， 則可以將匹配模板也某掉對(duì)應(yīng)的左側(cè)肩膀區(qū)域。
[0058]再例如，在以物體圖像的平面投影視圖，更具體地例如以累加投影視圖為處理對(duì) 象時(shí)，此時(shí)因?yàn)榇嬖谡趽?，?huì)丟失像素信息，反映在累加投影視圖的結(jié)果是，相比于沒(méi)有遮 擋的情況，累加投影視圖的所有區(qū)域或者部分會(huì)變暗甚至缺失，這時(shí)可以根據(jù)遮擋程度來(lái) 調(diào)整閾值參數(shù)或者修正匹配模板。
[0059]在步驟S150中，對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，基于該調(diào)整后的檢測(cè) 參數(shù)來(lái)檢測(cè)物體。
[0060]此步驟的操作與步驟S120的操作類(lèi)似，不同之處在于，因?yàn)橐呀?jīng)考慮到遮擋情況 而對(duì)于被遮擋的位置調(diào)整了檢測(cè)參數(shù)，這里對(duì)于遮擋區(qū)域內(nèi)的位置，將根據(jù)動(dòng)態(tài)調(diào)整后的 檢測(cè)參數(shù)來(lái)檢測(cè)物體。[0061]在本發(fā)明上述實(shí)施例中的物體檢測(cè)方法中，通過(guò)對(duì)立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化以及向 預(yù)定方向投影而獲得易于進(jìn)行物體檢測(cè)的平面投影視圖，基于檢測(cè)參數(shù)進(jìn)行物體檢測(cè)，對(duì) 于檢測(cè)出的物體，計(jì)算被其遮擋的區(qū)域；針對(duì)該遮擋區(qū)域的位置，調(diào)整檢測(cè)參數(shù)，并基于調(diào) 整后的檢測(cè)參數(shù)來(lái)檢測(cè)物體，由此有效地解決了遮擋對(duì)物體檢測(cè)和/或跟蹤的影響，可以 更準(zhǔn)確和盡可能地利用已有圖像數(shù)據(jù)檢測(cè)到物體。
[0062]2、坐標(biāo)轉(zhuǎn)換和平面投影視圖的獲得
[0063]下面將參考圖2到圖4b給出對(duì)立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)換以及對(duì)坐標(biāo)轉(zhuǎn)換后的圖像 進(jìn)行投影而得到平面投影視圖的方法例子進(jìn)行描述。該方法可以應(yīng)用于圖1所示的步驟
SllOo
[0064]如前所述，本發(fā)明的一個(gè)目的在于減輕遮擋對(duì)物體檢測(cè)的影響，為了獲得遮擋程 度或遮擋區(qū)域的信息，物體的三維圖像即立體圖像是必要的，因此本發(fā)明以立體圖像為處
理對(duì)象。
[0065]如前所述，在步驟SllO中，對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn) 化，獲得相當(dāng)于假想的攝像機(jī)沿預(yù)定方向拍攝物體的立體圖像，并且獲得該坐標(biāo)轉(zhuǎn)化后的 立體圖像在該預(yù)定方向上的平面投影視圖。
[0066]需要說(shuō)明的是，本例子以及后續(xù)例子中，以人為檢測(cè)目標(biāo)，并假設(shè)人站在地面上。 不過(guò)這僅為示例，本發(fā)明并不局限于此，可以以任何物體為檢測(cè)目標(biāo)，如動(dòng)物、椅子等等，而 且被檢測(cè)對(duì)象可以任意布置而未必一定位于地面上。
[0067]直觀(guān)地，當(dāng)攝像機(jī)正好位于成像對(duì)象的上方，并垂直向下拍攝成像對(duì)象時(shí),此時(shí)對(duì) 象之間存在很少的遮擋甚至不存在遮擋。而當(dāng)攝像機(jī)鏡頭的方位與地面平行布置時(shí)，此時(shí) 立體攝像機(jī)覆蓋范圍最廣，但是遮擋最嚴(yán)重。
[0068]一般地，在現(xiàn)實(shí)世界中的真實(shí)應(yīng)用中，立體攝像機(jī)是以與例如地面成一定傾斜角 度來(lái)對(duì)物體進(jìn)行拍攝的，而很少是絕對(duì)垂直拍攝或與地面平行地拍攝。此時(shí)立體攝像機(jī)的 覆蓋范圍和遮擋均為中間情況。
[0069]圖2給出了攝像機(jī)垂直方位、水平方位以及傾斜方位這三種布置下的覆蓋范圍和 遮擋情況的對(duì)比示意圖。
[0070]為描述方便，下面將以假想的攝像機(jī)是垂直向下俯拍為例進(jìn)行描述，換句話(huà)說(shuō)此 時(shí)預(yù)定方向?yàn)榇怪狈较?。不過(guò)這僅為示例，本發(fā)明并不局限于此，例如也可以是假想的攝像 機(jī)拍攝方向與地面平行。
[0071]圖3a示出了將立體攝像機(jī)獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得相當(dāng)于假想的攝 像機(jī)垂直拍攝物體的立體圖像的示意圖；以及圖3b示意性示出了真實(shí)立體攝像機(jī)拍攝的 圖像和假想的攝像機(jī)拍攝的圖像的對(duì)比示意圖。
[0072]如圖3a所示，在已知攝像機(jī)外參(圖3a中的R和T)的情況下，對(duì)于按照與對(duì)面成 一定傾斜角度布置的真實(shí)攝像機(jī)所拍攝的圖像，可以將圖像中的任意一個(gè)像素位置轉(zhuǎn)換到 世界坐標(biāo)系，轉(zhuǎn)換后就得到了如同圖3a中的假想攝像機(jī)垂直俯拍物體時(shí)得到的立體圖像。 在此示例中，這里的俯視圖是指世界坐標(biāo)系的兩個(gè)坐標(biāo)軸置于地面上時(shí)的圖像。注意，圖3a 中的攝像機(jī)外參R為旋轉(zhuǎn)參數(shù)，外參T為平移參數(shù),具體描述可參見(jiàn)上述T.Darrel于2001 年發(fā)表的文章。
[0073]順便說(shuō)一下，本領(lǐng)域技術(shù)人員應(yīng)該知道，上述對(duì)一個(gè)被遮擋的物體進(jìn)行坐標(biāo)轉(zhuǎn)換，以獲得相當(dāng)于假想的攝像機(jī)沿例如垂直向下方向拍攝物體的立體圖像，請(qǐng)注意這里的用語(yǔ) “假想的”，即并非能獲得和一臺(tái)真正攝像機(jī)正垂直向下拍攝圖像同樣的效果。例如，在物體被部分遮擋的情況下，此時(shí)其實(shí)只是對(duì)物體被拍攝到的部分進(jìn)行坐標(biāo)轉(zhuǎn)換，這是因?yàn)樽鴺?biāo)轉(zhuǎn)換并不能增加本來(lái)沒(méi)有的信息。
[0074]在步驟SllO中，在獲得如此步驟坐標(biāo)轉(zhuǎn)換后的立體圖像后，還獲得該坐標(biāo)轉(zhuǎn)化后的立體圖像在該預(yù)定方向上的平面投影視圖。
[0075]關(guān)于平面投影視圖，可以例如為累加投影視圖，投影后的視圖中的每個(gè)像素的值表示立體圖像在投影方向上坐標(biāo)相同的所有像素值之和。或者平面投影視圖可以為高度投影視圖，投影后的視圖中的每個(gè)像素的值表示立體圖像在投影方向上坐標(biāo)相同的所有像素之中高度最大的像素的高度。
[0076]下文中，在假想攝像機(jī)為垂直向下拍攝時(shí)，對(duì)應(yīng)的投影視圖稱(chēng)為累加俯視圖和高度俯視圖。
[0077]圖4a給出了人的累加俯視圖的示意圖，以及圖4b給出人的高度俯視圖的示意圖。 圖4a和4b以及后面描述的4c中的標(biāo)號(hào)300指示的喇叭形區(qū)域表示攝像機(jī)的拍攝范圍，這里按照紙面方向，攝像機(jī)(未示出)位于圖4a和4b以及后面描述的4c中的累加俯視圖和/ 或高度俯視圖的下部。
[0078]如圖4a中的累加俯視圖的示意圖所示，圖中每個(gè)像素代表的含義是坐標(biāo)轉(zhuǎn)換后在相同的地面坐標(biāo)區(qū)域內(nèi)所有的像素的和，這里像素的和可以是簡(jiǎn)單的像素計(jì)數(shù)，或者可以是像素的強(qiáng)度之和，或者也可以是對(duì)像素的強(qiáng)度進(jìn)行歸一化后的和，特別地，關(guān)于歸一化方法，可以考慮到同一物體近大遠(yuǎn)小的特點(diǎn)，使用像素的深度值進(jìn)行歸一化，例如可參考前述非專(zhuān)利文獻(xiàn)3獲得關(guān)于歸一化方法的具體實(shí)現(xiàn)的描述。圖中較亮的區(qū)域表示在該區(qū)域有更多的像素被累加。白色的直線(xiàn)表示攝像機(jī)的拍攝區(qū)域，攝像機(jī)的拍攝位置在圖中底部的白線(xiàn)下方。圖4a中的5個(gè)亮斑表示場(chǎng)景中的5個(gè)人。
[0079]圖4b闡述本發(fā)明的高度俯視圖的示意圖。圖中每個(gè)像素代表的含義是坐標(biāo)轉(zhuǎn)換后在相同的地面坐標(biāo)區(qū)域內(nèi)所有的像素中高度最大的值。
[0080]上面簡(jiǎn)要描述了對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得相當(dāng)于假想的攝像機(jī)沿預(yù)定方向拍攝物體的立體圖像，并且獲得轉(zhuǎn)換后的圖·像在某個(gè)平面視圖上的投影，換句話(huà)說(shuō)，可以視為在某個(gè)平面視圖上物體的表面點(diǎn)的分布的統(tǒng)計(jì)數(shù)據(jù)，也可稱(chēng)為外觀(guān)平面視圖(Appearance planview)。在垂直向下投影的情況下,可以獲得兩種外觀(guān)水平面視圖，即累加俯視圖和高度俯視圖。關(guān)于獲得外觀(guān)平面視圖的方法的更具體描述，可以參考標(biāo)題為〃 Plan-view trajectory estimation with dense stereo background mode I ^ 的T.Darrel于2001年發(fā)表的文章。
[0081]不同的物體的外觀(guān)平面視圖表現(xiàn)出不同的特性，由此可以通過(guò)分析物體的外觀(guān)平面視圖實(shí)現(xiàn)對(duì)物體的檢測(cè)。
[0082]3、具體物體檢測(cè)方法的示例
[0083]下面參考圖5描述通過(guò)物體模板和累加俯視圖中候選區(qū)域匹配進(jìn)行對(duì)象檢測(cè)的示例性方法120。該方法可以應(yīng)用于圖1中的步驟S120。
[0084]假設(shè)，已經(jīng)預(yù)先準(zhǔn)備并存儲(chǔ)了人的俯視模板17、匹配閾值表18，在匹配閾值表18 中，將位置和對(duì)應(yīng)的匹配閾值相關(guān)聯(lián)地存儲(chǔ)。另外假設(shè)通過(guò)圖1中步驟SllO的操作已經(jīng)獲得了累加俯視圖16。
[0085]如圖5所示，在步驟S121中，將當(dāng)前匹配窗口移動(dòng)到累加俯視圖16的相應(yīng)位置的步驟。
[0086]優(yōu)選地，步驟S121的窗口移動(dòng)順序遵循相對(duì)于攝像機(jī)而言由近到遠(yuǎn)的原則。這是因?yàn)?，最好先檢測(cè)距離攝像機(jī)近的沒(méi)有遮擋的人，以便調(diào)整被遮擋的區(qū)域的匹配閾值。在累加俯視圖16中窗口的移動(dòng)順序?yàn)榘醇埫娣较驈膱D像底部移動(dòng)到頂部。圖6示出了步驟 S121中使用的匹配窗口的示意圖，其中底部的匹配窗口所覆蓋的區(qū)域不存在待檢測(cè)對(duì)象即人，而在其上部的匹配窗口所覆蓋的區(qū)域中存在待檢測(cè)對(duì)象即人。本示例中，采用了矩形形狀的匹配窗口，不過(guò)這僅為示例，可以采用其他形狀的匹配窗口，例如圓形形狀等。另外，關(guān)于窗口的大小和窗口移動(dòng)的步長(zhǎng)，可以根據(jù)經(jīng)驗(yàn)確定或者通過(guò)學(xué)習(xí)來(lái)獲得。
[0087]在完成步驟S121的操作后，過(guò)程前進(jìn)到步驟S122。
[0088]在步驟S122中，計(jì)算匹配窗口中區(qū)域與人的俯視模板17的相似度。
[0089]在累加俯視圖16，一個(gè)存在人的區(qū)域表現(xiàn)為圖像中的一個(gè)斑塊，其中心亮度高于周邊區(qū)域的值。只要具有這種特性的圖像即可作為一個(gè)人的俯視模板17。本實(shí)施例中使用圖7所示的高斯模板,其中圖7a示出了用三維高斯核(Gaussian Kernel)函數(shù)來(lái)模擬立體人的示意圖，圖7b示出了高斯核函數(shù)的累加俯視圖的示意圖。人可能呈現(xiàn)各種體態(tài)，但無(wú)論何種體態(tài)，一般而言，人的累加俯視圖中總體地仍具有中心亮度高于周邊區(qū)域的值的特性，高斯模板很好地反映了人的累加俯視圖的特征，對(duì)人的不同姿態(tài)具有魯棒性。不過(guò)， 高斯模板僅為應(yīng)用于人的匹配模板的示例，本發(fā)明并不局限于此，如前所述，任何體現(xiàn)中中心亮度高于周邊區(qū)域的值的斑塊狀的模板均可以用于本發(fā)明。而且，可以想見(jiàn)，檢測(cè)對(duì)象不同，模板也應(yīng)不同。
[0090]計(jì)算匹配窗口中區(qū)域(如圖6中矩形框區(qū)域)與人的俯視模板17 (如圖7所示)的相似度步驟可以通過(guò)對(duì)矩形框區(qū)域和模板進(jìn)行卷積操作來(lái)實(shí)現(xiàn)，如表達(dá)式(I)所示:
[0091]
【權(quán)利要求】
1.一種基于立體攝像機(jī)的物體檢測(cè)方法，包括:對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得相當(dāng)于假想的攝像機(jī)沿預(yù) 定方向拍攝物體的立體圖像，并且獲得該坐標(biāo)轉(zhuǎn)化后的立體圖像在該預(yù)定方向上的平面投 影視圖；對(duì)于該投影視圖，基于檢測(cè)參數(shù)進(jìn)行物體檢測(cè)；計(jì)算出被檢測(cè)出物體遮擋的區(qū)域；對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，調(diào)整檢測(cè)參數(shù)；以及對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，基于該調(diào)整后的檢測(cè)參數(shù)來(lái)檢測(cè)物體。
2.如權(quán)利要求1所述的方法，其中，在所述調(diào)整檢測(cè)參數(shù)的步驟中調(diào)整的檢測(cè)參數(shù)是 閾值和/或物體模板，其中通過(guò)將被檢測(cè)物體和物體模板進(jìn)行匹配、確定匹配程度、比較匹 配程度和閾值來(lái)檢測(cè)物體。
3.如權(quán)利要求1或2所述的方法，其中，按照距離立體攝像機(jī)由近及遠(yuǎn)的順序來(lái)檢測(cè)物體。
4.如權(quán)利要求1或2所述的方法，其中，利用遮擋模型來(lái)計(jì)算出被檢測(cè)出物體遮擋的區(qū) 域，該遮擋模型建立了遮擋程度與攝像機(jī)位置以及檢測(cè)出物體的位置之間的關(guān)系。
5.如權(quán)利要求4所述的方法，其中在表格中將投影攝圖中的每個(gè)位置與對(duì)應(yīng)的檢測(cè)參 數(shù)相關(guān)聯(lián)地存儲(chǔ)，以及在調(diào)整檢測(cè)參數(shù)時(shí)，對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，根據(jù) 遮擋模型確定的與該位置對(duì)應(yīng)的遮擋程度來(lái)調(diào)整檢測(cè)參數(shù)，以及利用調(diào)整后的檢測(cè)參數(shù)更 新表格中對(duì)應(yīng)的檢測(cè)參數(shù)。
6.如權(quán)利要求1或2所述的方法，其中所述投影視圖為累加投影視圖，投影后的視圖中 的每個(gè)像素的值表示立體圖像在投影方向上坐標(biāo)相同的所有像素值之和。
7.如權(quán)利要求1或2所述的方法，其中所述投影視圖為高度投影視圖，投影后的視圖中 的每個(gè)像素的值表示立體圖像在投影方向上坐標(biāo)相同的所有像素之中高度最大的像素的 高度。
8.一種基于立體攝像機(jī)的物體檢測(cè)裝置，包括:投影視圖獲得部件，用于對(duì)立體攝像機(jī)拍攝物體獲得的立體圖像進(jìn)行坐標(biāo)轉(zhuǎn)化，獲得 相當(dāng)于假想的攝像機(jī)沿預(yù)定方向拍攝物體的立體圖像，并且獲得該坐標(biāo)轉(zhuǎn)化后的立體圖像 在該預(yù)定方向上的平面投影視圖；第一物體檢測(cè)部件，用于對(duì)于該投影視圖，基于檢測(cè)參數(shù)進(jìn)行物體檢測(cè)；遮擋區(qū)域計(jì)算部件，用于計(jì)算出被檢測(cè)出物體遮擋的區(qū)域；檢測(cè)參數(shù)調(diào)整部件，用于對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，調(diào)整檢測(cè)參數(shù)；以及第二物體檢測(cè)部件，用于對(duì)于在被檢測(cè)出物體遮擋的區(qū)域內(nèi)的位置，基于該調(diào)整后的 檢測(cè)參數(shù)來(lái)檢測(cè)物體。
9.如權(quán)利要求8所述的物體檢測(cè)裝置，其中，所述檢測(cè)參數(shù)調(diào)整部件調(diào)整的檢測(cè)參數(shù) 是閾值和/或物體模板，其中通過(guò)將被檢測(cè)物體和物體模板進(jìn)行匹配、確定匹配程度、比較 匹配程度和閾值來(lái)檢測(cè)物體。
10.如權(quán)利要求8或9所述的方法，其中，所述第一物體檢測(cè)部件和第二物體檢測(cè)部件 按照距離立體攝像機(jī)由近及遠(yuǎn)的順序來(lái)檢測(cè)物體。
【文檔編號(hào)】G06K9/00GK103593641SQ201210292660
【公開(kāi)日】2014年2月19日 申請(qǐng)日期:2012年8月16日 優(yōu)先權(quán)日:2012年8月16日
【發(fā)明者】王鑫, 范圣印 申請(qǐng)人:株式會(huì)社理光