使用最小費用流網(wǎng)絡(luò)的寬基線雙目物體匹配方法
【專利摘要】一種使用最小費用流網(wǎng)絡(luò)的寬基線雙目物體匹配方法，包括捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲并且第二圖像從第二攝像機裝置捕獲。多個圖像應(yīng)用于第一圖像和第二圖像并且確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用。確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的選定的匹配對中的相應(yīng)匹配對的多個匹配費用?；跈z測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑并且基于至少一個費用流路徑跟蹤目標物體。
【專利說明】使用最小費用流網(wǎng)絡(luò)的寬基線雙目物體匹配方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及使用雙目攝像機系統(tǒng)的物體檢測和匹配。
【背景技術(shù)】
[0002]這部分的陳述主要提供關(guān)于本公開的背景信息。因此這些陳述并非旨在承認構(gòu)成現(xiàn)有技術(shù)。
[0003]主動安全和駕駛員輔助系統(tǒng)(ASDAS)利用單目視覺系統(tǒng)作為檢測目標物體諸如沿道路行進的前車輛的低費用解決方案。單目視覺系統(tǒng)基于平地的假設(shè)來估計深度。但是，當平地假設(shè)并不適用時，深度估計偏離其真實值。例如，當平地假設(shè)并不適用時，單目視覺系統(tǒng)可能將離目標物體的距離估計為比目標物體實際距離更遠。
[0004]眾所周知，例如，利用距離檢測裝置諸如雷達和激光雷達來檢測目標物體的存在和離目標物體的距離。但是，這種距離檢測裝置費用較高，增加了配備ASDAS的車輛的價格。
[0005]還已知，例如，通過從兩個捕獲的圖像(每個圖像來自相應(yīng)的攝像機裝置)的視差圖提取三維特征，且匹配關(guān)鍵點的稀疏集以利用立體成像方案來確定目標物體的存在。但是，這種立體成像方案具有深度不準確的缺點，這歸因于兩個攝像機裝置之間的窄基線，因為深度準確度隨深度以二次方降級。此外，當兩個攝像機裝置之間的基線增加時，可出現(xiàn)導致不能用的視差圖的像素對應(yīng)問題。
[0006]因此，需要改進使用立體成像而不提取三維特征(其需要使用視差圖)的深度準確度。

【發(fā)明內(nèi)容】

[0007]利用雙目系統(tǒng)跟蹤目標物體的方法包括:捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲，而第二圖像從第二攝像機裝置捕獲。多個圖像應(yīng)用于第一圖像和第二圖像并且確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用。確定各與第一圖像與第二圖像之間的圖像塊的選定的匹配對中的相應(yīng)匹配對相對應(yīng)的多個匹配費用?；跈z測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑并且基于至少一個費用流路徑跟蹤目標物體。
[0008]本發(fā)明包括以下方案:
方案1.一種利用雙目攝像機系統(tǒng)跟蹤目標物體的方法，包括:
捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲，而第二圖像從第二攝像機裝置捕獲；
將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個；
確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費
用；
確定各與第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對相對應(yīng)的多個選定匹配費用；
基于檢測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及
基于至少一個費用流路徑跟蹤目標物體。
[0009]方案2.根據(jù)方案I所述的方法，其中跟蹤目標物體包括下列中的至少一個:
跟蹤離目標物體的距離；以及
跟蹤目標物體的速度。
[0010]方案3.根據(jù)方案I所述的方法，其中第一攝像機裝置安裝于源車輛擋風玻璃的第一端附近并且第二攝像機裝置安裝于源車輛擋風玻璃的第二端附近。
[0011]方案4.根據(jù)方案I所述的方法，其中將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個包括:
將預定數(shù)量的圖像塊應(yīng)用到第一圖像和第二圖像，每個圖像塊包括矩形框并且具有離散尺寸和位置。
[0012]方案5.根據(jù)方案4所述的方法，其中應(yīng)用于第一圖像的多個圖像塊中的每一個由第一圖像的第一層和第一圖像的第二層表示，并且應(yīng)用于第二圖像的多個圖像塊中的每一個由第二圖像的第一層和第二圖像的第二層表示。
[0013]方案6.根據(jù)方案5所述的方法,其中由相應(yīng)第一層表不的應(yīng)用于的第一圖像的多個圖像塊中的每一個鏈結(jié)到源頂點并且由相應(yīng)第二層表示的應(yīng)用于第二圖像的多個圖像塊中的每一個鏈結(jié)到沉頂點。
[0014]方案7.根據(jù)方案I所述的方法，其中確定各與應(yīng)用于第一圖像和第二圖像的圖像塊的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用包括:
應(yīng)用包括多個判定邊界的線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個，每個判定邊界對應(yīng)于可能的目標物體的相應(yīng)視角；以及下列情況的一種:
當線性向量分類器的量值小于零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的負檢測費用，以及 當線性向量分類器的量值至少為零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的正檢測費用。
[0015]方案8.根據(jù)方案7所述的方法，還包括:
當確定了相關(guān)聯(lián)的負檢測費用時，將相應(yīng)圖像塊指定為被占據(jù)；以及 當確定了相關(guān)聯(lián)的正檢測費用時，將相應(yīng)圖像塊指定為未被占據(jù)。
[0016]方案9.根據(jù)方案7所述的方法，其中包括判定邊界的向量分類器包括線性權(quán)向量和預定偏置檢測閾值。
[0017]方案10.根據(jù)方案I所述的方法，其中第一圖像與第二圖像之間的圖像塊的選定匹配對中的相應(yīng)匹配對如下來選擇:
監(jiān)視應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個的位置信息；
監(jiān)視應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個的外觀信息；
選擇所述匹配對包括選擇具有相關(guān)外觀信息和相關(guān)位置信息的應(yīng)用于第一圖像的圖像塊中的選定圖像塊和應(yīng)用于第二圖像的圖像塊中的選定圖像塊。
[0018]方案11.根據(jù)方案10所述的方法，還包括
當應(yīng)用于第一圖像和第二圖像的圖像塊中的選定圖像塊的每一個的監(jiān)視的位置信息以小于預定位置閾值偏離時，認為圖像塊中的選定圖像塊的每一個之間的位置信息為相關(guān)的。
[0019]方案12.根據(jù)方案10所述的方法，還包括:
當應(yīng)用于第一圖像和第二圖像的圖像塊中的選定圖像塊中每一個的監(jiān)視的外觀信息以小于預定外觀閾值偏離時，認為圖像塊中的選定圖像塊中每一個之間的外觀信息為相關(guān)的。
[0020]方案13.根據(jù)方案I所述的方法，其中確定各與第一圖像與第二圖像之間的圖像塊的選定匹配對中的相應(yīng)匹配對相對應(yīng)的多個匹配費用包括:
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的位置信息；
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的外觀信息；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的外觀信息的相異點；以及基于與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點和外觀信息的相異點來確定多個匹配費用。
[0021]方案14.根據(jù)方案I所述的方法，其中確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑包括:
監(jiān)視從第一圖像的源頂點到第二圖像的沉頂點的多個費用流路徑；
將每個費用流路徑分段成多個運載單元，
每個運載單元包括下列之一:檢測成本之一和匹配費用之一；
基于從每個相應(yīng)費用流路徑分段的每個運載單元的之和來確定每個費用流路徑的總累積費用；以及
基于具有最低總累積費用的費用流路徑來選擇最少費用流路徑。
[0022]方案15.根據(jù)方案11所述的方法，其中最少費用流路徑包括負的總累積費用。
[0023]方案16.使用立體成像用于估計離前目標車輛的距離的方法，包括:
從安裝于駕駛員側(cè)A-柱附近的第一向前的攝像機裝置捕獲第一圖像；
從安裝于乘客側(cè)A-柱附近的第二向前的攝像機裝置捕獲第二圖像；
將預定數(shù)量的圖像塊應(yīng)用于第一圖像和第二圖像的每一個，每個圖像塊包括矩形框并且具有離散尺寸和位置；
應(yīng)用線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個來確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用；
選擇圖像塊的匹配對，包括基于具有相關(guān)外觀信和相關(guān)位置信息的應(yīng)用于第一圖像的圖像塊中選定圖像塊以及應(yīng)用于第二圖像的圖像塊中選定圖像塊；
確定各對應(yīng)于圖像塊的選定匹配對中的相應(yīng)匹配對的多個匹配費用；
基于檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的最小費用流路徑；以及
基于最小費用流路徑估計前目標車輛的距離。
[0024]方案17.根據(jù)方案16所述的方法，其中應(yīng)用線性向量分類器到圖像塊中的每一個包括下列之一:
當線性向量分類器的量值小于零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的負檢測費用以及將相應(yīng)圖像塊指定為被占據(jù)；以及 當線性向量分類器的量值至少為零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的正檢測費用以及將相應(yīng)圖像塊指定為未被占據(jù)。
[0025]方案18.根據(jù)方案16所述的方法，其中確定各對應(yīng)于圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費用包括:
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的位置信息；
監(jiān)視與每個選定匹配對相關(guān)聯(lián)的圖像塊中的每一個的外觀信息；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點；
測量與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的外觀信息的相異點；以及基于與每個選定匹配對相關(guān)聯(lián)的圖像塊中每一個之間的位置信息的相異點和外觀信息的相異點來確定多個匹配費用。
[0026]方案19.根據(jù)方案16所述的方法，其中基于檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的最小費用流路徑包括:
監(jiān)視從第一圖像的源頂點到第二圖像的沉頂點的多個費用流路徑；
將每個費用流路徑分段成多個運載單元，
每個運載單元包括下列之一:檢測費用之一和匹配費用之一；
基于從每個相應(yīng)費用流路徑分段的每個裝配單元的之和來確定每個費用流路徑的總累積費用；以及
基于具有最低總累積費用的費用流路徑選擇最小費用流路徑。
[0027]方案20.—種利用雙目攝像機系統(tǒng)跟蹤目標物體的設(shè)備，包括:
包括第一攝像機裝置和第二攝像機裝置的雙目攝像機系統(tǒng)，第一攝像機裝置安裝于源車輛擋風玻璃的第一端附近并且第二攝像機裝置安裝于源車輛擋風玻璃的第二端附近；以及
物體檢測和匹配模塊；
捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲并且第二圖像從第二攝像機裝置捕獲；
將多個圖像塊應(yīng)用于第一圖像和第二圖像的每一個；
確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費
用；
確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費用；
基于檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及
基于至少一個費用流路徑來跟蹤目標物體。
【專利附圖】

【附圖說明】
[0028]現(xiàn)將參考附圖以舉例方式描述一個或多個實施例，其中:
圖1示出根據(jù)本公開的單目攝像機裝置和雷達裝置的實驗和導出數(shù)據(jù)，其描繪了在彎曲路面上離目標物體的距離測量；
圖2示出根據(jù)本公開利用雙目攝像機系統(tǒng)來跟蹤目標物體的示例性主動安全駕駛員輔助系統(tǒng)(ASDAS)；
圖3示出根據(jù)本公開的具有寬基線的示例性雙目攝像機系統(tǒng)，其包括安裝于源車輛擋風玻璃的第一端附近的第一攝像機裝置和安裝于源車輛擋風玻璃的第二端附近的第二攝像機裝置；
圖4示出根據(jù)本公開的從圖3的第一攝像機裝置捕獲的第一圖像和應(yīng)用于第一圖像的多個圖像塊；
圖5示出根據(jù)本公開的從圖3的第二攝像機裝置捕獲的第二圖像和應(yīng)用于第二圖像的多個圖像塊；
圖6示出根據(jù)本公開的圖4的第一圖像和圖5的第二圖像的示例性四層有向圖，用來基于與圖像塊相關(guān)聯(lián)的檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的費用流路徑；
圖7示出根據(jù)本公開的示例性四層有向圖，其示出從第一圖像的源頂點到第二圖像的沉頂點的兩個費用流路徑；
圖8示出根據(jù)本公開的來自第一攝像機裝置、第二攝像機裝置和雙目攝像機系統(tǒng)的實驗數(shù)據(jù)和導出數(shù)據(jù)，其描繪了根據(jù)每幀錯誤物體檢測的漏失的物體檢測；
圖9示出根據(jù)本公開的來自第一攝像機裝置、第二攝像機裝置和雙目攝像機系統(tǒng)的實驗數(shù)據(jù)和導出數(shù)據(jù)，其描繪了根據(jù)每幀錯誤物體檢測的多個物體檢測精確度；
圖10用曲線圖示出根據(jù)本公開，來自單目攝像機裝置、雷達裝置和雙目攝像機系統(tǒng)的實驗數(shù)據(jù)和導出數(shù)據(jù)，其描繪了離目標物體距離的估計；以及
圖11為根據(jù)本公開的利用雙目攝像機系統(tǒng)來跟蹤目標物體的示例性流程圖。
【具體實施方式】
[0029]現(xiàn)參考附圖，其中展示圖只是出于示出某些示例性實施例的目的而不用于限制它們的目的，圖1用曲線圖示出根據(jù)本公開的來自單目攝像機裝置和雷達裝置的實驗數(shù)據(jù)和導出數(shù)據(jù)的曲線100，其描繪了在彎曲路面上的離目標物體的距離測量。水平軸線表示以秒為單位的測試時間，而豎直軸線表示以米為單位的離目標物體的間距。曲線100描繪了使用單目攝像機裝置估計的離目標物體的距離測量分布曲線102以及使用具有分米準確度的雷達裝置的離目標物體的實際距離測量分布曲線104。使用雷達裝置進行的目標物體檢測可稱作地面實況，其提供離目標物體的實際距離或盡可能接近準確距離的距離。應(yīng)意識到違背了平地假設(shè)，因為目標物體是在彎曲路面上，且因此，由于違背平地假設(shè)，所以在估計距離測量分布曲線102與實際測量曲線圖104之間存在顯著偏差。
[0030]圖2示出根據(jù)本公開的利用雙目攝像機系統(tǒng)201和物體檢測和匹配(ODM)模塊200來跟蹤目標物體的示例性主動安全駕駛員輔助系統(tǒng)(ASDAS) 250。ASDAS 250位于源車輛內(nèi)。本公開不限于ASDAS 250所在的源車輛的部分或車廂。顯然的是，當違背平地假設(shè)時，利用具有與示例性O(shè)DM模塊200相關(guān)聯(lián)的寬基線的雙目攝像機系統(tǒng)201允許準確估計離目標物體的距離，而無需從視差圖提取三維特征。跟蹤目標物體可包括估計離前目標車輛的距離和估計前目標車輛的速度中的至少一個。
[0031]參考圖3，示出了根據(jù)本公開的示例性雙目攝像機系統(tǒng)具有寬基線310，包括第一攝像機裝置302和第二攝像機裝置304。第一攝像機裝置302安裝于源車輛擋風玻璃305的第一端307附近(例如，左側(cè))和駕駛員側(cè)A-柱附近。因此，第一攝像機裝置302可稱作駕駛員側(cè)攝像機裝置。第二攝像機裝置304安裝于源車輛擋風玻璃305的第二端309的附近(例如，右側(cè))和乘客側(cè)A-柱的附近。因此，第二攝像機裝置304可稱作乘客側(cè)攝像機裝置。因此，具有寬基線310的雙目攝像機系統(tǒng)能提供立體成像以增加深度和距離估計的準確度。在示例性實施例中，寬基線310為大約兩米。應(yīng)意識到距離估計準確度分別隨著第一攝像機裝置302與第二攝像機裝置304之間的基線310寬度增加而增加。第一攝像機裝置320和第二攝像機裝置304中的每一個分別被配置成捕獲車輛前方的道路場景的相應(yīng)圖像，包括目標物體315，例如如在道路場景上行進的目標車輛。第一攝像機裝置302和第二攝像機裝置304分別可各被稱作朝前攝像機裝置。應(yīng)意識到這里討論的實施例可同樣實施為使用兩個朝后攝像機裝置的雙目攝像機系統(tǒng)。
[0032]示例性O(shè)DM模塊200分別從雙目攝像機系統(tǒng)201接收第一圖像203和第二圖像205。雙目攝像機系統(tǒng)201包括第一個攝像機裝置202和第二攝像機裝置204。第一攝像機裝置202可包括駕駛員側(cè)攝像機裝置和乘客側(cè)攝像機裝置之一，而第二攝像機裝置204包括右側(cè)攝像機裝置和左側(cè)攝像機裝置中的另一個。第一圖像203從第一攝像機裝置捕獲。為了簡單起見，第一圖像203對應(yīng)于從包括駕駛員側(cè)攝像機裝置的第一攝像機裝置捕獲的駕駛員側(cè)圖像。第二圖像205從第二攝像機裝置捕獲。為了簡單起見，第二圖像205對應(yīng)于從包括乘客側(cè)攝像機裝置的第二攝像機裝置捕獲的乘客側(cè)圖像。在示例性實施例中，第一攝像機裝置202對應(yīng)于圖3的第一攝像機裝置302，而第二攝像機裝置204對應(yīng)于圖3的第二攝像機裝置304。
[0033]ASDAS 250包括雙目攝像機系統(tǒng)201、ODM模塊200和車輛控制模塊230。ODM模塊200包括圖像塊檢測模塊206、流網(wǎng)絡(luò)模塊212、費用模塊216、費用流模塊222和跟蹤模塊226。費用模塊216還包括檢測費用模塊218和匹配費用模塊220。跟蹤模塊226被配置成跟蹤或估計離目標物體的距離227和/或目標物體的速度。車輛控制模塊230配置成基于目標物體的跟蹤來自動地或半自動地控制源車輛。例如，如果目標物體在預定距離內(nèi)或低于預定速度行進，那么車輛控制模塊230可發(fā)送制動請求來降低源車輛的速度。
[0034]控制模塊、模塊、控件、控制器、控制單元、處理器和類似術(shù)語表示下列中的任一個或者一個或多個的各種組合:(多個)專用集成電路(ASIC)、(多個)電子電路、(多個)中央處理單元(優(yōu)選地(多個)微處理器)，和執(zhí)行一個或多個軟件或固件程序或例程的相關(guān)存儲器和儲存裝置(只讀、可編程只讀、隨機存取、硬驅(qū)動等)、(多個)組合邏輯電路、(多個)輸入/輸出電路和裝置，適當信號條件和緩沖器電路以及提供所描述的功能的其它組件。軟件、固件、程序、指令、例程、代碼、算法和類似術(shù)語表示任何控制器可執(zhí)行的指令集合，包括校準和查找表。控制模塊具有通過執(zhí)行來提供所需功能的控制例程。通過諸如中央處理單元來執(zhí)行例程，并且例程可通過操作以監(jiān)視自傳感裝置和其它聯(lián)網(wǎng)的控制模塊的輸入，并且執(zhí)行控制和診斷例程來控制致動器的操作。在正在進行發(fā)動機和車輛操作期間可以固定間隔執(zhí)行例程，例如每3.125,6.25、12.5、25和100毫秒。
[0035]參考圖4，示出第一圖像203包括在源車輛前方的駕駛場景上的目標物體403 (例如，圖3的目標物體315)。在示例性實施例中，第一圖像203為從駕駛員側(cè)攝像機裝置捕獲的駕駛員側(cè)圖像，駕駛員側(cè)攝像機裝置安裝于源車輛擋風玻璃的駕駛員側(cè)附近和駕駛員側(cè)A-柱附近。參考圖5，示出第二圖像205包括在源車輛前方的駕駛場景上的目標物體415(例如，圖3的目標物體315)。在示例性實施例中，第二圖像205為從乘客側(cè)攝像機裝置捕獲的乘客側(cè)圖像，乘客側(cè)攝像機裝置安裝于源車輛擋風玻璃的乘客側(cè)的附近和乘客側(cè)A-柱的附近。
[0036]圖像塊檢測模塊206分別從雙目攝像機系統(tǒng)201接收第一圖像203和第二圖像205。預定數(shù)量的圖像塊208應(yīng)用于第一圖像203且通過流網(wǎng)絡(luò)模塊212接收。同樣，預定數(shù)量的圖像塊210應(yīng)用于第二圖像205且通過流網(wǎng)絡(luò)模塊212接收。這些圖像塊中的每一個指示關(guān)注的包含物體的候選物(例如，在本實施例中包括前目標車輛的目標物體)。在示例性實施例中，參看圖4和圖5，圖像塊檢測模塊206將多個圖像塊1、2、3、4、5分別應(yīng)用于第一圖像203和第二圖像205中的每一個。因此，預定數(shù)量的圖像塊208對應(yīng)于應(yīng)用于在圖4中示出的第一圖像203的圖像塊1、2、3、4、5且預定數(shù)量的圖像塊210對應(yīng)于應(yīng)用于在圖5中示出的第二圖像205的圖像塊1、2、3、4、5。應(yīng)用于第一圖像203的每個圖像塊1、
2、3、4、5包括具有相對于第一圖像203的離散尺寸和位置的矩形框，且應(yīng)用于第二圖像205的每個圖像塊1、2、3、4、5包括具有相對于第二圖像205的離散尺寸和位置的矩形框。應(yīng)意識到相同預定數(shù)量的圖像塊將分別應(yīng)用于第一圖像203和第二圖像205中的每一個。每個圖像塊1、2、3、4、5可稱作物體候選物。參考檢測費用模塊218在下文中更詳細討論，基于圖像塊1、2、3、4、5中的每一個的檢測費用，圖像塊中的每一個可被指定為被目標物體占據(jù)或不被目標物體占據(jù)之一。為了確定圖像塊是否被目標物體占據(jù)或不被目標物體占據(jù)中的一種情況，可比較每個圖像塊與考慮到例如客車的目標物體的視角的目標模板。例如，可比較每個圖像塊與表示客車不同視角的六個模板之一。
[0037]流網(wǎng)絡(luò)模塊212接收應(yīng)用于第一圖像203的預定數(shù)量的圖像塊208和應(yīng)用于第二圖像205的預定數(shù)量的圖像塊210。流網(wǎng)絡(luò)模塊212基于與圖像塊相關(guān)聯(lián)的檢測費用和匹配費用生成四層有向圖214來最終確定從第一圖像的源頂點到第二圖像的沉頂點的費用流路徑。
[0038]參考圖6，四層有向圖214包括第一圖像203，第一圖像203具有包括第一層601和第二層602的兩層。四層有向圖214還包括第二圖像205，第二圖像205具有包括第三層603和第四層604的兩層。對于第一層601的所有可能圖像塊，應(yīng)用于第一圖像203的圖像塊208將被列舉為1_1、1_2、1-3、1-4、1-5。因此，所列舉的圖像塊1_1、1_2、1-3、1-4、1-5為第一層601的頂點并且分別對應(yīng)于應(yīng)用于圖4中示出的第一圖像203的圖像塊1、2、3、4、5中的相應(yīng)圖像塊。對于第二層602的所有可能圖像塊而言，應(yīng)用于第一圖像203的圖像塊208還被列舉為2-1、2-2、2-3、2-4、2-5。因此，所列舉的圖像塊2-1、2-2、2-3、2-4、2-5為第二層602的頂點。第二層602被認為是第一層601的陰影，且因此，第二層602包括與第一層601相同的結(jié)構(gòu)。因此，應(yīng)用于第一圖像203的多個圖像塊1、2、3、4、5中的每一個由第一圖像203的第一層601和第二層602表示。第一層601和第二層602中的每一個的相應(yīng)所列舉的圖像塊之間的弧分別表示檢測費用ξα610。例如，檢測費用ζα610由在1-1與
2-1、1-2與2-2、1-3與2-3、1-4與2_4以及1_5與2_5之間的弧中的每一個確定。換言之，確定各與應(yīng)用于第一圖像203的圖像塊中的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用ζ α610。在下文參考費用模塊216更詳細討論確定檢測費用ζα610。
[0039]對于第三層603的所有可能圖像塊，應(yīng)用于第二圖像205的圖像塊210被列舉為
3-1、3-2、3-3、3-4、3-5。因此，所列舉的圖像塊3-1、3-2、3-3、3-4、3_5為第三層603的頂點并且分別對應(yīng)于應(yīng)用于圖5中示出的第二圖像205的圖像塊1、2、3、4、5的相應(yīng)圖像塊。對于第四層604的所有可能圖像塊，應(yīng)用于第二圖像205的圖像塊210被進一步列舉為4_1、
4-2、4-3、4-4、4-5。因此，所列舉的圖像塊4-1、4-2、4-3、4-4、4_5為第四層604的頂點。第四層604被認為是第三層603的陰影，且因此，第四層604包括與第三層603相同的結(jié)構(gòu)。因此，應(yīng)用于第二圖像205的多個圖像塊1、2、3、4、5中的每一個由第二圖像205的第三層603和第四層604表示。第三層603和第四層604中的每一個的相應(yīng)所列舉的圖像塊之間的弧分別表示檢測費用ζ e620。例如，檢測費用ζ ,620由在3-1與4-1、3-2與4_2、3_3與4-3、3-4與4-4以及3-5與4_5之間的弧中的每一個來確定。換言之，確定各與應(yīng)用于第二圖像205的圖像塊中的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用ζ062Ο。在下文參考費用模塊216更詳細討論確定或計算檢測費用ζ 0620。
[0040]由第二層602和第三層603表示的所列舉的圖像塊之間的附隨的弧分別表示應(yīng)用于第一圖像203的圖像塊與應(yīng)用于第二圖像205的圖像塊之間的可能匹配。μ α063Ο表示應(yīng)用于第一圖像203的圖像塊與應(yīng)用于第二圖像205的圖像塊之間的可能匹配的費用。例如，匹配費用μ α e630由2-2與3_2、2_3與3_2、2_3與3_3、2_3與3-4以及2-4與3-2之間的弧中的每一個來確定。換言之，確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費用。在下文中參考費用模塊216將更詳細討論確定或計算匹配費用μ α063Ο。
[0041]由第一層601表示的應(yīng)用于第一圖像203的多個圖像塊1_1、1_2、1_3、1_4、1_5中的每一個鏈結(jié)到源頂點O。到源頂點O的每一個鏈路的成本為零，如由虛線所示。由第四層604表示的應(yīng)用于第二圖像205的多個圖像塊4-1、4-2、4-3、4-4、4-5中的每一個鏈結(jié)到沉頂點50。到沉頂點50的每一個鏈路的成本為零,如由虛線所示。
[0042]參考圖2和圖6，四層有向圖214輸入至費用模塊216。費用模塊216包括檢測費用模塊218和匹配費用模塊22`0。檢測費用模塊218確定分別應(yīng)用于第一圖像203和第二圖像205的圖像塊208和210中的每一個的檢測費用219。顯然，基于相應(yīng)圖像塊的檢測費用，可以檢測在圖像塊內(nèi)目標物體的存在(例如，圖像塊被占據(jù))。圖6所示的檢測費用ζ α610和ζ 0620由輸入到費用流模塊222的檢測費用219表示。
[0043]檢測費用模塊218可包括線性支持向量機(SVM)，其被訓練為基于每個圖像塊的檢測費用219來確定應(yīng)用于第一圖像和第二圖像的每個圖像塊是否被占據(jù)或未被占據(jù)中的一種情況。SVM將線性向量分類器應(yīng)用于用于第一圖像和第二圖像的圖像塊中的每一個。在示例性實施例中，線性向量分類器應(yīng)用于圖像塊1、2、3、4、5中的每一個，圖像塊1、2、3、
4、5分別應(yīng)用于在圖4和圖5中示出的第一圖像203和第二圖像205。線性分類器包括多個判定邊界。每個判定邊界對應(yīng)于可能的目標物體的相應(yīng)視角。例如，可能的目標物體的視角可包括車輛的邊緣。判定邊界可包括線性權(quán)向量和預定偏置檢測閾值。線性向量分類器應(yīng)用到用于第一圖像的圖像塊中的每一個來確定與分別應(yīng)用于第一圖像203和第二圖像205的圖像塊中的相應(yīng)圖像塊相關(guān)聯(lián)的檢測費用219，可表達如下:
【權(quán)利要求】
1.一種利用雙目攝像機系統(tǒng)跟蹤目標物體的方法，包括: 捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲，而第二圖像從第二攝像機裝置捕獲； 將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個； 確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用； 確定各與第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對相對應(yīng)的多個選定匹配費用； 基于檢測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及 基于至少一個費用流路徑跟蹤目標物體。
2.根據(jù)權(quán)利要求1所述的方法，其中跟蹤目標物體包括下列中的至少一個: 跟蹤離目標物體的距離；以及 跟蹤目標物體的速度。
3.根據(jù)權(quán)利要求1所述的方法，其中第一攝像機裝置安裝于源車輛擋風玻璃的第一端附近并且第二攝像機裝置安裝于源車輛擋風玻璃的第二端附近。`
4.根據(jù)權(quán)利要求1所述的方法，其中將多個圖像塊應(yīng)用到第一圖像和第二圖像中的每一個包括: 將預定數(shù)量的圖像塊應(yīng)用到第一圖像和第二圖像，每個圖像塊包括矩形框并且具有離散大小和位置。
5.根據(jù)權(quán)利要求4所述的方法，其中應(yīng)用于第一圖像的多個圖像塊中的每一個由所述第一圖像的第一層和第一圖像的第二層表示，并且應(yīng)用于第二圖像的多個圖像塊中的每一個由第二圖像的第一層和第二圖像的第二層表示。
6.根據(jù)權(quán)利要求5所述的方法，其中由所述相應(yīng)第一層表示的應(yīng)用于的第一圖像的多個圖像塊中的每一個鏈結(jié)到源頂點并且由相應(yīng)第二層表示的應(yīng)用于第二圖像的多個圖像塊中的每一個鏈結(jié)到沉頂點。
7.根據(jù)權(quán)利要求1所述的方法，其中確定各與應(yīng)用于第一圖像和第二圖像的圖像塊的相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用包括: 應(yīng)用包括多個判定邊界的線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個，每個判定邊界對應(yīng)于可能的目標物體的相應(yīng)視角；以及下列情況的一種: 當線性向量分類器的量值小于零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的負檢測費用，以及 當線性向量分類器的量值至少為零時，確定與相應(yīng)圖像塊相關(guān)聯(lián)的正檢測費用。
8.根據(jù)權(quán)利要求7所述的方法，還包括: 當確定了相關(guān)聯(lián)的負檢測費用時，將相應(yīng)圖像塊指定為被占據(jù)；以及 當確定了相關(guān)聯(lián)的正檢測費用時，將相應(yīng)圖像塊指定為未被占據(jù)。
9.使用立體成像用于估計離前目標車輛的距離的方法，包括: 從安裝于駕駛員側(cè)A-柱附近的第一向前的攝像機裝置捕獲第一圖像； 從安裝于乘客側(cè)A-柱附近的第二向前的攝像機裝置捕獲第二圖像； 將預定數(shù)量的圖像塊應(yīng)用于第一圖像和第二圖像的每一個，每個圖像塊包括矩形框并且具有離散尺寸和位置； 應(yīng)用線性向量分類器到應(yīng)用于第一圖像和第二圖像的圖像塊中的每一個來確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用； 選擇圖像塊的匹配對，包括基于具有相關(guān)外觀信和相關(guān)位置信息的應(yīng)用于第一圖像的圖像塊中選定圖像塊以及應(yīng)用于第二圖像的圖像塊中選定圖像塊； 確定各對應(yīng)于圖像塊的選定匹配對中的相應(yīng)匹配對的多個匹配費用； 基于檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的最小費用流路徑；以及 基于最小費用流路徑估計前目標車輛的距離。
10.一種利用雙目攝像機系統(tǒng)跟蹤目標物體的設(shè)備，包括: 包括第一攝像機裝置和第二攝像機裝置的雙目攝像機系統(tǒng)，第一攝像機裝置安裝于源車輛擋風玻璃的第一端附近并且第二攝像機裝置安裝于源車輛擋風玻璃的第二端附近；以及 物體檢測和匹配模塊； 捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲并且第二圖像從第二攝像機裝置捕獲； 將多個圖像塊應(yīng)用于第一圖像和第二圖像的每一個； 確定各與應(yīng)用于第一圖像和第二圖像的圖像塊中相應(yīng)圖像塊相關(guān)聯(lián)的多個檢測費用； 確定各對應(yīng)于第一圖像與第二圖像之間的圖像塊的匹配對中的相應(yīng)匹配對的多個匹配費用； 基于檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及 基于至少一個費用流路徑來跟蹤目標物體。
【文檔編號】G06K9/62GK103530868SQ201310265291
【公開日】2014年1月22日 申請日期:2013年6月28日 優(yōu)先權(quán)日:2012年6月28日
【發(fā)明者】S.曾 申請人:通用汽車環(huán)球科技運作有限責任公司