用于生成環(huán)繞視圖的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)大體上涉及一種用于生成環(huán)繞視圖的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 現(xiàn)今，在駕駛輔助系統(tǒng)中尤其是在停車輔助系統(tǒng)中，越來(lái)越廣泛地使用3D環(huán)繞視 圖。當(dāng)前，存在將顯示車輛周圍的景物的圖像投影到模擬3D彎曲表面（環(huán)繞表面）上的解 決方案。環(huán)繞表面可以被配置成具有預(yù)定形狀。為了獲得這些解決方案的信息，請(qǐng)參考美 國(guó)專利公開(kāi)第2012/0262580A1號(hào)。然而，在這些解決方案中可能發(fā)生圖像失真。因此，需 要提供一種用于生成環(huán)繞視圖的更穩(wěn)健的方法和系統(tǒng)。

【發(fā)明內(nèi)容】

[0003] 根據(jù)本公開(kāi)的一個(gè)實(shí)施方案，提供一種生成環(huán)繞視圖的方法。所述方法可以包括： 建立環(huán)繞表面；獲得多個(gè)環(huán)境圖像；和基于環(huán)繞表面上的點(diǎn)與圖像上的像素之間的投影關(guān) 系將圖像投影到環(huán)繞表面上以生成環(huán)繞視圖，其中投影關(guān)系可以隨著環(huán)繞表面上的點(diǎn)的高 度而變化。點(diǎn)的高度意指從點(diǎn)到環(huán)繞表面的底部表面或最低切平面的距離。
[0004] 在一些實(shí)施方案中，可以基于方程式（3)獲得多個(gè)圖像中的一個(gè)與環(huán)繞表面之間 的投影關(guān)系：
[0005]
[0006] 其中Xw、Y，Zw為環(huán)繞表面上的點(diǎn)在世界坐標(biāo)系中的世界坐標(biāo)，X。、Y。和Z。為點(diǎn) 在對(duì)應(yīng)于圖像的相機(jī)坐標(biāo)系中的相機(jī)坐標(biāo)，R代表從世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣， T代表從世界坐標(biāo)系到相機(jī)坐標(biāo)系的平移矩陣，且W為可以隨著環(huán)繞表面上的點(diǎn)的高度而 變化的加權(quán)因子。對(duì)應(yīng)于圖像的相機(jī)坐標(biāo)系意指在捕捉圖像時(shí)建立的相機(jī)坐標(biāo)系。基于方 程式（3)，可以將點(diǎn)的世界坐標(biāo)變換成對(duì)應(yīng)的相機(jī)坐標(biāo)。然后，基于相機(jī)坐標(biāo)和相機(jī)本征參 數(shù)（諸如焦距），可以在圖像上識(shí)別對(duì)應(yīng)于該點(diǎn)的像素。此后，可以將像素投影到該點(diǎn)上。
[0007] 在一些實(shí)施方案中，當(dāng)點(diǎn)的高度大于世界坐標(biāo)系的原點(diǎn)的高度時(shí)加權(quán)因子W可以 等于〇,當(dāng)點(diǎn)的高度不大于原點(diǎn)的高度時(shí)加權(quán)因子W可以大于0且小于1，且當(dāng)點(diǎn)的高度為 0時(shí)可以等于1。在一些實(shí)施方案中，當(dāng)點(diǎn)的高度不大于世界坐標(biāo)系的原點(diǎn)的高度時(shí)，加權(quán) 因子W可以隨著點(diǎn)的高度增加而減小。在一些實(shí)施方案中，可以基于方程式（4)計(jì)算加權(quán) 因子W:
[0008]
方程式（4)
[0009] 其中％代表世界坐標(biāo)系的原點(diǎn)的高度且&代表點(diǎn)的高度。因此，獲得環(huán)繞視圖中 地平面和地平面附近的物體的顯示效果可以得到改善。
[0010] 根據(jù)本公開(kāi)的一個(gè)實(shí)施方案，提供一種用于生成環(huán)繞視圖的系統(tǒng)。所述系統(tǒng)可以 包括處理裝置，其被配置來(lái)：建立環(huán)繞表面；獲得多個(gè)環(huán)境圖像；和基于環(huán)繞表面上的點(diǎn)與 圖像上的像素之間的投影關(guān)系將圖像投影到環(huán)繞表面上以生成環(huán)繞視圖，其中投影關(guān)系可 以隨著環(huán)繞表面上的點(diǎn)的高度而變化。且所述系統(tǒng)可以包括用于顯示環(huán)繞視圖的顯示裝 置。
[0011] 在一些實(shí)施方案中，所述處理裝置可以被配置來(lái)基于方程式（3)獲得多個(gè)圖像中 的一個(gè)與環(huán)繞表面之間的投影關(guān)系：
[0012]
方程式（3)
[0013] 其中Xw、Y，Zw為環(huán)繞表面上的點(diǎn)在世界坐標(biāo)系中的世界坐標(biāo)，X。、Y。和Z。為點(diǎn) 在對(duì)應(yīng)于圖像的相機(jī)坐標(biāo)系中的相機(jī)坐標(biāo)，R代表從世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣， T代表從世界坐標(biāo)系到相機(jī)坐標(biāo)系的平移矩陣，且W為可以隨著環(huán)繞表面上的點(diǎn)的高度而 變化的加權(quán)因子。
[0014] 在一些實(shí)施方案中，當(dāng)點(diǎn)的高度大于世界坐標(biāo)系的原點(diǎn)的高度時(shí)加權(quán)因子W可以 等于0,當(dāng)點(diǎn)的高度不大于原點(diǎn)的高度時(shí)加權(quán)因子W可以大于0且小于1，且當(dāng)點(diǎn)的高度為 0時(shí)可以等于1。在一些實(shí)施方案中，當(dāng)點(diǎn)的高度不大于世界坐標(biāo)系的原點(diǎn)的高度時(shí)，加權(quán) 因子W可以隨著點(diǎn)的高度增加而減小。在一些實(shí)施方案中，可以基于方程式（4)計(jì)算加權(quán) 因子W:
[0015] 方程式（4)
[0016]其中％代表世界坐標(biāo)系的原點(diǎn)的高度且H:代表點(diǎn)的高度。
[0017] 在一些實(shí)施方案中，所述系統(tǒng)可以包括用于捕捉環(huán)境圖像的多個(gè)相機(jī)。
[0018] 通過(guò)采用本公開(kāi)的方法或系統(tǒng)，失真可以被校正到某個(gè)程度，尤其是地平面的環(huán) 繞視圖的失真。
[0019] 附圖簡(jiǎn)述
[0020] 從結(jié)合附圖進(jìn)行的下文描述和所附權(quán)利要求書(shū)，本公開(kāi)的前述特征和其它特征將 變得完全明顯。應(yīng)了解，這些圖式僅描繪根據(jù)本公開(kāi)的若干實(shí)施方案且因此，不應(yīng)被視為限 制其范圍，將通過(guò)附圖的使用描述本公開(kāi)的額外細(xì)節(jié)和詳情。
[0021] 圖1示出根據(jù)本公開(kāi)的一個(gè)實(shí)施方案的用于生成環(huán)繞視圖的方法100的示意流程 圖；
[0022] 圖2示意地示出環(huán)繞表面的實(shí)例；
[0023] 圖3示意地示出沿圖2中所示的車輛和環(huán)繞表面的X-Y平面的橫截面視圖；
[0024] 圖4A到圖4D示出四個(gè)環(huán)境圖像，分別顯示車輛的前、左、后和右視場(chǎng)；
[0025] 圖5示出通過(guò)基于現(xiàn)存解決方案將圖4A到圖4D投影到環(huán)繞表面上而生成的環(huán)繞 視圖；
[0026] 圖6示意地示出沿車輛和環(huán)繞表面的X-Z平面的橫截面視圖；
[0027] 圖7示出根據(jù)本公開(kāi)的一個(gè)實(shí)施方案的通過(guò)基于投影關(guān)系投影圖4A到圖4D而生 成的環(huán)繞視圖；和
[0028] 圖8示意地示出根據(jù)本公開(kāi)的一個(gè)實(shí)施方案的基于投影關(guān)系的在圖6中的點(diǎn)A的 投影。
[0029] 詳述
[0030]在下文詳述中，參考形成其部分的附圖。在附圖中，除非上下文另有規(guī)定，否則相 似符號(hào)通常標(biāo)識(shí)相似組件。在詳述、附圖和權(quán)利要求書(shū)中所述的說(shuō)明性實(shí)施方案并非意在 限制性。在不背離本文所提出的主題的精神或范圍的情況下，可以利用其它實(shí)施方案，且可 以作出其它變化。將容易了解，可按各種不同配置排列、替換、組合和設(shè)計(jì)如在本文中大體 上所述且在圖中所示的本公開(kāi)的方面，所有這些被明確預(yù)期且構(gòu)成本公開(kāi)的部分。
[0031] 圖1示出根據(jù)本公開(kāi)的一個(gè)實(shí)施方案的用于生成環(huán)繞視圖的方法100的示意流程 圖。
[0032] 在S101中，建立環(huán)繞表面。
[0033]環(huán)繞表面意指具有特定形狀的模擬3D表面，其至少可以包圍物體。物體可以為車 輛、檢測(cè)器等。
[0034] 圖2示意地示出包圍車輛300的環(huán)繞表面200的實(shí)例。在一些實(shí)施方案中，環(huán)繞 表面200可以建有碗狀形狀以模擬人的視場(chǎng)。此外，環(huán)繞表面200可以從其底部包圍車輛 300。因此，不僅車輛300周圍的景物，而且車輛300附近的在地平面400上的障礙物也可 以投影到環(huán)繞表面200上。
[0035] 應(yīng)注意，可以基于實(shí)際需求設(shè)置環(huán)繞表面200的特定配置，例如，大小、位置、形狀 等。在一些實(shí)施方案中，環(huán)繞表面200可以具有底部平面201，其為與地平面400 -致的環(huán) 繞表面200的最低切平面。
[0036]環(huán)繞表面200可以建立在世界坐標(biāo)系中。因此，環(huán)繞表面200上的點(diǎn)可以具有世 界坐標(biāo)，其可以用于投影計(jì)算。在一些實(shí)施方案中，原點(diǎn)可以為車輛中心，或設(shè)置在車輛中 的駕駛員位置處?？梢云叫杏诘仄矫嬖O(shè)置世界坐標(biāo)系的一個(gè)軸。圖2示出世界坐標(biāo)系的一 個(gè)實(shí)例。世界坐標(biāo)系被示出具有平行于地平面400的X軸、垂直于地平面400的Z軸以及 垂直于X和Z軸的Y軸。世界坐標(biāo)系的這種配置（不限于此）在本領(lǐng)域中是熟知的且本文 將不作詳細(xì)描述。
[0037] 在S103中，獲得多個(gè)環(huán)境圖像。
[0038] "環(huán)境圖像"意指圖像可以包括包圍車輛300的景物。在一些實(shí)施方案中，可以由 按不同方向定向的多個(gè)相機(jī)捕捉圖像。在一些實(shí)施方案中，相機(jī)可以為具有約190°視場(chǎng)的 魚(yú)眼相機(jī)，因此，需要至少兩個(gè)魚(yú)眼相機(jī)，優(yōu)選地但不限于，四個(gè)魚(yú)眼相機(jī)。
[0039]在S105中，基于環(huán)繞表面200上的點(diǎn)與圖像上的像素之間的投影關(guān)系將圖像投影 到環(huán)繞表面200上，其中投影關(guān)系可以隨著環(huán)繞表面200上的點(diǎn)的高度而變化。
[0040] 圖3示意地示出沿圖2中所示的車輛300和環(huán)繞表面200的X-Y平面的橫截面視 圖。如圖3中所示，在一些實(shí)施方案中，四個(gè)相機(jī)310、330、350和370可以安裝在車輛300 上的不同位置處，分別面向前、左、后和右方向。由四個(gè)相機(jī)捕捉的四個(gè)圖像可以投影到環(huán) 繞表面200上。應(yīng)注意，四個(gè)圖像可以分別投影到環(huán)繞表面的對(duì)應(yīng)部分上。對(duì)應(yīng)部分意指 在相機(jī)視場(chǎng)內(nèi)的環(huán)繞表面200上的部分。然而，視場(chǎng)可以重疊，從而生成"過(guò)渡區(qū)"。在兩個(gè) 相機(jī)的過(guò)渡區(qū)內(nèi)的環(huán)繞表面200可以分類成任一個(gè)相機(jī)的對(duì)應(yīng)部分，或根據(jù)某個(gè)比率來(lái)劃 分，其可以不在下文作描述。
[0041] 圖4A到圖4D示出四個(gè)環(huán)境圖像，分別顯示車輛300的前、左、后和右視場(chǎng)。
[0042] 在一些實(shí)施方案中，非本征變換和本征變換可以用于建立環(huán)繞表面200上的點(diǎn)與 圖像上的像素之間的投影關(guān)系。
[0043] 在現(xiàn)存解決方案中，可以基于方程式（1)執(zhí)行非本征變換：
[0044]
方程式（1)
[0045] 其中Xw、Y#Zw為環(huán)繞表面200上的點(diǎn)的世界坐標(biāo)，X。、Y。和Z。為點(diǎn)在對(duì)應(yīng)相機(jī) 坐標(biāo)系中的相機(jī)坐標(biāo)，R代表從世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣，且T代表從世界坐標(biāo) 系到相機(jī)坐標(biāo)系的平移矩陣。
[0046] 可以基于相機(jī)的光學(xué)中心的位置和其光學(xué)軸的方向建立相機(jī)坐標(biāo)系。相機(jī)坐標(biāo)系 的旋轉(zhuǎn)矩陣、平移矩陣和配置在本領(lǐng)域中是熟知的，且下文將不作詳細(xì)描述。
[0047] 因此，點(diǎn)的世界坐標(biāo)可以變換成相機(jī)坐標(biāo)。此后，在本征變換中，相機(jī)坐標(biāo)可以變 換成圖像坐標(biāo)，其可以與相機(jī)的本征參數(shù)（諸如焦距）相關(guān)。因此，對(duì)應(yīng)于某點(diǎn)的像素可以 在圖像中得以識(shí)別且接著投影到該點(diǎn)上。
[0048] 然而，基于非本征變換和本征變換，可能發(fā)生失真。圖5示出通過(guò)基于現(xiàn)存解決方 案將圖4A到圖4D投影到環(huán)繞表面200上而生成的環(huán)繞視圖。可見(jiàn)，一些區(qū)域投影效果理 想，但一些區(qū)域扭曲。這是因?yàn)槠揭凭仃嘥在圖像上的不同區(qū)域中影響不同，但圖像上的像 素基于相同投影關(guān)系投影到環(huán)