本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種基于多目攝像頭的環(huán)視立體圖像采集設(shè)備及方法。

背景技術(shù)：

1、視覺(jué)感知技術(shù)對(duì)機(jī)器人至關(guān)重要，它使機(jī)器人能夠感知環(huán)境、做出決策并執(zhí)行任務(wù)。器人利用視覺(jué)傳感器采集圖像，實(shí)現(xiàn)自主導(dǎo)航和運(yùn)動(dòng)避障等功能。

2、目前機(jī)器視覺(jué)領(lǐng)域廣泛使用的雙目立體視覺(jué)傳感器存在一些局限性。盡管這種傳感器能夠模擬人類(lèi)的雙眼視覺(jué)，通過(guò)圖像差異計(jì)算物體的距離和三維形狀，但其視野范圍較小，導(dǎo)致需要多個(gè)傳感器來(lái)覆蓋不同方向，增加了成本和體積，同時(shí)信息融合和匹配也面臨困難。

3、此外，機(jī)器人使用的全景相機(jī)雖然能夠提供360度的視角，但它們通常無(wú)法生成立體圖像，缺乏深度信息，這限制了其在需要精確深度感知的應(yīng)用場(chǎng)景中的使用，如機(jī)器人導(dǎo)航和精密測(cè)量等。這一挑戰(zhàn)也是當(dāng)前技術(shù)發(fā)展需要克服的難題。

4、因此，開(kāi)發(fā)一種能夠?qū)崿F(xiàn)360度全向覆蓋的立體視覺(jué)傳感器及其環(huán)視立體圖像采集方法，已成為該領(lǐng)域亟待解決的技術(shù)問(wèn)題。

5、通過(guò)上述分析，現(xiàn)有技術(shù)存在的問(wèn)題及缺陷為：

6、現(xiàn)有的雙目立體視覺(jué)傳感器，通過(guò)模擬人眼的雙眼視覺(jué)，通過(guò)比較兩個(gè)圖像之間的差異來(lái)計(jì)算物體的距離和三維形狀，其視野范圍較小，限制機(jī)器人的感知、作業(yè)以及安全運(yùn)行能力。使用多組雙目立體視覺(jué)傳感器進(jìn)行多角度覆蓋，又帶來(lái)成本高，重量和體積大，不同傳感器之間采集到的信息難以融合和匹配的問(wèn)題。而普通全景相機(jī)只能生成二維畫(huà)面，無(wú)法有效形成立體感知。

7、解決上述技術(shù)問(wèn)題的意義在于：

8、本發(fā)明通過(guò)使用多個(gè)廣角攝像頭同步采集并進(jìn)行算法處理，分解拼接為左右兩個(gè)視角的環(huán)視圖像，并利用雙目立體成像匹配的方法，實(shí)現(xiàn)了采集機(jī)器人外部360度無(wú)死角環(huán)視立體圖像感知的效果。同時(shí)有效降低成本，體積和重量，并提供全局同步的環(huán)視立體圖像采集，有效的提升了機(jī)器人應(yīng)用的外部感知和智能化作業(yè)能力。

技術(shù)實(shí)現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問(wèn)題，本發(fā)明公開(kāi)實(shí)施例提供了一種基于多目攝像頭的環(huán)視立體圖像采集設(shè)備及方法，所述技術(shù)方案如下：

2、一種基于多目攝像頭的環(huán)視立體圖像采集設(shè)備，包括機(jī)器人本體，所述機(jī)器人本體沿周向等分固定有4個(gè)視野范圍大于180度的廣角攝像頭，所述廣角攝像頭通過(guò)圖像信號(hào)線(xiàn)連接圖像采集卡，4個(gè)所述廣角攝像頭的曝光控制引腳同時(shí)通過(guò)同一根快門(mén)信號(hào)線(xiàn)連接至圖像采集卡。

3、進(jìn)一步，4個(gè)所述廣角攝像頭相互夾角成90度設(shè)置，并通過(guò)同一根快門(mén)信號(hào)線(xiàn)進(jìn)行同步控制。

4、本發(fā)明的另一目的在于提供一種基于多目攝像頭的環(huán)視立體圖像采集方法，使用基于多目攝像頭的環(huán)視立體圖像采集設(shè)備，包括以下步驟：

5、s1：圖像采集卡通過(guò)快門(mén)信號(hào)線(xiàn)發(fā)送一個(gè)脈沖信號(hào)，控制4個(gè)廣角攝像頭在同一時(shí)刻曝光，圖像采集卡采集4個(gè)廣角攝像頭的原始圖像，得到4張?jiān)紙D像p1、p2、p3、p4，并存入緩存；

6、s2：將步驟s1中得到的4張?jiān)紙D像p1、p2、p3、p4分別居中分割為左右兩個(gè)圖像，分別得到4張pil原始圖像和4張pir原始圖像，其中i是廣角攝像頭編號(hào)；

7、s3：將步驟s2中的得到的4張?jiān)紙D像pil拼接為左側(cè)視角的左側(cè)環(huán)視圖pl；

8、s4：將步驟s2中的得到的4張?jiān)紙D像pir拼接為右側(cè)視角的右側(cè)環(huán)視圖pr；

9、s5：將步驟s3和步驟s4中得到的左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr采用雙目立體匹配原理處理，得到360度的環(huán)視立體圖像pd。

10、進(jìn)一步，步驟s3和步驟s4中，采用透視變換與逆透視變換的方法計(jì)算4個(gè)廣角攝像頭中每個(gè)圖像坐標(biāo)系之間的映射關(guān)系，將原始圖像pil映射到共同的左側(cè)環(huán)視圖pl，原始圖像pir映射到共同的右側(cè)環(huán)視圖pr。

11、進(jìn)一步，映射到共同的環(huán)視圖像包括以下步驟：

12、s501：獲取每個(gè)廣角攝像頭的內(nèi)參和外參，分別定義為ki和[ri∣ti]；s502：將每個(gè)圖像坐標(biāo)(ui,vi)通過(guò)以下公式轉(zhuǎn)換為環(huán)視坐標(biāo)系；

13、(u,v)＝f(ui,vi,ki,[ri∣ti])?(1)

14、其中：f是透視變換函數(shù)；

15、s503：將4個(gè)轉(zhuǎn)換為環(huán)視坐標(biāo)系的圖像拼接合成為一個(gè)環(huán)視圖像，最終得到左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr。

16、進(jìn)一步，步驟s5中，對(duì)左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr進(jìn)行特征點(diǎn)提取，識(shí)別圖像中的關(guān)鍵點(diǎn)，包括角點(diǎn)、邊緣或其他顯著特征，然后找到左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr中的對(duì)應(yīng)點(diǎn)；

17、根據(jù)視差和基線(xiàn)距離，即通過(guò)左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr的對(duì)應(yīng)點(diǎn)之間的水平位移、左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr的幾何中心之間的距離，計(jì)算該對(duì)應(yīng)點(diǎn)的深度，進(jìn)一步得到深度圖pd，計(jì)算公式如下：

18、pd(u，v)＝b×f/d(u，v)???(2)

19、其中：

20、b是基線(xiàn)距離；f是攝像頭的焦距；d(u，v)是視差，即同一場(chǎng)景點(diǎn)在左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr中的水平像素差；

21、通過(guò)上述方法，把左側(cè)環(huán)視圖pl、右側(cè)環(huán)視圖pr結(jié)合，生成一個(gè)全面的環(huán)視立體圖像pd。

22、進(jìn)一步，從左側(cè)環(huán)視圖pl到右側(cè)環(huán)視圖pr的對(duì)應(yīng)點(diǎn)之間的水平位移得到的視差圖通過(guò)應(yīng)用中值濾波、雙邊濾波或視差圖細(xì)化進(jìn)行優(yōu)化，用于消除視差圖中存在的不連續(xù)性和不準(zhǔn)確的區(qū)域。

23、本發(fā)明的另一目的在于提供一種信息數(shù)據(jù)處理終端，所述信息數(shù)據(jù)處理終端用于實(shí)現(xiàn)基于多目攝像頭的環(huán)視立體圖像采集方法。

24、本發(fā)明的另一目的在于提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上儲(chǔ)存有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行基于多目攝像頭的環(huán)視立體圖像采集方法的步驟。

25、本發(fā)明的另一目的在于提供一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)基于多目攝像頭的環(huán)視立體圖像采集方法的步驟。

26、結(jié)合上述的所有技術(shù)方案，本發(fā)明所具備的有益效果為：

27、利用布置在機(jī)器人4個(gè)方向的廣角攝像頭同步采集周?chē)鷪D像并進(jìn)行算法處理，分解拼接為左右兩個(gè)視角的環(huán)視圖像，并利用雙目立體成像匹配的方法，得到了采集機(jī)器人外部360度無(wú)死角環(huán)視立體圖像感知的技術(shù)效果。

28、相較于普通全景相機(jī)或雙目立體相機(jī)，本發(fā)明可以滿(mǎn)足畫(huà)面總視場(chǎng)角>720度，即生成兩個(gè)不同視角360度環(huán)視圖像后進(jìn)行立體匹配。同時(shí)解決了以往多個(gè)雙目立體視覺(jué)傳感器成本高，重量和體積大，不同傳感器采集到的信息難以融合和匹配，普通全景相機(jī)無(wú)法有效形成立體感知的問(wèn)題。

29、同時(shí)可以將機(jī)器人的雙目立體視覺(jué)傳感器系統(tǒng)成本進(jìn)一步降低，提升作業(yè)能力和安全性。這種成本節(jié)約使得機(jī)器人在更多行業(yè)和應(yīng)用場(chǎng)景中變得經(jīng)濟(jì)可行，從而拓展市場(chǎng)份額。提升了機(jī)器人系統(tǒng)的商業(yè)價(jià)值和競(jìng)爭(zhēng)力，具備較高的商業(yè)價(jià)值。

技術(shù)特征：

1.一種基于多目攝像頭的環(huán)視立體圖像采集設(shè)備，包括機(jī)器人本體，其特征在于：所述機(jī)器人本體沿周向等分固定有4個(gè)視野范圍大于180度的廣角攝像頭，所述廣角攝像頭通過(guò)圖像信號(hào)線(xiàn)連接圖像采集卡，4個(gè)所述廣角攝像頭的曝光控制引腳同時(shí)通過(guò)同一根快門(mén)信號(hào)線(xiàn)連接至圖像采集卡。

2.根據(jù)權(quán)利要求1所述的基于多目攝像頭的環(huán)視立體圖像采集設(shè)備，其特征在于：4個(gè)所述廣角攝像頭相互夾角成90度設(shè)置，并通過(guò)同一根快門(mén)信號(hào)線(xiàn)進(jìn)行同步控制。

3.一種基于多目攝像頭的環(huán)視立體圖像采集方法，使用權(quán)利要求1～x任意一項(xiàng)所述的基于多目攝像頭的環(huán)視立體圖像采集設(shè)備，其特征在于，包括以下步驟：

4.根據(jù)權(quán)利要求3所述的基于多目攝像頭的環(huán)視立體圖像采集方法，其特征在于：步驟s3和步驟s4中，采用透視變換與逆透視變換的方法計(jì)算4個(gè)廣角攝像頭中每個(gè)圖像坐標(biāo)系之間的映射關(guān)系，將原始圖像pil映射到共同的左側(cè)環(huán)視圖pl，原始圖像pir映射到共同的右側(cè)環(huán)視圖pr。

5.根據(jù)權(quán)利要求4所述的基于多目攝像頭的環(huán)視立體圖像采集方法，其特征在：映射到共同的環(huán)視圖像包括以下步驟：

6.根據(jù)權(quán)利要求5所述的基于多目攝像頭的環(huán)視立體圖像采集方法，其特征在于：步驟s5中，對(duì)左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr進(jìn)行特征點(diǎn)提取，識(shí)別圖像中的關(guān)鍵點(diǎn)，包括角點(diǎn)、邊緣或其他顯著特征，然后找到左側(cè)環(huán)視圖pl和右側(cè)環(huán)視圖pr中的對(duì)應(yīng)點(diǎn)；

7.根據(jù)權(quán)利要求6所述的基于多目攝像頭的環(huán)視立體圖像采集方法，其特征在于：從左側(cè)環(huán)視圖pl到右側(cè)環(huán)視圖pr的對(duì)應(yīng)點(diǎn)之間的水平位移得到的視差圖通過(guò)應(yīng)用中值濾波、雙邊濾波或視差圖細(xì)化進(jìn)行優(yōu)化，用于消除視差圖中存在的不連續(xù)性和不準(zhǔn)確的區(qū)域。

8.一種信息數(shù)據(jù)處理終端，其特征在于，所述信息數(shù)據(jù)處理終端用于實(shí)現(xiàn)權(quán)利要求3-7任意一項(xiàng)所述的基于多目攝像頭的環(huán)視立體圖像采集方法。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上儲(chǔ)存有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如權(quán)利要求3-7任意一項(xiàng)所述的基于多目攝像頭的環(huán)視立體圖像采集方法的步驟。

10.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求3-7中任意一項(xiàng)所述的基于多目攝像頭的環(huán)視立體圖像采集方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于多目攝像頭的環(huán)視立體圖像采集設(shè)備及方法，包括以下步驟：圖像采集卡采集4個(gè)廣角攝像頭的原始圖像，得到4張?jiān)紙D像P1、P2、P3、P4，并存入緩存；將原始圖像分別居中分割為左右兩個(gè)圖像，分別得到4張PiL和4張PiR原始圖像；將4張PiL拼接為左側(cè)視角的左側(cè)環(huán)視圖PL；將4張?jiān)紙D像PiR拼接為右側(cè)視角的右側(cè)環(huán)視圖PR；將左側(cè)環(huán)視圖PL和右側(cè)環(huán)視圖PR采用雙目立體匹配原理處理，得到360度的環(huán)視立體圖像PD。本發(fā)明相較于普通全景相機(jī)或雙目立體相機(jī)，可以滿(mǎn)足畫(huà)面采集總視場(chǎng)角>720度，即生成兩個(gè)不同視角360度環(huán)視圖像后進(jìn)行立體匹配，解決普通全景相機(jī)無(wú)法有效形成立體感知的問(wèn)題。

技術(shù)研發(fā)人員：孫航
受保護(hù)的技術(shù)使用者：天津環(huán)視智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30