雙目攝像頭圖像深度信息獲取方法及裝置制造方法
【專利摘要】本發(fā)明提供了一種雙目攝像頭圖像深度信息獲取方法及裝置。所述方法包括步驟：1）根據(jù)預(yù)先獲得的雙目攝像頭校準(zhǔn)信息對(duì)輸入的兩幅目標(biāo)圖像數(shù)據(jù)進(jìn)行圖像校正，以使目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上；2）根據(jù)圖像校正的信息計(jì)算像素匹配能量，并根據(jù)像素點(diǎn)相鄰關(guān)系構(gòu)造匹配對(duì)有向連接圖及設(shè)定連接圖中每邊權(quán)重；3）采用行匹配方式利用圖論最大流算法求解連接圖的最大流，轉(zhuǎn)換為匹配結(jié)果并進(jìn)行緩存；4）對(duì)所緩存的匹配結(jié)果進(jìn)行后處理獲取后處理結(jié)果；5）根據(jù)雙目攝像頭校準(zhǔn)信息以及后處理結(jié)果計(jì)算目標(biāo)圖像像素深度，獲取深度信息。在滿足合理硬件開銷、低功耗及性能要求同時(shí)，進(jìn)行雙目攝像頭深度恢復(fù)獲取深度信息。
【專利說明】雙目攝像頭圖像深度信息獲取方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息采集和處理【技術(shù)領(lǐng)域】，特別是一種利用雙目攝像頭恢復(fù)深度信息，滿足合理硬件開銷，低功耗以及性能要求的雙目攝像頭圖像深度信息獲取方法及裝置。

【背景技術(shù)】
[0002]模擬人類雙目視覺感知景物深度是利用相對(duì)位置類似于雙眼的一對(duì)攝像頭所捕捉的圖像對(duì)來恢復(fù)景物的深度信息。它是計(jì)算機(jī)視覺以及人工智能的重要一環(huán)，為計(jì)算機(jī)/機(jī)器人利用可見光信息自動(dòng)感知理解現(xiàn)實(shí)世界，并基于此表現(xiàn)出一定智能行為奠定了基礎(chǔ)。近年來，越來越多的研究人員致力于把此項(xiàng)技術(shù)應(yīng)用于人機(jī)自然交互，計(jì)算機(jī)智能及仿生，自動(dòng)控制，無人指導(dǎo)的影像信息處理等多個(gè)應(yīng)用領(lǐng)域。
[0003]雖然已經(jīng)對(duì)雙目攝像頭深度恢復(fù)進(jìn)行了長足的研究，并且有些算法達(dá)到了相當(dāng)高的精度，但是其距離應(yīng)用還有很長的距離。這主要是因?yàn)槟壳耙阎妮^好算法的計(jì)算量都非常巨大，以至于即使最強(qiáng)的CPU都無法實(shí)時(shí)處理(>=30幀/秒)較低分辨率輸入圖像。而利用CPU/GPU的并行計(jì)算能力需要巨大的功耗，并且其性能還受到內(nèi)存讀寫帶寬的約束。這與目前電子產(chǎn)品輕便節(jié)能的大趨勢(shì)背道而馳。另一方面，從人類智能角度看，深度感知仍然屬于低級(jí)智能。仿生學(xué)告訴我們，這類工作應(yīng)由類似于視覺中樞的專用硬件完成，而CPU/GPU的運(yùn)算能力應(yīng)該主要被用于高級(jí)控制和邏輯推理方面，這是最節(jié)能高效的方式。
[0004]雙目攝像頭深度恢復(fù)的核心部分是計(jì)算左右攝像頭的視差，在數(shù)學(xué)上可歸為一類函數(shù)最小化問題，但是對(duì)其求解卻具有NP難度。除視差計(jì)算以外，進(jìn)行雙目攝像頭深度恢復(fù)還需要對(duì)輸入圖像進(jìn)行校正，計(jì)算匹配能量以及進(jìn)行后處理。目前由于獲取深度信息的計(jì)算量較大，對(duì)這一復(fù)雜過程的硬件實(shí)現(xiàn)難度較大、成本非常高，無法滿足合理硬件開銷，低功耗以及性能要求。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是為解決上述問題而提供一種雙目攝像頭圖像深度信息獲取方法及裝置，在滿足合理硬件開銷，低功耗以及性能要求的同時(shí)，進(jìn)行雙目攝像頭深度恢復(fù)獲取圖像深度信息。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明提供了雙目攝像頭圖像深度信息獲取方法，包括以下步驟:(I)根據(jù)預(yù)先獲得的雙目攝像頭校準(zhǔn)信息對(duì)輸入的兩幅目標(biāo)圖像數(shù)據(jù)進(jìn)行圖像校正，以使所有所述目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上；(2)根據(jù)所述圖像校正的信息計(jì)算像素匹配能量，并根據(jù)像素點(diǎn)相鄰關(guān)系構(gòu)造匹配對(duì)有向連接圖及設(shè)定連接圖中每邊權(quán)重；(3)采用行匹配方式利用圖論最大流算法求解所構(gòu)造的連接圖的最大流，轉(zhuǎn)換為匹配結(jié)果并進(jìn)行緩存；(4)對(duì)所緩存的匹配結(jié)果進(jìn)行后處理，獲取后處理結(jié)果；(5)根據(jù)所述雙目攝像頭校準(zhǔn)信息以及后處理結(jié)果計(jì)算所有所述目標(biāo)圖像像素深度，獲取所有所述目標(biāo)圖像深度信息。
[0007]進(jìn)一步，步驟(I)之前進(jìn)一步包括:預(yù)先計(jì)算每一組雙目攝像頭的內(nèi)外參數(shù)，以及設(shè)定雙目攝像頭輸出的目標(biāo)圖像的格式為RGB或YUV。
[0008]進(jìn)一步，步驟(3)中所述行匹配方式中進(jìn)一步包括對(duì)每一所述目標(biāo)圖像多行像素點(diǎn)進(jìn)行行匹配，對(duì)每一行匹配結(jié)果分別進(jìn)行緩存。
[0009]進(jìn)一步，所述行匹配方式中單行匹配包括以下步驟:(301)初始化匹配對(duì)有向連接圖；(302)采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)連接強(qiáng)度并行擴(kuò)展源節(jié)點(diǎn)和匯節(jié)點(diǎn)集；(303)在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；(304)重復(fù)步驟301-303，直到無增長路徑為止，得到一最優(yōu)匹配，并對(duì)匹配結(jié)果進(jìn)行緩存。
[0010]進(jìn)一步，所述行匹配方式中進(jìn)一步包括對(duì)單行采取并行節(jié)點(diǎn)擴(kuò)張，包括以下步驟:(311)初始化匹配對(duì)有向連接圖并進(jìn)行緩存；(312)獲取步驟311所緩存的初始化數(shù)據(jù)，采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算多個(gè)節(jié)點(diǎn)中每一節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)相應(yīng)連接強(qiáng)度并行擴(kuò)展相應(yīng)節(jié)點(diǎn)的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集并進(jìn)行緩存；(313)獲取步驟312所緩存的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集數(shù)據(jù)，在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；(314)重復(fù)步驟311-313，直到無增長路徑為止，得到一最優(yōu)匹配，并對(duì)匹配結(jié)果進(jìn)行緩存。
[0011]為了實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種雙目攝像頭圖像深度信息獲取裝置，包括:圖像校正模塊，用于根據(jù)預(yù)先獲得的雙目攝像頭校準(zhǔn)信息對(duì)輸入的兩幅目標(biāo)圖像數(shù)據(jù)進(jìn)行圖像校正，以使所有所述圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上，并將圖像校正信息輸出至一行緩存模塊；連接圖構(gòu)造模塊，用于計(jì)算像素匹配能量，并構(gòu)造匹配對(duì)有向連接圖及設(shè)定連接圖中每邊權(quán)重并輸出至所述行緩存模塊；行匹配模塊，用于采用行匹配方式利用圖論最大流算法求解所構(gòu)造的連接圖的最大流，轉(zhuǎn)換為匹配結(jié)果并緩存至所述行緩存模塊；后處理模塊，用于讀取所述行緩存模塊的匹配結(jié)果進(jìn)行后處理，獲取后處理結(jié)果；深度信息獲取模塊，用于根據(jù)所述雙目攝像頭校準(zhǔn)信息以及所述后處理模塊的后處理結(jié)果計(jì)算所有所述目標(biāo)圖像像素深度，獲取所有所述目標(biāo)圖像深度信息。
[0012]進(jìn)一步，所述裝置進(jìn)一步包括校準(zhǔn)信息獲取模塊，用于預(yù)先計(jì)算每一組雙目攝像頭的內(nèi)外參數(shù)，以及設(shè)定雙目攝像頭輸出的目標(biāo)圖像的格式為RGB或YUV。
[0013]進(jìn)一步，所述行匹配模塊進(jìn)一步包括多個(gè)行匹配子模塊，每一所述行匹配子模塊均與所述行緩存模塊進(jìn)行交互，用于對(duì)每一所述目標(biāo)圖像的一行像素點(diǎn)進(jìn)行行匹配并將行匹配結(jié)果緩存至所述行緩存模塊。
[0014]進(jìn)一步，所述行匹配子模塊包括:初始化單元，用于初始化匹配對(duì)有向連接圖；節(jié)點(diǎn)擴(kuò)張單元，用于采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)連接強(qiáng)度并行擴(kuò)展源節(jié)點(diǎn)和匯節(jié)點(diǎn)集；處理單元，用于在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；匹配結(jié)果獲取單元，用于重復(fù)調(diào)用所述初始化單元、節(jié)點(diǎn)擴(kuò)張單元以及處理單元，直到無增長路徑為止，得到一最優(yōu)匹配，并對(duì)匹配結(jié)果進(jìn)行緩存。
[0015]進(jìn)一步，所述行匹配子模塊包括:初始化單元，用于初始化匹配對(duì)有向連接圖并緩存至所述行緩存模塊；多個(gè)節(jié)點(diǎn)擴(kuò)張單元，每一所述節(jié)點(diǎn)擴(kuò)張單元用于獲取所述行緩存模塊所緩存的初始化數(shù)據(jù)，采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算一節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)相應(yīng)連接強(qiáng)度并行擴(kuò)展相應(yīng)節(jié)點(diǎn)的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集并緩存至所述行緩存模塊；處理單元，用于獲取所述行緩存模塊所緩存的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集數(shù)據(jù)，在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；匹配結(jié)果獲取單元，用于重復(fù)調(diào)用所述初始化單元、每一所述節(jié)點(diǎn)擴(kuò)張單元以及處理單元，直到無增長路徑為止，得到一最優(yōu)匹配，并將匹配結(jié)果緩存至所述行緩存模塊。
[0016]本發(fā)明的優(yōu)點(diǎn)在于，利用能量函數(shù)特點(diǎn)動(dòng)態(tài)構(gòu)建圖，減少片內(nèi)內(nèi)存的大小以及避免系統(tǒng)內(nèi)存讀寫，實(shí)現(xiàn)基于行的能量匹配運(yùn)算以及后處理運(yùn)算。通過緩存所有中間數(shù)據(jù)，避免了系統(tǒng)內(nèi)存讀寫開銷；對(duì)算法進(jìn)行改進(jìn)，使其可以進(jìn)行并行節(jié)點(diǎn)擴(kuò)張，以及并行行匹配；有效提高系統(tǒng)的靈活度，滿足合理硬件開銷，低功耗以及性能要求。

【專利附圖】

【附圖說明】
[0017]圖1，本發(fā)明所述雙目攝像頭圖像深度信息獲取方法的流程圖；
圖2，本發(fā)明所述雙目攝像頭圖像深度信息獲取裝置結(jié)構(gòu)示意圖；
圖3，本發(fā)明所述單行處理方案的實(shí)施例架構(gòu)示意圖；
圖4，本發(fā)明所述并行節(jié)點(diǎn)擴(kuò)張實(shí)施例的架構(gòu)示意圖；
圖5，本發(fā)明所述并行行匹配實(shí)施例的架構(gòu)示意圖。

【具體實(shí)施方式】
[0018]下面結(jié)合附圖對(duì)本發(fā)明提供的雙目攝像頭圖像深度信息獲取方法及裝置做詳細(xì)說明。
[0019]首先給出本發(fā)明所述雙目攝像頭圖像深度信息獲取方法的【具體實(shí)施方式】。
[0020]雙目攝像頭深度恢復(fù)的核心部分是計(jì)算左右攝像頭的視差，在數(shù)學(xué)上可歸為一類函數(shù)最小化問題，目前理論上最好的方法是利用圖論中的最大流算法，也即最小割集算法，來求解這類問題，這樣得出的解和真正最優(yōu)解只相差一個(gè)常數(shù)因子。大量實(shí)驗(yàn)表明，這種方法與諸如自適應(yīng)支集，置信度傳播等其它方法相比，其精度最高，計(jì)算量相對(duì)較小，并且能與多種方法配合使用。
[0021]附圖1所示是本【具體實(shí)施方式】所述雙目攝像頭圖像深度信息獲取方法的流程圖，接下來對(duì)附圖1所示的步驟做詳細(xì)說明。
[0022]SllO:根據(jù)預(yù)先獲得的雙目攝像頭校準(zhǔn)信息對(duì)輸入的兩幅目標(biāo)圖像數(shù)據(jù)進(jìn)行圖像校正，以使所有所述目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上。
[0023]步驟SllO之前進(jìn)一步包括SlOO:預(yù)先計(jì)算每一組雙目攝像頭的內(nèi)外參數(shù)，以及設(shè)定雙目攝像頭輸出的目標(biāo)圖像的格式為RGB或YUV。然后，對(duì)兩幅目標(biāo)圖像的每一輸入行，利用雙目攝像頭的內(nèi)外參數(shù)通過投影變換校正。校正后的兩幅目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上，使得后續(xù)采用圖論最大流算法求解時(shí)，可以多行并行求解。
[0024]S120:根據(jù)所述圖像校正的信息計(jì)算像素匹配能量，并根據(jù)像素點(diǎn)相鄰關(guān)系構(gòu)造匹配對(duì)有向連接圖及設(shè)定連接圖中每邊權(quán)重。可采用任何相似度衡量來計(jì)算像素匹配能量。利用能量函數(shù)特點(diǎn)動(dòng)態(tài)構(gòu)建圖，可以減少片內(nèi)內(nèi)存的大小以及避免系統(tǒng)內(nèi)存讀寫開銷。
[0025]S130:采用行匹配方式利用圖論最大流算法求解所構(gòu)造的連接圖的最大流，轉(zhuǎn)換為匹配結(jié)果并進(jìn)行緩存。經(jīng)典的圖論最大流算法，如Ford-Fulkerson算法，Edmonds-Karp算法及其變種都可用以求解，可根據(jù)不同的應(yīng)用領(lǐng)域選擇相應(yīng)的算法。求解所構(gòu)造的連接圖的最大流，由此得到的最大流對(duì)應(yīng)于目標(biāo)圖像的一個(gè)最小割集，該割集可解釋為一個(gè)最優(yōu)匹配。
[0026]由于通過步驟SllO校正后的兩幅目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上，因此所述行匹配方式中進(jìn)一步包括對(duì)每一目標(biāo)圖像的多行像素點(diǎn)進(jìn)行行匹配，對(duì)每一行匹配結(jié)果分別進(jìn)行緩存。也即利用所構(gòu)造的連接圖的特點(diǎn)可以進(jìn)行并行行處理，可有效提高速度。
[0027]對(duì)每一輸入行，采用如下步驟完成單行匹配:1)初始化匹配對(duì)有向連接圖；2)采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)連接強(qiáng)度并行擴(kuò)展源節(jié)點(diǎn)和匯節(jié)點(diǎn)集；3)在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；4)重復(fù)步驟1-3，直到無增長路徑為止，由此得到的最大流對(duì)應(yīng)于圖的一個(gè)最小割集，該割集可解釋為一個(gè)最優(yōu)匹配，從而獲取匹配結(jié)果并對(duì)匹配結(jié)果進(jìn)行緩存。
[0028]在單行處理中，可同時(shí)對(duì)多個(gè)節(jié)點(diǎn)進(jìn)行擴(kuò)張以提高節(jié)點(diǎn)擴(kuò)張速度。此時(shí)，初始化匹配對(duì)有向連接圖并進(jìn)行緩存，而不是直接進(jìn)行圖論最大流算法。具體包括以下步驟:11)初始化匹配對(duì)有向連接圖并進(jìn)行緩存；12)獲取步驟11所緩存的初始化數(shù)據(jù)，采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算多個(gè)節(jié)點(diǎn)中每一節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)相應(yīng)連接強(qiáng)度并行擴(kuò)展相應(yīng)節(jié)點(diǎn)的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集并進(jìn)行緩存；13)獲取步驟12所緩存的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集數(shù)據(jù)，在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；14)重復(fù)步驟11-13，直到無增長路徑為止，由此得到的最大流對(duì)應(yīng)于圖的一個(gè)最小割集，該割集可解釋為一個(gè)最優(yōu)匹配，從而獲取匹配結(jié)果并對(duì)匹配結(jié)果進(jìn)行緩存。
[0029]S140:對(duì)所緩存的匹配結(jié)果進(jìn)行后處理，獲取后處理結(jié)果。可采用任何基于窗口的圖像處理方法進(jìn)行窗口后處理以消除偽匹配。后處理包括以下步驟:a.確定遮擋像素以及唯一視差；b.插值計(jì)算子像素精度視差(可選步驟)；c.中值濾波；d.斑點(diǎn)濾波(可選步驟)。
[0030]S150:根據(jù)所述雙目攝像頭校準(zhǔn)信息以及后處理結(jié)果計(jì)算目標(biāo)圖像像素深度，獲取目標(biāo)圖像深度信息。獲取目標(biāo)圖像深度信息具體分為兩步:a.利用雙目攝像頭內(nèi)外參數(shù)以及所得視差，用三角化方法計(jì)算逐像素或子像素深度；b.對(duì)深度圖進(jìn)行平滑處理，減小三角化誤差所帶來的影響。
[0031]通過緩存所有中間數(shù)據(jù)，避免了系統(tǒng)內(nèi)存讀寫開銷；對(duì)算法進(jìn)行改進(jìn)，使其可以進(jìn)行并行節(jié)點(diǎn)擴(kuò)張。并行行匹配的處理方法可以提高系統(tǒng)的靈活度，以在硬件開銷和性能之間尋找最佳平衡點(diǎn)，以滿足合理硬件開銷，低功耗以及性能要求。
[0032]接下來結(jié)合附圖給出本發(fā)明所述雙目攝像頭圖像深度信息獲取裝置的【具體實(shí)施方式】。
[0033]附圖2所示是本【具體實(shí)施方式】所述雙目攝像頭圖像深度信息獲取裝置的結(jié)構(gòu)示意圖，所述雙目攝像頭圖像深度信息獲取裝置包括校準(zhǔn)信息獲取模塊20、圖像校正模塊21、連接圖構(gòu)造模塊22、行匹配模塊23、后處理模塊24、深度信息獲取模塊25以及行緩存模塊26。
[0034]所述校準(zhǔn)信息獲取模塊20，用于預(yù)先計(jì)算每一組雙目攝像頭的內(nèi)外參數(shù)，以及設(shè)定雙目攝像頭輸出的目標(biāo)圖像的格式為RGB或YUV。
[0035]所述圖像校正模塊21與所述校準(zhǔn)信息獲取模塊20相連，用于根據(jù)所述校準(zhǔn)信息獲取模塊20預(yù)先計(jì)算得到的雙目攝像頭校準(zhǔn)信息對(duì)輸入的兩幅目標(biāo)圖像數(shù)據(jù)進(jìn)行圖像校正，以使所有所述目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上，并將圖像校正信息輸出至一行緩存模塊26。對(duì)每一目標(biāo)圖像的每一輸入行，利用雙目攝像頭的內(nèi)外參數(shù)通過投影變換校正。校正后的所有所述目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上，使得后續(xù)采用圖論最大流算法求解時(shí)，可以多行并行求解。
[0036]所述連接圖構(gòu)造模塊22與所述圖像校正模塊21相連，用于根據(jù)所述圖像校正模塊21校正后的目標(biāo)圖像校正信息計(jì)算像素匹配能量，并根據(jù)像素點(diǎn)相鄰關(guān)系構(gòu)造匹配對(duì)有向連接圖及設(shè)定連接圖中每邊權(quán)重并輸出至所述行緩存模塊?？刹捎萌魏蜗嗨贫群饬縼碛?jì)算像素匹配能量。利用能量函數(shù)特點(diǎn)動(dòng)態(tài)構(gòu)建圖，可以減少片內(nèi)內(nèi)存的大小以及避免系統(tǒng)內(nèi)存讀寫開銷。
[0037]所述行匹配模塊23與所述連接圖構(gòu)造模塊22相連，用于采用行匹配方式利用圖論最大流算法求解所述連接圖構(gòu)造模塊22所構(gòu)造的連接圖的最大流，轉(zhuǎn)換為匹配結(jié)果并緩存至所述行緩存模塊26。
[0038]由于通過所述圖像校正模塊21校正后的所有所述目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上，因此利用所述連接圖構(gòu)造模塊22所構(gòu)造的連接圖的特點(diǎn)可以進(jìn)行并行行處理，可有效提高速度。作為優(yōu)選的實(shí)施方式，所述行匹配模塊23進(jìn)一步包括多個(gè)行匹配子模塊231，每一所述行匹配子模塊231均與所述行緩存模塊26進(jìn)行交互，用于對(duì)每一目標(biāo)圖像的一行像素點(diǎn)進(jìn)行行匹配并將行匹配結(jié)果緩存至所述行緩存模塊26。
[0039]所述行匹配子模塊231對(duì)每一輸入行完成單行匹配。其包括:初始化單元，用于初始化匹配對(duì)有向連接圖；節(jié)點(diǎn)擴(kuò)張單元，用于采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)連接強(qiáng)度并行擴(kuò)展源節(jié)點(diǎn)和匯節(jié)點(diǎn)集；處理單元，用于在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；匹配結(jié)果獲取單元，用于重復(fù)調(diào)用所述初始化單元、節(jié)點(diǎn)擴(kuò)張單元以及處理單元，直到無增長路徑為止，由此得到的最大流對(duì)應(yīng)于圖的一個(gè)最小割集，該割集可解釋為一個(gè)最優(yōu)匹配，從而獲取匹配結(jié)果并緩存至所述行緩存模塊。
[0040]在單行處理中，所述行匹配子模塊231可同時(shí)對(duì)多個(gè)節(jié)點(diǎn)進(jìn)行擴(kuò)張以提高節(jié)點(diǎn)擴(kuò)張速度。與單節(jié)點(diǎn)擴(kuò)張不同的是，初始化單元初始化匹配對(duì)有向連接圖后進(jìn)行緩存，而不是直接進(jìn)行圖論最大流算法。相應(yīng)的，所述行匹配子模塊231包括:初始化單元，用于初始化匹配對(duì)有向連接圖并緩存至所述行緩存模塊26 ;多個(gè)節(jié)點(diǎn)擴(kuò)張單元，每一所述節(jié)點(diǎn)擴(kuò)張單元用于獲取所述行緩存模塊26所緩存的初始化數(shù)據(jù)，采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算一節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)相應(yīng)連接強(qiáng)度并行擴(kuò)展相應(yīng)節(jié)點(diǎn)的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集并緩存至所述行緩存模塊26 ;處理單元，用于獲取所述行緩存模塊26所緩存的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集數(shù)據(jù)，在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；匹配結(jié)果獲取單元，用于重復(fù)調(diào)用所述初始化單元、每一所述節(jié)點(diǎn)擴(kuò)張單元以及處理單元，直到無增長路徑為止，由此得到的最大流對(duì)應(yīng)于圖的一個(gè)最小割集，該割集可解釋為一個(gè)最優(yōu)匹配，從而獲取匹配結(jié)果并緩存至所述行緩存模塊26。
[0041]所述后處理模塊24與所述行緩存模塊26相連，用于讀取所述行緩存模塊26的匹配結(jié)果進(jìn)行后處理，獲取后處理結(jié)果?？刹捎萌魏位诖翱诘膱D像處理方法進(jìn)行窗口后處理以消除偽匹配。
[0042]所述深度信息獲取模塊25分別與所述后處理模塊24以及所述校準(zhǔn)信息獲取模塊20相連，用于根據(jù)所述雙目攝像頭校準(zhǔn)信息以及所述后處理模塊24的后處理結(jié)果計(jì)算目標(biāo)圖像像素深度，獲取目標(biāo)圖像深度信息。具體為:利用雙目攝像頭內(nèi)外參數(shù)以及所得視差，用三角化方法計(jì)算逐像素或子像素深度；對(duì)深度圖進(jìn)行平滑處理，減小三角化誤差所帶來的影響。
[0043]利用能量函數(shù)特點(diǎn)動(dòng)態(tài)構(gòu)建圖，減少片內(nèi)內(nèi)存的大小以及避免系統(tǒng)內(nèi)存讀寫，實(shí)現(xiàn)基于行的能量匹配運(yùn)算以及后處理運(yùn)算。通過行緩存模塊緩存所有中間數(shù)據(jù)，避免了系統(tǒng)內(nèi)存讀寫開銷；對(duì)算法進(jìn)行改進(jìn)，使其可以進(jìn)行并行節(jié)點(diǎn)擴(kuò)張。并行行匹配的處理方法可以提高系統(tǒng)的靈活度，以在硬件開銷和性能之間尋找最佳平衡點(diǎn)，以滿足合理硬件開銷，低功耗以及性能要求。
[0044]接下來結(jié)合附圖給出上述技術(shù)方案的優(yōu)選實(shí)施例。附圖3所示單行處理方案的實(shí)施例架構(gòu)示意圖。接下來結(jié)合附圖3對(duì)單行處理流程進(jìn)行說明:
步驟1:對(duì)每一組雙目攝像頭，預(yù)先計(jì)算好其內(nèi)外參數(shù)，獲取雙目攝像頭校準(zhǔn)信息； 步驟2:雙目攝像頭輸出格式為RGB或YUV的圖像；
步驟3:利用雙目攝像頭校準(zhǔn)信息對(duì)雙目攝像頭輸入的圖像數(shù)據(jù)進(jìn)行圖像校正，校正后數(shù)據(jù)存入行緩存模塊；
步驟4:初始化控制邏輯；其中步驟4的實(shí)施順序無強(qiáng)制要求，可以在步驟3之后實(shí)施，也可以與步驟I同步實(shí)施；
步驟5:行匹配邏輯調(diào)用圖初始化邏輯進(jìn)行初始化圖并輸出至最大流算法邏輯；
步驟6:最大流算法邏輯調(diào)用局部連接強(qiáng)度計(jì)算邏輯，將校正后的圖像對(duì)讀入節(jié)點(diǎn)擴(kuò)張邏輯，對(duì)初始化后的圖實(shí)時(shí)計(jì)算連接強(qiáng)度；
步驟7:根據(jù)計(jì)算出的連接強(qiáng)度，節(jié)點(diǎn)擴(kuò)張邏輯中的源節(jié)點(diǎn)擴(kuò)張邏輯和匯節(jié)點(diǎn)擴(kuò)張邏輯并行擴(kuò)展源節(jié)點(diǎn)和匯節(jié)點(diǎn)集，并將處理結(jié)果輸出至增量路徑搜索及剩余圖算法邏輯；步驟8:增量路徑搜索及剩余圖算法邏輯在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖；
步驟9:在控制邏輯的控制下重復(fù)步驟5-8，直到無增長路徑為止，輸出匹配結(jié)果到行緩存模塊；
步驟10:后處理邏輯從行緩存模塊中讀入匹配結(jié)果進(jìn)行后處理，并將后處理結(jié)果輸入深度計(jì)算邏輯；
步驟11:深度計(jì)算邏輯利用雙目攝像頭校準(zhǔn)信息和后處理結(jié)果計(jì)算圖像像素深度，并將結(jié)果寫入系統(tǒng)內(nèi)存。
[0045]在單行處理時(shí)，可重復(fù)多個(gè)節(jié)點(diǎn)擴(kuò)張邏輯以提高節(jié)點(diǎn)擴(kuò)張速度。附圖4所示為并行節(jié)點(diǎn)擴(kuò)張實(shí)施例的架構(gòu)示意圖，其與附圖3所示實(shí)施例不同之處在于:圖初始化邏輯將初始化后的圖像數(shù)據(jù)寫入行緩存模塊，而不是直接輸出到最大流算法邏輯。各節(jié)點(diǎn)擴(kuò)張邏輯與增量路徑搜索及剩余圖算法邏輯之間也通過行緩存模塊交換數(shù)據(jù)。
[0046]為了進(jìn)一步提高速度，可實(shí)例化多個(gè)行匹配邏輯。附圖5所示為并行行匹配實(shí)施例的架構(gòu)示意圖，其與附圖3所示實(shí)施例不同之處在于:多個(gè)行匹配邏輯對(duì)圖像數(shù)據(jù)的多行并行處理，每個(gè)行匹配邏輯都與行緩存模塊進(jìn)行交換，相應(yīng)的控制邏輯也要進(jìn)行多行同時(shí)控制。
[0047]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本【技術(shù)領(lǐng)域】的普通技術(shù)人員，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種雙目攝像頭圖像深度信息獲取方法，其特征在于，包括以下步驟: (1)根據(jù)預(yù)先獲得的雙目攝像頭校準(zhǔn)信息對(duì)輸入的兩幅目標(biāo)圖像數(shù)據(jù)進(jìn)行圖像校正，以使所有所述目標(biāo)圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上； (2)根據(jù)所述圖像校正的信息計(jì)算像素匹配能量，并根據(jù)像素點(diǎn)相鄰關(guān)系構(gòu)造匹配對(duì)有向連接圖及設(shè)定連接圖中每邊權(quán)重； (3)采用行匹配方式利用圖論最大流算法求解所構(gòu)造的連接圖的最大流，轉(zhuǎn)換為匹配結(jié)果并進(jìn)行緩存； (4)對(duì)所緩存的匹配結(jié)果進(jìn)行后處理，獲取后處理結(jié)果； (5)根據(jù)所述雙目攝像頭校準(zhǔn)信息以及后處理結(jié)果計(jì)算所有所述目標(biāo)圖像像素深度，獲取所有所述目標(biāo)圖像深度信息。
2.根據(jù)權(quán)利要求1所述的雙目攝像頭圖像深度信息獲取方法，其特征在于，步驟(I)之前進(jìn)一步包括:預(yù)先計(jì)算每一組雙目攝像頭的內(nèi)外參數(shù)，以及設(shè)定雙目攝像頭輸出的目標(biāo)圖像的格式為RGB或YUV。
3.根據(jù)權(quán)利要求1所述的雙目攝像頭圖像深度信息獲取方法，其特征在于，步驟(3)中所述行匹配方式中進(jìn)一步包括對(duì)每一所述目標(biāo)圖像多行像素點(diǎn)進(jìn)行行匹配，對(duì)每一行匹配結(jié)果分別進(jìn)行緩存。
4.根據(jù)權(quán)利要求3所述的雙目攝像頭圖像深度信息獲取方法，其特征在于，所述行匹配方式中單行匹配包括以下步驟: (301)初始化匹配對(duì)有向連接圖； (302)采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)連接強(qiáng)度并行擴(kuò)展源節(jié)點(diǎn)和匯節(jié)點(diǎn)集； (303)在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖； (304)重復(fù)步驟301-303，直到無增長路徑為止，得到一最優(yōu)匹配，并對(duì)匹配結(jié)果進(jìn)行緩存。
5.根據(jù)權(quán)利要求3所述的雙目攝像頭圖像深度信息獲取方法，其特征在于，所述行匹配方式中進(jìn)一步包括對(duì)單行采取并行節(jié)點(diǎn)擴(kuò)張，包括以下步驟: (311)初始化匹配對(duì)有向連接圖并進(jìn)行緩存； (312)獲取步驟311所緩存的初始化數(shù)據(jù)，采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算多個(gè)節(jié)點(diǎn)中每一節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)相應(yīng)連接強(qiáng)度并行擴(kuò)展相應(yīng)節(jié)點(diǎn)的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集并進(jìn)行緩存； (313)獲取步驟312所緩存的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集數(shù)據(jù)，在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖； (314)重復(fù)步驟311-313，直到無增長路徑為止，得到一最優(yōu)匹配，并對(duì)匹配結(jié)果進(jìn)行緩存。
6.一種雙目攝像頭圖像深度信息獲取裝置，其特征在于，包括， 圖像校正模塊，用于根據(jù)預(yù)先獲得的雙目攝像頭校準(zhǔn)信息對(duì)輸入的兩幅目標(biāo)圖像數(shù)據(jù)進(jìn)行圖像校正，以使所有所述圖像上相對(duì)應(yīng)的像素點(diǎn)位于同一水平線上，并將圖像校正信息輸出至一行緩存模塊； 連接圖構(gòu)造模塊，用于計(jì)算像素匹配能量，并構(gòu)造匹配對(duì)有向連接圖及設(shè)定連接圖中每邊權(quán)重并輸出至所述行緩存模塊； 行匹配模塊，用于采用行匹配方式利用圖論最大流算法求解所構(gòu)造的連接圖的最大流，轉(zhuǎn)換為匹配結(jié)果并緩存至所述行緩存模塊； 后處理模塊，用于讀取所述行緩存模塊的匹配結(jié)果進(jìn)行后處理，獲取后處理結(jié)果； 深度信息獲取模塊，用于根據(jù)所述雙目攝像頭校準(zhǔn)信息以及所述后處理模塊的后處理結(jié)果計(jì)算所有所述目標(biāo)圖像像素深度，獲取所有所述目標(biāo)圖像深度信息。
7.根據(jù)權(quán)利要求6所述的雙目攝像頭圖像深度信息獲取裝置，其特征在于，所述裝置進(jìn)一步包括校準(zhǔn)信息獲取模塊，用于預(yù)先計(jì)算每一組雙目攝像頭的內(nèi)外參數(shù)，以及設(shè)定雙目攝像頭輸出的目標(biāo)圖像的格式為RGB或YUV。
8.根據(jù)權(quán)利要求6所述的雙目攝像頭圖像深度信息獲取裝置，其特征在于，所述行匹配模塊進(jìn)一步包括多個(gè)行匹配子模塊，每一所述行匹配子模塊均與所述行緩存模塊進(jìn)行交互，用于對(duì)每一所述目標(biāo)圖像的一行像素點(diǎn)進(jìn)行行匹配并將行匹配結(jié)果緩存至所述行緩存模塊。
9.根據(jù)權(quán)利要求8所述的雙目攝像頭圖像深度信息獲取裝置，其特征在于，所述行匹配子模塊包括: 初始化單元，用于初始化匹配對(duì)有向連接圖； 節(jié)點(diǎn)擴(kuò)張單元，用于采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)連接強(qiáng)度并行擴(kuò)展源節(jié)點(diǎn)和匯節(jié)點(diǎn)集； 處理單元，用于在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖； 匹配結(jié)果獲取單元，用于重復(fù)調(diào)用所述初始化單元、節(jié)點(diǎn)擴(kuò)張單元以及處理單元，直到無增長路徑為止，得到一最優(yōu)匹配，并對(duì)匹配結(jié)果進(jìn)行緩存。
10.根據(jù)權(quán)利要求8所述的雙目攝像頭圖像深度信息獲取裝置，其特征在于，所述行匹配子模塊包括: 初始化單元，用于初始化匹配對(duì)有向連接圖并緩存至所述行緩存模塊； 多個(gè)節(jié)點(diǎn)擴(kuò)張單元，每一所述節(jié)點(diǎn)擴(kuò)張單元用于獲取所述行緩存模塊所緩存的初始化數(shù)據(jù)，采用圖論最大流算法對(duì)校正后的圖像對(duì)實(shí)時(shí)計(jì)算一節(jié)點(diǎn)的連接強(qiáng)度，并根據(jù)相應(yīng)連接強(qiáng)度并行擴(kuò)展相應(yīng)節(jié)點(diǎn)的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集并緩存至所述行緩存模塊； 處理單元，用于獲取所述行緩存模塊所緩存的源節(jié)點(diǎn)和匯節(jié)點(diǎn)集數(shù)據(jù)，在源節(jié)點(diǎn)和匯節(jié)點(diǎn)集中搜索增長路徑，計(jì)算剩余圖； 匹配結(jié)果獲取單元，用于重復(fù)調(diào)用所述初始化單元、每一所述節(jié)點(diǎn)擴(kuò)張單元以及處理單元，直到無增長路徑為止，得到一最優(yōu)匹配，并將匹配結(jié)果緩存至所述行緩存模塊。
【文檔編號(hào)】G06T7/00GK104240217SQ201310229171
【公開日】2014年12月24日 申請(qǐng)日期:2013年6月9日 優(yōu)先權(quán)日:2013年6月9日
【發(fā)明者】周宇 申請(qǐng)人:周宇