本技術(shù)涉及圖像處理，尤其涉及一種光場(chǎng)深度估計(jì)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、深度估計(jì)問(wèn)題是三維重建技術(shù)的核心問(wèn)題，常見(jiàn)的深度估計(jì)方法主要包括單目深度估計(jì)、雙目深度估計(jì)和多目深度估計(jì)，而光場(chǎng)深度估計(jì)的方法是傳統(tǒng)圖像深度估計(jì)方法的繼承與發(fā)展。

2、近年來(lái)，光場(chǎng)相機(jī)有了較大發(fā)展，目前已經(jīng)可以做到與傳統(tǒng)工業(yè)相機(jī)類似大小，并被越來(lái)越多的應(yīng)用。與傳統(tǒng)相機(jī)相比，光場(chǎng)相機(jī)不僅捕獲空間點(diǎn)所有方向光線的累積強(qiáng)度，而且記錄了到達(dá)某一空間點(diǎn)各個(gè)方向光線的強(qiáng)度大小，因此可以通過(guò)一次拍攝獲取到多個(gè)視角的信息。利用這些多視角信息，可以進(jìn)行數(shù)字重聚焦、新視角合成、圖像深度估計(jì)等，為三維重建提供了新的可靠數(shù)據(jù)源.

3、然而，基于光場(chǎng)圖像的深度估計(jì)技術(shù)仍然面臨一系列挑戰(zhàn)。目前的光場(chǎng)相機(jī)是通過(guò)在傳統(tǒng)相機(jī)基礎(chǔ)上集成微透鏡陣列來(lái)構(gòu)建的，這在實(shí)際使用中可能會(huì)引入噪聲、降低角分辨率、產(chǎn)生偽影、混疊現(xiàn)象以及相機(jī)光學(xué)畸變等問(wèn)題。此外，在深度估計(jì)方面，同樣需要面對(duì)遮擋、弱紋理等傳統(tǒng)問(wèn)題的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的在于提出一種光場(chǎng)深度估計(jì)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決目前的光場(chǎng)相機(jī)會(huì)引入噪聲、降低角分辨率、產(chǎn)生偽影、混疊現(xiàn)象以及相機(jī)光學(xué)畸變等問(wèn)題。

2、為了解決上述技術(shù)問(wèn)題，本技術(shù)實(shí)施例提供一種光場(chǎng)深度估計(jì)方法，采用了如下所述的技術(shù)方案：

3、接收用戶終端發(fā)送的攜帶有原始光場(chǎng)圖的深度估計(jì)請(qǐng)求；

4、根據(jù)若干個(gè)預(yù)設(shè)角度提取所述原始光場(chǎng)圖的極線平面圖像；

5、分別計(jì)算每個(gè)所述極線平面圖像的線一致性代價(jià)體；

6、分別計(jì)算每個(gè)所述極線平面圖像的區(qū)域一致性代價(jià)體；

7、分別對(duì)同一預(yù)設(shè)角度的線一致性代價(jià)體以及區(qū)域一致性代價(jià)體進(jìn)行代價(jià)體融合操作，得到融合代價(jià)體；

8、分別對(duì)每個(gè)預(yù)設(shè)角度的融合代價(jià)體進(jìn)行加權(quán)融合操作，得到加權(quán)融合代價(jià)體；

9、對(duì)所有所述加權(quán)融合代價(jià)體進(jìn)行多視角融合操作，得到多視角融合代價(jià)體；

10、根據(jù)贏家通吃算法對(duì)所述多視角融合代價(jià)體進(jìn)行深度估計(jì)操作，得到目標(biāo)深度值。

11、進(jìn)一步的，在所述接收用戶終端發(fā)送的攜帶有原始光場(chǎng)圖的深度估計(jì)請(qǐng)求的步驟之后，且在所述根據(jù)若干個(gè)預(yù)設(shè)角度提取所述原始光場(chǎng)圖的極線平面圖像的步驟之前，還包括下述步驟：

12、若所述原始光場(chǎng)圖為拍攝圖像，則對(duì)所述原始光場(chǎng)圖進(jìn)行三角權(quán)重插值操作，得到標(biāo)準(zhǔn)光場(chǎng)圖；

13、若所述原始光場(chǎng)圖為合成圖像，則對(duì)所述原始光場(chǎng)圖進(jìn)行預(yù)處理操作，得到標(biāo)準(zhǔn)光場(chǎng)圖；

14、所述根據(jù)若干個(gè)預(yù)設(shè)角度提取所述原始光場(chǎng)圖的極線平面圖像的步驟，具體包括下述步驟：

15、根據(jù)若干個(gè)預(yù)設(shè)角度提取所述標(biāo)準(zhǔn)光場(chǎng)圖的極線平面圖像。

16、進(jìn)一步的，所述線一致性代價(jià)體costline(s,t,d)表示為：

17、

18、其中，u表示角分辨率的寬度，表示像素點(diǎn)，p′d表示中心線上的鄰域像素點(diǎn)。

19、進(jìn)一步的，所述區(qū)域一致性代價(jià)體costarea(s,t,d)表示為：

20、

21、其中，pleft表示每個(gè)中心視點(diǎn)所在的像素點(diǎn)對(duì)應(yīng)在角分辨率下的窗口區(qū)域中視差斜線左邊區(qū)域像素集合，pright表示每個(gè)中心視點(diǎn)所在的像素點(diǎn)對(duì)應(yīng)在角分辨率下的窗口區(qū)域中視差斜線右邊區(qū)域像素集合，

22、進(jìn)一步的，所述分別對(duì)同一預(yù)設(shè)角度的線一致性代價(jià)體以及區(qū)域一致性代價(jià)體進(jìn)行代價(jià)體融合操作，得到融合代價(jià)體的步驟，具體包括下述步驟：

23、分別計(jì)算同一預(yù)設(shè)角度且同一視角下的線一致性代價(jià)體以及區(qū)域一致性代價(jià)體的pkr峰值比；

24、分別計(jì)算同一預(yù)設(shè)角度且同一視角下的線一致性代價(jià)體以及區(qū)域一致性代價(jià)體的均值最大值置信度；

25、分別對(duì)每個(gè)同一預(yù)設(shè)角度且同一視角下的pkr峰值比以及均值最大值置信度進(jìn)行代價(jià)體融合操作，得到所述融合代價(jià)體。

26、進(jìn)一步的，所述融合代價(jià)體costmerge(s,t,d)表示為：

27、costmerge(s,t,d)

28、＝nwlinepkr(s,t)×nwlineconf(s,t)×ncostline(s,t,d)

29、+nwareapkr(s,t)×nwareaconf(s,t)×ncostarea(s,t,d)

30、其中，costmerge(s,t)表示融合后的代價(jià)體，nwlinepkr(s,t)、nwlineconf(s,t)、nwareapkr(s,t)、nwareaconf(s,t)分別表示歸一化后的線與區(qū)域的pkr權(quán)重與均值最大值權(quán)重，ncostline(s,t,d)和ncostarea(s,t,d)分別表示歸一化后的線一致性代價(jià)體和區(qū)域一致性代價(jià)體。

31、進(jìn)一步的，所述加權(quán)融合代價(jià)體costmmerge(s,t,d)表示為：

32、

33、其中，n表示多視角的視角數(shù)，表示第i個(gè)視角下的融合線與區(qū)域代價(jià)的代價(jià)體，表示第i個(gè)視角下的融合后的代價(jià)體所計(jì)算的pkr峰值比權(quán)重。

34、為了解決上述技術(shù)問(wèn)題，本技術(shù)實(shí)施例還提供一種光場(chǎng)深度估計(jì)裝置，采用了如下所述的技術(shù)方案：

35、請(qǐng)求深度估計(jì)模塊，用于接收用戶終端發(fā)送的攜帶有原始光場(chǎng)圖的深度估計(jì)請(qǐng)求；

36、圖像提取模塊，用于根據(jù)若干個(gè)預(yù)設(shè)角度提取所述原始光場(chǎng)圖的極線平面圖像；

37、線一致性代價(jià)體計(jì)算模塊，用于分別計(jì)算每個(gè)所述極線平面圖像的線一致性代價(jià)體；

38、區(qū)域一致性代價(jià)體計(jì)算模塊，用于分別計(jì)算每個(gè)所述極線平面圖像的區(qū)域一致性代價(jià)體；

39、代價(jià)體融合模塊，用于分別對(duì)同一預(yù)設(shè)角度的線一致性代價(jià)體以及區(qū)域一致性代價(jià)體進(jìn)行代價(jià)體融合操作，得到融合代價(jià)體；

40、加權(quán)融合模塊，用于分別對(duì)每個(gè)預(yù)設(shè)角度的融合代價(jià)體進(jìn)行加權(quán)融合操作，得到加權(quán)融合代價(jià)體；

41、多視角融合模塊，用于對(duì)所有所述加權(quán)融合代價(jià)體進(jìn)行多視角融合操作，得到多視角融合代價(jià)體；

42、深度估計(jì)模塊，用于根據(jù)贏家通吃算法對(duì)所述多視角融合代價(jià)體進(jìn)行深度估計(jì)操作，得到目標(biāo)深度值。

43、為了解決上述技術(shù)問(wèn)題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，采用了如下所述的技術(shù)方案：

44、包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令，所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)如上所述的光場(chǎng)深度估計(jì)方法的步驟。

45、為了解決上述技術(shù)問(wèn)題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，采用了如下所述的技術(shù)方案：

46、所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的光場(chǎng)深度估計(jì)方法的步驟。

47、本技術(shù)提供了一種光場(chǎng)深度估計(jì)方法，包括：接收用戶終端發(fā)送的攜帶有原始光場(chǎng)圖的深度估計(jì)請(qǐng)求；根據(jù)若干個(gè)預(yù)設(shè)角度提取所述原始光場(chǎng)圖的極線平面圖像；分別計(jì)算每個(gè)所述極線平面圖像的線一致性代價(jià)體；分別計(jì)算每個(gè)所述極線平面圖像的區(qū)域一致性代價(jià)體；分別對(duì)同一預(yù)設(shè)角度的線一致性代價(jià)體以及區(qū)域一致性代價(jià)體進(jìn)行代價(jià)體融合操作，得到融合代價(jià)體；分別對(duì)每個(gè)預(yù)設(shè)角度的融合代價(jià)體進(jìn)行加權(quán)融合操作，得到加權(quán)融合代價(jià)體；對(duì)所有所述加權(quán)融合代價(jià)體進(jìn)行多視角融合操作，得到多視角融合代價(jià)體；根據(jù)贏家通吃算法對(duì)所述多視角融合代價(jià)體進(jìn)行深度估計(jì)操作，得到目標(biāo)深度值。與現(xiàn)有技術(shù)相比，本技術(shù)通過(guò)引入多視角epi(極線平面圖像)圖像，引入光場(chǎng)的多視角特點(diǎn)，進(jìn)一步提高算法在遮擋處的精度和魯棒性；另外，本技術(shù)通過(guò)改進(jìn)的js散度與線一致性算法，使得兩種代價(jià)體能夠更好的融合，融合后的算法在噪聲和無(wú)紋理處精度更高也更魯棒；通過(guò)改進(jìn)的pkr峰值置信度權(quán)重與均值最大值置信度結(jié)合用于融合不同視角、不同方向、不同一致性的代價(jià)體，在遮擋、噪聲和弱紋理處均有較好的效果；在合成場(chǎng)景和真實(shí)光場(chǎng)相機(jī)拍攝的場(chǎng)景均有不錯(cuò)的深度估計(jì)效果。