本技術(shù)涉及信息處理，特別是涉及一種獲取物流包裹體積信息的方法及裝置、深度信息處理方法及裝置、計算機可讀存儲介質(zhì)、電子設(shè)備、計算機程序產(chǎn)品。

背景技術(shù)：

1、智能倉儲系統(tǒng)可以自動化、智能化完成倉庫內(nèi)物品的儲存、分揀、配送和管理等工作，可以提高倉庫生產(chǎn)率和效率。

2、通常，分揀后的物品會投放到容器內(nèi)，例如裝載物品的長方體膠框，經(jīng)由輸送線送至指定位置。這一過程中，結(jié)合具體應(yīng)用場景下的使用情況，可能存在檢測所輸送物品體積的需求。具體地，可以通過深度相機采集輸送線上物品的深度點云數(shù)據(jù)，再通過點云積分的方式計算物品體積。

3、如此檢測方案下，若被檢測物品的表面紋理較為特殊，例如，物品表面為透明包裝這種高穿透率、高反射率的特殊材質(zhì)，則深度相機采集的深度點云數(shù)據(jù)會出現(xiàn)明顯的缺失，導(dǎo)致體積計算不準(zhǔn)確。

4、如何解決深度點云數(shù)據(jù)缺失問題，確保物品體積計算準(zhǔn)確度，成為需要本領(lǐng)域技術(shù)人員解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供了一種獲取物流包裹體積信息的方法及裝置、深度信息處理方法及裝置、計算機可讀存儲介質(zhì)、電子設(shè)備、計算機程序產(chǎn)品，有助于解決深度信息缺失問題，進(jìn)而提高體積計算的準(zhǔn)確度。

2、本技術(shù)提供了如下方案：

3、一種獲取物流包裹體積信息的方法，用于對處于通過倉儲系統(tǒng)輸送線傳送運動狀態(tài)下的物流包裹進(jìn)行體積估算，其中，所述物流包裹具有高透明度的包裝物料，所述方法包括：

4、獲得在所述物流包裹傳送過程中采集的圖像對，所述圖像對包括同一時間在所述物流包裹的高度方向上采集的深度圖像和可見光圖像；

5、針對所述可見光圖像進(jìn)行透明紋理特征檢測，將具有透明紋理特征的部分確定為所述包裝物料對應(yīng)在所述可見光圖像中的目標(biāo)區(qū)域；

6、獲得由所述深度圖像和所述可見光圖像進(jìn)行圖像匹配所得目標(biāo)圖像，從所述目標(biāo)圖像中，確定與所述目標(biāo)區(qū)域相對應(yīng)的待處理區(qū)域以及獲得所述待處理區(qū)域關(guān)聯(lián)的可用深度信息；

7、基于所述可用深度信息對所述待處理區(qū)域缺失的深度信息進(jìn)行補償處理，并根據(jù)補償處理后的目標(biāo)圖像計算所述物流包裹的體積信息。

8、其中，所述可用深度信息為以下深度信息中的至少一種：

9、所述物流包裹的外輪廓邊緣處采集的深度信息；

10、所述物流包裹的標(biāo)簽區(qū)域采集的深度信息；

11、所述包裝物料的圖文印刷區(qū)域采集的深度信息；

12、所述包裝物料的褶皺處采集的深度信息。

13、其中，所述倉儲系統(tǒng)中布設(shè)有可覆蓋所述輸送線指定區(qū)域的深度相機和工業(yè)相機，以及感應(yīng)傳感器，

14、所述獲得在所述物流包裹傳送過程中采集的圖像對，包括：

15、所述感應(yīng)傳感器檢測到所述物流包裹經(jīng)過時生成觸發(fā)信號，以使得所述深度相機在所述觸發(fā)信號的作用下拍攝所述深度圖像，所述工業(yè)相機在所述觸發(fā)信號的作用下拍攝所述可見光圖像，獲得同一時間采集的所述圖像對。

16、其中，按照以下要求確定所述深度相機的安裝高度：

17、所述深度相機拍攝的深度圖像中包括所述物流包裹的全景圖，且不包括在所述輸送線上鄰近傳輸?shù)钠渌?/p>

18、其中，所述倉儲系統(tǒng)中布設(shè)有多個從不同角度覆蓋所述輸送線指定區(qū)域的深度相機，則

19、按照以下方式獲得所述深度圖像：

20、獲得不同深度相機在同一時間針對所述物流包裹拍攝的不同視角下的初始深度圖像；

21、對多個初始深度圖像進(jìn)行點云融合處理，并將融合處理后的圖像確定為所述物流包裹的深度圖像。

22、其中，所述針對所述可見光圖像進(jìn)行透明紋理特征檢測，包括：

23、獲得用于進(jìn)行透明紋理特征檢測的透明物體檢測模型；

24、將所述可見光圖像輸入所述透明物體檢測模型，獲得模型輸出的檢測結(jié)果，所述檢測結(jié)果用于標(biāo)識所述可見光圖像中存在的目標(biāo)區(qū)域。

25、其中，所述可見光圖像由可覆蓋所述輸送線指定區(qū)域的工業(yè)相機采集，則

26、所述獲得用于進(jìn)行透明紋理特征檢測的透明物體檢測模型，包括：

27、獲得所述工業(yè)相機在所述輸送線指定區(qū)域采集的多個樣本圖像，并針對所述多個樣本圖像分別標(biāo)注其中包括的透明區(qū)域；

28、獲得可進(jìn)行透明紋理特征檢測的初始模型，通過所述樣本圖像以及對應(yīng)標(biāo)注的透明區(qū)域，對所述初始模型進(jìn)行微調(diào)處理，獲得所述透明物體檢測模型。

29、其中，所述物流包裹置于容器內(nèi)，通過所述容器在所述輸送線傳送，則

30、所述獲得由所述深度圖像和所述可見光圖像進(jìn)行圖像匹配所得目標(biāo)圖像，包括：

31、獲得根據(jù)所述容器的形狀特征確定的多個可用匹配點信息；

32、分別在所述深度圖像和所述可見光圖像中，定位出與所述多個可用匹配點信息相符的匹配位置；

33、根據(jù)所述匹配位置，對所述深度圖像或者所述可見光圖像進(jìn)行仿射變換，實現(xiàn)所述深度圖像和所述可見光圖像之間的匹配與融合，獲得所述目標(biāo)圖像。

34、其中，所述物流包裹置于容器內(nèi)，通過所述容器在所述輸送線傳送，所述方法還包括：

35、根據(jù)所述容器內(nèi)盛裝的物流包裹的體積信息，計算所述容器的滿載率。

36、其中，所述方法還包括：

37、所述滿載率低于預(yù)設(shè)值時，調(diào)整所述物流包裹所屬包裹類型關(guān)聯(lián)的容器內(nèi)擺放數(shù)量信息和/或擺放方式信息。

38、一種深度信息處理方法，所述方法包括：

39、獲得物流包裹關(guān)聯(lián)的圖像對，所述圖像對包括同一時間在所述物流包裹的高度方向上采集的深度圖像和可見光圖像；

40、針對所述可見光圖像進(jìn)行透明紋理特征檢測，并在所述可見光圖像中包括具有透明紋理特征的目標(biāo)區(qū)域時，獲得由所述深度圖像和所述可見光圖像進(jìn)行圖像匹配所得目標(biāo)圖像；

41、從所述目標(biāo)圖像中確定與所述目標(biāo)區(qū)域相對應(yīng)的待處理區(qū)域，并獲得所述待處理區(qū)域關(guān)聯(lián)的可用深度信息；

42、基于所述可用深度信息對所述待處理區(qū)域缺失的深度信息進(jìn)行補償處理。

43、一種獲取物流包裹體積信息的裝置，用于對處于通過倉儲系統(tǒng)輸送線傳送運動狀態(tài)下的物流包裹進(jìn)行體積估算，其中，所述物流包裹具有高透明度的包裝物料，所述裝置包括：

44、圖像對獲得單元，用于獲得在所述物流包裹傳送過程中采集的圖像對，所述圖像對包括同一時間在所述物流包裹的高度方向上采集的深度圖像和可見光圖像；

45、目標(biāo)區(qū)域確定單元，用于針對所述可見光圖像進(jìn)行透明紋理特征檢測，將具有透明紋理特征的部分確定為所述包裝物料對應(yīng)在所述可見光圖像中的目標(biāo)區(qū)域；

46、目標(biāo)圖像獲得單元，用于獲得由所述深度圖像和所述可見光圖像進(jìn)行圖像匹配所得目標(biāo)圖像；

47、深度信息確定單元，用于從所述目標(biāo)圖像中，確定與所述目標(biāo)區(qū)域相對應(yīng)的待處理區(qū)域以及獲得所述待處理區(qū)域關(guān)聯(lián)的可用深度信息；

48、體積信息計算單元，用于基于所述可用深度信息對所述待處理區(qū)域缺失的深度信息進(jìn)行補償處理，并根據(jù)補償處理后的目標(biāo)圖像計算所述物流包裹的體積信息。

49、一種深度信息處理裝置，所述裝置包括：

50、圖像對獲得單元，用于獲得物流包裹關(guān)聯(lián)的圖像對，所述圖像對包括同一時間在所述物流包裹的高度方向上采集的深度圖像和可見光圖像；

51、特征檢測單元，用于針對所述可見光圖像進(jìn)行透明紋理特征檢測；

52、目標(biāo)圖像獲得單元，用于在所述可見光圖像中包括具有透明紋理特征的目標(biāo)區(qū)域時，獲得由所述深度圖像和所述可見光圖像進(jìn)行圖像匹配所得目標(biāo)圖像；

53、深度信息確定單元，用于從所述目標(biāo)圖像中確定與所述目標(biāo)區(qū)域相對應(yīng)的待處理區(qū)域，并獲得所述待處理區(qū)域關(guān)聯(lián)的可用深度信息；

54、補償處理單元，用于基于所述可用深度信息對所述待處理區(qū)域缺失的深度信息進(jìn)行補償處理。

55、一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)前述任一項所述的方法的步驟。

56、一種電子設(shè)備，包括：

57、一個或多個處理器；以及

58、與所述一個或多個處理器關(guān)聯(lián)的存儲器，所述存儲器用于存儲程序指令，所述程序指令在被所述一個或多個處理器讀取執(zhí)行時，執(zhí)行前述任一項所述的方法的步驟。

59、一種計算機程序產(chǎn)品，包括計算機程序/計算機可執(zhí)行指令，所述計算機程序/計算機可執(zhí)行指令被電子設(shè)備中的處理器執(zhí)行時實現(xiàn)前述任一項所述方法的步驟。

60、根據(jù)本技術(shù)提供的具體實施例，本技術(shù)公開了以下技術(shù)效果：

61、本技術(shù)實施例中，可以采集通過輸送線傳送的運動狀態(tài)的物流包裹的深度圖像和可見光圖像，并針對兩種類型的圖像進(jìn)行時間維度和空間維度的融合配準(zhǔn)，以據(jù)此對因物流包裹具有的高透明度的包裝物料導(dǎo)致的包裹外表面深度信息采集缺失，進(jìn)行補償和修復(fù)，進(jìn)而提高物流包裹體積估算的準(zhǔn)確度。

62、其中，時間維度的融合主要用于確定同一時間采集的深度圖像和可見光圖像的圖像對，空間維度的融合主要用于實現(xiàn)圖像對包括的兩張圖像上的對應(yīng)點在空間上的對齊和整合，如此所得目標(biāo)圖像中的點既包括深度圖像的信息又包括可見光圖像的信息。這樣，從圖像對包括的可見光圖像中，識別到具有透明紋理特征的目標(biāo)區(qū)域時，便可從目標(biāo)圖像中匹配出與目標(biāo)區(qū)域位置相對應(yīng)的待處理區(qū)域，進(jìn)而利用待處理區(qū)域關(guān)聯(lián)的可用深度信息，對待處理區(qū)域缺失的深度信息進(jìn)行補償處理，以此解決深度信息缺失問題。

63、可以理解地，補償處理后的目標(biāo)圖像中可以包括物流包裹的完整深度信息，基于此計算物流包裹的體積，還有助于提高體積計算的準(zhǔn)確度。

64、當(dāng)然，實施本技術(shù)的任一產(chǎn)品并不一定需要同時達(dá)到以上所述的所有優(yōu)點。