本發(fā)明涉及三維圖像技術(shù)，尤其涉及深度圖生成裝置、方法和非短暫性計算機(jī)可讀介質(zhì)。

背景技術(shù)：

雙目識別系統(tǒng)利用雙攝像頭同時對物體拍照，根據(jù)同一物體在左右攝像頭所采集的圖像上的位置關(guān)系和攝像頭間距計算出物體的三維坐標(biāo)。

一些雙目識別系統(tǒng)將雙目攝像頭的間距設(shè)計為12厘米或6厘米，用于體感識別。一些雙目識別系統(tǒng)將雙目攝像頭的間距設(shè)計為3厘米，用于手勢識別。然而，現(xiàn)有的雙目識別系統(tǒng)只能用于單一的工作模式。

本發(fā)明披露的方法和系統(tǒng)可用來解決上述一個或多個問題，以及其他問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的一個方面提供了一種深度圖生成方法，包括：包含至少三個攝像頭的相機(jī)模組，工作模式判定模塊和深度圖生成模塊。所述相機(jī)模組包括在同一軸線上依次排列的第一攝像頭、第二攝像頭和第三攝像頭。所述工作模式判定模塊可用于確定相機(jī)模組的工作模式。所述工作模式包括用非相鄰攝像頭采集圖像的第一模式和用相鄰攝像頭采集圖像的第二模式。深度圖生成模塊用于根據(jù)所確定的工作模式生成深度圖。

進(jìn)一步地，所述工作模式判定模塊可包括傳感器，用于檢測所述相機(jī)模組的當(dāng)前方向。其中，所述傳感器為運動傳感器、加速度傳感器、方向傳感器或陀螺儀中的任意一種。

進(jìn)一步地，所述工作模式判定模塊可包括深度圖預(yù)生成單元，用于在所述第一模式下生成第一深度圖和在所述第二模式下生成第二深度圖；識別單元，用于從所述第一深度圖和所述第二深度圖中提取直方圖信息，根據(jù)所述直方圖信息識別一個有效目標(biāo)所屬的深度范圍，并根據(jù)所述的有效目標(biāo)所屬的深度范圍在所述第一模式和所述第二模式中做出選擇。

所述直方圖信息用于表達(dá)在所述第一深度圖和所述第二深度圖中每個深度值所對應(yīng)的像素個數(shù)的分布情況。

在一個實施例中，所述識別單元還可用于將所述第一深度圖的亮度值和第二深度圖的亮度值轉(zhuǎn)換為深度值，獲取所述第一深度圖和所述第二深度圖轉(zhuǎn)換后的所述深度值對應(yīng)的像素個數(shù)，并根據(jù)所述第一深度圖和所述第二深度圖轉(zhuǎn)換后的所述深度值對應(yīng)的所述像素個數(shù)，獲取涵蓋兩個深度圖深度范圍的直方圖，其中所述直方圖的橫坐標(biāo)代表深度值。

在一個實施例中，所述識別單元還可用于將所述第二深度圖的亮度值轉(zhuǎn)換為一深度值組；獲取所述深度值組在所述第一深度圖中對應(yīng)的亮度值；確定所述第二深度圖的亮度值和所述深度值組在所述第一深度圖中對應(yīng)的亮度值之間的映射關(guān)系；根據(jù)所述映射關(guān)系，以及所述第二深度圖的與所述第一深度圖亮度值對應(yīng)的像素個數(shù)，獲取涵蓋兩個深度圖的深度范圍的直方圖。其中所述直方圖的橫坐標(biāo)代表所述第一深度圖的亮度值。

進(jìn)一步地，所述識別單元還可用于：當(dāng)所述直方圖中位于第一深度范圍內(nèi)的一個凸起的面積占比值大于第一閾值時，確定所述有效目標(biāo)位于第一深度范圍；當(dāng)所述直方圖中位于第二深度范圍內(nèi)的一個凸起的面積占比值大于第二閾值時，確定所述有效目標(biāo)位于第二深度范圍。

本發(fā)明的另一個方面提供了一種深度圖生成方法。所述方法包括提供包含至少三個攝像頭的相機(jī)模組，包括在同一軸線上依次排列的第一攝像頭、第二攝像頭和第三攝像頭；判定相機(jī)模組的工作模式，其中所述工作模式包括用非相鄰攝像頭采集圖像的第一模式和用相鄰攝像頭采集圖像的第二模式；并根據(jù)所確定的工作模式，生成所述相機(jī)模組采集的圖像的深度圖。

確定所述相機(jī)模組的工作模式進(jìn)一步包括：當(dāng)所述傳感器檢測到所述相機(jī)模組處于豎直狀態(tài)時，確定所述相機(jī)模組的工作模式為所述第一模式；當(dāng)所述傳感器檢測到所述相機(jī)模組處于水平狀態(tài)時，確定所述相機(jī)模組的工作模式為所述第二模式。

所述傳感器為運動傳感器、加速度傳感器、方向傳感器或陀螺儀。

確定所述相機(jī)模組的工作模式進(jìn)一步包括：在所述第一模式下生成第一深度圖和在所述第二模式下生成第二深度圖；從所述第一深度圖和所述第二深度圖中提取直方圖信息；根據(jù)所述直方圖信息識別有效目標(biāo)所屬的深度范圍；并根據(jù)所述有效目標(biāo)所屬的深度范圍在所述第一模式和所述第二模式中做出選擇。

所述直方圖信息用于表達(dá)在所述第一深度圖和所述第二深度圖中每個深度值所對應(yīng)的像素個數(shù)的分布情況。

在一個實施例中，從所述第一深度圖和所述第二深度圖中提取直方圖信息進(jìn)一步包括：將所述第一深度圖的亮度值和第二深度圖的亮度值轉(zhuǎn)換為深度值；獲取所述第一深度圖和所述第二深度圖轉(zhuǎn)換后的所述深度值對應(yīng)的像素個數(shù)；根據(jù)所述第一深度圖和所述第二深度圖轉(zhuǎn)換后的所述深度值對應(yīng)的所述像素個數(shù)，獲取涵蓋兩個深度圖的深度范圍的直方圖。其中所述直方圖的橫坐標(biāo)代表深度值。

在一個實施例中，從所述第一深度圖和所述第二深度圖中提取直方圖信息進(jìn)一步包括：將所述第二深度圖的亮度值轉(zhuǎn)換為一深度值組；獲取所述深度值組在所述第一深度圖中對應(yīng)的亮度值；確定所述第二深度圖的亮度值和所述深度值組在所述第一深度圖中對應(yīng)的亮度值之間的映射關(guān)系；根據(jù)所述映射關(guān)系，以及所述第二深度圖的與所述第一深度圖亮度值對應(yīng)的像素個數(shù)，獲取涵蓋兩個深度圖的深度范圍的直方圖，其中所述直方圖的橫坐標(biāo)代表所述第一深度圖的亮度值。

確定所述相機(jī)模組的工作模式進(jìn)一步包括：當(dāng)所述直方圖中位于第一深度范圍內(nèi)的一個凸起的面積占比值大于第一閾值時，確定所述有效目標(biāo)位于第一深度范圍；當(dāng)所述直方圖中位于第二深度范圍內(nèi)的一個凸起的面積占比值大于第二閾值時，確定所述有效目標(biāo)位于第二深度范圍。

所述深度圖生成方法還包括：在所述第一模式，根據(jù)生成的所述深度圖進(jìn)行體感識別；在所述第二模式，根據(jù)生成的所述深度圖進(jìn)行手勢識別。

本發(fā)明的另一個方面提供了一種非短暫性的計算機(jī)可讀介質(zhì)，用于存儲計算機(jī)程序，當(dāng)處理器執(zhí)行所述計算機(jī)程序時，實現(xiàn)一種深度圖生成方法，所述方法包括：提供包含至少三個攝像頭的相機(jī)模組，包括在同一軸線上依次排列的第一攝像頭、第二攝像頭和第三攝像頭；判定相機(jī)模組的工作模式，所述工作模式包括用非相鄰攝像頭采集圖像的第一模式和用相鄰攝像頭采集圖像的第二模式；以及根據(jù)所確定的工作模式，生成所述相機(jī)模組采集的圖像的深度圖。

確定所述相機(jī)模組的工作模式進(jìn)一步包括：在所述第一模式下生成第一深度圖和在所述第二模式下生成第二深度圖；從所述第一深度圖和所述第二深度圖中提取直方圖信息；根據(jù)所述直方圖信息識別一個有效目標(biāo)所屬的深度范圍；以及根據(jù)所述的有效目標(biāo)的深度范圍在所述第一模式和所述第二模式中做出選擇。

附圖說明

以下附圖僅僅是為了示意的目的根據(jù)所披露的實施例而提供的例子，并不限制本發(fā)明的范圍。

圖1示出了披露的實施例的示意應(yīng)用環(huán)境；

圖2示出了基于本披露的實施例的計算系統(tǒng)；

圖3示出了基于本披露的實施例的深度圖生成裝置的正面示意圖；

圖4示出了基于本披露的實施例的深度圖生成裝置的背面示意圖；

圖5示出了基于本披露的實施例的深度圖生成裝置的結(jié)構(gòu)圖；

圖6示出了基于本披露的實施例的深度圖生成裝置的一種工作模式；

圖7示出了基于本披露的實施例的深度圖生成裝置的視場(field of view，F(xiàn)OV)；

圖8示出了基于本披露的實施例的深度圖生成裝置的生成的示意深度圖；

圖9示出了基于本披露的實施例的深度圖生成裝置的另一種工作模式；

圖10示出了基于本披露的實施例的深度圖生成裝置的另一種FOV區(qū)域；

圖11示出了基于本披露的實施例的深度圖生成方法的示意流程圖；

圖12示出了基于本披露的實施例的由深度圖提取的示意直方圖；

圖13示出了基于本披露的實施例的自動確定工作模式的示意流程圖。

具體實施方式

下面將詳細(xì)描述如附圖所示的本發(fā)明的示意實施例。在可能的情況下，附圖中的各個部分提到的相同或相似的部分將采用相同的參考標(biāo)記。顯然地，所描述的實施例僅為本申請的幾個具體實施例。對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應(yīng)用范圍上均會有改變之處，任何本領(lǐng)域的技術(shù)人員能思之的變化，都應(yīng)落在本申請的保護(hù)范圍內(nèi)。

圖1示出了披露的實施例的示意應(yīng)用環(huán)境。如圖1所示，環(huán)境100可以包括電視(TV)102，遙控器104，服務(wù)器106，用戶108，和網(wǎng)絡(luò)110?；趫D1的說明可以省略某些裝置和加入其他裝置以更好地描述的實施例。

電視102可包括任何適當(dāng)類型的顯示裝置，諸如等離子電視、液晶(Liquid Crystal Display,LCD)電視、觸摸屏電視、投影電視、智能電視等。電視102還可以包括其他計算系統(tǒng)，諸如個人計算機(jī)(PC)、平板電腦、移動計算機(jī)或智能電話等。此外，電視機(jī)102可實現(xiàn)三維顯示功能。電視102可以包含任何適當(dāng)類型的顯示配置來創(chuàng)建立體顯示效果，例如快門眼鏡，偏振眼鏡，補色立體眼鏡等。在某些實施例中，電視102可以實現(xiàn)裸眼三維顯示技術(shù)。

遙控器104可包括任何適當(dāng)類型的能對電視102進(jìn)行遠(yuǎn)程控制并通信的計算設(shè)備，諸如定制的電視遙控器，通用遙控器，平板計算機(jī)，智能電話，或其他任何能夠支持執(zhí)行遠(yuǎn)程控制功能的計算設(shè)備。遙控器104還可以包括其他類型的設(shè)備，例如基于運動傳感器的遙控器，基于深度相機(jī)增強功能的遙控器，以及簡單的輸入/輸出設(shè)備，如鍵盤，鼠標(biāo)、語音輸入設(shè)備等。

遙控器104可以包括任何適當(dāng)類型的傳感器，用于檢測用戶108的輸入信息以及與電視機(jī)102進(jìn)行通信，例如體溫傳感器、運動傳感器、麥克風(fēng)、照相機(jī)等。遙控器104可以內(nèi)嵌在電視102中，也可與電視102分離。在一個實施例中，遙控器104可以包括立體攝像機(jī)，用于捕獲3D場景深度信息并跟蹤用戶108的動作和手勢。遙控器104還可以包括一個或多個控制模塊，可用于根據(jù)采集圖像的深度信息來轉(zhuǎn)換工作模式。

用戶108可以使用遙控器104與電視102進(jìn)行交互，觀看各種節(jié)目和執(zhí)行其他感興趣的活動。用戶可以使用手勢或身體動作來控制電視102。用戶108可以是單個用戶或多個用戶，例如一起觀看電視節(jié)目的家庭成員。

服務(wù)器106可以包括任何適當(dāng)類型的一個或多個服務(wù)器計算機(jī)，用于提供視頻內(nèi)容給用戶108。服務(wù)器106也可輔助電視102和遙控器104的通信、數(shù)據(jù)存儲和數(shù)據(jù)處理等。電視102、遙控器104和服務(wù)器106可以通過一個或多個通信網(wǎng)絡(luò)110進(jìn)行通信，如電纜網(wǎng)絡(luò)、電話網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、和/或衛(wèi)星網(wǎng)絡(luò)等。網(wǎng)絡(luò)110可包括任何數(shù)量的通信網(wǎng)絡(luò)和服務(wù)器，用于為服務(wù)器106提供各種媒體數(shù)據(jù)，如3D影音流和立體圖像等。

電視102、遙控器104和/或服務(wù)器106可在任何適當(dāng)?shù)挠嬎汶娐菲脚_實現(xiàn)。在運行時，所述計算電路平臺可以獲取立體圖像并生成基于所述立體圖像的深度圖。生成的深度圖可用于多種應(yīng)用，比如體感識別和手勢識別。圖2示出了可用于實現(xiàn)電視102、遙控器104和/或服務(wù)器106的示例性計算系統(tǒng)200的框圖。

如圖2所示，計算系統(tǒng)200可以包括處理器202、存儲介質(zhì)204、顯示器206、通信模塊208、數(shù)據(jù)庫210和外圍設(shè)備212?；趫D2的說明可以省略某些裝置和加入其他裝置以更好地描述的實施例。

處理器202可以包括任何合適的單個或多個處理器。處理器202可以包括多個內(nèi)核用于多線程或并行處理。處理器202可以執(zhí)行計算機(jī)程序指令序列以進(jìn)行各種處理。存儲介質(zhì)204可以包括存儲器模塊，諸如ROM、RAM、閃存存儲器模塊、和大規(guī)模存儲器如CD-ROM和硬盤等。

存儲介質(zhì)204可以存儲計算機(jī)程序，用于在被處理器202執(zhí)行時實現(xiàn)各種功能，例如呈現(xiàn)圖形用戶界面、實現(xiàn)臉部識別或手勢識別處理等。當(dāng)處理器202執(zhí)行存儲介質(zhì)204的計算指令時，可用于生成深度圖。所述計算機(jī)指令可以被組織成模塊來實施本發(fā)明公開的各種計算與功能。

通信模塊208可以包括網(wǎng)絡(luò)接口設(shè)備，用于通過通信網(wǎng)絡(luò)建立連接。數(shù)據(jù)庫210可以包括一個或多個數(shù)據(jù)庫，用于存儲數(shù)據(jù)和和對所存儲的數(shù)據(jù)進(jìn)行各種操作，如數(shù)據(jù)庫檢索。數(shù)據(jù)庫210可以存儲圖像、視頻、用戶108的個性化信息如首選項設(shè)置、最喜愛的節(jié)目、用戶檔案等、以及其他適當(dāng)?shù)膬?nèi)容。

顯示206可為用戶或電視102的用戶提供信息。顯示206可包括任何適當(dāng)類型的計算機(jī)顯示裝置或電子顯示設(shè)備諸如基于CRT或LCD裝置。外圍設(shè)備212可包括各種傳感器和其它I/O設(shè)備，如身體傳感器、麥克風(fēng)、相機(jī)模組、RGB攝像機(jī)、紅外攝像機(jī)、運動傳感器(如加速計、陀螺儀，重力傳感器)、環(huán)境傳感器(如環(huán)境光傳感器、溫度傳感器和濕度傳感器)、位置傳感器(如距離感應(yīng)器、方向傳感器和磁力計)等。

本發(fā)明提供了一種深度圖生成裝置和方法。本文所述的立體圖像是指由相機(jī)模組采集的圖像。所述相機(jī)模組可包含多個攝像頭(或鏡頭)，用于捕獲圖像。在這些攝像頭中，可指定使用一對或多對攝像頭。舉例來說，一個相機(jī)模組可以包含三個攝像頭，也就是說，這個三個攝像頭可以組成三對攝像頭。當(dāng)相機(jī)模組拍攝一個場景時，一對攝像頭可獲取相應(yīng)的一對圖像。這對圖像即包括左圖像和右圖像(或稱為左眼視圖和右眼視圖)。這對左圖像和右圖像也可以由兩個單獨的相機(jī)獲取。

在下文中，使用一對左相機(jī)和右相機(jī)拍攝的一對二維圖像會被稱為圖像對。一個圖像對包括描述相同場景的兩幅二維圖像，從水平方向稍微分離的兩點獲取，這兩點即為左相機(jī)和右相機(jī)的位置。

為了示意性目的，本文實施例中提到的相機(jī)模組是指包含三個攝像頭的相機(jī)模組。應(yīng)當(dāng)指出的是，類似的方法和/或裝置的實施例也可以適用于其他含有多于三個鏡頭的相機(jī)模組和/或大于三個的獨立相機(jī)。

應(yīng)當(dāng)注意，所述相機(jī)模組還可用于獲取三維視頻。一對左右相機(jī)拍攝的三維視頻可以被劃分成多幀。每幀可以對應(yīng)于一對左圖像和右圖像。

圖3示出了基于本披露的實施例的深度圖生成裝置的正面示意圖。如圖3所示，所披露的深度圖生成裝置可包含具有三個攝像頭的相機(jī)模組。這三個攝像頭分別為：第一攝像頭A、第二攝像頭B和第三攝像頭C。具體地，三個攝像頭A、B和C在同一軸線上依次排列。

第一攝像頭A和第三攝像頭C之間的距離為d1。第一攝像頭A和第二攝像頭B之間的距離為d2。第二攝像頭B放置在攝像頭A和C中間的某個位置(即，d2<d1)。在一個實施例中，第二攝像頭B可以放置在第一攝像頭A和第三攝像頭C的中點(即d1＝2xd2)。

通過這樣的設(shè)置，非相鄰的攝像頭(如，攝像頭A和攝像頭C)所拍攝的圖像對可包括距所述深度圖生成裝置較遠(yuǎn)處的數(shù)據(jù)，并且可以用于體感識別。相鄰的攝像頭(如，攝像頭A和攝像頭B，攝像頭B和攝像頭C)所拍攝的圖像對可包括距所述深度圖生成裝置較近處的數(shù)據(jù)，并且可以用于手勢識別。

例如，攝像頭A和攝像頭C之間的距離可以是6厘米，攝像頭A和攝像頭B之間的距離可以是3厘米。由攝像頭A和攝像頭B拍攝的圖像對可以包含與所述深度圖生成裝置相距0.16米到0.75米的范圍的數(shù)據(jù)。由攝像頭A和攝像頭C拍攝的圖像對可以包含與所述深度圖生成裝置相距0.5米到2.0米的范圍的數(shù)據(jù)。

圖4示出了基于本披露的實施例的深度圖生成裝置的背面示意圖。所述深度圖生成裝置的背面可裝有連接部D，用于裝在電視機(jī)、計算機(jī)或其他顯示設(shè)備上。所述連接部D可以是一個磁條或其他合適的連接設(shè)備，比如粘貼條、夾子、可互相鎖定的機(jī)械結(jié)構(gòu)等。

在一些實施例中，所披露的深度圖生成裝置可以進(jìn)一步包括一個或多個USB端口、一個或多個電池和無線充電裝置。所述深度圖生成裝置可以與電視等顯示設(shè)備通過固定線路、藍(lán)牙、無線網(wǎng)絡(luò)等方式連接和通信。在一些實施例中，所述深度圖生成裝置可以集成在游戲機(jī)或機(jī)頂盒內(nèi)。

圖5示出了基于本披露的實施例的深度圖生成裝置的結(jié)構(gòu)圖。如圖5所示，一個示意性的深度圖生成裝置500可包括相機(jī)模組502、工作模式判定模塊504和深度圖生成模塊506?；趫D5的說明可能省略某些裝置和加入其他裝置以更好地描述相關(guān)實施例。

相機(jī)模組502可用于接收來自工作模式判定模塊504的控制指令，根據(jù)所述控制指令采集圖像，并將所采集的圖像發(fā)送給深度圖生成模塊506。所述相機(jī)模組502可包含三個攝像頭(如圖3所示)。從工作模式判定模塊504中收到的控制指令可包含用于拍攝當(dāng)前場景的照相機(jī)參數(shù)。例如，控制指令可以指定所述相機(jī)模組502中的某對或某幾對的攝像頭進(jìn)行拍攝。

例如，回到圖3所示的深度圖生成裝置，在一個實施例中，所述工作模式判定模塊504可以指示所述相機(jī)模組502使用攝像頭A和C來采集當(dāng)前場景的圖像。在另一個實施例中，所述工作模式判定模塊504可以指示所述相機(jī)模組502使用攝像頭A和B來采集當(dāng)前場景的圖像。

在另一個實施例中，所述工作模式判定模塊504可以指示所述相機(jī)模組502使用三個攝像頭A、B和C來拍攝，并分別獲取三幅圖像IA、IB和IC。如此即可獲得了三個圖像對，即圖像對IA和IB、圖像對IA和IC、以及圖像對IB和IC。

所述工作模式判定模塊504可用于確定所述深度圖生成裝置的工作模式，并根據(jù)所確定的工作模式向所述相機(jī)模組502發(fā)送控制指令。所述深度圖生成裝置500可具有兩種工作模式：第一模式(遠(yuǎn)距離模式)和第二模式(近距離模式)。在第一模式中，非相鄰攝像頭(例如，攝像頭A和C)采集的圖像可用來產(chǎn)生深度圖。在第二模式中，相鄰攝像頭(例如，攝像頭B和C，攝像頭A和B)采集的圖像可用來生成深度圖。工作模式判定模塊504將根據(jù)工作模式?jīng)Q定使用哪些攝像頭。

深度圖生成模塊506用于根據(jù)所確定的工作模式處理采集的圖像對，并生成深度圖。物體的深度信息可通過計算該物體在一對左圖像和右圖像中對應(yīng)匹配的像素對之間的視差值來獲得。較大的視差值意味著物體更靠近相機(jī)，較小的視差值意味著物體遠(yuǎn)離相機(jī)。當(dāng)已知相機(jī)參數(shù)，計算出視差值后即可找到相應(yīng)的深度值。所以，視差值可以用來生成深度圖。

深度圖可以是灰度圖像，其灰度(或亮度)代表了距離信息，而不是紋理信息。左右圖像對中的一個圖像(如左圖像)可以用作基礎(chǔ)圖來生成深度圖。每個像素的坐標(biāo)可根據(jù)深度值來分配亮度值(灰度值)。生成的深度圖和所述基礎(chǔ)圖具有相同的視圖。

有效測量范圍是指從可探測的最小距離到測量分辨率達(dá)到預(yù)設(shè)閾值的距離間的范圍。當(dāng)深度值超過閾值后，其測量分辨率可能不夠高且不能從圖像中提取有意義的信息。比如，利用相距3厘米的兩個攝像頭采集的圖像所生成的深度圖的有效測量范圍為約0.16米至0.75米。

在一些實施例中，深度圖生成模塊506還可用于根據(jù)所生成的深度圖和工作模式來執(zhí)行各種識別任務(wù)。在一個實施例中，在遠(yuǎn)距離模式(即第一模式)下，深度圖生成模塊506可用來識別身體動作(即體感識別)。在一個實施例中，在近距離模式(即第二模式)下，深度圖生成模塊506可用來識別手勢和手指動作。此外，除了動作識別，深度圖生成模塊506可基于深度信息執(zhí)行任何適當(dāng)?shù)淖R別任務(wù)，諸如用于識別物體、三維掃描等任務(wù)。

所述工作模式判定模塊504和所述深度圖生成模塊506可通過一個或多個合適的軟件模塊和硬件模塊實現(xiàn)。所述軟件模塊和硬件模塊可以和所述相機(jī)模組502集成在一起，也可以單獨放置在不同于所述相機(jī)模組502的地方。比如，所述工作模式判定模塊504和所述深度圖生成模塊506可由一個或多個處理器實現(xiàn)，所述處理器是和所述相機(jī)模組502搭建在一起的。在另一個例子中，所述工作模式判定模塊504和所述深度圖生成模塊506可由一個或多個處理器實現(xiàn)，所述處理器可放置在與所述相機(jī)模組502連接的顯示裝置中。

圖6示出了基于本披露的實施例的深度圖生成裝置的遠(yuǎn)距離工作模式。在遠(yuǎn)距離模式下，所述深度圖生成裝置500可以使用一對非相鄰的相機(jī)來捕捉身體動作，如攝像頭A和C。

如圖6所示，因為所述深度圖生成裝置500是在遠(yuǎn)距離模式進(jìn)行身體動作識別，該裝置可以吸附在電視機(jī)的外框上，收集數(shù)據(jù)并判斷用戶的身體關(guān)節(jié)的位置變化。

圖7示出了基于本披露的實施例的深度圖生成裝置的視場(field of view，F(xiàn)OV)。從攝像頭延伸出的兩條射線勾勒出了該攝像頭所對應(yīng)的FOV區(qū)域。如圖7所示，當(dāng)所述深度圖生成裝置500在遠(yuǎn)距離模式中，攝像頭A和C可用于采集圖像。點狀區(qū)域701是攝像頭A和C的FOV的交集。也就是說，所述深度圖生成裝置500可提取區(qū)域701中的物體的深度信息。

在一個實施例中，攝像頭A和C的間距為6厘米。相應(yīng)的深度范圍約為距所示深度圖生成裝置0.5米到2米的范圍。

進(jìn)一步地，攝像頭A為主攝像頭，則生成的深度圖是以攝像頭A獲取的RGB圖像(即圖像IA)為映射面(基礎(chǔ)圖)獲得的。也就是說，每一幀的深度圖都與圖像IA相對應(yīng)。在這個例子中，對于區(qū)域701中的物體，可在圖像IA和攝像頭C捕獲的圖像(即圖像IC)中找到相應(yīng)匹配的像素對，并計算其視差值作為深度圖中的亮度值。對于在圖像IA中但不在圖像IC中的物體，不能找到相應(yīng)匹配的像素對，所生成的深度圖則不能反映其深度信息。

所以，生成的深度圖的一個部分(即屬于攝像頭A的FOV但是不包含在區(qū)域701中的部分)是不反映深度信息的。舉例來說，圖8示出了基于本披露的實施例的深度圖生成裝置的生成的示意深度圖。當(dāng)攝像頭A為主攝像頭，白色矩形802所包含的區(qū)域是沒有深度信息的。區(qū)域802所對應(yīng)的是屬于攝像頭A的FOV但不屬于攝像頭C的FOV的部分。

圖9示出了基于本披露的實施例的深度圖生成裝置的近距離工作模式。在近距離模式下，所述深度圖生成裝置500可水平放置在桌面上。所述深度圖生成裝置可以采集圖像并檢測用戶的手勢和雙手十指做出的指令，使用戶和顯示設(shè)備進(jìn)行人機(jī)交互。

在近距離模式下，所述深度圖生成裝置500可以使用一對相鄰的攝像頭來捕捉手指動作，如攝像頭A和B或攝像頭B和C。可選地，在一些實施例中，三個攝像頭A、B和C均可用來在近距離模式下采集圖像對。

圖10示出了基于本披露的實施例的深度圖生成裝置同時使用三個攝像頭A、B和C的FOV區(qū)域。這時，B可作為主攝像頭。如圖10所示，由攝像頭A拍攝的圖像(即圖像IA)和攝像頭B拍攝的圖像(即圖像IB)產(chǎn)生的第一深度圖包含了同時在點狀區(qū)域1001和格狀區(qū)1003的物體的深度信息。由攝像頭B拍攝的圖像(即圖像IB)和攝像頭C拍攝的圖像(即圖像IC)產(chǎn)生的第二深度圖包含了同時在點狀區(qū)域1001和線狀區(qū)1005的物體的深度信息。

在圖8中說明過，由圖像IB和IA生成的第一深度圖中，在區(qū)域1005的物體的深度信息是缺失的。在一個實施例中，所示的第一深度圖和所述第二深度圖都是以圖像IB作為基礎(chǔ)圖而生成的。所以，所述第二深度圖可以與所述第一深度圖融合，來補充缺失的信息。也就是說，點狀區(qū)域1001，網(wǎng)格區(qū)域1003和內(nèi)襯區(qū)域1005都包括在所述深度圖生成裝置500的視場里。

所以，相比常規(guī)的雙目攝像頭的FOV范圍，所述深度圖生成裝置500可以具有更廣泛的FOV區(qū)域，并且可以得到更多的深度信息。

回到圖5，工作模式判定模塊504可用于根據(jù)用戶的選擇或某些條件來確定工作模式。例如，當(dāng)用戶正在進(jìn)行一個運動傳感類游戲，該游戲的控制邏輯可根據(jù)不同的游戲場景通知所述工作模式判定模塊504在兩個操作模式之間切換。在另一示例中，用戶可手動識別所需要的工作模式。

在一些實施例中，所述工作模式判定模塊504可自動確定工作模式。這種方法不需要用戶手動選擇工作模式，因此可提高用戶的體驗。

在一個實施例中，所述工作模式判定模塊504可包括一個或多個定向傳感器，并根據(jù)來自定向傳感器收集的數(shù)據(jù)自動識別工作模式。所述傳感器可以是運動傳感器、重力或加速度傳感器、陀螺儀等。所述工作模式判定模塊504可確定所述深度圖生成裝置500的姿態(tài)，類似于在智能手機(jī)中實現(xiàn)的方向感知功能。例如，當(dāng)所述深度圖生成裝置如圖9所示為水平放置(攝像頭朝上)，所述工作模式判定模塊504可確定所述深度圖生成裝置進(jìn)入近距離工作模式。當(dāng)所述深度圖生成裝置如圖6所示為豎直放置(攝像頭朝前)，所述工作模式判定模塊504可確定所述深度圖生成裝置進(jìn)入遠(yuǎn)距離工作模式。然后，所述工作模式判定模塊504可以自動關(guān)閉一個攝像頭(如攝像頭B)，從而降低所述深度圖生成裝置500的功耗。

具體地，所述深度圖生成裝置500的運動傳感器或其它傳感器可以識別該裝置的方向改變。當(dāng)傳感器輸出給所述深度圖生成裝置的姿態(tài)信息為模組與水平方向夾角為基本水平(±20°)，所述工作模式判定模塊504發(fā)送指令到顯示設(shè)備(如TV或計算機(jī))并將顯示設(shè)備和所述深度圖生成裝置自動切換為近距離模式，并進(jìn)行手勢識別。當(dāng)傳感器輸出給所述深度圖生成裝置的姿態(tài)信息為模組與水平方向夾角為懸掛或直立狀態(tài)(±20°)，所述工作模式判定模塊504發(fā)送指令到顯示設(shè)備并將顯示設(shè)備和所述深度圖生成裝置自動切換為遠(yuǎn)距離模式，并進(jìn)行體感識別。另外，在遠(yuǎn)距離模式下，工作模式判定模塊504可以關(guān)閉攝像頭B并確定攝像頭A為主攝像頭。在近距離模式下，工作模式判定模塊504可開啟攝像頭B，并指定攝像頭B作為主攝像頭。

在另一個實施例中，所述工作模式判定模塊504可使用所述相機(jī)模組502采集的圖像來自動確定工作模式。具體地，所述工作模式判定模塊504可進(jìn)一步包括深度圖預(yù)生成單元5042和識別單元5044。所述深度圖預(yù)生成單元5042可用于根據(jù)非相鄰攝像頭采集的圖像(第一模式)生成第一深度圖，并根據(jù)相鄰攝像頭采集的圖像(第二模式)生成第二深度圖。

所述識別單元5044用于從所述第一深度圖和所述第二深度圖中提取直方圖信息，根據(jù)所述直方圖信息識別一個有效目標(biāo)所屬的深度范圍，并根據(jù)所述的有效目標(biāo)的深度范圍在所述第一模式和所述第二模式中做出選擇。也就是說，當(dāng)有效目標(biāo)的距離屬于第一深度圖的范圍，所述工作模式判定模塊504則通知所述深度圖生成模塊506根據(jù)第一模式來生成深度圖。當(dāng)有效目標(biāo)的距離屬于第二深度圖的范圍，所述工作模式判定模塊504則通知所述深度圖生成模塊506根據(jù)第二模式來生成深度圖。

圖11示出了基于本披露的實施例的生成深度圖流程1100的示意流程圖。所述流程1100可以由所披露的深度圖生成裝置500來實現(xiàn)，并且自動地識別所述深度圖生成裝置500的工作模式。所述工作模式可包括近距離模式和遠(yuǎn)距離模式。

如圖11所示，所述流程可包括提供含至少三個攝像頭的相機(jī)模組，包括第一攝像頭、第二攝像頭和第三攝像頭(S1102)。第一攝像頭和第三攝像頭之間的距離大于第一攝像頭和第二攝像頭之間的距離。在一些實施例中，這三個攝像頭是在水平方向依次排列。

所述第一攝像頭和第三攝像頭可采集第一圖像對，所述第一攝像頭和第二攝像頭可采集第二圖像對(S1104)。根據(jù)第一圖像對可生成第一深度圖，根據(jù)第二圖像對生成第二深度圖(S1106)。

當(dāng)?shù)谝粩z像頭和第三攝像頭的間距大于第一攝像頭和第二攝像頭的間距，第一深度圖比第二深度圖包含距離較遠(yuǎn)的深度信息。也就是說，第一深度圖可用于遠(yuǎn)距離模式，第二深度圖可用于近距離模式。

進(jìn)一步地，所述深度圖生成裝置500還可根據(jù)有效目標(biāo)是否存在其檢測范圍來自動判定工作模式。具體來說，當(dāng)用戶想要激活近距離模式，一個有效目標(biāo)(例如，用戶的手)將出現(xiàn)在第二深度圖對應(yīng)的有效測量范圍內(nèi)。當(dāng)用戶想要激活遠(yuǎn)距離模式，有效目標(biāo)(例如，用戶的身體)將出現(xiàn)在第一深度圖對應(yīng)的有效測量范圍內(nèi)。

提取第一深度圖和第二深度圖的直方圖信息可用來判斷有效目標(biāo)是否存在(S1108)。所述深度圖為灰度圖。在深度圖中，像素的亮度表示其到相機(jī)的距離。在一個實施例中，深度圖的直方圖可表示不同亮度值的像素個數(shù)分布情況。在另一個實施例中，深度圖的直方圖可表示不同深度值的像素個數(shù)分布情況。

圖12示出了基于本披露的實施例的由深度圖提取的示意直方圖。圖12所示的例子中，深度圖是由相距6厘米的兩個攝像頭采集的圖像生成的。如圖12所示，橫坐標(biāo)表示亮度值(在這個例子里為0-255)，縱坐標(biāo)表示像素的個數(shù)。較高的亮度值則指示該對象更接近攝像頭。直方圖的曲線下總面積即為深度圖的像素總個數(shù)。

當(dāng)所述有效目標(biāo)出現(xiàn)在深度圖的有效測量范圍內(nèi)時，大量像素點會聚集在一定的亮度值范圍內(nèi)。舉例來說，當(dāng)用戶希望攝像頭處于體感識別模式的時候，會走進(jìn)攝像頭A和C的FOV范圍內(nèi)。如圖12所示，亮度值100-150范圍內(nèi)(約代表1.5-2.0米)聚集了很多像素點。這代表了用戶正站在距離攝像頭1米以外的地方，并想要激活遠(yuǎn)距離模式。在圖示的直方圖中，另一群像素點集聚在亮度值50-75范圍。這代表了用戶身后的背景所占的像素數(shù)。

所以，直方圖中的一個凸起，則表示在深度圖的測量范圍內(nèi)出現(xiàn)了一個有效目標(biāo)。另外，當(dāng)相距3厘米的攝像頭采集的圖像生成的深度圖所對應(yīng)的直方圖中出現(xiàn)類似的凸起，則意味著用戶想激活近距離模式。直方圖的凸起可用曲線下的面積來量化。所述曲線下的面積可通過將凸起對應(yīng)的亮度值(或深度值)范圍的像素個數(shù)(Y值)依次相加得到。

回到圖11，直方圖信息可以從第一深度圖和第二深度圖提取。在一個實施例中，由第一深度圖和第二深度圖可獲得表達(dá)像素數(shù)和深度值關(guān)系的合成直方圖。所述合成直方圖涵蓋了兩個深度圖的有效測量范圍。

舉例來說，第一深度圖的有效測量范圍為0.5米到2.0米，第二深度圖的有效測量范圍為0.16米到0.75米，則合成的直方圖包括了深度范圍0.16米到2.0米的信息。

當(dāng)兩個深度圖的觀測區(qū)域存在重合時，可選取一個深度圖為準(zhǔn)獲取重合區(qū)域的直方圖信息，在另一個深度圖中的重合區(qū)域的直方圖信息可刪除。可選的，在兩個深度圖的重合區(qū)域的像素個數(shù)可以取平均。這樣，就可以獲得所述深度圖生成裝置500所覆蓋的全部深度范圍的合成的直方圖。

需要注意的是，在第一深度圖和第二深度圖中，同一亮度值代表的實際距離(深度)不同。舉例來說，同樣是有256個亮度值的深度圖，相距3厘米的兩個攝像頭采集的圖像生成的深度圖中100這個亮度值代表0.5米的深度。100這個亮度值還可以代表相距6厘米的兩個攝像頭采集的圖像生成的深度圖中1.5米的深度。

所以，在結(jié)合兩個深度圖的直方圖信息時，需要相應(yīng)制定亮度值和深度值間的映射關(guān)系。

在一個實施例中，第一深度圖的亮度值可轉(zhuǎn)換為深度值，第二深度圖的亮度值也轉(zhuǎn)換為深度值。這樣，可以獲得第一深度圖中對應(yīng)轉(zhuǎn)換后的深度值的像素個數(shù)，也可以獲得第二深度圖中對應(yīng)轉(zhuǎn)換后的深度值的像素個數(shù)。將這些信息合并，以深度值為橫坐標(biāo)，可結(jié)合兩個深度圖的信息生成合成的直方圖。所述合成直方圖涵蓋了兩個深度圖的距離范圍。所述合成直方圖的橫坐標(biāo)為深度值，縱坐標(biāo)為像素個數(shù)。

在另一個實施例中，代表第一深度圖的亮度和像素數(shù)之間關(guān)系的直方圖可以擴(kuò)展，并添加第二深度圖的亮度和像素數(shù)關(guān)系，來獲取合成直方圖。具體來說，將所述第二深度圖的亮度值轉(zhuǎn)換為一深度值組；然后，獲取所述深度值組在所述第一深度圖中對應(yīng)的亮度值；這就可以得到所述第二深度圖的亮度值和所述深度值組在所述第一深度圖中對應(yīng)的亮度值之間的映射關(guān)系。舉例來說，第二深度圖的亮度值100在第一深度圖中映射為亮度值可能是250。

所以，所述第二深度圖的與所述第一深度圖亮度值對應(yīng)的所述像素個數(shù)，可以添加到第一深度圖的直方圖中，獲取涵蓋兩個深度圖的深度范圍的合成直方圖。舉例來說，第一深度圖本來的直方圖包括了256個亮度值，合成后的直方圖可以包括500個亮度值。所述合成直方圖的橫坐標(biāo)是以第一深度圖為準(zhǔn)的亮度值，縱坐標(biāo)為像素個數(shù)。

接著，分析所述合成直方圖來識別有效目標(biāo)所屬的深度范圍，當(dāng)所述有效目標(biāo)在第一深度范圍則選擇遠(yuǎn)距離模式(第一模式)，在第二深度范圍則選擇近距離模式(第二模式)(S1110)。其中第一深度范圍為第一深度圖的有效測量范圍，第二深度范圍為第二深度圖的有效測量范圍。

具體來說，所述深度圖生成裝置500可設(shè)置高峰閾值、基線閾值、第一占比閾值和第二占比閾值。在所述合成直方圖中，像素總數(shù)(所有Y值相加)可能等于或小于深度圖像素數(shù)的兩倍。

圖13示出了基于本披露的實施例的自動確定工作模式的示意流程圖。在這個例子中，第一深度圖的有效測量范圍為0.5米到2.0米，第二深度圖的有效測量范圍為0.16米到0.75米。在一個實施例中，所述流程圖可用來分析一個合成直方圖(比如范圍0.16米到2.0米)。在另一個實施例中，所述流程圖可用來分析兩個直方圖。這兩個直方圖分別對應(yīng)第一深度圖(范圍0.5米到2.0米)和第二深度圖(范圍0.16米到0.75米)。

如圖13所示，根據(jù)所提取的直方圖信息，深度圖生成裝置500(如，工作模式判定模塊504的識別單元5044)可通過判斷第二深度范圍內(nèi)是否存在一個y值大于高峰閾值，來確定在第二深度范圍內(nèi)的是否有高峰。

當(dāng)?shù)诙疃确秶鷥?nèi)有高峰，則識別包含該高峰的凸起。凸起是指沿橫軸方向的連續(xù)數(shù)據(jù)點形成的區(qū)域，所述數(shù)據(jù)點是指包含高峰點并大于基線閾值的連續(xù)的點。可以計算所述凸起的曲線下面積，代表了凸起內(nèi)的像素總個數(shù)。所述凸起的占比值可通過將凸起面積除以深度圖的像素總個數(shù)(如640*480個像素)得到。

進(jìn)一步地，所述深度圖生成裝置500可將計算得到的占比值與第二占比閾值(如10％)比較。當(dāng)計算得到的占比值大于第二占比閾值，所述深度圖生成裝置500則判定第二深度范圍內(nèi)存在有效目標(biāo)，并啟用近距離模式。

當(dāng)計算得到的占比值小于第二占比閾值，所述深度圖生成裝置500繼續(xù)判斷在第二深度范圍內(nèi)是否還存在高峰且該高峰不在已計算過的凸起內(nèi)。當(dāng)檢測到另一個高峰，則重復(fù)上述判斷步驟。

當(dāng)?shù)诙疃确秶鷥?nèi)沒有高峰滿足要求，所述深度圖生成裝置500繼續(xù)判斷在第一深度范圍內(nèi)是否存在高峰。當(dāng)?shù)谝簧疃确秶鷥?nèi)沒有高峰，所述深度圖生成裝置500可處于待機(jī)模式。

當(dāng)?shù)谝簧疃确秶鷥?nèi)有高峰，則在直方圖中識別包含該高峰的凸起。計算該凸起的面積。凸起的占比值可通過將凸起面積除以深度圖的像素總個數(shù)得到。

進(jìn)一步地，所述深度圖生成裝置500可將計算得到的占比值與第一占比閾值(如20％)比較。當(dāng)計算得到的占比值大于第一占比閾值，所述深度圖生成裝置500則判定第一深度范圍內(nèi)存在有效目標(biāo)，并啟用遠(yuǎn)距離模式。

當(dāng)計算得到的占比值小于第一占比閾值，所述深度圖生成裝置500繼續(xù)判斷在第一深度范圍內(nèi)是否還存在高峰且該高峰不在已計算過的凸起內(nèi)。當(dāng)檢測到另一個高峰，則重復(fù)上述判斷步驟。

在一些實施例中，圖13所示的流程可以循環(huán)一定次數(shù)(如30次)或在預(yù)設(shè)時間段內(nèi)循環(huán)。當(dāng)多次循環(huán)(超過25次循環(huán)或超過1秒的多次循環(huán))所判定的工作模式一致時，深度圖生成裝置500可通知工作模式判定模塊504激活所確定的工作模式。

本發(fā)明還提供了一種非短暫性的計算機(jī)可讀介質(zhì)，用于存儲計算機(jī)程序，當(dāng)處理器執(zhí)行所述計算機(jī)程序時，實現(xiàn)一種深度圖生成方法。所述方法包括提供含至少三個攝像頭的相機(jī)模組，包括第一攝像頭、第二攝像頭和第三攝像頭。所述第一攝像頭、第二攝像頭和第三攝像頭在同一軸線上依次排列。所述方法還包括判定相機(jī)模組的工作模式。所述工作模式包括用非相鄰攝像頭采集圖像的第一模式和用相鄰攝像頭采集圖像的第二模式。根據(jù)所確定的工作模式，生成所述相機(jī)模組采集的圖像的深度圖。

所披露的實施例在深度圖生成裝置中有效利用了第三個攝像頭(位于中間的攝像頭)。在遠(yuǎn)距離工作模式中，可以關(guān)閉中間的攝像頭。在近距離模式中，可以打開中間的攝像頭并獲取更全面的深度信息。

在各種實施例中，上述的示意性系統(tǒng)的各個模塊可根據(jù)需要用于一個設(shè)備或多個設(shè)備。這些模塊可以集成為用于處理指令的一個模塊或多個模塊。每個模塊可以劃分成一個或多個子模塊，也可通過任何方式重組。

所披露的實施例僅為示意性舉例。本領(lǐng)域的一般技術(shù)人員可知，本發(fā)明可包括合適的軟件和/或硬件(例如，通用硬件平臺)用于執(zhí)行所披露的方法。例如，所公開的實施例可僅通過硬件實現(xiàn)、僅通過軟件實現(xiàn)、或通過硬件和軟件的組合來實現(xiàn)。該軟件可以存儲在存儲介質(zhì)中。該軟件可包括令任何客戶端設(shè)備(例如，包括數(shù)字照相機(jī)，智能終端，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)實現(xiàn)所公開的實施例的任何合適的指令。

對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應(yīng)用范圍上均會有改變之處，任何本領(lǐng)域的技術(shù)人員能思之的變化，都應(yīng)落在本申請的保護(hù)范圍內(nèi)。