本發(fā)明涉及一種3d全景掃描和成像設備，尤其是一種具有多個深度攝像頭的小體積緊湊型全景掃描裝置。

背景技術：

虛擬現實(vr)技術中經常需要進行真實環(huán)境的3d全景建模，其中有很多的環(huán)境空間狹小，例如轎車的車廂內部、飛機的駕駛室等。對這些狹小環(huán)境的掃描或拍攝均不太方便。例如使用手持的設備時，可能會出現掃描到持著設備的人體，或者出現某些地方拍攝不到的情況，并且操作不夠靈活快速。

vr中實現全景建模的設備包括全景攝像機，通常使用多個攝像頭的方案，例如公告號cn106506925a的中國發(fā)明專利“一種全景攝像球”，采用多個攝像頭實現360°的全景攝像。這類全景攝像機結構緊湊，可以在狹小環(huán)境內使用；但一般只能拍攝照片或視頻，缺乏場景的深度信息，并非真正的3d全景模型；對狹小環(huán)境來說，缺乏景深會導致比較嚴重的失真，不利于vr的展示效果。

為獲得較完整的3d深度信息，可以使用3d激光掃描儀。通常的激光掃描儀具有單個激光器，通過手持或者配備轉臺/滑臺來工作，但掃描速度較慢。為了增加復用性和掃描速度，也有使用多個激光器的方案，例如公告號cn106500628a的中國發(fā)明專利“一種含有多個不同波長激光器的三維掃描方法及掃描儀”，包括了至少兩個激光器。這類激光掃描儀適合精度要求很高的工業(yè)場所，對于消費級vr應用來說價格偏貴，且對狹小環(huán)境掃描來說體積偏大。

基于深度攝像頭(例如kinect等)的3d成像設備對非工業(yè)級精度的vr應用場合具有更好的性價比。常見的也是采用單個深度攝像頭的方案；若采用多個深度攝像頭則大多配備多個支架進行支撐，例如公告號cn202293994u的中國發(fā)明專利“基于三維深度攝像頭實時人體掃描三維雕塑裝置”，使用了三根豎直設置的支架，并在每根支架上安裝有多個深度攝像頭。類似這樣的配置不夠緊湊，不適合在狹小環(huán)境中使用。

技術實現要素：

為了克服現有的3d掃描設備不太適合于狹小環(huán)境的全景建模，以及全景攝像機只能拍攝全景照片或視頻而無3d深度信息的問題，本發(fā)明提供了一種多深度攝像頭緊湊型全景掃描設備，集成了多個小型深度攝像頭并配合單軸伺服轉臺來實現3d全景掃描，在綜臺考慮性價比的情況下，使設備結構盡量緊湊，適合對狹小環(huán)境進行3d全景建模，使用方便。

本發(fā)明解決其技術問題所采用的技術方案是：一種多深度攝像頭緊湊型全景掃描設備，利用深度攝像頭實現3d成像，包括至少一組從上到下緊密排列的三個深度攝像頭，這些深度攝像頭固連在殼體內腔的側面，并和一個集線器電性連接，該集線器再與一個片上系統電性連接；該片上系統內包含了對深度和彩色圖像的處理單元；該片上系統又與一個伺服驅動器電性連接，該伺服驅動器再與單軸伺服轉臺電性連接，該伺服轉臺的定于固連在殼體內腔的底面。

上述的多深度攝像頭緊湊型全景掃描設備，所述的深度攝像頭，是滿足緊湊型要求的小型化成像設備，其中集成有深度傳感器和彩色傳感器，可同時拍攝深度圖像和彩色圖像。所述深度傳感器包括紅外發(fā)射器和紅外接收器，而所述彩色傳感器通常使用cmos感光芯片。本發(fā)明可選用primcsense深度攝像頭，或者intel公司的realsense深度攝像頭等型號；其中realsense深度攝像頭的體積更小，作為優(yōu)選方案。

所述一組三個深度攝像頭的相互位置關系由深度攝像頭的光心和光軸來確定。在本發(fā)明中，深度攝像頭的光心是指深度攝像頭中彩色傳感器的感光中心；而光軸是指通過光心，垂直于彩色傳感器感光平面并且指向拍攝方向的射線。深度攝像頭中深度傳感器的光心和光軸與彩色傳感器的不同，但可以通過圖像后處理操作將深度圖像配準到彩色圖像上，從而在邏輯上使兩個光心和兩個光軸相互重合。

所述一組三個深度攝像頭的相互位置關系是：三個深度攝像頭的光軸位于同一個豎直平面內，并且都指向同一個半平面；位于上方的第一深度攝像頭的光軸指向該半平面的斜下方向，位于中間的第二深度攝像頭的光軸指向該半平面的水平方向，位于下方的第三深度攝像頭的光軸指向該半平面的斜上方向，從而保證三個深度攝像頭在有部分視野相互重疊的前提下，總視野盡可能大。三個深度攝像頭的相互位置關系將作為深度攝像頭標定數據的一部分；另一部分標定數據包括深度攝像頭的焦距等內參數。

上述的多深度攝像頭緊湊型全景掃描設備，所述的集線器使用了星型拓撲結構來連接每個深度攝像頭以及片上系統，將一個深度攝像頭接口擴展成多個獨立工作的深度攝像頭接口，其中對深度攝像頭接口的類型不做限制；作為本發(fā)明的優(yōu)選方案，深度攝像頭可采用usb接口，而該集線器則相應的采用usb集線器。

上述的多深度攝像頭緊湊型全景掃描設備，所述的片上系統(soc)就是在芯片上集成了處理器、存儲器以及外圍電路等器件在內的完整的嵌入式系統。所述片上系統內固化了對深度/彩色圖像的處理單元。所述片上系統的實施方式不做限制，可以采用基于arm、dsp、fpga、gpu或intelcpu芯片的片上系統。作為本發(fā)明的優(yōu)選方案，采用基于arm和gpu芯片的片上系統。

所述片上系統中所包含的深度/彩色圖像處理單元，具體包括電性串聯的定點全景拼接單元、移動位置估算單元以及整體網格生成單元，這三個單元又各自與數據存儲器電性連接。

所述片上系統中所包含的定點全景拼接單元，在本發(fā)明的設備放置于某一個地點時，將通過片上系統發(fā)出令設備旋轉一周并同時進行掃描的指令，利用可預知的旋轉角度以及預存在數據存儲器中的深度攝像頭標定數據，把接收到的深度/彩色圖像掃描數據拼接起來，得到該固定點處的深度/彩色全景圖，并把全景圖的結果以及原始的深度/彩色圖像數據緩存到數據存儲器中。

所述片上系統中所包含的移動位置估算單元，在本發(fā)明的設備移動到一個新的臨近地點后，將調用定點全景拼接單元所輸出的當前點的全景圖，并調用數據存儲器中緩存的已有點的全景圖和深度攝像頭標定數據，通過圖像匹配操作來估算當前點和已有點之間的相對位置，并把結果緩存到數據存儲器中。如果無法估算當前點和已有點之間相對位置，則放棄當前點并重新移動到一個新地點。如果僅需要在一個地點進行全景掃描，則此單元不工作；

所述片上系統中所包含的整體網格生成單元，將調用移動位置估算單元所輸出的當前點的位置，并調用數據存儲器中緩存的深度/彩色圖像數據和已有點的位置，通過深度圖像的融合和網格化操作來生成整個已掃描場景的3d網格，并以彩色圖像作為該網格的表面紋理；生成的3d整體網格及表面紋理將存入數據存儲器中。如果僅需要在一個地點進行全景掃描，則所述整體網格就是由該地點處所掃描的深度和彩色圖像所生成的3d網格。

上述的多深度攝像頭緊湊型全景掃描設備，所述的伺服驅動器(又稱伺服控制器)用來控制伺服轉臺的旋轉，即控制旋轉角度、角速度和角加速度，實現高精度的傳動定位。伺服驅動器的啟動指令由所述片上系統發(fā)出，具體的控制邏輯可預先設置，例如設置成勻速旋轉一周，邊旋轉邊掃描；或者旋轉固定角度后暫停并拍攝，并重復這一過程直至滿一周。

上述的多深度攝像頭緊湊型全景掃描設備，所述的單軸伺服轉臺，其唯一的轉動軸線位于所述深度攝像頭的光軸所在的豎直平面內，并保持豎直。該伺服轉臺固定在殼體內腔的底面，即轉臺的定子與殼體固連，而轉臺的轉子則伸出殼體之外，將與三腳架等外接支撐設備通過螺絲來固連；當伺服轉臺旋轉時，將帶動本發(fā)明的設備相對于固定的外接支撐設備作旋轉?？赏ㄟ^三腳架等外接支撐設備來調整水準，使伺服轉臺的轉動軸線接近于垂直地面，但這不是強制性的，本發(fā)明在轉動軸線不垂直地面的情況下仍可正常工作，因為定點全景拼接單元和移動位置估算單元等部件均基于相對角度和相對位置來做運算。

上述的多深度攝像頭緊湊型全景掃描設備，包含至少一組深度攝像頭(即至少三個深度攝像頭)，而具體的組數不做限制，但組數過多會增加設備的體積和成本。作為本發(fā)明的優(yōu)選方案，采用一組三個深度攝像頭。如果多于一組，則各組深度攝像頭以所述單軸伺服轉臺的轉動軸線為旋轉對稱中心，平均分布在殼體內腔的側面。例如有兩組深度攝像頭時，如果其中一組深度攝像頭繞著所述伺服轉臺的轉動軸線旋轉180°，則與另一組深度攝像頭的位置重合，依此類推。如果有多于一組深度攝像頭，則所述集線器的接口數量相應增加，而所述伺服驅動器所控制的旋轉角度則相應減少。

本發(fā)明的有益效果是，在本發(fā)明中集成了至少一組的三個深度攝像頭，可以拼接成大視野，配合伺服轉臺的旋轉，適合做3d全景掃描；多個深度攝像頭通過前述的特定排列方式和位置關系，使整體結構更加緊湊；所述伺服轉臺為單軸，比雙軸的成本低且體積小，使整個設備可放置在狹小環(huán)境內，例如小轎車的車廂內部：本發(fā)明中包含的片上系統對掃描的深度和彩色圖像進行處理，計算出深度/彩色全景圖，并輸出帶有彩色紋理的3d網格，實現狹小環(huán)境的3d全景建模。

附圖說明

下面結合附圖和實施例對本發(fā)明進一步說明。

圖1為本發(fā)明結構示意圖；

圖2為本發(fā)明各單元電性連接關系圖；

圖3為單個深度攝像頭結構示意圖；

圖4為一組三個深度攝像頭的相對位置關系圖；

圖5為片上系統內部結構和工作流程圖；

圖6為伺服轉臺安裝位置示意圖；

圖中，

1.第一深度攝像頭，101.第一深度攝像頭的深度傳感器，102.第一深度攝像頭的彩色傳感器，103.第一深度攝像頭的光心，104.第一深度攝像頭的光軸，105.第一深度攝像頭的視野，

2.第二深度攝像頭，204.第二深度攝像頭的光軸，205.第二深度攝像頭的視野，

3.第三深度攝像頭，304.第三深度攝像頭的光軸，305.第三深度攝像頭的視野，

4.殼體，

5.集線器，

6.片上系統，601.定點全景拼接單元，602.移動位置估算單元，603.整體網格生成單元，604.數據存儲器，

7.伺服驅動器，

8.伺服轉臺，801.伺服轉臺的轉動軸線，802.伺服轉臺定子，803.伺服轉臺轉子。

具體實施方式

【實施例1】

多深度攝像頭緊湊型全景掃描設備，如圖1所示，包括一組從上到下緊密排列的第一深度攝像頭1，第二深度攝像頭2，以及第三深度攝像頭3，這些深度攝像頭固連在殼體4內腔的側面，并和一個集線器5電性連接(如圖2)，該集線器5再與一個片上系統6電性連接；該片上系統6內包含了對深度和彩色圖像的處理單元；該片上系統6又與一個伺服驅動器7電性連接，該伺服驅動器7再與單軸伺服轉臺8電性連接，該伺服轉臺8的定子固連在殼體4內腔的底面。

如圖3所示，第一深度攝像頭1集成了深度傳感器101和彩色傳感器102，可同時拍攝深度圖像和彩色圖像。第一深度攝像頭的光心103是指第一深度攝像頭中彩色傳感器102的感光中心，而第一深度攝像頭的光軸104是通過光心103，垂直于彩色傳感器感光平面并且指向拍攝方向的射線(如圖4)。第二深度攝像頭2、第三深度攝像頭3的結構與圖3中的第一深度攝像頭1完全相同。

三個深度攝像頭的光軸104、204和304位于同一個豎直平面內，并且都指向同一個半平面，如圖4中的本發(fā)明的側視圖所示，位于上方的第一深度攝像頭1的光軸104指向該半平面的斜下方向，位于中間的第二深度攝像頭2的光軸204指向該半平面的水平方向，位于下方的第三深度攝像頭3的光軸304指向該半平面的斜上方向，保證了三個深度攝像頭的視野105、205和305在有部分重疊的前提下，總視野盡可能大，即總視野的邊緣貼近于殼體4的邊緣。

集線器5使用了星型拓撲結構連接深度攝像頭1、2、3以及片上系統6，如圖2所示，將片上系統6上的一個深度攝像頭接口擴展成了多個獨立工作的深度攝像頭接口。本實施例中深度攝像頭采用usb接口，而集線器5則相應的采用usb集線器。

如圖5所示，片上系統6中包含了深度/彩色圖像處理單元，具體包括電性串聯的定點全景拼接單元601、移動位置估算單元602以及整體網格生成單元603，這三個單元又各自與數據存儲器604電性連接。

定點全景拼接單元601在本發(fā)明的設備安放于某一地點時，通過片上系統6向伺服驅動器7發(fā)出使伺服轉臺8旋轉一周的指令，并同時啟動掃描，利用可預知的伺服轉臺8的旋轉角度以及預存在數據存儲器604中的深度攝像頭標定數據，把接收到的深度/彩色圖像掃描數據拼接起來，得到該固定點處的深度/彩色全景圖；并把全景圖的結果以及原始的深度/彩色圖像數據緩存到數據存儲器604中。

移動位置估算單元602在本發(fā)明的設備移動到一個新的地點后，調用定點全景拼接單元601所輸出當前點的全景圖，以及數據存儲器604中緩存的已有點的全景圖和深度攝像頭標定數據，基于圖像匹配操作來估算當前點和已有點之間的相對位置，并把結果緩存到數據存儲器604中。

整體網格生成單元603調用移動位置估算單元602所輸出的當前點的位置，以及數據存儲器604中緩存的深度/彩色圖像數據和已有點的位置，基于深度圖像融合以及網格化操作來生成整個已掃描場景的3d網格，并以彩色圖像作為該網格的表面紋理；生成的整體網格及表面紋理存入數據存儲器604中。

伺服驅動器7用來控制伺服轉臺8的旋轉，伺服驅動器7的啟動指令由片上系統6發(fā)出。在本實施例中，伺服驅動器7的控制邏輯可設置為伺服轉臺8旋轉個固定角度(如60°)后暫停一次，同時啟用深度攝像頭1、2、3進行拍攝，然后重復這一過程直至滿一周360。

單軸伺服轉臺8的唯一轉動軸線801位于三個深度攝像頭1、2、3的光軸所在的豎直平面內，并且保持豎直，如圖6中的本發(fā)明的正視圖所示。伺服轉臺8固定在殼體4內腔的底面，即伺服轉臺的定子802與殼體4固連，而伺服轉臺的轉子803則伸出殼體4之外。

在本實施例中，伺服轉臺的轉子803將與三腳架通過螺絲來固定；以支撐本發(fā)明的設備。當伺服轉臺8旋轉時，將帶動本發(fā)明的設備相對于三腳架作旋轉，實現在某個位置的全景掃描。然后可搬動三腳架到下一個臨近位置，并再次啟動旋轉和全景掃描過程，直至完成對整個場景的掃描。

【實施例2】

在本實施例中，伺服轉臺的轉子803將通過螺絲固定在一個移動平臺之上，例如機器人之上。機器人可自動或遙控移動到某一位置停下，并自動啟動伺服控制器7，驅動伺服轉臺8旋轉從而進行該位置處的全景掃描；然后機器人自動或遙控移動到下一個位置停下，再次自動啟動伺服控制器7，重復旋轉及全景掃描的過程；依此類推。

本實施例中的各方面可以和實施例1中不沖突的任何方面相結合，以構成進一步的實施例，而不會丟失所要尋求的效果。

【實施例3】

本發(fā)明包含至少一組深度攝像頭(即至少三個深度攝像頭)，具體的組數不做限制，在本實施例中將使用兩組深度攝像頭。各組深度攝像頭以單軸伺服轉臺8的轉動軸線801為旋轉對稱中心，平均分布在殼體4內腔的側面。即其中一組深度攝像頭如果繞伺服轉臺8的轉動軸線801旋轉180°，則與另一組深度攝像頭的位置重合。因為本實施例中有兩組深度攝像頭，則集線器5的接口數量相應增加，即共有六個接口；而伺服驅動器7所控制的旋轉角度則相應減少，即只要旋轉半周180°即可。

本實施例中的各方面可以和實施例1和2中不沖突的任何方面相結合，以構成進一步的實施例，而不會丟失所要尋求的效果。

【實施例4】

在本實施例中可以為本發(fā)明的設備添加無線傳輸單元，例如添加wifi或藍牙模塊，該無線傳輸單元與所述片上系統6電性連接，其目的包括但不限于遠程觀測全景掃描過程，遠程讀取最終的全景掃描結果，以及遠程發(fā)送遙控指令等，例如向片上系統6遠程發(fā)送伺服控制器7的啟動指令。但該無線傳輸單元并不是必需的，本發(fā)明的實現并不依賴于無線傳輸單元。

本實施例中的各方面可以和實施例1、2和3中不沖突的任何方面相結合，以構成進一步的實施例，而不會丟失所要尋求的效果。