本發(fā)明涉及視頻處理，具體地，涉及一種具有內(nèi)容校正功能的深度相機(jī)。

背景技術(shù)：

1、近年來，隨著線上視頻溝通交流的興起，在線教育、在線會(huì)議、在線直播等在線視頻溝通的方式越來越流行。然而，在線視頻所用到的攝像頭通常需要正面對著屏幕前的人。因此，當(dāng)在溝通的同時(shí)需要人手動(dòng)寫字畫圖時(shí)，畫面中的桌面由于攝像頭視角原因，呈現(xiàn)出來的是斜視、反視的畫面，導(dǎo)致溝通十分不便。

2、目前人們對這一問題的主要解決方案是，用平板等設(shè)備同時(shí)連接在線會(huì)議軟件，用平板作為電子寫字板，然后把平板中實(shí)時(shí)生成的電子寫字板投屏到屏幕，從而獲得校正之后更符合人眼正視的寫字板。

3、但這種方案有兩個(gè)主要的問題：1.解決方案的成本比較昂貴，除了會(huì)議攝像頭之外，還需要專門配置電子寫字板；2.操作不便，需要用戶手動(dòng)連接電子寫字板和視頻會(huì)議軟件，復(fù)雜度取決于會(huì)議軟件對電子寫字板的支持程度。對于普通的視頻交流用戶而言，更希望能繞過這兩個(gè)問題，最好能像面對面溝通那樣，可以直接用最方便的紙和筆寫字畫圖來輔助溝通。

4、在另一些單獨(dú)的圖像處理方案中，采用攝像頭獲得待轉(zhuǎn)換對象的圖像，如a4紙等。本方案僅對特定對象(如僅a4紙)可行，并對于攝像頭與待轉(zhuǎn)換對象的相對關(guān)系要求較高，需要a4紙以較大幅度充滿攝像頭的視野，并且攝像頭需要與待轉(zhuǎn)換對象的角度接近90度。

5、以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請的申請日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評(píng)價(jià)本技術(shù)的新穎性和創(chuàng)造性。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明利用光接收模塊獲得的圖像信息進(jìn)行三維重建，進(jìn)而擬合出桌面平面，求取深度相機(jī)與桌面的透視變換矩陣，從而得到俯拍校正后的桌面圖像，具有成本低、操作簡便、精度高、快速的優(yōu)點(diǎn)，可以支持輸出校正后的文字和圖像，相比于傳統(tǒng)深度相機(jī)更適合會(huì)議等場景。

2、第一方面，本發(fā)明提供一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，包括：

3、光投射模塊，用于向目標(biāo)空間投射結(jié)構(gòu)光光束或泛光；

4、光接收模塊，用于接收所述結(jié)構(gòu)光光束或所述泛光，以生成電信號(hào)；

5、處理器，用于根據(jù)所述電信號(hào)生成圖像信息，對所述圖像信息進(jìn)行三維重建，并在三維空間內(nèi)擬合出桌面平面，通過計(jì)算所述桌面平面的法向量和所述桌面的質(zhì)心的距離，計(jì)算得到透視變換矩陣h，得到校正后的桌面區(qū)域。

6、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，所述處理器包括：

7、圖像信息模塊，用于根據(jù)所述電信號(hào)生成圖像信息；

8、點(diǎn)云模塊，用于獲取所述圖像信息模塊生成的第一幀圖像，再結(jié)合所述深度相機(jī)的內(nèi)參矩陣，計(jì)算出rgb圖中感興趣區(qū)域中像素的三維點(diǎn)云信息；其中，所述感興趣區(qū)域由所述第一幀圖像的前一幀圖像獲得；

9、第一計(jì)算模塊，用于基于所述三維點(diǎn)云信息，過濾掉桌面以外的點(diǎn)云，擬合出桌面平面，進(jìn)而得到所述桌面平面的法向量和所述深度相機(jī)距離所述桌面的質(zhì)心的距離；

10、第二計(jì)算模塊，用于計(jì)算透視變換矩陣h，對圖像進(jìn)行透視變換，從而得到俯拍校正后的桌面區(qū)域；

11、感興趣區(qū)域模塊，用于對所述桌面區(qū)域在所述rgb圖中對應(yīng)的區(qū)域，進(jìn)行成比例放大，得到下一幀的感興趣區(qū)域。

12、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，還包括：

13、調(diào)節(jié)模塊，用于根據(jù)所述俯拍校正后的桌面區(qū)域調(diào)節(jié)所述光投射模塊投射的密度或強(qiáng)度。

14、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，所述第一計(jì)算模塊在處理時(shí)包括如下步驟：

15、步驟s21：過濾掉所述像素的深度值過大的像素點(diǎn)，得到核心區(qū)域；

16、步驟s22：在所述核心區(qū)域內(nèi)識(shí)別出平面區(qū)域，并進(jìn)行擬合，得到桌面平面；

17、步驟s23：計(jì)算得到所述桌面平面的法向量和所述深度相機(jī)距離所述桌面的質(zhì)心的距離。

18、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，步驟s22包括：

19、步驟s221：在所述核心區(qū)域內(nèi)識(shí)別出平面區(qū)域；其中，所述平面區(qū)域包括多個(gè)平面；

20、步驟s222：獲得面積最大的第一平面和與最多所述平面相連的第二平面；

21、步驟s223：若所述第一平面與所述第二平面為不同平面，執(zhí)行步驟s224；若所述第一平面與所述第二平面為同一平面，則將所述第一平面標(biāo)記為桌面平面；

22、步驟s224：對所述第二平面進(jìn)行目標(biāo)對象識(shí)別，并進(jìn)行面積計(jì)算，若存在目標(biāo)對象，且面積大于第一閾值，則將所述第二平面標(biāo)記為桌面平面；否則將所述第一平面標(biāo)記為桌面平面。

23、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，所述第二計(jì)算模塊在處理時(shí)包括如下步驟：

24、步驟s31：計(jì)算出從所述桌面的斜視視角轉(zhuǎn)換為俯視視角所需要的旋轉(zhuǎn)矩陣r和平移向量t；

25、步驟s32：基于所述旋轉(zhuǎn)矩陣r和所述平移向量t，計(jì)算出透視變換矩陣h；

26、步驟s33：利用所述透視變換矩陣h，對圖像進(jìn)行透視變換，從而得到俯拍校正后的桌面區(qū)域。

27、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，步驟s31包括：

28、步驟s311：基于所述桌面的法向量a，以及目標(biāo)法向量b＝(0,0,-1)，求取旋轉(zhuǎn)矩陣r：

29、

30、其中，i是單位矩陣，v＝a×b，s＝||v||sin(α)，α為a和b的夾角，c＝a·b，

31、

32、步驟s312：根據(jù)公式t＝-(r·pcenter_above)求取平移向量t；其中，r為旋轉(zhuǎn)矩陣，pcenter_above＝pcenter+h*a，pcenter為桌面質(zhì)心坐標(biāo)，h為用戶指定的俯視高度。

33、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，在步驟s32中根據(jù)如下公式求取透視變換矩陣h：

34、

35、其中，第一項(xiàng)cint為相機(jī)內(nèi)參，第二項(xiàng)中r分別為3x3旋轉(zhuǎn)矩陣中對應(yīng)元素，tx、ty、tz分別為平移向量t中對應(yīng)元素。

36、第二方面，本發(fā)明提供一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，包括：

37、光投射模塊，用于向目標(biāo)空間投射結(jié)構(gòu)光光束或泛光；

38、光接收模塊，用于接收所述結(jié)構(gòu)光光束或所述泛光，以生成電信號(hào)；

39、處理器，用于根據(jù)所述電信號(hào)生成圖像信息，對所述圖像信息進(jìn)行三維重建，并在三維空間內(nèi)擬合出桌面平面，識(shí)別人眼的位置，計(jì)算所述桌面的質(zhì)心與所述人眼的向量及距離，計(jì)算將所述深度相機(jī)的視角轉(zhuǎn)換為人眼視角下的透視變換矩陣h’，得到人眼視角下的桌面區(qū)域。

40、可選地，所述的一種具有內(nèi)容校正功能的深度相機(jī)，其特征在于，當(dāng)有多臺(tái)具有內(nèi)容校正功能的深度相機(jī)通過網(wǎng)絡(luò)相連時(shí)，所述顯示裝置可以顯示其他具有內(nèi)容校正功能的深度相機(jī)的所述深度相機(jī)獲取的圖像。

41、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

42、本發(fā)明通過利用深度相機(jī)獲得包含桌面的信息，進(jìn)而利用三維點(diǎn)云信息對桌面進(jìn)行識(shí)別與計(jì)算，相比于利用二維平面進(jìn)行計(jì)算，可以更好地利用三維空間對目標(biāo)對象進(jìn)行分割，并且可以利用更大范圍進(jìn)行變換，避免了目標(biāo)對象邊緣的區(qū)域因?yàn)樽儞Q而出現(xiàn)的畸變，具有更高的質(zhì)量。

43、本發(fā)明對桌面為轉(zhuǎn)換對象，不依賴于目標(biāo)對象的識(shí)別，可以適用于各類形狀、尺寸的目標(biāo)對象的轉(zhuǎn)換，具有非常強(qiáng)的適應(yīng)性與通用性。

44、本發(fā)明僅需深度相機(jī)即可實(shí)現(xiàn)目標(biāo)對象的轉(zhuǎn)換，相比于依賴平板等設(shè)備，用戶可以更加自主地進(jìn)行各類內(nèi)容的展示，而無需受到硬件設(shè)備大小的限制，同時(shí)用戶也可以使用多樣的工具進(jìn)行展示，具有更高的自由度與便捷性。

45、本發(fā)明既可以智能地將斜視、反視的桌面一鍵校正為符合人眼感官的俯視圖，方便視頻用戶更加有效地溝通交流，又能解決當(dāng)前主流方案中外接電子寫字板帶來的成本高昂和操作不便的問題。

46、本發(fā)明以深度相機(jī)的前端算力對圖像信息進(jìn)行處理，可以直接利用原始數(shù)據(jù)進(jìn)行處理，可以與其他程度共同三維空間等信息，具有更高的效率。