所屬的技術(shù)人員能夠理解，本發(fā)明的各個方面可以實現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本發(fā)明的各個方面可以具體實現(xiàn)為以下形式，即：完全的硬件實施方式、完全的軟件實施方式(包括固件、微代碼等)，或硬件和軟件方面結(jié)合的實施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“平臺”。圖10是本發(fā)明實施例中的一種智能桌面俯拍校正設(shè)備的結(jié)構(gòu)示意圖。下面參照圖10來描述根據(jù)本發(fā)明的這種實施方式的電子設(shè)備600。圖10顯示的電子設(shè)備600僅僅是一個示例，不應(yīng)對本發(fā)明實施例的功能和使用范圍帶來任何限制。如圖10所示，電子設(shè)備600以通用計算設(shè)備的形式表現(xiàn)。電子設(shè)備600的組件可以包括但不限于：至少一個處理單元610、至少一個存儲單元620、連接不同平臺組件(包括存儲單元620和處理單元610)的總線630、顯示單元640等。其中，存儲單元存儲有程序代碼，程序代碼可以被處理單元610執(zhí)行，使得處理單元610執(zhí)行本說明書上述一種智能桌面俯拍校正方法部分中描述的根據(jù)本發(fā)明各種示例性實施方式的步驟。例如，處理單元610可以執(zhí)行如圖1中所示的步驟。存儲單元620可以包括易失性存儲單元形式的可讀介質(zhì)，例如隨機存取存儲單元(ram)6201和/或高速緩存存儲單元6202，還可以進一步包括只讀存儲單元(rom)6203。存儲單元620還可以包括具有一組(至少一個)程序模塊6205的程序/實用工具6204，這樣的程序模塊6205包括但不限于：操作系統(tǒng)、一個或者多個應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實現(xiàn)。總線630可以為表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。電子設(shè)備600也可以與一個或多個外部設(shè)備700(例如鍵盤、指向設(shè)備、藍牙設(shè)備等)通信，還可與一個或者多個使得用戶能與該電子設(shè)備600交互的設(shè)備通信，和/或與使得該電子設(shè)備600能與一個或多個其它計算設(shè)備進行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(i/o)接口650進行。并且，電子設(shè)備600還可以通過網(wǎng)絡(luò)適配器660與一個或者多個網(wǎng)絡(luò)(例如局域網(wǎng)(lan)，廣域網(wǎng)(wan)和/或公共網(wǎng)絡(luò)，例如因特網(wǎng))通信。網(wǎng)絡(luò)適配器660可以通過總線630與電子設(shè)備600的其它模塊通信。應(yīng)當(dāng)明白，盡管圖10中未示出，可以結(jié)合電子設(shè)備600使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、raid系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲平臺等。本發(fā)明實施例中還提供一種計算機可讀存儲介質(zhì)，用于存儲程序，程序被執(zhí)行時實現(xiàn)的一種智能桌面俯拍校正方法的步驟。在一些可能的實施方式中，本發(fā)明的各個方面還可以實現(xiàn)為一種程序產(chǎn)品的形式，其包括程序代碼，當(dāng)程序產(chǎn)品在終端設(shè)備上運行時，程序代碼用于使終端設(shè)備執(zhí)行本說明書上述一種智能桌面俯拍校正方法部分中描述的根據(jù)本發(fā)明各種示例性實施方式的步驟。如上所示，本實施例利用rgbd相機獲得包含桌面在內(nèi)的三維點云信息，進而擬合出桌面平面，求取rgbd相機與桌面的透視變換矩陣，從而得到俯拍校正后的桌面圖像，具有成本低、操作簡便、精度高、快速的優(yōu)點。圖11是本發(fā)明實施例中的計算機可讀存儲介質(zhì)的結(jié)構(gòu)示意圖。參考圖11所示，描述了根據(jù)本發(fā)明的實施方式的用于實現(xiàn)上述方法的程序產(chǎn)品800，其可以采用便攜式緊湊盤只讀存儲器(cd-rom)并包括程序代碼，并可以在終端設(shè)備，例如個人電腦上運行。然而，本發(fā)明的程序產(chǎn)品不限于此，在本文件中，可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。程序產(chǎn)品可以采用一個或多個可讀介質(zhì)的任意組合?？勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)?？勺x存儲介質(zhì)例如可以為但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合?？勺x存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。計算機可讀存儲介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式，包括但不限于電磁信號、光信號或上述的任意合適的組合?？勺x存儲介質(zhì)還可以是可讀存儲介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序?？勺x存儲介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括但不限于無線、有線、光纜、rf等等，或者上述的任意合適的組合。可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的程序代碼，程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言—諸如java、c++等，還包括常規(guī)的過程式程序設(shè)計語言—諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠程計算設(shè)備上執(zhí)行、或者完全在遠程計算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠程計算設(shè)備的情形中，遠程計算設(shè)備可以通過任意種類的網(wǎng)絡(luò)，包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)，連接到用戶計算設(shè)備，或者，可以連接到外部計算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。本實施例利用rgbd相機獲得包含桌面在內(nèi)的三維點云信息，進而擬合出桌面平面，求取rgbd相機與桌面的透視變換矩陣，從而得到俯拍校正后的桌面圖像，具有成本低、操作簡便、精度高、快速的優(yōu)點。本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對所公開的實施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述特定實施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實質(zhì)內(nèi)容。

背景技術(shù)：

1、近年來，隨著線上視頻溝通交流的興起，在線教育、在線會議、在線直播等在線視頻溝通的方式越來越流行。然而，在線視頻所用到的攝像頭通常需要正面對著屏幕前的人。因此，當(dāng)在溝通的同時需要人手動寫字畫圖時，畫面中的桌面由于攝像頭視角原因，呈現(xiàn)出來的是斜視、反視的畫面，導(dǎo)致溝通十分不便。

2、目前人們對這一問題的主要解決方案是，用平板等設(shè)備同時連接在線會議軟件，用平板作為電子寫字板，然后把平板中實時生成的電子寫字板投屏到屏幕，從而獲得校正之后更符合人眼正視的寫字板。

3、但這種方案有兩個主要的問題：1.解決方案的成本比較昂貴，除了會議攝像頭之外，還需要專門配置電子寫字板；2.操作不便，需要用戶手動連接電子寫字板和視頻會議軟件，復(fù)雜度取決于會議軟件對電子寫字板的支持程度。對于普通的視頻交流用戶而言，更希望能繞過這兩個問題，最好能像面對面溝通那樣，可以直接用最方便的紙和筆寫字畫圖來輔助溝通。

4、在另一些單獨的圖像處理方案中，采用攝像頭獲得待轉(zhuǎn)換對象的圖像，如a4紙等。本方案僅對特定對象(如僅a4紙)可行，并對于攝像頭與待轉(zhuǎn)換對象的相對關(guān)系要求較高，需要a4紙以較大幅度充滿攝像頭的視野，并且攝像頭需要與待轉(zhuǎn)換對象的角度接近90度。

5、以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請的申請日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評價本技術(shù)的新穎性和創(chuàng)造性。

技術(shù)實現(xiàn)思路

1、為此，本發(fā)明利用rgbd相機獲得包含桌面在內(nèi)的三維點云信息，進而擬合出桌面平面，求取rgbd相機與桌面的透視變換矩陣，從而得到俯拍校正后的桌面圖像，具有成本低、操作簡便、精度高、快速的優(yōu)點。

2、第一方面，本發(fā)明提供一種智能桌面俯拍校正方法，其特征在于，包括如下步驟：

3、步驟s1：基于rgbd相機獲取視野范圍內(nèi)的目標空間信息，再結(jié)合所述rgbd相機的內(nèi)參矩陣，計算出rgb中每個像素的三維點云信息；

4、步驟s2：基于所述三維點云信息，過濾掉桌面以外的點云，擬合出桌面平面，進而得到所述桌面平面的法向量和所述rgbd相機距離所述桌面的質(zhì)心的距離；

5、步驟s3：計算出從所述桌面的斜視視角轉(zhuǎn)換為俯視視角所需要的旋轉(zhuǎn)矩陣r和平移向量t；

6、步驟s4：基于所述旋轉(zhuǎn)矩陣r和所述平移向量t，計算出透視變換矩陣h；

7、步驟s5：基于所述透視變換矩陣h，對圖像進行透視變換，從而得到俯拍校正后的桌面。

8、可選地，所述的一種智能桌面俯拍校正方法，其特征在于，步驟s2包括：

9、步驟s21：過濾掉所述像素的深度值過大的像素點，得到核心區(qū)域；

10、步驟s22：在所述核心區(qū)域內(nèi)識別出平面區(qū)域，并進行擬合，得到桌面平面；

11、步驟s23：計算得到所述桌面平面的法向量和所述rgbd相機距離所述桌面的質(zhì)心的距離。

12、可選地，所述的一種智能桌面俯拍校正方法，其特征在于，在所述步驟s21中，除了利用深度值進行過濾外，還根據(jù)像素點位于圖像的區(qū)域進行過濾。

13、可選地，所述的一種智能桌面俯拍校正方法，其特征在于，步驟s22包括：

14、步驟s221：在所述核心區(qū)域內(nèi)識別出平面區(qū)域；其中，所述平面區(qū)域包括多個平面；

15、步驟s222：獲得面積最大的第一平面和與最多所述平面相連的第二平面；

16、步驟s223：若所述第一平面與所述第二平面為不同平面，執(zhí)行步驟s224；若所述第一平面與所述第二平面為同一平面，則將所述第一平面標記為桌面平面；

17、步驟s224：對所述第二平面進行目標對象識別，并進行面積計算，若存在目標對象，且面積大于第一閾值，則將所述第二平面標記為桌面平面；否則將所述第一平面標記為桌面平面。

18、可選地，所述的一種智能桌面俯拍校正方法，其特征在于，步驟s3包括：

19、步驟s31：基于所述桌面的法向量a，以及目標法向量b＝(0,0,-1)，求取旋轉(zhuǎn)矩陣r：

20、

21、其中，i是單位矩陣，v＝a×b，s＝||v||sin(α)，α為a和b的夾角，c＝a·b，

22、

23、步驟s32：根據(jù)公式t＝-(r·pcenter_above)求取平移向量t；其中，r為旋轉(zhuǎn)矩陣，pcenter_above＝pcenter+h*a，pcenter為桌面質(zhì)心坐標，h為用戶指定的俯視高度。

24、可選地，所述的一種智能桌面俯拍校正方法，其特征在于，在步驟s4中根據(jù)如下公式求取透視變換矩陣h：

25、

26、其中，第一項cint為相機內(nèi)參，第二項中r分別為3x3旋轉(zhuǎn)矩陣中對應(yīng)元素，tx、ty、tz分別為平移向量t中對應(yīng)元素。

27、可選地，所述的一種智能桌面俯拍校正方法，其特征在于，還包括：

28、步驟s6：對所述桌面上的預(yù)設(shè)區(qū)域進行目標識別，在去除背景區(qū)域后對目標對象進行縮放，以獲得所述目標對象的最佳展示效果。

29、第二方面，本發(fā)明提供一種智能桌面俯拍校正系統(tǒng)，用于實現(xiàn)上述任一項所述的智能桌面俯拍校正方法，其特征在于，包括：

30、點云模塊，用于基于rgbd相機獲取視野范圍內(nèi)的目標空間信息，再結(jié)合所述rgbd相機的內(nèi)參矩陣，計算出rgb中每個像素的三維點云信息；

31、法向量模塊，用于基于所述三維點云信息，過濾掉桌面以外的點云，擬合出桌面平面，進而得到所述桌面平面的法向量和所述rgbd相機距離所述桌面的質(zhì)心的距離；

32、第一計算模塊，用于計算出從所述桌面的斜視視角轉(zhuǎn)換為俯視視角所需要的旋轉(zhuǎn)矩陣r和平移向量t；

33、第二計算模塊，用于基于所述旋轉(zhuǎn)矩陣r和所述平移向量t，計算出透視變換矩陣h；

34、變換模塊，用于基于所述透視變換矩陣h，對圖像進行透視變換，從而得到俯拍校正后的桌面。

35、第三方面，本發(fā)明提供一種智能桌面俯拍校正設(shè)備，其特征在于，包括：

36、處理器；

37、存儲器，其中存儲有所述處理器的可執(zhí)行指令；

38、其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來執(zhí)行上述任意一項所述智能桌面俯拍校正方法的步驟。

39、第四方面，本發(fā)明提供一種計算機可讀存儲介質(zhì)，用于存儲程序，其特征在于，所述程序被執(zhí)行時實現(xiàn)前述任意一項所述智能桌面俯拍校正方法的步驟。

40、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

41、本發(fā)明通過利用rgbd相機獲得包含桌面的信息，進而利用三維點云信息對桌面進行識別與計算，相比于利用二維平面進行計算，可以更好地利用三維空間對目標對象進行分割，并且可以利用更大范圍進行變換，避免了目標對象邊緣的區(qū)域因為變換而出現(xiàn)的畸變，具有更高的質(zhì)量。

42、本發(fā)明對桌面為轉(zhuǎn)換對象，不依賴于目標對象的識別，可以適用于各類形狀、尺寸的目標對象的轉(zhuǎn)換，具有非常強的適應(yīng)性與通用性。

43、本發(fā)明僅需rgbd相機即可實現(xiàn)目標對象的轉(zhuǎn)換，相比于依賴平板等設(shè)備，用戶可以更加自主地進行各類內(nèi)容的展示，而無需受到硬件設(shè)備大小的限制，同時用戶也可以使用多樣的工具進行展示，具有更高的自由度與便捷性。

44、本發(fā)明既可以智能地將斜視、反視的桌面一鍵校正為符合人眼感官的俯視圖，方便視頻用戶更加有效地溝通交流，又能解決當(dāng)前主流方案中外接電子寫字板帶來的成本高昂和操作不便的問題。