所屬的技術(shù)人員能夠理解，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即：完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“平臺(tái)”。圖12是本發(fā)明實(shí)施例中的一種視頻桌面俯拍校正設(shè)備的結(jié)構(gòu)示意圖。下面參照?qǐng)D12來(lái)描述根據(jù)本發(fā)明的這種實(shí)施方式的電子設(shè)備600。圖12顯示的電子設(shè)備600僅僅是一個(gè)示例，不應(yīng)對(duì)本發(fā)明實(shí)施例的功能和使用范圍帶來(lái)任何限制。如圖12所示，電子設(shè)備600以通用計(jì)算設(shè)備的形式表現(xiàn)。電子設(shè)備600的組件可以包括但不限于：至少一個(gè)處理單元610、至少一個(gè)存儲(chǔ)單元620、連接不同平臺(tái)組件(包括存儲(chǔ)單元620和處理單元610)的總線630、顯示單元640等。其中，存儲(chǔ)單元存儲(chǔ)有程序代碼，程序代碼可以被處理單元610執(zhí)行，使得處理單元610執(zhí)行本說(shuō)明書上述一種視頻桌面俯拍校正方法部分中描述的根據(jù)本發(fā)明各種示例性實(shí)施方式的步驟。例如，處理單元610可以執(zhí)行如圖1中所示的步驟。存儲(chǔ)單元620可以包括易失性存儲(chǔ)單元形式的可讀介質(zhì)，例如隨機(jī)存取存儲(chǔ)單元(ram)6201和/或高速緩存存儲(chǔ)單元6202，還可以進(jìn)一步包括只讀存儲(chǔ)單元(rom)6203。存儲(chǔ)單元620還可以包括具有一組(至少一個(gè))程序模塊6205的程序/實(shí)用工具6204，這樣的程序模塊6205包括但不限于：操作系統(tǒng)、一個(gè)或者多個(gè)應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個(gè)或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實(shí)現(xiàn)?？偩€630可以為表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲(chǔ)單元總線或者存儲(chǔ)單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。電子設(shè)備600也可以與一個(gè)或多個(gè)外部設(shè)備700(例如鍵盤、指向設(shè)備、藍(lán)牙設(shè)備等)通信，還可與一個(gè)或者多個(gè)使得用戶能與該電子設(shè)備600交互的設(shè)備通信，和/或與使得該電子設(shè)備600能與一個(gè)或多個(gè)其它計(jì)算設(shè)備進(jìn)行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過(guò)輸入/輸出(i/o)接口650進(jìn)行。并且，電子設(shè)備600還可以通過(guò)網(wǎng)絡(luò)適配器660與一個(gè)或者多個(gè)網(wǎng)絡(luò)(例如局域網(wǎng)(lan)，廣域網(wǎng)(wan)和/或公共網(wǎng)絡(luò)，例如因特網(wǎng))通信。網(wǎng)絡(luò)適配器660可以通過(guò)總線630與電子設(shè)備600的其它模塊通信。應(yīng)當(dāng)明白，盡管圖12中未示出，可以結(jié)合電子設(shè)備600使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動(dòng)器、冗余處理單元、外部磁盤驅(qū)動(dòng)陣列、raid系統(tǒng)、磁帶驅(qū)動(dòng)器以及數(shù)據(jù)備份存儲(chǔ)平臺(tái)等。本發(fā)明實(shí)施例中還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)程序，程序被執(zhí)行時(shí)實(shí)現(xiàn)的一種視頻桌面俯拍校正方法的步驟。在一些可能的實(shí)施方式中，本發(fā)明的各個(gè)方面還可以實(shí)現(xiàn)為一種程序產(chǎn)品的形式，其包括程序代碼，當(dāng)程序產(chǎn)品在終端設(shè)備上運(yùn)行時(shí)，程序代碼用于使終端設(shè)備執(zhí)行本說(shuō)明書上述一種視頻桌面俯拍校正方法部分中描述的根據(jù)本發(fā)明各種示例性實(shí)施方式的步驟。如上所示，本實(shí)施例利用rgbd相機(jī)獲得包含桌面在內(nèi)的三維點(diǎn)云信息，并利用前一幀圖像提供的感興趣區(qū)域縮小范圍，進(jìn)而擬合出桌面平面，求取rgbd相機(jī)與桌面的透視變換矩陣，從而得到俯拍校正后的桌面圖像，具有成本低、操作簡(jiǎn)便、精度高、快速的優(yōu)點(diǎn)。圖13是本發(fā)明實(shí)施例中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的結(jié)構(gòu)示意圖。參考圖13所示，描述了根據(jù)本發(fā)明的實(shí)施方式的用于實(shí)現(xiàn)上述方法的程序產(chǎn)品800，其可以采用便攜式緊湊盤只讀存儲(chǔ)器(cd-rom)并包括程序代碼，并可以在終端設(shè)備，例如個(gè)人電腦上運(yùn)行。然而，本發(fā)明的程序產(chǎn)品不限于此，在本文件中，可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。程序產(chǎn)品可以采用一個(gè)或多個(gè)可讀介質(zhì)的任意組合。可讀介質(zhì)可以是可讀信號(hào)介質(zhì)或者可讀存儲(chǔ)介質(zhì)?？勺x存儲(chǔ)介質(zhì)例如可以為但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合?？勺x存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、可擦式可編程只讀存儲(chǔ)器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(cd-rom)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括但不限于電磁信號(hào)、光信號(hào)或上述的任意合適的組合?？勺x存儲(chǔ)介質(zhì)還可以是可讀存儲(chǔ)介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序?？勺x存儲(chǔ)介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括但不限于無(wú)線、有線、光纜、rf等等，或者上述的任意合適的組合?？梢砸砸环N或多種程序設(shè)計(jì)語(yǔ)言的任意組合來(lái)編寫用于執(zhí)行本發(fā)明操作的程序代碼，程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言—諸如java、c++等，還包括常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言—諸如“c”語(yǔ)言或類似的程序設(shè)計(jì)語(yǔ)言。程序代碼可以完全地在用戶計(jì)算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算設(shè)備上部分在遠(yuǎn)程計(jì)算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算設(shè)備的情形中，遠(yuǎn)程計(jì)算設(shè)備可以通過(guò)任意種類的網(wǎng)絡(luò)，包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)，連接到用戶計(jì)算設(shè)備，或者，可以連接到外部計(jì)算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來(lái)通過(guò)因特網(wǎng)連接)。本實(shí)施例利用rgbd相機(jī)獲得包含桌面在內(nèi)的三維點(diǎn)云信息，并利用前一幀圖像提供的感興趣區(qū)域縮小范圍，進(jìn)而擬合出桌面平面，求取rgbd相機(jī)與桌面的透視變換矩陣，從而得到俯拍校正后的桌面圖像，具有成本低、操作簡(jiǎn)便、精度高、快速的優(yōu)點(diǎn)。本說(shuō)明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見(jiàn)即可。對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。

背景技術(shù)：

1、近年來(lái)，隨著線上視頻溝通交流的興起，在線教育、在線會(huì)議、在線直播等在線視頻溝通的方式越來(lái)越流行。然而，在線視頻所用到的攝像頭通常需要正面對(duì)著屏幕前的人。因此，當(dāng)在溝通的同時(shí)需要人手動(dòng)寫字畫圖時(shí)，畫面中的桌面由于攝像頭視角原因，呈現(xiàn)出來(lái)的是斜視、反視的畫面，導(dǎo)致溝通十分不便。

2、目前人們對(duì)這一問(wèn)題的主要解決方案是，用平板等設(shè)備同時(shí)連接在線會(huì)議軟件，用平板作為電子寫字板，然后把平板中實(shí)時(shí)生成的電子寫字板投屏到屏幕，從而獲得校正之后更符合人眼正視的寫字板。

3、但這種方案有兩個(gè)主要的問(wèn)題：1.解決方案的成本比較昂貴，除了會(huì)議攝像頭之外，還需要專門配置電子寫字板；2.操作不便，需要用戶手動(dòng)連接電子寫字板和視頻會(huì)議軟件，復(fù)雜度取決于會(huì)議軟件對(duì)電子寫字板的支持程度。對(duì)于普通的視頻交流用戶而言，更希望能繞過(guò)這兩個(gè)問(wèn)題，最好能像面對(duì)面溝通那樣，可以直接用最方便的紙和筆寫字畫圖來(lái)輔助溝通。

4、在另一些單獨(dú)的圖像處理方案中，采用攝像頭獲得待轉(zhuǎn)換對(duì)象的圖像，如a4紙等。本方案僅對(duì)特定對(duì)象(如僅a4紙)可行，并對(duì)于攝像頭與待轉(zhuǎn)換對(duì)象的相對(duì)關(guān)系要求較高，需要a4紙以較大幅度充滿攝像頭的視野，并且攝像頭需要與待轉(zhuǎn)換對(duì)象的角度接近90度。

5、以上背景技術(shù)內(nèi)容的公開(kāi)僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請(qǐng)的現(xiàn)有技術(shù)，在沒(méi)有明確的證據(jù)表明上述內(nèi)容在本專利申請(qǐng)的申請(qǐng)日已經(jīng)公開(kāi)的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評(píng)價(jià)本技術(shù)的新穎性和創(chuàng)造性。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明利用rgbd相機(jī)獲得包含桌面在內(nèi)的三維點(diǎn)云信息，并利用前一幀圖像提供的感興趣區(qū)域縮小范圍，進(jìn)而擬合出桌面平面，求取rgbd相機(jī)與桌面的透視變換矩陣，從而得到俯拍校正后的桌面圖像，具有成本低、操作簡(jiǎn)便、精度高、快速的優(yōu)點(diǎn)。

2、第一方面，本發(fā)明提供一種視頻桌面俯拍校正方法，其特征在于，包括如下步驟：

3、步驟s1：獲取由rgbd相機(jī)拍攝的第一幀圖像，再結(jié)合所述rgbd相機(jī)的內(nèi)參矩陣，計(jì)算出rgb圖中感興趣區(qū)域中像素的三維點(diǎn)云信息；其中，所述感興趣區(qū)域由所述第一幀圖像的前一幀圖像獲得；

4、步驟s2：基于所述三維點(diǎn)云信息，過(guò)濾掉桌面以外的點(diǎn)云，擬合出桌面平面，進(jìn)而得到所述桌面平面的法向量和所述rgbd相機(jī)距離所述桌面的質(zhì)心的距離；

5、步驟s3：計(jì)算透視變換矩陣h，對(duì)圖像進(jìn)行透視變換，從而得到俯拍校正后的桌面區(qū)域；

6、步驟s4：對(duì)所述桌面區(qū)域在所述rgb圖中對(duì)應(yīng)的區(qū)域，進(jìn)行成比例放大，得到下一幀的感興趣區(qū)域。

7、可選地，所述的一種視頻桌面俯拍校正方法，其特征在于，步驟s2包括：

8、步驟s21：過(guò)濾掉所述像素的深度值過(guò)大的像素點(diǎn)，得到核心區(qū)域；

9、步驟s22：在所述核心區(qū)域內(nèi)識(shí)別出平面區(qū)域，并進(jìn)行擬合，得到桌面平面；

10、步驟s23：計(jì)算得到所述桌面平面的法向量和所述rgbd相機(jī)距離所述桌面的質(zhì)心的距離。

11、可選地，所述的一種視頻桌面俯拍校正方法，其特征在于，步驟s22包括：

12、步驟s221：在所述核心區(qū)域內(nèi)識(shí)別出平面區(qū)域；其中，所述平面區(qū)域包括多個(gè)平面；

13、步驟s222：獲得面積最大的第一平面和與最多所述平面相連的第二平面；

14、步驟s223：若所述第一平面與所述第二平面為不同平面，執(zhí)行步驟s224；若所述第一平面與所述第二平面為同一平面，則將所述第一平面標(biāo)記為桌面平面；

15、步驟s224：對(duì)所述第二平面進(jìn)行目標(biāo)對(duì)象識(shí)別，并進(jìn)行面積計(jì)算，若存在目標(biāo)對(duì)象，且面積大于第一閾值，則將所述第二平面標(biāo)記為桌面平面；否則將所述第一平面標(biāo)記為桌面平面。

16、可選地，所述的一種視頻桌面俯拍校正方法，其特征在于，步驟s3包括：

17、步驟s31：計(jì)算出從所述桌面的斜視視角轉(zhuǎn)換為俯視視角所需要的旋轉(zhuǎn)矩陣r和平移向量t；

18、步驟s32：基于所述旋轉(zhuǎn)矩陣r和所述平移向量t，計(jì)算出透視變換矩陣h。

19、可選地，所述的一種視頻桌面俯拍校正方法，其特征在于，步驟s31包括：

20、步驟s311：基于所述桌面的法向量a，以及目標(biāo)法向量b＝(0,0,-1)，求取旋轉(zhuǎn)矩陣r：

21、

22、其中，i是單位矩陣，v＝a×b，s＝||v||sin(α)，α為a和b的夾角，c＝a·b，

23、

24、步驟s312：根據(jù)公式t＝-(r·pcenter_above)求取平移向量t；其中，r為旋轉(zhuǎn)矩陣，pcenter_above＝pcenter+h*a，pcenter為桌面質(zhì)心坐標(biāo)，h為用戶指定的俯視高度。

25、可選地，所述的一種視頻桌面俯拍校正方法，其特征在于，在步驟s32中根據(jù)如下公式求取透視變換矩陣h：

26、

27、其中，第一項(xiàng)cint為相機(jī)內(nèi)參，第二項(xiàng)中r分別為3x3旋轉(zhuǎn)矩陣中對(duì)應(yīng)元素，tx、ty、tz分別為平移向量t中對(duì)應(yīng)元素。

28、可選地，所述的一種視頻桌面俯拍校正方法，其特征在于，還包括：

29、步驟s5：對(duì)所述桌面上的預(yù)設(shè)區(qū)域進(jìn)行目標(biāo)識(shí)別，在去除背景區(qū)域后對(duì)目標(biāo)對(duì)象進(jìn)行縮放，以獲得所述目標(biāo)對(duì)象的最佳展示效果。

30、第二方面，本發(fā)明提供一種視頻桌面俯拍校正系統(tǒng)，用于實(shí)現(xiàn)上述任一項(xiàng)所述的視頻桌面俯拍校正方法，其特征在于，包括：

31、點(diǎn)云模塊，用于獲取由rgbd相機(jī)拍攝的第一幀圖像，再結(jié)合所述rgbd相機(jī)的內(nèi)參矩陣，計(jì)算出rgb圖中感興趣區(qū)域中像素的三維點(diǎn)云信息；其中，所述感興趣區(qū)域由所述第一幀圖像的前一幀圖像獲得；

32、第一計(jì)算模塊，用于基于所述三維點(diǎn)云信息，過(guò)濾掉桌面以外的點(diǎn)云，擬合出桌面平面，進(jìn)而得到所述桌面平面的法向量和所述rgbd相機(jī)距離所述桌面的質(zhì)心的距離；

33、第二計(jì)算模塊，用于計(jì)算透視變換矩陣h，對(duì)圖像進(jìn)行透視變換，從而得到俯拍校正后的桌面區(qū)域；

34、感興趣區(qū)域模塊，用于對(duì)所述桌面區(qū)域在所述rgb圖中對(duì)應(yīng)的區(qū)域，進(jìn)行成比例放大，得到下一幀的感興趣區(qū)域。

35、第三方面，本發(fā)明提供一種視頻桌面俯拍校正設(shè)備，其特征在于，包括：

36、處理器；

37、存儲(chǔ)器，其中存儲(chǔ)有所述處理器的可執(zhí)行指令；

38、其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來(lái)執(zhí)行上述任意一項(xiàng)所述視頻桌面俯拍校正方法的步驟。

39、第四方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)程序，其特征在于，所述程序被執(zhí)行時(shí)實(shí)現(xiàn)前述任意一項(xiàng)所述視頻桌面俯拍校正方法的步驟。

40、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

41、本發(fā)明通過(guò)利用rgbd相機(jī)獲得包含桌面的信息，進(jìn)而利用三維點(diǎn)云信息對(duì)桌面進(jìn)行識(shí)別與計(jì)算，相比于利用二維平面進(jìn)行計(jì)算，可以更好地利用三維空間對(duì)目標(biāo)對(duì)象進(jìn)行分割，并且可以利用更大范圍進(jìn)行變換，避免了目標(biāo)對(duì)象邊緣的區(qū)域因?yàn)樽儞Q而出現(xiàn)的畸變，具有更高的質(zhì)量。

42、本發(fā)明對(duì)桌面為轉(zhuǎn)換對(duì)象，不依賴于目標(biāo)對(duì)象的識(shí)別，可以適用于各類形狀、尺寸的目標(biāo)對(duì)象的轉(zhuǎn)換，具有非常強(qiáng)的適應(yīng)性與通用性。

43、本發(fā)明僅需rgbd相機(jī)即可實(shí)現(xiàn)目標(biāo)對(duì)象的轉(zhuǎn)換，相比于依賴平板等設(shè)備，用戶可以更加自主地進(jìn)行各類內(nèi)容的展示，而無(wú)需受到硬件設(shè)備大小的限制，同時(shí)用戶也可以使用多樣的工具進(jìn)行展示，具有更高的自由度與便捷性。

44、本發(fā)明利用前一幀提供的感興趣區(qū)域大幅減少需要進(jìn)行計(jì)算的像素點(diǎn)數(shù)，并利用識(shí)別出的桌面向后一幀提供感興趣區(qū)域，通過(guò)感興趣區(qū)域的傳遞，既可以減少計(jì)算量，提高識(shí)別轉(zhuǎn)換速度，又可以對(duì)感興趣區(qū)域每一幀進(jìn)行調(diào)整，實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的自適應(yīng)調(diào)節(jié)，完整地展示目標(biāo)對(duì)象。

45、本發(fā)明既可以智能地將斜視、反視的桌面一鍵校正為符合人眼感官的俯視圖，方便視頻用戶更加有效地溝通交流，又能解決當(dāng)前主流方案中外接電子寫字板帶來(lái)的成本高昂和操作不便的問(wèn)題。