用于改變視頻的視角的方法和裝置的制造方法
【專利說(shuō)明】用于改變視頻的視角的方法和裝置
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2012年10月4日提交的標(biāo)題為“METHOD AND APPARATUS FORCHANGING A PERSPECTIVE OF A VIDEO”的美國(guó)專利申請(qǐng)?zhí)?3/645，066的優(yōu)先權(quán)，該專利申請(qǐng)的公開(kāi)通過(guò)引用被并入本文。
[0003]背景
[0004]本公開(kāi)通常涉及用于改變視頻的視角的方法和裝置。
[0005]在視頻中，所捕獲的對(duì)象以一視角，S卩，如在視頻中顯示的對(duì)象的方位和位置被顯示。由視頻的顯示系統(tǒng)顯示的對(duì)象的視角可根據(jù)記錄設(shè)備相對(duì)于對(duì)象的位置和/或方位而改變。例如，對(duì)象可顯示在前視圖中，使得對(duì)象的正面完全暴露在視頻中。在那種情況下，當(dāng)捕獲對(duì)象時(shí)，在視頻上捕獲對(duì)象的記錄設(shè)備可直接面向?qū)ο蟮恼妗Ｔ诹硪粚?shí)例中，對(duì)象可顯示在側(cè)視圖中，使得對(duì)象的側(cè)面完全暴露。在那種情況下，在視頻上捕獲對(duì)象的記錄設(shè)備可以在面向?qū)ο蟮恼娴奈恢锰帯?br>[0006]對(duì)于很多視頻應(yīng)用，在視頻上捕獲的感興趣對(duì)象的優(yōu)選顯示視角存在。例如，在應(yīng)用例如視頻通信中，由記錄設(shè)備捕獲的演示方的優(yōu)選顯示視角可以使得演示方應(yīng)通常對(duì)視頻的一個(gè)或多個(gè)觀察方看起來(lái)自然，即，演示方在前視圖中出現(xiàn)在視頻中，好像面對(duì)面看觀察方一樣。在視頻中的演示方的這樣的自然視圖下，演示方的交流表情例如面部表情、情感等可由觀察方正確和快速地觀察，且因此導(dǎo)致有效的交流。
[0007]在遠(yuǎn)程視頻醫(yī)學(xué)診斷應(yīng)用中，視頻中的感興趣對(duì)象的優(yōu)選顯示視角可取決于通過(guò)視頻執(zhí)行的醫(yī)學(xué)診斷的類型。例如，如果診斷是關(guān)于患者的折斷的臂和肩部的狀況和程度，則診斷醫(yī)生可能希望從一個(gè)角度觀察患者的臂，使得患者的臂的側(cè)面(其中患者報(bào)告臂被折斷)完全暴露。
[0008]然而，由于各種形狀因子和物理約束，記錄設(shè)備不能總是放置在適當(dāng)?shù)奈恢煤头轿簧弦圆东@對(duì)象，使得對(duì)象在視頻中以期望顯示視角被顯示。當(dāng)記錄設(shè)備作為裝置的部件被嵌入時(shí)，形狀因子，即，記錄設(shè)備的尺寸和形狀可影響對(duì)象的顯示視角。例如，記錄設(shè)備例如照相機(jī)可嵌入計(jì)算機(jī)監(jiān)視器或網(wǎng)絡(luò)TV中，且嵌入的記錄設(shè)備的位置和/或方位可能不容易被調(diào)節(jié)以捕獲演示者的自然視圖而不調(diào)節(jié)計(jì)算機(jī)或網(wǎng)絡(luò)TV的位置。在便攜式計(jì)算的進(jìn)步的情況下，視頻通信越來(lái)越多地由配備有嵌入式照相機(jī)如平板計(jì)算機(jī)或智能電話的便攜式設(shè)備執(zhí)行。然而，這些便攜式設(shè)備常常放置在剛好在演示者的眼睛水平之下的桌子上或平放在桌子上。作為結(jié)果，演示者的顯示視角將不在視頻中呈現(xiàn)演示者的自然視圖。
[0009]在一些其它情況下，記錄設(shè)備可能不容易穩(wěn)定以在視頻上捕獲對(duì)象而沒(méi)有抖動(dòng)?？蛇x地，對(duì)象本身可能四處移動(dòng)到記錄設(shè)備不能在沒(méi)有抖動(dòng)的情況下在視頻上捕獲它的程度。作為結(jié)果，這樣捕獲的對(duì)象的顯示視角不必要地改變，且在顯示視角中的這樣的變化常常不是期望的。
[0010]在又一些其它實(shí)施方案中，在對(duì)象的物理狀況中的約束也可防止對(duì)象以期望視角在視頻上被捕獲。例如，在經(jīng)由視頻的醫(yī)學(xué)診斷的上述情形中，患者的身體損傷可能特別嚴(yán)重，使得患者不能自由地使臂動(dòng)來(lái)動(dòng)去以暴露臂。因此，患者可能由于損傷不能夠旋轉(zhuǎn)臂并朝著記錄設(shè)備暴露臂的底部。在那種情況下，如果記錄設(shè)備不能由除了患者以外的其他人重新定位，則患者的折斷的臂的側(cè)視圖可能只在視頻上被捕獲。
[0011]在明顯的解決方案中，多個(gè)記錄設(shè)備可從不同的角度和位置被定位在感興趣對(duì)象周圍，使得對(duì)象以多于一個(gè)視角在視頻上被捕獲。然而，這個(gè)解決方案需要如何定位視頻應(yīng)用的普通用戶通常不擁有的多個(gè)記錄設(shè)備的技術(shù)知識(shí)。而且，放置多個(gè)記錄設(shè)備以捕獲對(duì)象在需要多個(gè)記錄設(shè)備和在多個(gè)記錄設(shè)備所捕獲的多個(gè)視角當(dāng)中切換的軟件時(shí)增加了成本。
[0012]一些軟件應(yīng)用可通過(guò)使用圖像幾何變換方法例如旋轉(zhuǎn)、移動(dòng)、翻轉(zhuǎn)操作等來(lái)改變圖像視角。通常，這些方法可通過(guò)沿著x-y-z面板相對(duì)于參考點(diǎn)旋轉(zhuǎn)和移動(dòng)在圖像中捕獲的對(duì)象以導(dǎo)致圖像中的對(duì)象的期望顯示視角來(lái)調(diào)節(jié)顯示在圖像中的對(duì)象的視角。這樣的軟件應(yīng)用也可使用允許用戶自由地調(diào)節(jié)視角同時(shí)通過(guò)基于從對(duì)象的相關(guān)圖像提取的圖形信息重建對(duì)象來(lái)創(chuàng)建對(duì)象的更準(zhǔn)確表示的對(duì)象重建技術(shù)。
[0013]Google Maps?是這樣的軟件應(yīng)用的一個(gè)實(shí)例。使用Google Maps ?，用戶可在街道視圖的圖像中顯示地圖上的位置并通過(guò)例如旋轉(zhuǎn)在圖像中顯示的建筑物來(lái)改變街道視圖的視角。然而，Google Maps?圖像視角變換方法要求來(lái)自用戶的干預(yù)，例如鼠標(biāo)點(diǎn)擊和拖動(dòng)。為了在Google Maps?中改變街道視圖的視角，用戶必須知道如何改變圖像的視角，例如建筑物應(yīng)旋轉(zhuǎn)到什么方向來(lái)實(shí)現(xiàn)建筑物的期望顯示視角。使用那個(gè)知識(shí)，用戶然后必須在圖像上手動(dòng)地改變建筑物的顯示視角。因此，Google Maps?技術(shù)對(duì)用戶改變?cè)谝曨l上捕獲的對(duì)象的視角是不實(shí)際的。根據(jù)Google Maps?方法，視頻的用戶將必須手動(dòng)地改變?cè)谝曨l的每個(gè)幀上捕獲的圖像的視角，以便實(shí)施期望視角調(diào)節(jié)，因?yàn)镚oogle Maps?技術(shù)只適用于靜止圖像，即，在視頻中的幀的等價(jià)物，且需要用戶的干預(yù)來(lái)改變圖像的顯示視角。因此，Google Maps?技術(shù)對(duì)用戶改變?cè)谝曨l上捕獲的對(duì)象的視角增加了極大的不方便。
[0014]在又一解決方案中，發(fā)展了對(duì)象識(shí)別例如面部識(shí)別技術(shù)以檢測(cè)顯示在視頻中的對(duì)象。使用這樣的技術(shù)的一些應(yīng)用可提供在視頻上捕獲的圖像穩(wěn)定性(即，減少搖動(dòng))并且也可在檢測(cè)到對(duì)象時(shí)放大并聚焦在對(duì)象上。然而，這些應(yīng)用不調(diào)節(jié)顯示在視頻中的對(duì)象的顯示視角。
[0015]因此，對(duì)于一個(gè)或多個(gè)上面提到的問(wèn)題，存在對(duì)用于改變所顯示的視頻的視角的增強(qiáng)的方法和裝置的需要。
[0016]附圖簡(jiǎn)述
[0017]當(dāng)附隨有下面的附圖時(shí)考慮到下面的描述，實(shí)施方案將更容易被理解，且其中相似的參考數(shù)字表示相似的元件，其中:
[0018]圖1是示出根據(jù)在本公開(kāi)中闡述的一個(gè)實(shí)施方案的用于改變視頻的視角的裝置的一個(gè)實(shí)例的方框圖；
[0019]圖2是示出用于改變圖1所示的視頻的視角的裝置的方框圖；
[0020]圖3是示出用于改變視頻的視角的方法的一個(gè)實(shí)例的流程圖；
[0021]圖4是示出用于改變視頻的視角的方法的另一實(shí)例的流程圖；
[0022]圖5是示出用于改變視頻的視角的方法的又一實(shí)例的流程圖；以及
[0023]圖6-7是改變視頻的視角的示例性圖示。
[0024]詳細(xì)描述
[0025]簡(jiǎn)要地，用于調(diào)節(jié)視頻的視角的方法和裝置基于指示在視頻上捕獲對(duì)象的記錄設(shè)備的方位和/或位置的所接收的信息來(lái)改變顯示在視頻中的對(duì)象的顯示視角。視頻中的對(duì)象的顯示視角可以是對(duì)象相對(duì)于視頻中的參考點(diǎn)的方位。例如，可以以一視角顯示對(duì)象，使得它的正面以沿著X、Y或Z軸的45度角面向視頻中的參考點(diǎn)。視頻中的對(duì)象的顯示視角也可包括對(duì)象相對(duì)于視頻中的參考點(diǎn)的位置。例如，可以以一視角顯示對(duì)象，使得它相對(duì)于視頻中的參考點(diǎn)位于具有X和y坐標(biāo)的位置處。視頻中的對(duì)象的顯示視角常常是相對(duì)于參考點(diǎn)的其方位和位置的組合，例如，對(duì)象相對(duì)于視頻的中心顯示在(x，y)位置處，它的正面以沿著X-Z平面的45度角面向中心。捕獲對(duì)象的記錄設(shè)備的方位和/位置可包括在記錄設(shè)備和對(duì)象之間的角度和距離。記錄設(shè)備可以是例如但不限于視頻照相機(jī)、攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)、平板計(jì)算機(jī)、智能電話或可產(chǎn)生所捕獲的對(duì)象的運(yùn)動(dòng)圖像的任何其它適當(dāng)?shù)脑O(shè)備。
[0026]除了其它優(yōu)點(diǎn)以外，所述方法和裝置還提供自動(dòng)調(diào)節(jié)顯示在視頻中的對(duì)象的顯示視角使得對(duì)象在視頻上以期望顯示視角被顯示而沒(méi)有用戶的手動(dòng)調(diào)節(jié)的能力。不是要求用戶確定顯示在視頻中的對(duì)象的當(dāng)前顯示視角，而是確定對(duì)象的顯示視角調(diào)節(jié)的量并物理地執(zhí)行調(diào)節(jié)，所述方法和裝置根據(jù)如規(guī)定的對(duì)象的期望顯示視角智能和自動(dòng)地調(diào)節(jié)顯示在視頻中的對(duì)象的顯示視角。因此，所述方法和裝置可在有較少的用戶行動(dòng)的情況下提供在視頻上捕獲的對(duì)象的期望顯示視角并從而提高用戶在觀看顯示在視頻中的對(duì)象時(shí)的體驗(yàn)。
[0027]所述方法和裝置也可確定顯示在視頻中的對(duì)象的當(dāng)前顯示視角。可基于記錄設(shè)備的方位例如記錄設(shè)備相對(duì)于在三維(3D)空間中捕獲的對(duì)象的放置和方向來(lái)確定當(dāng)前顯示視角。對(duì)象的當(dāng)前顯示視角可以是顯示在視頻中的對(duì)象的位置，例如對(duì)象相對(duì)于視頻中的參考點(diǎn)的X、y坐標(biāo)。當(dāng)前顯示視角也可包括顯示在視頻中的對(duì)象相對(duì)于參考點(diǎn)的方位。
[0028]在一個(gè)實(shí)例中，所述方法和裝置通過(guò)基于對(duì)象的當(dāng)前顯示視角確定對(duì)視頻中的對(duì)象進(jìn)行的顯示視角調(diào)節(jié)的量來(lái)改變顯示在視頻中的對(duì)象的顯示視角。根據(jù)顯示視角調(diào)節(jié)的所確定的量，所述方法和裝置還選擇一個(gè)或多個(gè)顯示視角調(diào)節(jié)方法例如幾何圖像操縱、視角變換和對(duì)象重建技術(shù)來(lái)執(zhí)行調(diào)節(jié)。所述方法和裝置然后使用選定的顯示視角調(diào)節(jié)方法將顯示在視頻中的對(duì)象的顯示視角改變視角調(diào)節(jié)的所確定的量。
[0029]在另一實(shí)例中，所述方法和裝置基于配置待進(jìn)行的視角調(diào)節(jié)的至少一個(gè)特性的配置信息來(lái)做出顯示視角調(diào)節(jié)的量的確定。這樣的特性可包括對(duì)象類別的識(shí)別，該對(duì)象類別的顯示視角可在視頻中被調(diào)節(jié)。這樣的特性也可包括在視頻中顯示的對(duì)象類別的期望顯示視角的規(guī)定。對(duì)象類別的識(shí)別可以是對(duì)象的類型的一般特征化例如演示者的臉、建筑物、患者的身體部分或如在本領(lǐng)域中通常已知的與在視頻上捕獲的感興趣對(duì)象相關(guān)的任何其它適當(dāng)?shù)淖R(shí)別信息。對(duì)象類別的期望視角的規(guī)定可包括在視頻中顯示的對(duì)象類別的期望方位和/或位置的描述。
[0030]在又一實(shí)例中，所述方法和裝置改變由一個(gè)或多個(gè)記錄設(shè)備捕獲的在視頻中顯示的臉的顯示視角。所述方法和裝置可通過(guò)使用如本領(lǐng)域中通常已知的一個(gè)或多個(gè)面部識(shí)別方法檢測(cè)臉來(lái)確定顯示在視頻中的臉的當(dāng)前顯示視角。例如，所述方法和裝置可基于在視頻中的演示者的自然視圖來(lái)改變視頻中的臉的顯示視角。在自然視圖中，演示