過比較當(dāng)前顯示視角與如所配置的對象的期望顯示視角來確定所進行的顯示視角調(diào)節(jié)的量。例如，如所配置的對象的期望顯示視角可規(guī)定對象應(yīng)相對于視頻的中心直立地被顯示。信息214可指示顯示在幀中的對象的當(dāng)前顯示視角是它的方位相對于在X-Y面板上的幀的中心逆時針成45度角。因此，視角發(fā)生器120確定對象應(yīng)繞著幀的中心順時針旋轉(zhuǎn)45度。信息214也可指示對象正好在幀的中心之下5厘米。視角調(diào)節(jié)發(fā)生器120確定對象也需要向上移動5厘米到幀的中心。信息214可仍然指示對象的方位水平地相對于幀的中心具有30度角。因此，視角調(diào)節(jié)發(fā)生器120然后確定對象需要水平地沿著Z軸旋轉(zhuǎn)-30度。因此，視角調(diào)節(jié)發(fā)生器120基于信息214和所配置的期望顯示視角來確定顯示在幀中的對象需要在X-Y平面上繞著中心旋轉(zhuǎn)-45度和水平地沿著Z軸旋轉(zhuǎn)-30度，并向上移動5厘米到幀的中心。
[0060]在塊506，視角發(fā)生器120識別是否有對對象進行的顯示視角調(diào)節(jié)的如所確定的量。在根據(jù)本公開的一個實施方案中，視角發(fā)生器120識別出有對幀中的對象進行的顯示視角調(diào)節(jié)的所確定的量，并繼續(xù)進行到塊508。在塊508，視角調(diào)節(jié)發(fā)生器106根據(jù)對象的顯示視角調(diào)節(jié)的所確定的量來選擇一個或多個顯示視角調(diào)節(jié)方法。例如，根據(jù)在X-Y平面上繞著中心旋轉(zhuǎn)對象-45度和在幀中水平地沿著Z軸旋轉(zhuǎn)對象-30度以及將對象向上移動5厘米到幀中的幀的中心的顯示視角調(diào)節(jié)的量，視角發(fā)生器120選擇仿射操作以在X-Y平面上旋轉(zhuǎn)對象-45度并在X-Z平面上旋轉(zhuǎn)對象-30度。視角發(fā)生器120在這種情況下也可選擇平移操作來在幀中將對象向上移動5厘米。
[0061]在塊510，圖形操縱器122在視角調(diào)節(jié)發(fā)生器120的指令下改變對象的顯示視角。如上面提到的，視角調(diào)節(jié)發(fā)生器120將在幀中的對象的顯示視角調(diào)節(jié)的所確定的量，S卩，信息210以及指示一個或多個選定視角調(diào)節(jié)方法的信息傳遞到圖形操縱器122?；谛畔?10，圖形操縱器122使用選定視角調(diào)節(jié)方法來操縱幀的圖像。例如，為了使用仿射操作繞著中心旋轉(zhuǎn)對象-45度，圖形操縱器將仿射操作應(yīng)用于在幀的圖像中的每個像素，并根據(jù)將對象旋轉(zhuǎn)-45度的旋轉(zhuǎn)的量將像素從原始位置旋轉(zhuǎn)到目的位置。圖形操縱器122然后將變換的幀存儲在幀緩沖器108中用于由GPU對幀進行進一步處理。
[0062]在塊512，相應(yīng)的調(diào)節(jié)發(fā)生器120識別是否有所接收的幀，其對象的顯示視角仍然被改變。在根據(jù)本公開的一個實施方案中，視角調(diào)節(jié)發(fā)生器106識別出仍然有留下待處理的幀并重復(fù)塊504等。這個處理重復(fù)，直到?jīng)]有接收到的幀為止，幀的視角仍然被變換。
[0063]雖然以特定的順序示出圖5所示的處理塊，本領(lǐng)域中的普通技術(shù)人員將認(rèn)識到，可以按不同的順序執(zhí)行處理。在一個實例中，可本質(zhì)上同時執(zhí)行塊504-508和510。當(dāng)圖形操縱器122操縱當(dāng)前所接收的幀的圖像時，相應(yīng)的調(diào)節(jié)發(fā)生器120可同時確定下一所接收的幀的視角調(diào)節(jié)的量。
[0064]圖6-7是根據(jù)本公開的示例性實施方案的圖示。圖6示出通過繞著對象602的中心逆時針旋轉(zhuǎn)在視頻中顯示的對象Θ度并將在視頻600中顯示的對象602移動到視頻的中心來改變視頻的視角的實例。如在本實例中所示的，感興趣對象602連同其它兩個對象606和608 —起顯示在視頻600中。存儲在配置文件214中的配置信息208在本實例中識別出對象602在視頻中的顯示視角應(yīng)符合期望顯示視角，即，直立地顯示在視頻的中心處。相應(yīng)地，對象檢測器124檢測到對象602存在于視頻600的一個或多個所接收的幀中。對象檢測器124進一步得到指示捕獲視頻600的記錄設(shè)備的方位和位置的信息214?；谛畔?14，對于每個所接收的幀，對象檢測器124確定對象602顯示在相對于視頻600的中心的位置(x，y，Θ)處。對象檢測器124將這個當(dāng)前顯示視角信息204傳遞到視角調(diào)節(jié)發(fā)生器 120。
[0065]在幀水平處，視角調(diào)節(jié)發(fā)生器120接收信息204并比較由信息204指示的對象602的當(dāng)前顯示視角與如在配置文件208中配置的對象602的期望顯示視角。在這樣比較時，對于每個幀，視角調(diào)節(jié)發(fā)生器120可確定顯示在視頻600中的對象602需要朝著視頻600的中心從當(dāng)前位置(X，y)移動并需要繞著對象602的中心旋轉(zhuǎn)-Θ度。
[0066]根據(jù)對顯示在視頻600中的對象602進行的顯示視角調(diào)節(jié)的所確定的量，視角調(diào)節(jié)發(fā)生器120進一步選擇仿射操作和平移操作以實現(xiàn)對象602的顯示視角調(diào)節(jié)的所確定的量。視角調(diào)節(jié)發(fā)生器120可基于存儲在配置文件214中的配置信息208來進行這樣的選擇。例如，配置信息208可將視角調(diào)節(jié)發(fā)生器124配置成不通過使用任何插補或比例調(diào)整操作來調(diào)節(jié)視頻600中的對象602的顯示視角。因此，視角調(diào)節(jié)發(fā)生器124將不選擇那些方法中的一個或多個來實現(xiàn)對象602的視角調(diào)節(jié)的所確定的量。
[0067]基于顯示在視頻600中的對象602的顯示視角調(diào)節(jié)的所確定的量和用于執(zhí)行這樣的調(diào)節(jié)的選定視角調(diào)節(jié)方法，視角調(diào)節(jié)發(fā)生器120在本實例中產(chǎn)生指示圖形操縱器122相應(yīng)地改變視頻600的視角的一個或多個控制命令216。圖形操縱器122接收控制命令216，且對于每個幀(其視角需要根據(jù)指示由視角調(diào)節(jié)發(fā)生器120產(chǎn)生的視角調(diào)節(jié)的所確定的量的信息210來改變)，圖形操縱器122改變顯示在視頻600中的對象602的顯示視角。在本實例中，圖形操縱器確定包括在每個這樣的幀中的對象602的像素例如像素604需要朝著視頻的中心移動r的距離，由此，r是使用平移操作的x2+y2的平方根。圖形操縱器122也確定這些像素需要使用仿射操作從視頻600中的原始位置移動到目的位置，使得對象繞著對象602的中心順時針旋轉(zhuǎn)Θ度。此外，圖形操縱器122也對幀中的其它像素例如包括對象606和608的像素執(zhí)行這些操作，所以視頻的視角在對象602的顯示視角在視頻600中改變之后看起來正確。
[0068]圖7示出通過變換顯示在視頻中的演示者的視角來改變視頻的視角的一個實例。如在本實例中所示的，演示者702以原始顯示視角顯示在視頻700中，使得演示者的眼睛水平704相對于視頻的中心在視頻上的位置(x，y)處被捕獲。此外，在原始顯示視角中，演示者702的右側(cè)完全暴露，而不是前側(cè)。在本實例中，對象檢測器124得到關(guān)于捕獲視頻700的記錄設(shè)備的位置和方位的信息214。對象檢測器124也使用如在本領(lǐng)域中通常已知的一個或多個面部識別方法來檢測演示者702的臉的存在以及眼睛水平704。在這樣檢測時，對象檢測器124基于關(guān)于記錄設(shè)備的方位和位置信息214例如在記錄設(shè)備和演示者的相對笛卡爾位置來得到如在視頻700中顯示的演示者的臉的位置和方位。在本實例中，基于信息214，對象檢測器124可使用面部識別方法來確定演示者的眼睛水平相對于由記錄設(shè)備130捕獲的視頻的中心位于位置(x，y)處，且演示者的臉沿著繞著視頻的中心的X-Z平面成90度角。對象檢測器124將這些信息，即，指示在視頻700中的演示者702的當(dāng)前顯示視角的信息204傳遞到視角調(diào)節(jié)發(fā)生器120。
[0069]視角調(diào)節(jié)發(fā)生器120接收關(guān)于在視頻中的演示者702的當(dāng)前顯示視角的信息204。在本實例中，根據(jù)配置信息218來配置視角調(diào)節(jié)發(fā)生器120以調(diào)節(jié)視頻中的演示者702的顯示視角，符合演示者702的自然視圖的，S卩，演示者的臉應(yīng)顯示在視頻的中心處且演示者的眼睛水平應(yīng)平行于Z軸。因此，視角調(diào)節(jié)發(fā)生器120確定演示者的臉以及顯示在視頻700中的眼睛水平704需要從當(dāng)前位置(X，y)移動到視頻700的中心，并需要繞著視頻的中心旋轉(zhuǎn)-90度。視角調(diào)節(jié)發(fā)生器124也確定演示者702的正面的某個部分應(yīng)例如基于在視頻中的演示者702的一個或多個圖像來重建，演示者的臉的正面被捕獲和顯示。
[0070]根據(jù)對顯示在視頻700中的演示者702進行的顯示視角調(diào)節(jié)的所確定的量，視角調(diào)節(jié)發(fā)生器120進一步選擇旋轉(zhuǎn)操作和移動操作以旋轉(zhuǎn)并移動顯示在視頻700中的演示者的臉的位置。相應(yīng)的調(diào)節(jié)發(fā)生器120還選擇歷史重建方法以重建顯示在變換的視頻中的演示者的臉的正面。
[0071]基于顯示在視頻700中的演示者702的顯示視角調(diào)節(jié)的所確定的糧和用于執(zhí)行這樣的調(diào)節(jié)的選定視角調(diào)節(jié)方法，視角調(diào)節(jié)發(fā)生器120在本實例中產(chǎn)生指示圖形操縱器122相應(yīng)地改變視頻700的視角的一個或多個控制命令216。圖形操縱器122接收控制命令216，且對于每個幀(其視角需要根據(jù)指示由視角調(diào)節(jié)發(fā)生器120產(chǎn)生的視角調(diào)節(jié)的所確定的量的信息210來改變)，圖形操縱器122改變顯示在視頻700中的對象702的顯示視角。在本實例中，圖形操縱器122確定在每個這樣的幀中構(gòu)成演示者702的像素需要朝著視頻的中心移動r的距離，由此，r是使用移動操作的x2+y2的平方根。圖形操縱器122也確定這些像素也需要使用旋轉(zhuǎn)操作從視頻700中的原始位置移動到目的位置，使得演示者的臉繞著視頻700的中心在X-Z平面上旋轉(zhuǎn)90度。此外，圖形操縱器122也為每個這樣的幀重建演示者的臉的正面的遺漏的像素，所以演示者的臉的整個正面將在變換的視頻中暴露。
[0072]除了其它優(yōu)點以外，例如所述方法和裝置還提供在沒有用戶干預(yù)的情況下根據(jù)顯示在視頻中的一個或多個對象的期望顯示視角來自動改變視頻的視角的能力。不是要求用戶確定顯示在視頻中的對象的當(dāng)前顯示視角，基于對象的當(dāng)前顯示視角對視頻中的對象進行的顯示視角調(diào)節(jié)的量和手動地執(zhí)行視頻中的顯示視角調(diào)節(jié)，所述方法和裝置改變對象的顯示視角，自動符合在非常少的用戶交互的情況下如所規(guī)定的對象的期望顯示視角，從而提高用戶在為了各種目的例如通信、醫(yī)學(xué)診斷、安全等而觀看和使用視頻時的體驗。相應(yīng)地，所提出的技術(shù)可通過提供根據(jù)觀看的目的將視頻的視角調(diào)節(jié)到期望視角的自動方式來提高在視頻觀看中的用戶體驗，其中一個或多個感興趣對象被顯示。本領(lǐng)域中的普通技術(shù)人員將實現(xiàn)其它優(yōu)點。
[0073]僅為了例證和描述的目的而不是